El grupo de Fei-Fei Li insta a la legislación preventiva de seguridad de IA

Un nuevo informe de un grupo de políticas de California, co-liderado por la pionera en IA Fei-Fei Li, sugiere que los legisladores deberían considerar los riesgos de la IA que aún no se han visto en el mundo real al crear políticas regulatorias de IA. Este informe interino de 41 páginas, publicado el martes, proviene del Grupo de Trabajo de Políticas Conjuntas de California sobre Modelos de Frontera de IA, establecido por el gobernador Gavin Newsom tras vetar el controvertido proyecto de ley de seguridad de IA de California, SB 1047. Newsom consideró que SB 1047 no dio en el blanco, pero reconoció la necesidad de un análisis más profundo de los riesgos de la IA para guiar a los legisladores.

En el informe, Li, junto con los coautores Jennifer Chayes, decana del Colegio de Computación de UC Berkeley, y Mariano-Florentino Cuéllar, presidente de la Carnegie Endowment for International Peace, abogan por leyes que aclaren qué están haciendo los laboratorios de IA de frontera como OpenAI. Antes de que el informe se hiciera público, fue revisado por personas de la industria de diversos ámbitos, incluyendo fervientes defensores de la seguridad de la IA como el ganador del Premio Turing Yoshua Bengio y aquellos que se opusieron a SB 1047, como el cofundador de Databricks, Ion Stoica.

El informe señala que los nuevos riesgos de los sistemas de IA podrían implicar la necesidad de leyes que obliguen a los desarrolladores de modelos de IA a compartir sus pruebas de seguridad, cómo obtienen sus datos y sus medidas de seguridad con el público. También pide mejores estándares para verificaciones de terceros sobre estas cosas y las políticas de las empresas, además de más protecciones para los trabajadores y contratistas de empresas de IA que denuncien irregularidades.

Li y sus coautores mencionan que aún no hay pruebas suficientes sobre el potencial de la IA para ayudar con ciberataques, crear armas biológicas o causar otros peligros "extremos". Pero también dicen que la política de IA no debería solo abordar lo que está sucediendo ahora; también debería pensar en lo que podría pasar en el futuro si no hay suficientes medidas de seguridad en su lugar.

El informe usa el ejemplo de un arma nuclear, diciendo: "No necesitamos ver explotar un arma nuclear para saber que podría causar mucho daño." Continúa diciendo: "Si aquellos que hablan de los peores riesgos tienen razón —y no estamos seguros de si lo tendrán— entonces no hacer nada respecto a la IA de frontera ahora podría ser realmente costoso."

Para hacer el desarrollo de modelos de IA más abierto, el informe sugiere un enfoque de "confiar pero verificar". Dice que los desarrolladores de modelos de IA y sus trabajadores deberían tener formas de informar sobre cosas que importan al público, como las pruebas de seguridad internas, y también deberían hacer que sus afirmaciones de pruebas sean verificadas por terceros.

Aunque el informe, que se finalizará en junio de 2025, no respalda ninguna ley específica, ha sido bien recibido por expertos de ambos lados del debate sobre políticas de IA.

Dean Ball, un investigador enfocado en IA en la Universidad George Mason que no estaba a favor de SB 1047, dijo en X que el informe es un buen paso para las reglas de seguridad de IA de California. También es una victoria para los defensores de la seguridad de IA, según el senador estatal de California Scott Wiener, quien presentó SB 1047 el año pasado. Wiener dijo en un comunicado de prensa que el informe contribuye a las "conversaciones urgentes sobre la gobernanza de la IA que comenzamos en la legislatura en 2024."

El informe parece estar de acuerdo con partes de SB 1047 y el próximo proyecto de ley de Wiener, SB 53, como hacer que los desarrolladores de modelos de IA informen los resultados de sus pruebas de seguridad. En una perspectiva más amplia, parece una victoria muy necesaria para los defensores de la seguridad de la IA, cuyas ideas han estado perdiendo terreno durante el último año.