El director general de Anthropic esboza un plan para marcar el ritmo en la vanguardia

Los investigadores en IA han lanzado advertencias cada vez más urgentes sobre los riesgos de la inteligencia artificial, y el director ejecutivo de OpenAI, Sam Altman, ha sugerido que quizá sea el momento de «moderar» el desarrollo. Pero, ¿qué implicaría eso en la práctica?

En una reciente entrada de blog, el director ejecutivo de Anthropic, Dario Amodei, no solo respaldó el llamamiento a «moderar el avance», sino que también propuso tres estrategias generales para hacerlo. Afirmó que Anthropic se está «comprometiendo unilateralmente» con uno de estos enfoques.

Los debates sobre la seguridad y la alineación de la IA se intensificaron esta semana después de que el investigador Jacob Coxon anunciara su dimisión de Anthropic. Coxon citó su preocupación por que las principales empresas de IA estén «jugándose nuestras vidas», una opinión compartida por otros miembros de la empresa que creen que un progreso sin control podría resultar fatal a finales de esta década.

Aunque la publicación de Amodei no mencionaba explícitamente la dimisión de Coxon, el director ejecutivo explicó que dos factores le convencieron para adoptar una postura más cautelosa: el ataque informático a OpenAI y HuggingFace y el hecho de que «la IA ha avanzado a un ritmo drásticamente más rápido» últimamente, sobre todo en lo que respecta a su «creciente capacidad para crear la próxima generación de IA».

«Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA», escribió Amodei. «El progreso seguirá pareciendo rápido, y debemos hacer un uso prudente del tiempo que ganemos».

Su primera propuesta consiste en «evaluadores integrados» de organizaciones externas como METR. Estos evaluadores verificarían que las empresas de IA cumplan sus compromisos en materia de ritmo de desarrollo y seguridad, y garantizarían que se notifiquen los incidentes de seguridad. (OpenAI se enfrentó recientemente a críticas por no haber notificado un incidente en el que sus agentes de IA se hicieron con el control de un formulario wiki alemán).

Amodei comparó a estos evaluadores con los reguladores integrados entre los empleados de los bancos, y afirmó que acogerlos es «algo a lo que Anthropic se está comprometiendo de forma unilateral (y pide a los gobiernos que exijan a otras empresas pioneras que hagan lo mismo)». Esto incluye proporcionar a los evaluadores tarjetas de identificación de la empresa, escritorios y ordenadores portátiles, junto con un acceso «prácticamente comparable al que tienen los equipos internos de evaluación de riesgos», salvo en los casos en que lo restrinjan la ley o los contratos.

A continuación, Amodei instó a las principales empresas de IA «dentro de los países democráticos» a coordinar «normas de seguridad comunes, así como límites al ritmo de avance incontrolado de la IA».

Dicha coordinación parece poco probable debido a la aparente fricción entre Altman y Amodei, así como a la preocupación de que una pausa coordinada pudiera desencadenar un escrutinio antimonopolio. Amodei abordó este tema en su publicación, en la que escribió que «por motivos antimonopolio, sería útil que el Gobierno de EE. UU. mediara o, al menos, facilitara estos debates; no es necesario que participe, pero sí que conceda una exención limitada para determinados tipos de conversaciones sobre seguridad».

Amodei también abordó las preocupaciones sobre el dominio chino en materia de IA, a menudo esgrimidas como argumento en contra de ralentizar el desarrollo. Sostuvo que, si el Gobierno de EE. UU. y las empresas tecnológicas tomaran medidas como negarse a vender chips potentes o equipos de fabricación de semiconductores a empresas chinas, y tomaran medidas enérgicas contra la destilación de modelos, podrían «ralentizar el progreso de China lo suficiente como para ampliar significativamente la ventaja de Estados Unidos en los próximos 3 a 5 años».

Por último, Amodei abogó por una «coordinación global», en la que Estados Unidos y sus aliados «intenten coordinarse con los gobiernos autoritarios, en la medida de lo posible». Reconoció que «lo que se puede lograr tiene límites muy marcados», pero sugirió que podría haber oportunidades para llegar a un acuerdo, aunque se limitara a «prohibir ciertos usos concretos y obviamente peligrosos de la IA, como utilizarla para la producción de armas biológicas o permitir que los usuarios lo hagan».

Dada la disposición que Amodei ha mostrado en el pasado para reconocer los peligros potenciales de la IA y la apertura de su empresa a la regulación, algunos defensores de la IA le han criticado tachándole de catastrofista cuyos comentarios avivan la actual reacción negativa. En respuesta, Amodei afirmó que ha intentado ofrecer una perspectiva «equilibrada», argumentando que la reacción negativa es «fundamentalmente una crisis de confianza», ya que la gente se ha vuelto escéptica respecto a las empresas tecnológicas, el sector y el Gobierno.

Los críticos del sector siguen mostrándose escépticos ante estas advertencias apocalípticas sobre la IA, sugiriendo que desvían la atención del daño que la tecnología ya está causando.

El periodista Brian Merchant, por ejemplo, afirmó que aún no ha visto «una documentación creíble y detallada de cómo exactamente la IA podría pasar de ser una IA que se mejora a sí misma de forma recursiva a matar a todos y cada uno de los seres humanos del planeta»; también sugirió que propuestas similares a las de Amodei «probablemente solo acabarían beneficiando a Anthropic y OpenAI; así es como se manifiesta la captura regulatoria en la práctica».

En su nueva publicación, Amodei escribió que sigue «creyendo que la IA puede mejorar enormemente la calidad de vida humana».

«Mi deseo de lograr estos beneficios no ha disminuido», afirmó. «Pero los beneficios solo se conseguirán si desarrollamos la tecnología de la forma adecuada y —siempre que aprovechemos bien el tiempo que ganemos— merece la pena poner un cuidado excepcionalmente minucioso en hacerlo bien».