Ex-Openai Policy Lead Slams Company por alterar la narrativa de seguridad de la IA

# openai # policy

Un ex investigador de políticas de Operai, Miles Brundage, recientemente acudió a las redes sociales para llamar a OpenAi por lo que él ve como un intento de "reescribir la historia" de su enfoque para desplegar sistemas de IA potencialmente riesgosos. Esta semana, Openai lanzó un documento que detalla su postura actual sobre la seguridad y la alineación de la IA, el proceso de garantizar que los sistemas de IA actúen de manera predecible y beneficiosa. En él, OpenAi describió el desarrollo de sistemas AGI o AI capaces de cualquier tarea que un humano pueda hacer, como un "camino continuo" que implica "implementar y aprender iterativamente" de las tecnologías de IA. "En un mundo discontinuo [...] lecciones de seguridad provienen del tratamiento de los sistemas de hoy con precaución excesiva en relación con su poder aparente, [cuál es el enfoque que adoptamos para [nuestro modelo de IA] GPT-2", declaró OpenAi en el documento. "Ahora vemos el primer AGI como solo un punto a lo largo de una serie de sistemas de utilidad creciente [...] en el mundo continuo, la forma de hacer que el próximo sistema sea seguro y beneficioso es aprender del sistema actual". Sin embargo, Brundage argumenta que el enfoque cauteloso adoptado con GPT-2 estaba completamente en línea con la estrategia de implementación iterativa actual de OpenAI. "El lanzamiento de OpenAI de GPT-2, en el que estuve involucrado, fue 100% consistente [con] presagio de la filosofía actual de despliegue iterativo de OpenAI", publicó Brundage en X. "El modelo se lanzó de forma incremental, con lecciones compartidas en cada paso. Muchos expertos de seguridad en ese momento nos agradecieron por esta precaución". Brundage, quien se unió a Openai como científico de investigación en 2018 y luego se convirtió en el jefe de investigación de políticas de la compañía, se centró en el despliegue responsable de sistemas de generación de idiomas como ChatGPT, mientras que en el equipo de "AGI preparación" de OpenAI. GPT-2, anunciado por Openai en 2019, fue un precursor de los sistemas de IA detrás de ChatGPT. Podría responder preguntas, resumir artículos y generar texto que a veces era indistinguible de la escritura humana. Aunque GPT-2 podría parecer básico ahora, era innovador en ese momento. Debido a las preocupaciones sobre el mal uso potencial, OpenAI inicialmente retuvo el código fuente del modelo, en su lugar, lo que permite el acceso limitado de los medios de comunicación seleccionados a una demostración. La decisión recibió comentarios mixtos de la comunidad de IA. Algunos argumentaron que los riesgos asociados con GPT-2 fueron exagerados, y no había evidencia que respalde las preocupaciones de OpenAI sobre el mal uso. La publicación centrada en AI The Gradient incluso publicó una carta abierta que instaba a OpenAI a lanzar el modelo, citando su importancia tecnológica. Operai finalmente lanzó una versión parcial de GPT-2 seis meses después de su anuncio, seguido del sistema completo varios meses después. Brundage cree que este fue el enfoque correcto. "¿Qué parte de [la versión GPT-2] fue motivada o basada en pensar en AGI como discontinua? Nada de eso", declaró en X. "¿Cuál es la evidencia que esta precaución fue 'desproporcionada' ex ante? Ex Post, Prob. Habría estado bien, pero eso no significa que fuera responsable de Yolo [Sic] dada información en el momento". A Brundage le preocupa que el documento de OpenAI tenga como objetivo establecer una alta carga de prueba, donde las preocupaciones se desestiman como alarmistas a menos que haya evidencia abrumadora de peligros inminentes. Encuentra esta mentalidad "muy peligrosa" para los sistemas AI avanzados. "Si todavía estuviera trabajando en Operai, estaría preguntando por qué este [documento] fue escrito de la manera en que era, y qué exactamente Operai espera lograr con la precaución de poo-poo de una manera tan costerial", agregó Brundage. Operai ha enfrentado críticas en el pasado por priorizar los "productos brillantes" sobre la seguridad y los lanzamientos de apresuración a los competidores superados. El año pasado, la compañía disolvió su equipo de preparación AGI, y varios investigadores de seguridad y políticas de IA se fueron a las empresas rivales. El panorama competitivo se ha intensificado, con el modelo R1 de AI Lab Deepseek, que está disponible abiertamente y coincide con el modelo de "razonamiento" de O1 de OpenAI en puntos de referencia clave, atrayendo la atención global. El CEO de Operai, Sam Altman, ha reconocido que Deepseek ha reducido el líder tecnológico de Openai, lo que le ha llevado a OpenAi a considerar acelerar su calendario de lanzamiento. Según los informes, Operai perdió miles de millones anuales y proyectando pérdidas para triplicar a $ 14 mil millones para 2026, un ciclo de liberación de productos más rápido podría aumentar las ganancias a corto plazo, pero potencialmente comprometer la seguridad a largo plazo. Expertos como Brundage cuestionan si esta compensación vale la pena.

Artículo relacionado

comentario (40)