El documento de seguridad AGI de Deepmind no puede balancear a los escépticos

El miércoles, Google DeepMind publicó un extenso artículo de 145 páginas que profundiza en su enfoque sobre la seguridad de la AGI. La AGI, o inteligencia general artificial, es el tipo de IA que puede realizar cualquier tarea que un humano pueda, y es un tema candente en el mundo de la IA. Algunos piensan que es solo una fantasía, mientras que otros, como los grandes nombres en Anthropic, creen que está a la vuelta de la esquina y podría causar problemas serios si no ponemos en orden nuestras medidas de seguridad.

El artículo de DeepMind, escrito con la ayuda del cofundador Shane Legg, calcula que la AGI podría aparecer para 2030 y podría conducir a lo que llaman "daños graves". No lo especifican exactamente, pero utilizan frases alarmantes como "riesgos existenciales" que podrían "destruir permanentemente a la humanidad".

"Estamos apostando por ver una AGI Excepcional antes de que termine esta década", señalan los autores. "Una AGI Excepcional es un sistema que puede igualar las habilidades del 1% superior de los adultos en una serie de tareas no físicas, incluyendo cosas complicadas como aprender nuevas habilidades".

Desde el principio, el artículo compara la forma en que DeepMind aborda el riesgo de la AGI con la de Anthropic y OpenAI. Dice que Anthropic no es tan fanático de "entrenamiento robusto, monitoreo y seguridad", mientras que OpenAI se centra en "automatizar" un tipo de investigación de seguridad de IA llamada investigación de alineación.

El artículo también critica la idea de una IA superinteligente — IA que es mejor en los trabajos que cualquier humano. (OpenAI recientemente dijo que están cambiando su enfoque de la AGI a la superinteligencia). Sin grandes avances nuevos, los autores de DeepMind no creen que los sistemas superinteligentes lleguen pronto — o tal vez nunca.

Pero sí piensan que es posible que nuestros métodos actuales puedan llevar a una "mejora recursiva de la IA", donde la IA realiza su propia investigación de IA para crear sistemas de IA aún más inteligentes. Y eso, advierten, podría ser súper peligroso.

En general, el artículo sugiere que necesitamos desarrollar formas de mantener a los malos actores alejados de la AGI, entender mejor qué están haciendo los sistemas de IA y hacer que los entornos donde opera la IA sean más seguros. Admiten que muchas de estas ideas aún están en sus primeras etapas y tienen "problemas de investigación abiertos", pero instan a no ignorar los problemas de seguridad que podrían avecinarse.

"La AGI podría traer beneficios asombrosos o daños graves", señalan los autores. "Por lo tanto, para construir la AGI de la manera correcta, es crucial que los principales desarrolladores de IA planifiquen con antelación y aborden esos grandes riesgos".

Sin embargo, no todos están de acuerdo con las ideas del artículo.

Heidy Khlaaf, la científica jefe de IA en el Instituto AI Now, sin fines de lucro, dijo a TechCrunch que piensa que la AGI es un concepto demasiado difuso para ser "evaluado rigurosamente de manera científica". Otro investigador de IA, Matthew Guzdial de la Universidad de Alberta, dijo que no está convencido de que la mejora recursiva de la IA sea factible en este momento.

"La mejora recursiva es en lo que se basan los argumentos de la singularidad de la inteligencia", dijo Guzdial a TechCrunch, "pero nunca hemos visto ninguna evidencia de que realmente funcione".

Sandra Wachter, que estudia tecnología y regulación en Oxford, señala una preocupación más apremiante: la IA reforzándose con "resultados inexactos".

"Con cada vez más contenido generado por IA en línea y datos reales siendo reemplazados, los modelos están aprendiendo de sus propios resultados que están llenos de inexactitudes o alucinaciones", dijo a TechCrunch. "Dado que los chatbots se usan principalmente para buscar y encontrar la verdad, siempre estamos en riesgo de recibir información falsa que se presenta de una manera muy convincente".

Por exhaustivo que sea, el artículo de DeepMind probablemente no pondrá fin a los debates sobre cuán probable es realmente la AGI — y qué problemas de seguridad de IA necesitan más atención en este momento.