El documento de seguridad AGI de Deepmind no puede balancear a los escépticos

# deepmind # agi

El miércoles, Google Deepmind dejó caer un fuerte papel de 145 páginas que se sumergió en su enfoque para la seguridad AGI. AGI, o inteligencia general artificial, es el tipo de IA que puede abordar cualquier tarea que un humano puede, y es un tema candente en el mundo de la IA. Algunas personas piensan que es solo una fantasía, mientras que otras, como las grandes tomas en Anthrope, creen que está justo alrededor de la curva y podrían causar problemas serios si no tenemos nuestras medidas de seguridad bajo control. El artículo de Deepmind, escrito con la ayuda del cofundador Shane Legg, reconoce que Agi podría aparecer para 2030 y podría conducir a lo que llaman "daños severos". No lo explican exactamente, pero arrojan frases aterradoras como "riesgos existenciales" que podrían "destruir permanentemente la humanidad". "Estamos apostando a ver un AGI excepcional antes de que salga esta década", señalan los autores. "Un AGI excepcional es un sistema que puede igualar las habilidades del 1% superior de los adultos en un montón de tareas no físicas, incluidas cosas difíciles como aprender nuevas habilidades". Desde el principio, el documento compara la forma de DeepMind de manejar el riesgo AGI con cómo lo hacen antrópico y OpenAi. Dice que Anthrope no es tan grande en la "capacitación, monitoreo y seguridad robustas", mientras que OpenAi se trata de "automatizar" un tipo de investigación de seguridad de IA llamada investigación de alineación. El periódico también arroja algo de sombra sobre la idea de la IA superintelligente, IA que es mejor en trabajos que en cualquier humano. (Openai dijo recientemente que están cambiando su enfoque de AGI a la superinteligencia). Sin algunos nuevos avances importantes, los autores de Deepmind no están comprando que los sistemas superinteligentes lleguen pronto, o tal vez nunca. Pero sí piensan que es posible que nuestros métodos actuales puedan conducir a una "mejora recursiva de IA", donde la IA hace su propia investigación de IA para hacer sistemas de IA aún más inteligentes. Y eso, advierten, podría ser súper peligroso. En general, el documento sugiere que necesitamos desarrollar formas de mantener a los malos actores alejados de AGI, comprender mejor lo que están haciendo los sistemas de IA y hacer que los entornos donde la IA funcione sea más segura. Admiten que muchas de estas ideas todavía están en sus primeras etapas y tienen "problemas de investigación abiertos", pero nos instan a no ignorar los problemas de seguridad que podrían estar llegando en nuestro camino. "AGI podría traer beneficios sorprendentes o daños graves", señalan los autores. "Entonces, para construir AGI de la manera correcta, es crucial que los principales desarrolladores de IA planifiquen con anticipación y aborden esos grandes riesgos". Sin embargo, no todos están a bordo con las ideas del periódico. Heidy Khlaaf, la principal científica de IA en el Instituto sin fines de lucro AI Now, dijo a TechCrunch que cree que AGI es un concepto demasiado confuso para ser "evaluado rigurosamente científicamente". Otro investigador de IA, Matthew Guzdial de la Universidad de Alberta, dijo que no está convencido de que la mejora recursiva de IA sea factible en este momento. "La mejora recursiva es en lo que se basan los argumentos de singularidad de inteligencia", dijo Guzdial a TechCrunch, "pero nunca hemos visto ninguna evidencia de que realmente funcione". Sandra Wachter, quien estudia tecnología y regulación en Oxford, señala una preocupación más apremiante: la IA se refuerza con "salidas inexactas". "Con más y más contenido generado por IA en línea y datos reales que se reemplazan, los modelos están aprendiendo de sus propios resultados llenos de inexactitudes o alucinaciones", dijo a TechCrunch. "Dado que los chatbots se usan principalmente para buscar y encontrar la verdad, siempre estamos en riesgo de recibir información falsa que se presenta de una manera muy convincente". Por completo que sea, el artículo de Deepmind probablemente no terminará los debates sobre la probabilidad de que AGI realmente sea, y qué problemas de seguridad de IA necesitan la mayor atención en este momento.

Artículo relacionado

comentario (45)