HogarEl documento de seguridad AGI de Deepmind no puede balancear a los escépticos
El miércoles, Google DeepMind publicó un extenso artículo de 145 páginas que profundiza en su enfoque sobre la seguridad de la AGI. La AGI, o inteligencia general artificial, es el tipo de IA que puede realizar cualquier tarea que un humano pueda, y es un tema candente en el mundo de la IA. Algunos piensan que es solo una fantasía, mientras que otros, como los grandes nombres en Anthropic, creen que está a la vuelta de la esquina y podría causar problemas serios si no ponemos en orden nuestras medidas de seguridad.
El artículo de DeepMind, escrito con la ayuda del cofundador Shane Legg, calcula que la AGI podría aparecer para 2030 y podría conducir a lo que llaman "daños graves". No lo especifican exactamente, pero utilizan frases alarmantes como "riesgos existenciales" que podrían "destruir permanentemente a la humanidad".
"Estamos apostando por ver una AGI Excepcional antes de que termine esta década", señalan los autores. "Una AGI Excepcional es un sistema que puede igualar las habilidades del 1% superior de los adultos en una serie de tareas no físicas, incluyendo cosas complicadas como aprender nuevas habilidades".
Desde el principio, el artículo compara la forma en que DeepMind aborda el riesgo de la AGI con la de Anthropic y OpenAI. Dice que Anthropic no es tan fanático de "entrenamiento robusto, monitoreo y seguridad", mientras que OpenAI se centra en "automatizar" un tipo de investigación de seguridad de IA llamada investigación de alineación.
El artículo también critica la idea de una IA superinteligente — IA que es mejor en los trabajos que cualquier humano. (OpenAI recientemente dijo que están cambiando su enfoque de la AGI a la superinteligencia). Sin grandes avances nuevos, los autores de DeepMind no creen que los sistemas superinteligentes lleguen pronto — o tal vez nunca.
Pero sí piensan que es posible que nuestros métodos actuales puedan llevar a una "mejora recursiva de la IA", donde la IA realiza su propia investigación de IA para crear sistemas de IA aún más inteligentes. Y eso, advierten, podría ser súper peligroso.
En general, el artículo sugiere que necesitamos desarrollar formas de mantener a los malos actores alejados de la AGI, entender mejor qué están haciendo los sistemas de IA y hacer que los entornos donde opera la IA sean más seguros. Admiten que muchas de estas ideas aún están en sus primeras etapas y tienen "problemas de investigación abiertos", pero instan a no ignorar los problemas de seguridad que podrían avecinarse.
"La AGI podría traer beneficios asombrosos o daños graves", señalan los autores. "Por lo tanto, para construir la AGI de la manera correcta, es crucial que los principales desarrolladores de IA planifiquen con antelación y aborden esos grandes riesgos".
Sin embargo, no todos están de acuerdo con las ideas del artículo.
Heidy Khlaaf, la científica jefe de IA en el Instituto AI Now, sin fines de lucro, dijo a TechCrunch que piensa que la AGI es un concepto demasiado difuso para ser "evaluado rigurosamente de manera científica". Otro investigador de IA, Matthew Guzdial de la Universidad de Alberta, dijo que no está convencido de que la mejora recursiva de la IA sea factible en este momento.
"La mejora recursiva es en lo que se basan los argumentos de la singularidad de la inteligencia", dijo Guzdial a TechCrunch, "pero nunca hemos visto ninguna evidencia de que realmente funcione".
Sandra Wachter, que estudia tecnología y regulación en Oxford, señala una preocupación más apremiante: la IA reforzándose con "resultados inexactos".
"Con cada vez más contenido generado por IA en línea y datos reales siendo reemplazados, los modelos están aprendiendo de sus propios resultados que están llenos de inexactitudes o alucinaciones", dijo a TechCrunch. "Dado que los chatbots se usan principalmente para buscar y encontrar la verdad, siempre estamos en riesgo de recibir información falsa que se presenta de una manera muy convincente".
Por exhaustivo que sea, el artículo de DeepMind probablemente no pondrá fin a los debates sobre cuán probable es realmente la AGI — y qué problemas de seguridad de IA necesitan más atención en este momento.
Artículo relacionado
El RSI se convierte en el nuevo AGI, igual de difícil de definir
El término «recursión» se ha convertido en la última palabra de moda en el ámbito de la inteligencia artificial. Dos startups distintas lo han adoptado como nombre, y muchas otras hacen ahora referenc
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf
El cofundador de Databricks afirma que la IA general está al caer tras ganar el premio ACM
Matei Zaharia, cofundador y director técnico de Databricks, estuvo a punto de pasar por alto el correo electrónico en el que se le comunicaba que había sido galardonado con el Premio ACM de Informátic
Recomendaciones de temas especiales relacionados
chatbot
Las mejores aplicaciones de chat de roleplay con IA para practicar idiomas, prepararse para entrevistas y mejorar la fluidez diaria
¡Las mejores aplicaciones de chat de roleplay con IA de 2026, mejor valoradas, para practicar idiomas, prepararse para entrevistas y mejorar la fluidez diaria! XIX.AI selecciona una poderosa colección revolucionaria que ofrece comparaciones entre versiones gratuitas y de pago, pruebas del mundo real y clasificaciones actualizadas semanalmente. Estas herramientas imprescindibles te ayudan a mejorar tus habilidades de escritura, superar los desafíos de fluidez y aumentar la eficiencia comunicativa en todas las situaciones cotidianas. ¡Explora ahora para descubrir tu herramienta perfecta para el crecimiento lingüístico!
10 herramientas
xix.ai
composicion musical
Herramientas de separación de pistas con IA para la producción de remezclas, la preparación de samples y las pistas maestras de karaoke
Las mejores herramientas de separación de pistas con IA de 2026, seleccionadas para la producción de remixes, la preparación de samples y la creación de temas de karaoke. Estas potentes herramientas revolucionarias se han sometido a pruebas en condiciones reales para ofrecer un aislamiento de audio preciso, lo que aumenta significativamente la productividad. XIX.AI ofrece una guía comparativa entre versiones gratuitas y de pago, actualizada semanalmente, para ayudarte a encontrar la solución imprescindible que mejor se adapte a tus necesidades. Explórala ahora para sacar el máximo partido a la IA.
8 herramientas
xix.ai
Análisis de datos
Copilotos de AI para SQL destinados a paneles de ingresos, análisis de embudos y métricas de productos
¡Los mejores copilotos de SQL basados en IA de 2026, clasificados entre los más destacados! XIX.AI reúne una poderosa colección que evoluciona constantemente, con pruebas en el mundo real actualizadas semanalmente. Estas herramientas indispensables le permiten generar paneles de control de ingresos precisos, analizar los canales de venta y seguir de cerca las métricas de los productos de manera rápida, lo que aumenta significativamente su productividad. ¡Explórelas ahora para encontrar la herramienta perfecta para tomar decisiones basadas en datos! 238 caracteres
9 herramientas
xix.ai
composicion musical
Mejores herramientas de IA para escribir melodías en borradores de canciones
2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!
8 herramientas
xix.ai
chatbot
Mejores herramientas de entrenamiento de conversación con IA para practicar entrevistas
¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!
12 herramientas
xix.ai
Diseño y Arte
Las mejores herramientas de transferencia de estilos con IA para experimentos creativos
¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!
9 herramientas
xix.ai
comentario (52)
0/500
![FrankJackson]()
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
![PaulTaylor]()
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
![JimmyGarcia]()
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
![DouglasMitchell]()
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
![DanielPerez]()
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
![CarlPerez]()
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
El miércoles, Google DeepMind publicó un extenso artículo de 145 páginas que profundiza en su enfoque sobre la seguridad de la AGI. La AGI, o inteligencia general artificial, es el tipo de IA que puede realizar cualquier tarea que un humano pueda, y es un tema candente en el mundo de la IA. Algunos piensan que es solo una fantasía, mientras que otros, como los grandes nombres en Anthropic, creen que está a la vuelta de la esquina y podría causar problemas serios si no ponemos en orden nuestras medidas de seguridad.
El artículo de DeepMind, escrito con la ayuda del cofundador Shane Legg, calcula que la AGI podría aparecer para 2030 y podría conducir a lo que llaman "daños graves". No lo especifican exactamente, pero utilizan frases alarmantes como "riesgos existenciales" que podrían "destruir permanentemente a la humanidad".
"Estamos apostando por ver una AGI Excepcional antes de que termine esta década", señalan los autores. "Una AGI Excepcional es un sistema que puede igualar las habilidades del 1% superior de los adultos en una serie de tareas no físicas, incluyendo cosas complicadas como aprender nuevas habilidades".
Desde el principio, el artículo compara la forma en que DeepMind aborda el riesgo de la AGI con la de Anthropic y OpenAI. Dice que Anthropic no es tan fanático de "entrenamiento robusto, monitoreo y seguridad", mientras que OpenAI se centra en "automatizar" un tipo de investigación de seguridad de IA llamada investigación de alineación.
El artículo también critica la idea de una IA superinteligente — IA que es mejor en los trabajos que cualquier humano. (OpenAI recientemente dijo que están cambiando su enfoque de la AGI a la superinteligencia). Sin grandes avances nuevos, los autores de DeepMind no creen que los sistemas superinteligentes lleguen pronto — o tal vez nunca.
Pero sí piensan que es posible que nuestros métodos actuales puedan llevar a una "mejora recursiva de la IA", donde la IA realiza su propia investigación de IA para crear sistemas de IA aún más inteligentes. Y eso, advierten, podría ser súper peligroso.
En general, el artículo sugiere que necesitamos desarrollar formas de mantener a los malos actores alejados de la AGI, entender mejor qué están haciendo los sistemas de IA y hacer que los entornos donde opera la IA sean más seguros. Admiten que muchas de estas ideas aún están en sus primeras etapas y tienen "problemas de investigación abiertos", pero instan a no ignorar los problemas de seguridad que podrían avecinarse.
"La AGI podría traer beneficios asombrosos o daños graves", señalan los autores. "Por lo tanto, para construir la AGI de la manera correcta, es crucial que los principales desarrolladores de IA planifiquen con antelación y aborden esos grandes riesgos".
Sin embargo, no todos están de acuerdo con las ideas del artículo.
Heidy Khlaaf, la científica jefe de IA en el Instituto AI Now, sin fines de lucro, dijo a TechCrunch que piensa que la AGI es un concepto demasiado difuso para ser "evaluado rigurosamente de manera científica". Otro investigador de IA, Matthew Guzdial de la Universidad de Alberta, dijo que no está convencido de que la mejora recursiva de la IA sea factible en este momento.
"La mejora recursiva es en lo que se basan los argumentos de la singularidad de la inteligencia", dijo Guzdial a TechCrunch, "pero nunca hemos visto ninguna evidencia de que realmente funcione".
Sandra Wachter, que estudia tecnología y regulación en Oxford, señala una preocupación más apremiante: la IA reforzándose con "resultados inexactos".
"Con cada vez más contenido generado por IA en línea y datos reales siendo reemplazados, los modelos están aprendiendo de sus propios resultados que están llenos de inexactitudes o alucinaciones", dijo a TechCrunch. "Dado que los chatbots se usan principalmente para buscar y encontrar la verdad, siempre estamos en riesgo de recibir información falsa que se presenta de una manera muy convincente".
Por exhaustivo que sea, el artículo de DeepMind probablemente no pondrá fin a los debates sobre cuán probable es realmente la AGI — y qué problemas de seguridad de IA necesitan más atención en este momento.
El RSI se convierte en el nuevo AGI, igual de difícil de definir
El término «recursión» se ha convertido en la última palabra de moda en el ámbito de la inteligencia artificial. Dos startups distintas lo han adoptado como nombre, y muchas otras hacen ahora referenc
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf
El cofundador de Databricks afirma que la IA general está al caer tras ganar el premio ACM
Matei Zaharia, cofundador y director técnico de Databricks, estuvo a punto de pasar por alto el correo electrónico en el que se le comunicaba que había sido galardonado con el Premio ACM de Informátic
¡Las mejores aplicaciones de chat de roleplay con IA de 2026, mejor valoradas, para practicar idiomas, prepararse para entrevistas y mejorar la fluidez diaria! XIX.AI selecciona una poderosa colección revolucionaria que ofrece comparaciones entre versiones gratuitas y de pago, pruebas del mundo real y clasificaciones actualizadas semanalmente. Estas herramientas imprescindibles te ayudan a mejorar tus habilidades de escritura, superar los desafíos de fluidez y aumentar la eficiencia comunicativa en todas las situaciones cotidianas. ¡Explora ahora para descubrir tu herramienta perfecta para el crecimiento lingüístico!
10 herramientas
xix.ai
Las mejores herramientas de separación de pistas con IA de 2026, seleccionadas para la producción de remixes, la preparación de samples y la creación de temas de karaoke. Estas potentes herramientas revolucionarias se han sometido a pruebas en condiciones reales para ofrecer un aislamiento de audio preciso, lo que aumenta significativamente la productividad. XIX.AI ofrece una guía comparativa entre versiones gratuitas y de pago, actualizada semanalmente, para ayudarte a encontrar la solución imprescindible que mejor se adapte a tus necesidades. Explórala ahora para sacar el máximo partido a la IA.
8 herramientas
xix.ai
¡Los mejores copilotos de SQL basados en IA de 2026, clasificados entre los más destacados! XIX.AI reúne una poderosa colección que evoluciona constantemente, con pruebas en el mundo real actualizadas semanalmente. Estas herramientas indispensables le permiten generar paneles de control de ingresos precisos, analizar los canales de venta y seguir de cerca las métricas de los productos de manera rápida, lo que aumenta significativamente su productividad. ¡Explórelas ahora para encontrar la herramienta perfecta para tomar decisiones basadas en datos! 238 caracteres
9 herramientas
xix.ai
2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!
8 herramientas
xix.ai
¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!
12 herramientas
xix.ai
¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!
9 herramientas
xix.ai
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
