Google DeepMind lanza un instituto para ampliar el debate sobre la AGI

Google y Google DeepMind establecieron el Instituto DeepMind el miércoles para fomentar el diálogo sobre la inteligencia artificial general. El instituto está dirigido por Shane Legg, cofundador de DeepMind, James Manyika, ejecutivo de Google, y Demis Hassabis, presidente de Google DeepMind, con Legg actuando como editor gerente.
Esta nueva iniciativa busca destacar diversas perspectivas dentro de Google, DeepMind y la comunidad de investigación global con respecto a la IA general. El anuncio señala que los participantes «no siempre estarán de acuerdo» y es probable que revisen sus posiciones a medida que surjan nuevos datos en esta frontera en rápida evolución.
La primera colección presenta cuatro ensayos que abordan cuestiones clave: estrategias económicas para gestionar la posible disrupción de la IA general, mantener la capacidad de razonamiento de los modelos legible para los seres humanos, principios para el florecimiento humano y un marco para evaluar modelos de IA de vanguardia.
Los investigadores de seguridad de DeepMind Rohin Shah y Anca Dragan argumentan en un ensayo que la disminución de la transparencia de los sistemas de IA —la capacidad de inspeccionar el razonamiento paso a paso— no es inevitable. A medida que las nuevas arquitecturas complican la supervisión, sugieren que los desarrolladores y reguladores deben abordar directamente los compromisos de seguridad. Esto podría implicar restringir la «profundidad serial opaca» o exigir pruebas de que los sistemas menos transparentes siguen siendo igualmente supervisables.
En otro ensayo, Demis Hassabis propone un organismo de estándares de IA de vanguardia liderado por Estados Unidos para evaluar modelos avanzados. Según esta propuesta, los desarrolladores presentarían inicialmente modelos de forma voluntaria para su revisión hasta 30 días antes del lanzamiento. Una vez que el sistema de evaluación demuestre ser efectivo, aprobar estas pruebas podría convertirse en obligatorio para desplegar modelos de vanguardia en Estados Unidos.
Inicialmente, este organismo diseñaría evaluaciones con la participación de empresas de IA, pero eventualmente crearía evaluaciones independientes y no divulgadas, denominadas pruebas «held-out», para evitar que los laboratorios optimicen los modelos para puntos de referencia conocidos. Hassabis indicó que el marco podría «escalarse si la situación lo requiere», lo que potencialmente incluiría una desaceleración coordinada entre los desarrolladores de IA de vanguardia.
Estos ensayos surgen en un momento en que los debates sobre la seguridad de la industria pasan de preocupaciones generales a propuestas concretas de divulgación, escrutinio externo y desaceleración coordinada si las salvaguardas se retrasan. Este impulso creció esta semana cuando los líderes de la industria apoyaron el llamado del director ejecutivo de Anthropic, Dario Amodei, a «ritmar» el desarrollo de la IA de vanguardia.
Artículo relacionado
Filtración del Sonnet 5.5 de Anthropic: los retos de contexto de 2 millones de tokens plantean un desafío a DeepSeek para recuperar la rentabilidad
Anthropic ha presentado su último modelo Sonnet 5.5, conocido internamente como «Fennec» (por el zorro del desierto), cuyo lanzamiento está previsto para el próximo mes. Los detalles filtrados indican
Chrome lanza la biblioteca de habilidades para Gemini: reutilización de indicaciones con un solo clic; di adiós a las entradas repetitivas
Google ha lanzado una actualización de la versión de escritorio de Chrome, con la que introduce una nueva «Biblioteca de habilidades» para su función integrada Gemini. Esta mejora permite a los usuari
El director general de Anthropic aboga por normas sobre IA al estilo de las bancarias; los expertos advierten del riesgo de ser a la vez jugador y árbitro
Según la CNBC, el director ejecutivo de Anthropic, Dario Amodei, sugirió incorporar evaluadores de seguridad independientes a largo plazo, procedentes de terceros, en las principales empresas de IA, o
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

Google y Google DeepMind establecieron el Instituto DeepMind el miércoles para fomentar el diálogo sobre la inteligencia artificial general. El instituto está dirigido por Shane Legg, cofundador de DeepMind, James Manyika, ejecutivo de Google, y Demis Hassabis, presidente de Google DeepMind, con Legg actuando como editor gerente.
Esta nueva iniciativa busca destacar diversas perspectivas dentro de Google, DeepMind y la comunidad de investigación global con respecto a la IA general. El anuncio señala que los participantes «no siempre estarán de acuerdo» y es probable que revisen sus posiciones a medida que surjan nuevos datos en esta frontera en rápida evolución.
La primera colección presenta cuatro ensayos que abordan cuestiones clave: estrategias económicas para gestionar la posible disrupción de la IA general, mantener la capacidad de razonamiento de los modelos legible para los seres humanos, principios para el florecimiento humano y un marco para evaluar modelos de IA de vanguardia.
Los investigadores de seguridad de DeepMind Rohin Shah y Anca Dragan argumentan en un ensayo que la disminución de la transparencia de los sistemas de IA —la capacidad de inspeccionar el razonamiento paso a paso— no es inevitable. A medida que las nuevas arquitecturas complican la supervisión, sugieren que los desarrolladores y reguladores deben abordar directamente los compromisos de seguridad. Esto podría implicar restringir la «profundidad serial opaca» o exigir pruebas de que los sistemas menos transparentes siguen siendo igualmente supervisables.
En otro ensayo, Demis Hassabis propone un organismo de estándares de IA de vanguardia liderado por Estados Unidos para evaluar modelos avanzados. Según esta propuesta, los desarrolladores presentarían inicialmente modelos de forma voluntaria para su revisión hasta 30 días antes del lanzamiento. Una vez que el sistema de evaluación demuestre ser efectivo, aprobar estas pruebas podría convertirse en obligatorio para desplegar modelos de vanguardia en Estados Unidos.
Inicialmente, este organismo diseñaría evaluaciones con la participación de empresas de IA, pero eventualmente crearía evaluaciones independientes y no divulgadas, denominadas pruebas «held-out», para evitar que los laboratorios optimicen los modelos para puntos de referencia conocidos. Hassabis indicó que el marco podría «escalarse si la situación lo requiere», lo que potencialmente incluiría una desaceleración coordinada entre los desarrolladores de IA de vanguardia.
Estos ensayos surgen en un momento en que los debates sobre la seguridad de la industria pasan de preocupaciones generales a propuestas concretas de divulgación, escrutinio externo y desaceleración coordinada si las salvaguardas se retrasan. Este impulso creció esta semana cuando los líderes de la industria apoyaron el llamado del director ejecutivo de Anthropic, Dario Amodei, a «ritmar» el desarrollo de la IA de vanguardia.
Filtración del Sonnet 5.5 de Anthropic: los retos de contexto de 2 millones de tokens plantean un desafío a DeepSeek para recuperar la rentabilidad
Anthropic ha presentado su último modelo Sonnet 5.5, conocido internamente como «Fennec» (por el zorro del desierto), cuyo lanzamiento está previsto para el próximo mes. Los detalles filtrados indican
Chrome lanza la biblioteca de habilidades para Gemini: reutilización de indicaciones con un solo clic; di adiós a las entradas repetitivas
Google ha lanzado una actualización de la versión de escritorio de Chrome, con la que introduce una nueva «Biblioteca de habilidades» para su función integrada Gemini. Esta mejora permite a los usuari
El director general de Anthropic aboga por normas sobre IA al estilo de las bancarias; los expertos advierten del riesgo de ser a la vez jugador y árbitro
Según la CNBC, el director ejecutivo de Anthropic, Dario Amodei, sugirió incorporar evaluadores de seguridad independientes a largo plazo, procedentes de terceros, en las principales empresas de IA, o





Hogar






