La IA ha crecido más allá del conocimiento humano, dice la unidad DeepMind de Google

Avance de la IA más allá de las pruebas tradicionales: el surgimiento del aprendizaje experimental

El campo de la inteligencia artificial (IA) es llena de esfuerzos para empujar la IA generativa más allá de los límites de los puntos de referencia tradicionales, como la prueba de Turing, que muchos modelos ya han superado. El enfoque ahora cambia al desarrollo de IA que no solo está diseñado para asas estas pruebas, sino para evolucionar a través de un proceso más dinámico.

Investigadores de DeepMind de Google, incluidas leyendas como David Silver y Richard Sutton, argumentan en su artículo bienvenido a la era de la experiencia que la clave para desbloquear nuevas capacidades de IA no se encuentra en las pruebas, sino en la forma en que la IA está entrenada. Sugieren que los conjuntos de datos estáticos utilizados actualmente son demasiado limitados para fomentar avances significativos.

Su solución? La IA necesita comprometerse con el mundo de una manera más experimental, aprender de las interacciones y establecer objetivos basados ​​en la retroalimentación ambiental. "Las nuevas capacidades increíbles surgirán una vez que se aproveche todo el potencial del aprendizaje experimental", afirman. Silver, conocida por su trabajo en Alphazero, que superó a los humanos en Chess and Go, y Sutton, pionero en el aprendizaje de refuerzo, propone un nuevo enfoque llamado "flujos" para trascender las limitaciones de los modelos actuales de idiomas grandes (LLM).

Desde el aprendizaje de refuerzo hasta la IA generativa: un cambio y sus consecuencias

Después de los éxitos de Alphazero y Alphago, la comunidad de IA vio un cambio hacia modelos de IA generativos como ChatGPT, que se alejó en gran medida del aprendizaje de refuerzo. Si bien esto permitió a la IA manejar una gama más amplia de entradas humanas espontáneas, también significaba perder el aspecto de autodescubrimiento que el aprendizaje de refuerzo habilitaba.

Según Silver y Sutton, los LLM actuales dependen en gran medida del juicio humano en la etapa rápida, lo que limita su potencial. "El agente no puede descubrir mejores estrategias subestimadas por el evaluador humano", explican. Además, la naturaleza corta y recortada de las interacciones rápidas no permite que la IA se desarrolle más allá de los simples intercambios de preguntas y respuestas.

Introducción de transmisiones: un nuevo paradigma para el aprendizaje de IA

La "edad de experiencia" propuesta involucra a los agentes de IA que operan dentro de "corrientes" de interacción continua, al igual que los humanos aprenden durante toda la vida. Silver y Sutton imaginan a los agentes de IA con sus propias corrientes de experiencia a largo plazo, lo que les permite buscar objetivos más allá de las tareas inmediatas.

Este enfoque se basa en el aprendizaje de refuerzo, donde los agentes de IA interactúan con un modelo del mundo, recibiendo comentarios en forma de recompensas. Estas recompensas ayudan a la IA a aprender qué acciones son valiosas en diferentes contextos. Los investigadores señalan que el mundo es rico en señales que pueden servir como recompensas, desde indicadores económicos hasta métricas de salud.

Construyendo agentes de IA con objetivos a largo plazo

Para iniciar este proceso, los desarrolladores de IA podrían usar una simulación de "modelo mundial", permitiendo que la IA haga predicciones, las pruebe en realidad y refine su modelo en función de los resultados. A medida que la IA continúa interactuando con el mundo, su comprensión evoluciona, se adapta a nuevos datos y corrige los errores.

Los humanos aún desempeñarían un papel en establecer objetivos generales, como mejorar la aptitud física o aprender un nuevo idioma, con la función de recompensa de la IA alineada con estos objetivos. Esta configuración podría conducir a asistentes de IA que rastrean y asesoran sobre la salud o la educación durante períodos prolongados, o incluso persiguen objetivos científicos ambiciosos como descubrir nuevos materiales o reducir las emisiones de carbono.

El futuro de la IA: más allá del razonamiento para el aprendizaje experimental

Los investigadores creen que los agentes de IA capaces de aprender experiencial a largo plazo podrían superar los modelos de IA de "razonamiento" actuales como Gemini y Deepseek's R1. Argumentan que los modelos de razonamiento a menudo imitan el pensamiento humano, que puede estar limitado por suposiciones obsoletas. En contraste, los agentes experimentales podrían desbloquear capacidades sin precedentes, lo que lleva a un futuro muy diferente de lo que hemos visto.

Sin embargo, este cambio también trae riesgos, como el desplazamiento del trabajo y el desafío de controlar a los agentes de IA que pueden operar de manera autónoma durante largos períodos. Por otro lado, la IA adaptable podría aprender a mitigar los impactos negativos en los humanos ajustando su comportamiento en función de la retroalimentación.

Silver y Sutton confían en que los datos experimentales superarán con creces la escala y la calidad de los datos generados por los humanos, lo que puede conducir a inteligencia general artificial o una superinteligencia. Este cambio de paradigma, junto con los avances en el aprendizaje de refuerzo, podría desbloquear nuevas capacidades más allá del alcance humano en muchos dominios.

Silver discutió aún más estas ideas en un podcast reciente de DeepMind, destacando el potencial y los desafíos de mover la IA a la era de la experiencia.