La nueva prueba AGI demuestra que los modelos de IA desafiantes y desafiantes

# agi

La Fundación del Premio ARC, cofundada por el famoso investigador de IA François Chollet, recientemente presentó un nuevo punto de referencia llamado ARC-AGI-2 en una publicación de blog. Esta prueba tiene como objetivo superar los límites de la inteligencia general de la IA, y hasta ahora, está demostrando ser una nuez difícil de descifrar para la mayoría de los modelos de IA.

Según la tabla de clasificación del premio ARC, incluso los modelos de IA de "razonamiento" avanzados como O1-Pro de OpenAI y Deepseek's R1 solo administran puntajes entre 1% y 1.3%. Mientras tanto, los poderosos modelos no de razonamiento como GPT-4.5, el soneto Claude 3.7 y Gemini 2.0 Flash están rondando la marca del 1%.

Las pruebas de ARC-AGI desafían los sistemas AI con problemas similares a los rompecabezas, lo que requiere que identifiquen patrones visuales en cuadrículas de cuadrados de diferentes colores y generen la cuadrícula correcta de "respuesta". Estos problemas están diseñados para probar la capacidad de una IA para adaptarse a desafíos nuevos e invisibles.

Para establecer una línea de base humana, la Fundación del Premio ARC tenía más de 400 personas que tomaron la prueba ARC-AGI-2. En promedio, estos "paneles" de humanos lograron una tasa de éxito del 60%, superando significativamente los modelos de IA.

François Chollet llevó a X para afirmar que ARC-AGI-2 es una medida más precisa de la verdadera inteligencia de un modelo de IA en comparación con su predecesor, ARC-AGI-1. Las pruebas de la Fundación del Premio ARC están diseñadas para evaluar si una IA puede aprender eficientemente nuevas habilidades más allá de sus datos de capacitación.

Chollet enfatizó que ARC-AGI-2 evita que los modelos AI confíen en el poder informático de la "fuerza bruta" para resolver problemas, un defecto que reconoció en la primera prueba. Para abordar esto, ARC-AGI-2 introduce una métrica de eficiencia y requiere modelos para interpretar patrones sobre la mosca en lugar de depender de la memorización.

En una publicación de blog, el cofundador de la Fundación del Premio de ARC, Greg Kamradt, enfatizó que la inteligencia no se trata solo de resolver problemas o lograr puntajes altos. "La eficiencia con la que se adquieren e implementan esas capacidades es un componente crucial y definitorio", escribió. "La pregunta central que se hace no es solo, '¿Puede AI adquirir [la] habilidad para resolver una tarea?' Pero también, '¿A qué eficiencia o costo?' "

ARC-AGI-1 permaneció invicto durante unos cinco años hasta diciembre de 2024, cuando el modelo de razonamiento avanzado de OpenAI, O3, superó a todos los demás modelos de IA y un rendimiento humano coincidente. Sin embargo, el éxito de O3 en ARC-AGI-1 tuvo un costo significativo. La versión del modelo O3 de OpenAI, O3 (Low), que obtuvo un impresionante 75.7% en ARC-AGI-1, solo logró un miserable 4% en ARC-AGI-2, utilizando un valor informático por valor de $ 200 por tarea.

La introducción de ARC-AGI-2 llega en un momento en que muchos en la industria de la tecnología están pidiendo nuevos puntos de referencia insaturados para medir el progreso de la IA. Thomas Wolf, cofundador de Hugging Face, le dijo recientemente a TechCrunch que la industria de la IA carece de pruebas suficientes para medir rasgos clave de inteligencia general artificial, como la creatividad.

Junto con el nuevo punto de referencia, la Fundación del Premio ARC anunció el concurso ARC Premio 2025, desafiando a los desarrolladores a lograr una precisión del 85% en la prueba ARC-AGI-2, mientras que gastaba solo $ 0.42 por tarea.

Artículo relacionado

comentario (35)