Avance de escala de IA cuestionado por expertos

Ha habido cierto revuelo en las redes sociales sobre investigadores que descubrieron una nueva "ley de escalado" de IA, pero los expertos lo toman con escepticismo. Las leyes de escalado de IA, más bien guías informales, muestran cómo los modelos de IA mejoran al añadir más datos y potencia computacional. Hasta hace aproximadamente un año, la gran tendencia era el "pre-entrenamiento": entrenar modelos más grandes con conjuntos de datos más grandes. Eso sigue siendo relevante, pero ahora hay dos leyes de escalado más: el escalado post-entrenamiento, que se centra en ajustar el comportamiento de un modelo, y el escalado en tiempo de prueba, que implica usar más potencia computacional durante la inferencia para mejorar las capacidades de "razonamiento" de un modelo (piensa en modelos como R1).

Recientemente, investigadores de Google y UC Berkeley publicaron un artículo que algunos en línea llaman una cuarta ley: la "búsqueda en tiempo de inferencia". Este método hace que el modelo genere múltiples respuestas posibles a una consulta al mismo tiempo y luego elija la mejor. Los investigadores afirman que puede mejorar el rendimiento de un modelo antiguo, como Google's Gemini 1.5 Pro, para superar al modelo de "razonamiento" o1-preview de OpenAI en pruebas de ciencia y matemáticas.

Eric Zhao, becario de doctorado de Google y coautor del artículo, compartió en X que, al muestrear aleatoriamente 200 respuestas y permitir que el modelo se autoverifique, Gemini 1.5 – al que llamó en broma un "modelo antiguo de principios de 2024" – podría superar a o1-preview e incluso acercarse a o1. Señaló que la autoverificación se vuelve más fácil a medida que se escala, lo cual es algo contraintuitivo pero interesante.

Pero no todos están convencidos. Matthew Guzdial, investigador de IA y profesor asistente en la Universidad de Alberta, dijo a TechCrunch que este enfoque funciona mejor cuando tienes una forma sólida de evaluar las respuestas. Sin embargo, la mayoría de las preguntas no son tan claras. Dijo: "Si no podemos escribir código para definir lo que queremos, no podemos usar la búsqueda [en tiempo de inferencia]. Para algo como la interacción lingüística general, no podemos hacer esto... Generalmente no es un gran enfoque para resolver la mayoría de los problemas."

Zhao respondió diciendo que su artículo en realidad examina casos en los que no hay una forma clara de evaluar las respuestas, y el modelo debe resolverlo por sí mismo. Argumentó que la brecha entre tener una forma clara de evaluar y no tenerla puede reducirse al escalar.

Mike Cook, investigador en King's College London, apoyó la opinión de Guzdial, diciendo que la búsqueda en tiempo de inferencia no mejora realmente el razonamiento del modelo. Es más bien una solución para la tendencia del modelo a cometer errores con confianza. Señaló que si tu modelo falla el 5% de las veces, revisar 200 intentos debería facilitar la detección de esos errores.

Esta noticia podría ser un poco decepcionante para la industria de la IA, que siempre está buscando formas de mejorar el "razonamiento" de los modelos sin gastar una fortuna. Como señalaron los autores del artículo, los modelos de razonamiento pueden acumular miles de dólares en costos computacionales solo para resolver un problema matemático.

Parece que la búsqueda de nuevas técnicas de escalado está lejos de terminar.

Actualizado el 20/3 a las 5:12 a.m. Pacífico: Se agregaron comentarios del coautor del estudio Eric Zhao, quien discrepa con la evaluación de un investigador independiente que criticó el trabajo.