Un estudio de Microsoft revela que más tokens de IA aumentan los errores de razonamiento

Nuevos conocimientos sobre la eficacia del razonamiento LLM

Una nueva investigación de Microsoft demuestra que las técnicas avanzadas de razonamiento de los grandes modelos lingüísticos no producen mejoras uniformes en los distintos sistemas de IA. Su innovador estudio analizó cómo respondían nueve de los principales modelos básicos a varios enfoques de escalado durante la inferencia.

Evaluación de los métodos de escalado del tiempo de inferencia

El equipo de investigación aplicó una rigurosa metodología de pruebas en tres técnicas de escalado distintas:

• La inducción tradicional de la cadena de pensamiento
• Generación paralela de respuestas con agregación
• Refinamiento secuencial mediante bucles de retroalimentación

Ocho evaluaciones comparativas exhaustivas proporcionaron escenarios de prueba desafiantes en disciplinas como las matemáticas, el razonamiento científico, la resolución de problemas complejos y el análisis espacial. Varias evaluaciones presentaban niveles de dificultad graduados para examinar cómo se escala el rendimiento con la complejidad del problema.

Descubrimientos clave sobre el rendimiento en razonamiento

La exhaustiva evaluación arrojó varios datos fundamentales para los profesionales de la IA:

• El aumento del rendimiento de las técnicas de escalado varía drásticamente según la arquitectura del modelo y el ámbito de la tarea.
• Las respuestas más largas no se correlacionan sistemáticamente con mejores soluciones.
• Los costes de cálculo fluctúan de forma impredecible incluso para consultas idénticas.
• En ocasiones, los modelos tradicionales pueden igualar a los modelos de razonamiento especializados mediante un amplio escalado.
• Los mecanismos de verificación son prometedores para mejorar la eficiencia

Implicaciones prácticas para el desarrollo de la IA

Estas conclusiones tienen importantes implicaciones para la aplicación de la IA en las empresas:

La previsibilidad de los costes se perfila como un reto importante, ya que el uso de tokens muestra una gran variabilidad incluso para las respuestas correctas. "Los desarrolladores necesitan modelos con patrones de cálculo coherentes", señala Besmira Nushi, investigadora de Microsoft.

La investigación también identifica la longitud de la respuesta como un indicador potencial de la confianza del modelo, ya que las respuestas excesivamente largas suelen indicar soluciones incorrectas más allá de ciertos umbrales.

El futuro de los sistemas de razonamiento eficientes

El estudio destaca varias direcciones prometedoras para el desarrollo futuro:

"Los mecanismos de verificación podrían transformar nuestra forma de abordar los problemas de razonamiento", explica Nushi, y sugiere que los sistemas de validación empresarial existentes podrían adaptarse a las aplicaciones de IA. Esta integración permitiría a las interfaces de lenguaje natural aprovechar la lógica de validación especializada.

La investigación subraya la creciente necesidad de soluciones que equilibren la precisión del razonamiento con unos costes computacionales predecibles a medida que los sistemas de IA asumen tareas cada vez más complejas en el mundo real.