El modelo o3 de IA de OpenAI obtiene una puntuación más baja en la prueba de referencia de lo que se sugirió inicialmente

Por qué las discrepancias en los puntos de referencia son importantes en la IA

En lo que respecta a la IA, los números suelen contar la historia y, a veces, esos números no cuadran del todo. Tomemos como ejemplo el modelo o3 de OpenAI. Las afirmaciones iniciales eran asombrosas: o3 podía resolver más del 25% de los problemas FrontierMath. Para contextualizar, la competencia se quedaba en unos pocos dígitos. Sin embargo, en los últimos tiempos, Epoch AI -un respetado instituto de investigación- ha dado un vuelco a la historia. Sus hallazgos sugieren que el rendimiento real de o3 se acerca al 10%. No está mal, pero desde luego no es la cifra que tanto llamó la atención a OpenAI en un principio.

¿Qué está pasando realmente?

Desglosémoslo. Es probable que la puntuación original de OpenAI se obtuviera en condiciones óptimas, condiciones que podrían no ser exactamente reproducibles en el mundo real. Epoch señaló que su entorno de pruebas podría diferir ligeramente del de OpenAI, e incluso la versión de FrontierMath que utilizaron era más reciente. Esto no quiere decir que OpenAI haya engañado a nadie; sus afirmaciones iniciales coincidían con las pruebas internas, pero la disparidad pone de manifiesto un problema más amplio. Los puntos de referencia no siempre son comparables. Y, admitámoslo, las empresas tienen incentivos para dar lo mejor de sí mismas.

El papel de la transparencia

Esta situación plantea una cuestión importante: ¿Hasta qué punto deben ser transparentes las empresas de IA a la hora de compartir resultados? Aunque OpenAI no mintió abiertamente, sus mensajes crearon expectativas que no se cumplieron del todo. Es un equilibrio delicado. Las empresas quieren mostrar sus avances, pero también tienen que ser honestas sobre lo que significan realmente esas cifras. A medida que la IA se integre cada vez más en la vida cotidiana, tanto los consumidores como los investigadores exigirán respuestas más claras.

Otras polémicas del sector

Los errores de evaluación comparativa no son exclusivos de OpenAI. Otros actores del sector de la IA se han enfrentado a escrutinios similares. En enero, Epoch se metió en un buen lío tras aceptar financiación no revelada de OpenAI justo antes del anuncio de o3. Por su parte, xAI, de Elon Musk, fue objeto de críticas por modificar supuestamente sus gráficos de referencia para que Grok 3 pareciera mejor de lo que era en realidad. Incluso Meta, uno de los gigantes tecnológicos, admitió recientemente que promocionaba puntuaciones basadas en un modelo que no estaba disponible públicamente. Está claro que la carrera por dominar los titulares se recrudece, y no todos juegan limpio.

De cara al futuro

Aunque estas polémicas puedan parecer desalentadoras, en realidad son un signo de progreso. A medida que el panorama de la IA madura, también lo hace el discurso en torno a la responsabilidad. Los consumidores y los investigadores exigen una mayor transparencia, y eso es bueno. Obliga a las empresas a ser más reflexivas a la hora de presentar sus logros y garantiza que los usuarios no se dejen llevar por exageraciones poco realistas. Al fin y al cabo, el objetivo no debería ser jugar con las cifras, sino crear modelos que realmente hagan avanzar el sector.