El modelo O3 de OpenAI potencialmente más costoso de operar de lo que inicialmente pensó

Cuando OpenAI presentó su modelo de IA "razonamiento" o3 en diciembre, se asociaron con los creadores de ARC-AGI, un punto de referencia diseñado para empujar los límites de las capacidades de la IA, para demostrar lo que o3 podía hacer. Avanzamos unos meses, y los resultados han sido ajustados, mostrando que el rendimiento de o3 podría no ser tan deslumbrante como pensamos inicialmente.

La semana pasada, la Fundación Arc Prize, que supervisa ARC-AGI, revisó sus estimaciones sobre los costos computacionales para o3. Inicialmente, calcularon que la versión de mejor rendimiento de o3, llamada o3 high, costaría alrededor de $3,000 para resolver un solo problema de ARC-AGI. Pero ahora, piensan que es más bien como $30,000 por tarea. ¡Eso es un salto considerable!

Esta revisión arroja luz sobre cuán costosos pueden ser los modelos de IA de vanguardia, especialmente en las primeras etapas. OpenAI aún no ha puesto un precio a o3, ni lo ha lanzado al público. Sin embargo, la Fundación Arc Prize sugiere que el precio del modelo o1-pro de OpenAI podría darnos una idea aproximada de qué esperar.

Para dar algo de contexto, o1-pro es actualmente el modelo más caro que ofrece OpenAI.

Mike Knoop, cofundador de la Fundación Arc Prize, compartió con TechCrunch: "Creemos que o1-pro es una comparación más cercana al costo real de o3 ... debido a la cantidad de cómputo en tiempo de prueba utilizado. Pero esto sigue siendo una aproximación, y hemos mantenido a o3 etiquetado como vista previa en nuestra tabla de clasificación para reflejar la incertidumbre hasta que se anuncie el precio oficial."

Dada la enorme potencia computacional que se dice que requiere o3 high, un precio elevado no sería una sorpresa. Según la Fundación Arc Prize, o3 high consumió 172 veces más recursos computacionales que o3 low, la versión menos exigente de o3, solo para abordar las tareas de ARC-AGI.

También ha habido mucho revuelo sobre los posibles planes de precios de OpenAI para clientes empresariales. A principios de marzo, The Information informó que OpenAI podría estar buscando cobrar hasta $20,000 al mes por "agentes" de IA especializados, como un agente desarrollador de software.

Algunos podrían argumentar que incluso los modelos más caros de OpenAI siguen siendo una ganga en comparación con lo que pagarías a un contratista o empleado humano. Pero como señaló el investigador de IA Toby Ord en X, estos modelos podrían no ser tan eficientes como esperamos. Por ejemplo, o3 high necesitó la asombrosa cantidad de 1,024 intentos por cada tarea en ARC-AGI para alcanzar su mejor puntuación.