O modelo O3 do OpenAI potencialmente mais caro de operar do que se pensava inicialmente

Quando a OpenAI apresentou seu modelo de IA "raciocínio" o3 em dezembro, eles se uniram aos criadores do ARC-AGI, um benchmark projetado para testar os limites das capacidades da IA, para demonstrar o que o o3 poderia fazer. Avançando alguns meses, os resultados foram ajustados, mostrando que o desempenho do o3 pode não ser tão impressionante quanto pensávamos inicialmente.

Na última semana, a Arc Prize Foundation, que supervisiona o ARC-AGI, revisou suas estimativas sobre os custos computacionais para o o3. Inicialmente, eles calcularam que a versão de melhor desempenho do o3, chamada o3 high, custaria cerca de $3.000 para resolver um único problema do ARC-AGI. Mas agora, eles acreditam que é mais próximo de $30.000 por tarefa. Isso é um salto considerável!

Essa revisão destaca o quão caro podem ser os modelos de IA de ponta, especialmente nas fases iniciais. A OpenAI ainda não colocou um preço no o3, nem o lançou para o público. No entanto, a Arc Prize Foundation sugere que o preço do modelo o1-pro da OpenAI pode nos dar uma ideia aproximada do que esperar.

Para contextualizar, o o1-pro é atualmente o modelo mais caro oferecido pela OpenAI.

Mike Knoop, cofundador da Arc Prize Foundation, compartilhou com a TechCrunch: "Acreditamos que o o1-pro é uma comparação mais próxima do verdadeiro custo do o3 ... devido à quantidade de computação em tempo de teste utilizada. Mas isso ainda é uma aproximação, e mantivemos o o3 rotulado como pré-visualização em nosso ranking para refletir a incerteza até que o preço oficial seja anunciado."

Dado o enorme poder computacional que o o3 high supostamente exige, um preço elevado não seria surpreendente. De acordo com a Arc Prize Foundation, o o3 high consumiu 172 vezes mais recursos computacionais do que o o3 low, a versão menos exigente do o3, apenas para enfrentar as tarefas do ARC-AGI.

Também houve muita discussão sobre os possíveis planos de preços da OpenAI para clientes corporativos. No início de março, o The Information relatou que a OpenAI poderia estar planejando cobrar até $20.000 por mês por "agentes" de IA especializados, como um agente desenvolvedor de software.

Alguns podem argumentar que mesmo os modelos mais caros da OpenAI ainda são uma pechincha em comparação com o que você pagaria a um contratado humano ou funcionário. Mas, como o pesquisador de IA Toby Ord destacou no X, esses modelos podem não ser tão eficientes quanto esperamos. Por exemplo, o o3 high precisou de impressionantes 1.024 tentativas em cada tarefa do ARC-AGI para alcançar sua melhor pontuação.