A nova IA do Anthropic: surpreendentemente acessível para treinar

O último modelo de IA da Anthropic, Claude 3.7 Sonnet, foi supostamente treinado por apenas algumas dezenas de milhões de dólares, usando menos de 10^26 FLOPs de poder computacional. Essa informação vem do professor da Wharton, Ethan Mollick, que compartilhou no X que obteve isso diretamente da equipe de relações públicas da Anthropic. Eles disseram a ele: "Fui contatado pela Anthropic, que me disse que o Sonnet 3.7 não seria considerado um modelo de 10^26 FLOP e custou algumas dezenas de milhões de dólares", embora tenham sugerido que modelos futuros seriam muito maiores.

O TechCrunch tentou obter informações da Anthropic, mas não recebeu resposta antes de seu artigo ser publicado.

Se o Claude 3.7 Sonnet realmente custou apenas algumas dezenas de milhões para ser treinado, é bastante impressionante pensar o quanto está ficando mais barato lançar modelos de IA de ponta. Para dar uma ideia, o Claude 3.5, que foi lançado no outono de 2024, também custou algumas dezenas de milhões para ser treinado, segundo o CEO da Anthropic, Dario Amodei.

Quando você compara esses números com o que custou treinar os grandes modelos de 2023, é ainda mais impressionante. A OpenAI gastou mais de US$ 100 milhões para colocar seu modelo GPT-4 em funcionamento, segundo seu CEO, Sam Altman. E o Google? Eles gastaram cerca de US$ 200 milhões em seu modelo Gemini Ultra, se você acreditar em um estudo de Stanford.

Mas espere, Amodei acha que o custo dos futuros modelos de IA pode chegar a bilhões. E lembre-se, os custos de treinamento são apenas uma peça do quebra-cabeça. Há também testes de segurança, pesquisa fundamental e todo esse jazz. Além disso, à medida que o mundo da IA começa a investir em modelos de "raciocínio" que processam problemas por mais tempo, os custos para manter esses modelos funcionando provavelmente continuarão subindo.