Uso de energia do ChatGPT mais baixo do que o esperado

Chatgpt, o chatbot do Openai, pode não ser o consundor de energia que pensamos que era. Porém, seu uso de energia pode variar muito, dependendo de como é usado e quais modelos de IA estão respondendo às perguntas, de acordo com um novo estudo.

A Epoch AI, um grupo de pesquisa sem fins lucrativos, fez uma rachadura em descobrir quanto suco uma consulta típica de ChatGPT usa. Você deve ter ouvido saber que o ChatGPT precisa de cerca de 3 watts para responder a uma única pergunta, que é 10 vezes mais do que uma pesquisa no Google. Mas Epoch acha que isso é um pouco exagerado.

Usando o mais recente modelo padrão do OpenAI, o GPT-4O, como uma referência, a Epoch descobriu que a consulta média do ChatGPT realmente usa cerca de 0,3 watts-hora. Isso é menor do que muitos eletrodomésticos precisam.

"O uso de energia não é realmente grande coisa em comparação com o uso de aparelhos normais ou aquecimento ou resfriamento de sua casa ou dirigindo um carro", disse Joshua You, analista de dados da Epoch, que fez a análise, à TechCrunch.

O uso energético da IA ​​e seu impacto no meio ambiente são um tópico quente, pois as empresas de IA desejam expandir seus data centers como loucos. Na semana passada, mais de 100 organizações assinaram uma carta aberta pedindo à indústria de IA e aos reguladores que garantam que novos data centers de IA não drenam recursos naturais e forçam os serviços públicos a confiar em fontes de energia não renováveis.

Você disse ao TechCrunch que sua análise foi desencadeada pelo que ele via como pesquisa desatualizada. Ele ressaltou que o relatório que apresentou a estimativa de 3 watts-hora assumiu que o OpenAI estava usando chips mais antigos e menos eficientes para executar seus modelos.

"Vi muito discurso público que reconheceu corretamente que a IA consumiria muita energia nos próximos anos, mas não descreveria com precisão a energia que estava indo para a IA hoje", disse você. "Além disso, alguns dos meus colegas notaram que a estimativa mais relatada de 3 watts por consulta foi baseada em pesquisas bastante antigas e, com base em alguma matemática de guardanapo, parecia muito alta".

Claro, a figura de 0,3 watt-hora da época também é apenas uma estimativa. O OpenAI não compartilhou os detalhes necessários para fazer um cálculo preciso.

A análise também não leva em consideração os custos extras de energia dos recursos do ChatGPT, como geração de imagens ou processamento de longas entradas. Você admitiu que as consultas ChatGPT de "entrada longa" - como aquelas com arquivos longos anexados - provavelmente usam mais eletricidade adiantada do que uma pergunta típica.

Você disse que ele espera que o consumo de energia da linha de base do ChatGPT suba.

"\ [A IA] ficará mais avançada, o treinamento dessa IA provavelmente exigirá muito mais energia, e essa futura IA poderá ser usada com muito mais intensidade - lidando com muito mais tarefas e tarefas mais complexas do que como as pessoas usam o ChatGPT hoje", disse você.

Embora tenha havido alguns avanços legais na eficiência da IA ​​ultimamente, a escala na qual a IA está sendo usada deve impulsionar enorme crescimento de infraestrutura com fome de energia. Nos dois anos seguintes, os data centers de IA podem precisar de quase toda a capacidade de potência de 2022 da Califórnia (68 GW), de acordo com um relatório da RAND. Até 2030, o treinamento de um modelo de fronteira poderia precisar de energia equivalente a oito reatores nucleares (8 GW), o relatório previu.

Somente o chatgpt atinge uma tonelada de pessoas, e esse número está crescendo apenas, o que significa que suas demandas de servidor são enormes. O Openai, juntamente com vários parceiros de investimento, planeja gastar bilhões em novos projetos de data center de IA nos próximos anos.

O foco do OpenAI, juntamente com o restante da indústria de IA, está mudando para modelos de raciocínio. Esses modelos podem realizar mais tarefas, mas precisam de mais poder de computação para ser executado. Ao contrário de modelos como o GPT-4O, que respondem às consultas quase instantaneamente, os modelos de raciocínio "pensam" por segundos a minutos antes de responder, o que usa mais poder de computação-e, portanto, mais energia.

"Os modelos de raciocínio assumirão cada vez mais tarefas que os modelos mais antigos não podem e gerará mais \ [dados \] para fazê -lo e ambos exigem mais data centers", disse você.

O OpenAI começou a lançar modelos de raciocínio mais eficientes em termos de energia como O3-Mini. Mas parece improvável, pelo menos agora, que esses ganhos de eficiência compensarão o aumento das demandas de energia do processo de "pensamento" dos modelos de raciocínio e do crescente uso da IA ​​em todo o mundo.

Você sugeriu que, se você estiver preocupado com sua pegada de energia da IA, use aplicativos como ChatGPT com menos frequência ou escolha modelos que usam menos potência de computação - se for possível.

"Você pode tentar usar modelos menores de IA como \ [Openai's \] GPT-4o-Mini", disse você, "e usá-los com moderação de uma maneira que requer processamento ou geração de uma tonelada de dados".