A ferramenta de IA revela o consumo de energia de um único prompt de chatbot

Os sistemas de IA são notórios por seu alto consumo de energia, mas identificar o uso exato de energia, especialmente para consultas individuais de chatbot, permanece indescritível. Para esclarecer esse assunto, um engenheiro de rosto abraçado desenvolveu uma ferramenta destinada a descobrir esses custos ocultos.

É fácil se perder na linguagem etérea da infraestrutura de IA, com suas frequentes referências a "a nuvem" e outras metáforas arejadas. No entanto, sob esse véu está uma realidade de computadores intensivos em energia. Os sistemas de IA, que precisam executar cálculos complexos em velocidades vertiginosas, dependem de chips poderosos, várias GPUs e vastos data centers. Toda vez que você faz uma pergunta para o ChatGPT, esses componentes entram em ação, consumindo eletricidade. É por isso que muitos chatbots impõem limites de uso em suas camadas gratuitas - o custo da eletricidade torna a computação um caso caro para as empresas que hospedam esses serviços.

Chat Ui Energy

Para trazer alguma clareza para esta área escura, Julien Delavande, engenheiro da Hugging Face, criou uma interface de bate-papo de IA que exibe estimativas de uso de energia em tempo real para suas conversas. Essa ferramenta não apenas compara o consumo de energia de diferentes modelos, tarefas e solicitações, mas também destaca como um rápido que exige raciocínio pode consumir mais energia do que uma consulta direta para encontrar fatos. A interface apresenta o uso de energia em métricas relacionáveis, como Watt-Hours e Joules, além de comparações mais tangíveis, como a porcentagem de cobrança por telefone ou tempo de condução, proveniente da Agência de Proteção Ambiental (EPA).

Quando perguntei a UI Energy sobre o clima na cidade de Nova York, ele me informou que minha consulta usava cerca de 9,5% de uma taxa de telefone. Ao clicar nessa estimativa, pude ver outras comparações equivalentes, como 45 minutos de uso da lâmpada LED, 1,21 segundos de uso de microondas e 0,15 segundos de energia da torradeira. Enquanto a conversa continuava, o bot exibia o uso e a duração total de energia na parte inferior da janela de bate -papo.

Apesar da simplicidade da minha consulta, exigia acesso à Internet, que faltava o bot, possivelmente explicando por que demorou 90 segundos e mais energia do que o previsto para responder. Mesmo como uma estimativa, 45 minutos de uso da lâmpada LED pareciam surpreendentemente altos, colocando em perspectiva as demandas de energia de instruções mais complexas e de várias etapas.

Embora apenas as empresas de IA tenham dados precisos sobre o consumo de energia de seus sistemas, os estudos sugerem que a demanda está em ascensão. Um relatório da Agência Internacional de Energia de 2024 prevê um aumento global da demanda de eletricidade de 3,4% até 2026, parcialmente impulsionado pela expansão de data centers. Da mesma forma, um relatório de laboratório de Berkeley antecipa as taxas de crescimento de data center de "13% a 27% entre 2023 e 2028".

O lançamento desta ferramenta ressalta a diferença entre plataformas de código aberto, como abraçar o rosto e empresas de IA mais secretas. "Com projetos como a pontuação energética da IA ​​e pesquisas mais amplas sobre a pegada de energia da IA, estamos pressionando por transparência na comunidade de código aberto", afirmou os criadores do bate-papo em seu anúncio. "Um dia, o uso de energia pode ser tão visível quanto os rótulos de nutrição sobre comida!"

Como experimentar você mesmo

Você pode experimentar o chatbot aqui e alternar entre vários modelos de código aberto, incluindo o Google Gemma 3, o Meta's Llama 3.3 e o Mistral Nemo Instruct.

Interessado em mais histórias de IA? Inscreva -se na inovação, nosso boletim semanal.