AI 도구는 단일 챗봇 프롬프트의 에너지 소비를 보여줍니다.

AI 시스템은 높은 에너지 소비로 악명이 높지만, 특히 개별 챗봇 질의에 대한 정확한 에너지 사용량을 파악하는 것은 여전히 어려운 일입니다. 이 문제를 조명하기 위해 Hugging Face의 엔지니어가 이러한 숨겨진 비용을 밝혀내는 도구를 개발했습니다.

AI 인프라의 "클라우드"와 같은 공기놀이 같은 비유적 언어에 쉽게 빠져들 수 있습니다. 그러나 이 베일 아래에는 에너지 집약적인 컴퓨터의 현실이 있습니다. 복잡한 계산을 빠른 속도로 수행해야 하는 AI 시스템은 강력한 칩, 다수의 GPU, 그리고 방대한 데이터 센터에 의존합니다. ChatGPT에 질문을 던질 때마다 이러한 구성 요소들이 작동하며 전기를 소비합니다. 이것이 많은 챗봇이 무료 tier에서 사용 제한을 두는 이유입니다—전기 비용은 이러한 서비스를 호스팅하는 회사들에게 계산 비용을 비싸게 만듭니다.

Chat UI Energy

이 불투명한 영역에 명확성을 더하기 위해 Hugging Face의 엔지니어 Julien Delavande는 대화의 실시간 에너지 사용 추정치를 표시하는 AI 챗 인터페이스를 만들었습니다. 이 도구는 다양한 모델, 작업, 요청의 에너지 소비를 비교할 뿐만 아니라, 추론이 필요한 프롬프트가 단순한 사실 확인 질의보다 더 많은 에너지를 소비할 수 있음을 보여줍니다. 인터페이스는 Watt-hours와 Joules와 같은 이해하기 쉬운 단위로 에너지 사용량을 제시하며, Environmental Protection Agency (EPA)에서 가져온 휴대폰 충전량 비율이나 운전 시간과 같은 더 구체적인 비교도 제공합니다.

Chat UI Energy에 뉴욕시의 날씨를 물었을 때, 내 질의가 약 9.5%의 휴대폰 충전량을 사용했다고 알려주었습니다. 이 추정치를 클릭하면 LED 전구 사용 45분, 전자레인지 사용 1.21초, 토스터 에너지 0.15초와 같은 다른 동등한 비교를 볼 수 있었습니다. 대화가 계속되면서 봇은 채팅 창 하단에 총 에너지 사용량과 시간을 표시했습니다.

내 질의가 단순했음에도 불구하고, 봇이 인터넷에 액세스할 수 없었기 때문에 응답에 90초와 예상보다 더 많은 에너지가 소요되었을 가능성이 있습니다. 추정치로도 LED 전구 사용 45분은 놀라울 정도로 높게 느껴졌으며, 더 복잡한 다단계 프롬프트의 에너지 수요를 실감하게 했습니다.

AI 회사들만이 시스템의 에너지 소비에 대한 정확한 데이터를 가지고 있지만, 연구에 따르면 수요가 증가하고 있습니다. 2024 International Energy Agency 보고서는 데이터 센터의 확장으로 인해 2026년까지 글로벌 전력 수요가 3.4% 증가할 것으로 예측합니다. 마찬가지로 Berkeley Lab 보고서는 "2023년에서 2028년 사이 데이터 센터 성장률이 13%에서 27%에 이를 것"이라고 예상합니다.

이 도구의 출시는 Hugging Face와 같은 오픈소스 플랫폼과 더 비밀스러운 AI 회사들 간의 차이를 강조합니다. "AI Energy Score와 같은 프로젝트와 AI의 에너지 발자국에 대한 광범위한 연구를 통해 우리는 오픈소스 커뮤니티에서 투명성을 추구하고 있습니다,"라고 챗의 제작자들은 발표에서 밝혔습니다. "언젠가는 에너지 사용량이 식품의 영양 라벨처럼 가시화될 수 있을 것입니다!"

직접 사용해보는 방법

여기 here에서 챗봇을 실험해볼 수 있으며, Google Gemma 3, Meta의 Llama 3.3, Mistral Nemo Instruct를 포함한 다양한 오픈소스 모델 간에 전환할 수 있습니다.

더 많은 AI 이야기에 관심이 있으신가요? 우리의 주간 뉴스레터 Innovation을 구독하세요.