AI 도구는 단일 챗봇 프롬프트의 에너지 소비를 보여줍니다.
2025년 4월 26일
WillieMiller
0
AI 시스템은 높은 에너지 소비로 악명 높지만, 특히 개별 챗봇 쿼리의 정확한 에너지 사용을 정확히 찾아냅니다. 이 문제를 밝히기 위해 Hugging Face 엔지니어는 이러한 숨겨진 비용을 밝히기위한 도구를 개발했습니다.
AI 인프라의 미묘한 언어로 길을 잃는 것은 쉽고, "클라우드"및 기타 통풍이 잘되는 은유에 대한 자주 언급이 있습니다. 그러나이 베일 아래에는 에너지 집약적 인 컴퓨터의 현실이 있습니다. 브레이크 넥 속도로 복잡한 계산을 수행 해야하는 AI 시스템은 강력한 칩, 다중 GPU 및 방대한 데이터 센터에 의존합니다. Chatgpt에 질문을 할 때 마다이 구성 요소는 전기를 소비하여 작동합니다. 그렇기 때문에 많은 챗봇이 자유 계층에 사용되는 제한을 부과하는 이유입니다. 전기 비용으로 인해 이러한 서비스를 주최하는 회사에 대한 비용이 많이 듭니다.
채팅 UI 에너지
Hugging Face의 엔지니어 인 Julien Delavande는이 어두운 지역에 약간의 명확성을 제공하기 위해 대화에 대한 실시간 에너지 사용 추정치를 표시하는 AI 채팅 인터페이스를 만들었습니다. 이 도구는 다양한 모델, 작업 및 요청의 에너지 소비를 비교할뿐만 아니라 추론을 요구하는 프롬프트가 간단한 사실 찾기 쿼리보다 더 많은 에너지를 소비 할 수있는 방법을 강조합니다. 이 인터페이스는 Watt-Hours 및 Joules와 같은 관련 메트릭에서 에너지 사용과 EPA (Environmental Protection Agency)에서 공급받은 전화 요금 또는 운전 시간 비율과 같은보다 실질적인 비교를 제시합니다.
뉴욕시의 날씨에 대해 Chat UI 에너지를 물었을 때, 내 쿼리가 전화 요금의 약 9.5%를 사용했다고 알려주었습니다. 이 추정치를 클릭하면 45 분의 LED 전구 사용, 1.21 초의 전자 레인지 사용 및 0.15 초의 토스터 에너지와 같은 다른 동등한 비교를 볼 수있었습니다. 대화가 계속됨에 따라 봇은 채팅 창 하단에 총 에너지 사용 및 지속 시간을 표시했습니다.
내 쿼리의 단순성에도 불구하고 인터넷 액세스가 필요했는데, 봇은 부족했으며, 왜 응답 할 것으로 예상되는 것보다 90 초가 걸렸고 더 많은 에너지가 필요한지 설명했습니다. 추정에도 불구하고, 45 분의 LED 전구 사용은 놀랍게도 높은 것처럼 보였고, 더 복잡한 다단계 프롬프트의 에너지 요구를 관점에 두었습니다.
AI 회사만이 시스템의 에너지 소비에 대한 정확한 데이터를 가지고 있지만 연구에 따르면 수요가 증가하고 있다고합니다. 2024 국제 에너지 기관 보고서에 따르면 2026 년까지 전 세계 전기 수요가 3.4% 증가 할 것으로 예상되며, 이는 부분적으로 데이터 센터의 확장에 의해 주도됩니다. 마찬가지로 버클리 랩 보고서는 "2023 년에서 2028 년 사이에 13% ~ 27%의 데이터 센터 성장률을 예상합니다.
이 도구의 출시는 포옹 얼굴과보다 비밀스러운 AI 회사와 같은 오픈 소스 플랫폼의 차이를 강조합니다. "AI 에너지 점수와 AI의 에너지 발자국에 대한 광범위한 연구와 같은 프로젝트를 통해 우리는 오픈 소스 커뮤니티의 투명성을 추진하고 있습니다." "어느 날 에너지 사용량은 음식의 영양 레이블만큼 볼 수 있습니다!"
직접 시도하는 방법
여기에서 챗봇을 실험하고 Google Gemma 3, Meta의 LLAMA 3.3 및 Mistral Nemo Instruct를 포함한 다양한 오픈 소스 모델간에 전환 할 수 있습니다.
더 많은 AI 이야기에 관심이 있습니까? 주간 뉴스 레터 인 Innovation을 구독하십시오.
관련 기사
AI 쇼핑 도구 : 스마트 쇼핑 전략으로 시간과 비용 절감
끝없는 온라인 거래 사냥에 지친 자신이 빈손으로 올라 오는 것을 발견 한 적이 있습니까? 빠르게 진행되는 세상에서 시간과 돈은 소중하고 비효율적 인 쇼핑에 낭비하는 것은 실망 스러울 수 있습니다. 운 좋게도 인공 지능 (AI)은 당신을 간소화하기위한 궁극적 인 해결책으로 발전
포니의 자기 사랑으로의 여정 : 내면의 아름다움을 공개합니다
Rainbow Dash와 Twilight Sparkle과 함께 자기 발견의 여정을 시작하면서 우리는 심오한 자기 사랑의 세계를 탐구합니다. 이 매혹적인 이야기는 독특한 아름다움과 내면의 힘을 받아들이는 것의 중요성을 축하 할뿐만 아니라 수용과 애정도 강조합니다. Twilight 's를 통해
AI의인지 능력 테스트 : 기계가 인간 지능과 일치 할 수 있습니까?
AI가 인간의인지 테스트 매력 지능 (AI)을 통과시키는 데 어려움은 자동차를 자율적으로 운전하는 것에서부터 의료 진단의 도움에 이르기까지 놀라운 진전을 이루었습니다. 그러나 남아있는 질문은 지속됩니다. * AI는 인간을위한인지 테스트를 통과 할 수 있습니까? * AI가 Languag와 같은 분야에서 빛났다.
의견 (0)
0/200
2025년 4월 26일
WillieMiller
0
AI 시스템은 높은 에너지 소비로 악명 높지만, 특히 개별 챗봇 쿼리의 정확한 에너지 사용을 정확히 찾아냅니다. 이 문제를 밝히기 위해 Hugging Face 엔지니어는 이러한 숨겨진 비용을 밝히기위한 도구를 개발했습니다.
AI 인프라의 미묘한 언어로 길을 잃는 것은 쉽고, "클라우드"및 기타 통풍이 잘되는 은유에 대한 자주 언급이 있습니다. 그러나이 베일 아래에는 에너지 집약적 인 컴퓨터의 현실이 있습니다. 브레이크 넥 속도로 복잡한 계산을 수행 해야하는 AI 시스템은 강력한 칩, 다중 GPU 및 방대한 데이터 센터에 의존합니다. Chatgpt에 질문을 할 때 마다이 구성 요소는 전기를 소비하여 작동합니다. 그렇기 때문에 많은 챗봇이 자유 계층에 사용되는 제한을 부과하는 이유입니다. 전기 비용으로 인해 이러한 서비스를 주최하는 회사에 대한 비용이 많이 듭니다.
채팅 UI 에너지
Hugging Face의 엔지니어 인 Julien Delavande는이 어두운 지역에 약간의 명확성을 제공하기 위해 대화에 대한 실시간 에너지 사용 추정치를 표시하는 AI 채팅 인터페이스를 만들었습니다. 이 도구는 다양한 모델, 작업 및 요청의 에너지 소비를 비교할뿐만 아니라 추론을 요구하는 프롬프트가 간단한 사실 찾기 쿼리보다 더 많은 에너지를 소비 할 수있는 방법을 강조합니다. 이 인터페이스는 Watt-Hours 및 Joules와 같은 관련 메트릭에서 에너지 사용과 EPA (Environmental Protection Agency)에서 공급받은 전화 요금 또는 운전 시간 비율과 같은보다 실질적인 비교를 제시합니다.
뉴욕시의 날씨에 대해 Chat UI 에너지를 물었을 때, 내 쿼리가 전화 요금의 약 9.5%를 사용했다고 알려주었습니다. 이 추정치를 클릭하면 45 분의 LED 전구 사용, 1.21 초의 전자 레인지 사용 및 0.15 초의 토스터 에너지와 같은 다른 동등한 비교를 볼 수있었습니다. 대화가 계속됨에 따라 봇은 채팅 창 하단에 총 에너지 사용 및 지속 시간을 표시했습니다.
내 쿼리의 단순성에도 불구하고 인터넷 액세스가 필요했는데, 봇은 부족했으며, 왜 응답 할 것으로 예상되는 것보다 90 초가 걸렸고 더 많은 에너지가 필요한지 설명했습니다. 추정에도 불구하고, 45 분의 LED 전구 사용은 놀랍게도 높은 것처럼 보였고, 더 복잡한 다단계 프롬프트의 에너지 요구를 관점에 두었습니다.
AI 회사만이 시스템의 에너지 소비에 대한 정확한 데이터를 가지고 있지만 연구에 따르면 수요가 증가하고 있다고합니다. 2024 국제 에너지 기관 보고서에 따르면 2026 년까지 전 세계 전기 수요가 3.4% 증가 할 것으로 예상되며, 이는 부분적으로 데이터 센터의 확장에 의해 주도됩니다. 마찬가지로 버클리 랩 보고서는 "2023 년에서 2028 년 사이에 13% ~ 27%의 데이터 센터 성장률을 예상합니다.
이 도구의 출시는 포옹 얼굴과보다 비밀스러운 AI 회사와 같은 오픈 소스 플랫폼의 차이를 강조합니다. "AI 에너지 점수와 AI의 에너지 발자국에 대한 광범위한 연구와 같은 프로젝트를 통해 우리는 오픈 소스 커뮤니티의 투명성을 추진하고 있습니다." "어느 날 에너지 사용량은 음식의 영양 레이블만큼 볼 수 있습니다!"
직접 시도하는 방법
여기에서 챗봇을 실험하고 Google Gemma 3, Meta의 LLAMA 3.3 및 Mistral Nemo Instruct를 포함한 다양한 오픈 소스 모델간에 전환 할 수 있습니다.
더 많은 AI 이야기에 관심이 있습니까? 주간 뉴스 레터 인 Innovation을 구독하십시오.
AI 쇼핑 도구 : 스마트 쇼핑 전략으로 시간과 비용 절감
끝없는 온라인 거래 사냥에 지친 자신이 빈손으로 올라 오는 것을 발견 한 적이 있습니까? 빠르게 진행되는 세상에서 시간과 돈은 소중하고 비효율적 인 쇼핑에 낭비하는 것은 실망 스러울 수 있습니다. 운 좋게도 인공 지능 (AI)은 당신을 간소화하기위한 궁극적 인 해결책으로 발전
포니의 자기 사랑으로의 여정 : 내면의 아름다움을 공개합니다
Rainbow Dash와 Twilight Sparkle과 함께 자기 발견의 여정을 시작하면서 우리는 심오한 자기 사랑의 세계를 탐구합니다. 이 매혹적인 이야기는 독특한 아름다움과 내면의 힘을 받아들이는 것의 중요성을 축하 할뿐만 아니라 수용과 애정도 강조합니다. Twilight 's를 통해
AI의인지 능력 테스트 : 기계가 인간 지능과 일치 할 수 있습니까?
AI가 인간의인지 테스트 매력 지능 (AI)을 통과시키는 데 어려움은 자동차를 자율적으로 운전하는 것에서부터 의료 진단의 도움에 이르기까지 놀라운 진전을 이루었습니다. 그러나 남아있는 질문은 지속됩니다. * AI는 인간을위한인지 테스트를 통과 할 수 있습니까? * AI가 Languag와 같은 분야에서 빛났다.
온라인 데이터 개인 정보를 되 찾는 5 가지 쉬운 단계 - 오늘 시작하십시오.
