AI工具揭示了單個聊天機器人提示的能耗
AI系統以高能耗著稱,但精確計算其能耗,特別是單個聊天機器人查詢的能耗,仍難以捉摸。為了解決此問題,Hugging Face的一位工程師開發了一款工具,旨在揭示這些隱藏成本。
AI基礎設施的語言常顯抽象,頻繁提及「雲端」等空靈隱喻。然而,這層面紗下隱藏的是高能耗的電腦現實。AI系統需以極快速度執行複雜計算,依賴強大晶片、多個GPU和龐大資料中心。每次向ChatGPT提問,這些元件即啟動,消耗電力。因此,許多聊天機器人對免費層級設使用限制——電力成本使這些服務的運算成本高昂。
聊天介面能耗
為釐清這一模糊領域,Hugging Face的工程師Julien Delavande創建了一款AI聊天介面,顯示對話的即時能耗估計。此工具不僅比較不同模型、任務和請求的能耗,還突顯需推理的提示可能比簡單事實查詢消耗更多能量。介面以瓦時和焦耳等易懂單位呈現能耗,並提供更具體的比較,如手機電量百分比或行車時間,數據來自環境保護署(EPA)。

當我向聊天介面能耗詢問紐約市天氣時,它告知我的查詢使用了約9.5%的手機電量。點擊此估計,我可看到其他等效比較,如45分鐘的LED燈泡使用、1.21秒的微波爐使用和0.15秒的烤麵包機能耗。隨著對話繼續,機器人在聊天視窗底部顯示總能耗和持續時間。
儘管我的查詢簡單,但需網路連線,機器人缺乏此功能,可能解釋為何回應耗時90秒且能耗高於預期。即使是估計值,45分鐘的LED燈泡使用量也顯得驚人,凸顯更複雜多步驟提示的能耗需求。
雖然只有AI公司擁有其系統能耗的精確數據,但研究顯示需求正上升。2024年國際能源署報告預測,到2026年全球電力需求將增長3.4%,部分由資料中心擴張驅動。伯克利實驗室報告同樣預測,2023至2028年間資料中心增長率為「13%至27%」。
此工具的發布突顯了Hugging Face等開源平台與較為保密的AI公司的差異。「透過AI能源評分等項目及對AI能耗足跡的廣泛研究,我們在開源社群推動透明度,」聊天創作者在公告中表示。「有朝一日,能耗數據可能像食品營養標籤一樣清晰可見!」
如何親自體驗
您可在此體驗聊天機器人,並在Google Gemma 3、Meta的Llama 3.3和Mistral Nemo Instruct等多種開源模型間切換。
對更多AI故事感興趣?訂閱我們的每周新聞信Innovation。
相關文章
百度健康內部測試 AI 醫生助理「DoctorClaw」,短期內將用於學術資料檢索與辦公室輔助
據報導,百度健康已開始對一款專為醫師設計的專業 AI 智慧助理進行內部測試。這款內部代號為「DoctorClaw」(龍蝦醫生版)的產品,標誌著百度在醫療領域部署大型語言模型方面邁出了重要一步。知情人士透露,該專案目前仍處於封閉開發階段,現已進入內部測試。雖然具體產品形式尚未完全公開,但已接近推出。 就功能而言,DoctorClaw 初期將聚焦於學術文獻檢索與常規診間輔助。然而,其長期戰略旨在深度融
《Cursor Composer 2》對決《Claude Opus 4.6》:效能測試引發新一輪 AI 程式設計辯論
3月19日,Cursor 正式發布其自主研發的編碼模型 Composer 2。 這項公告在開發者社群中立即引發熱議——根據 Cursor 的說法,Composer 2 在 Terminal-Bench 2.0 上的得分為 61.7%,在相同的測試條件下,顯著超越了 Claude Opus 4.6 的 58.0%。Anthropic 的旗艦模型,竟被自家 IDE 內建的模型超越?隨著消息傳開,相關辯
StrictlyVC 舊金山站將匯聚 TDK Ventures、Replit 等企業的領導者
今年首場 StrictlyVC 活動即將在舊金山登場,時間比你想像的還要快。 4月30日於菲律賓文化中心(Sentro Filipino Cultural Center)舉辦的聚會門票現仍開放購買,現場將有陣容強大的講者陣容。除了StrictlyVC一貫以人脈拓展與社群互動著稱外,這場舊金山活動對於尋求最新募資洞見的人工智慧創新者與創辦人而言,將具有特別的價值。誰將登上舞台門票現已開售,但若您尚未
相關專題推薦
評論 (9)
0/500
Honestly never thought about how much energy one ChatGPT question uses 😳 This makes me reconsider spamming 'regenerate response' so much. The environmental impact of AI is kinda scary when you think about it...
Wow, the energy consumption per chat is surprisingly high! We often overlook the environmental footprint of these AI tools. This makes me wonder how sustainable the current AI boom really is. 🌍
Esta herramienta me parece súper útil! Siempre me preguntaba cuánta energía consume mi bot de chat favorito. Ahora podré elegir modelos más ecológicos 🌱 Quizás deberían implementar algo así en las apps para crear conciencia.
This tool is eye-opening! It's wild to think how much energy a single chatbot prompt uses. Makes me wonder if AI's gonna need its own power plant soon 😅. Great work by Hugging Face for digging into this!
Dieses KI-Tool von Hugging Face ist aufschlussreich! Es ist verrückt zu sehen, wie viel Energie eine einzelne Chatbot-Anfrage verbrauchen kann. Das lässt einen zweimal über diese lässigen Gespräche nachdenken. Könnte eine etwas benutzerfreundlichere Oberfläche gebrauchen, aber trotzdem, es ist ziemlich cool! 🌍
AI系統以高能耗著稱,但精確計算其能耗,特別是單個聊天機器人查詢的能耗,仍難以捉摸。為了解決此問題,Hugging Face的一位工程師開發了一款工具,旨在揭示這些隱藏成本。
AI基礎設施的語言常顯抽象,頻繁提及「雲端」等空靈隱喻。然而,這層面紗下隱藏的是高能耗的電腦現實。AI系統需以極快速度執行複雜計算,依賴強大晶片、多個GPU和龐大資料中心。每次向ChatGPT提問,這些元件即啟動,消耗電力。因此,許多聊天機器人對免費層級設使用限制——電力成本使這些服務的運算成本高昂。
聊天介面能耗
為釐清這一模糊領域,Hugging Face的工程師Julien Delavande創建了一款AI聊天介面,顯示對話的即時能耗估計。此工具不僅比較不同模型、任務和請求的能耗,還突顯需推理的提示可能比簡單事實查詢消耗更多能量。介面以瓦時和焦耳等易懂單位呈現能耗,並提供更具體的比較,如手機電量百分比或行車時間,數據來自環境保護署(EPA)。

當我向聊天介面能耗詢問紐約市天氣時,它告知我的查詢使用了約9.5%的手機電量。點擊此估計,我可看到其他等效比較,如45分鐘的LED燈泡使用、1.21秒的微波爐使用和0.15秒的烤麵包機能耗。隨著對話繼續,機器人在聊天視窗底部顯示總能耗和持續時間。
儘管我的查詢簡單,但需網路連線,機器人缺乏此功能,可能解釋為何回應耗時90秒且能耗高於預期。即使是估計值,45分鐘的LED燈泡使用量也顯得驚人,凸顯更複雜多步驟提示的能耗需求。
雖然只有AI公司擁有其系統能耗的精確數據,但研究顯示需求正上升。2024年國際能源署報告預測,到2026年全球電力需求將增長3.4%,部分由資料中心擴張驅動。伯克利實驗室報告同樣預測,2023至2028年間資料中心增長率為「13%至27%」。
此工具的發布突顯了Hugging Face等開源平台與較為保密的AI公司的差異。「透過AI能源評分等項目及對AI能耗足跡的廣泛研究,我們在開源社群推動透明度,」聊天創作者在公告中表示。「有朝一日,能耗數據可能像食品營養標籤一樣清晰可見!」
如何親自體驗
您可在此體驗聊天機器人,並在Google Gemma 3、Meta的Llama 3.3和Mistral Nemo Instruct等多種開源模型間切換。
對更多AI故事感興趣?訂閱我們的每周新聞信Innovation。
百度健康內部測試 AI 醫生助理「DoctorClaw」,短期內將用於學術資料檢索與辦公室輔助
據報導,百度健康已開始對一款專為醫師設計的專業 AI 智慧助理進行內部測試。這款內部代號為「DoctorClaw」(龍蝦醫生版)的產品,標誌著百度在醫療領域部署大型語言模型方面邁出了重要一步。知情人士透露,該專案目前仍處於封閉開發階段,現已進入內部測試。雖然具體產品形式尚未完全公開,但已接近推出。 就功能而言,DoctorClaw 初期將聚焦於學術文獻檢索與常規診間輔助。然而,其長期戰略旨在深度融
《Cursor Composer 2》對決《Claude Opus 4.6》:效能測試引發新一輪 AI 程式設計辯論
3月19日,Cursor 正式發布其自主研發的編碼模型 Composer 2。 這項公告在開發者社群中立即引發熱議——根據 Cursor 的說法,Composer 2 在 Terminal-Bench 2.0 上的得分為 61.7%,在相同的測試條件下,顯著超越了 Claude Opus 4.6 的 58.0%。Anthropic 的旗艦模型,竟被自家 IDE 內建的模型超越?隨著消息傳開,相關辯
StrictlyVC 舊金山站將匯聚 TDK Ventures、Replit 等企業的領導者
今年首場 StrictlyVC 活動即將在舊金山登場,時間比你想像的還要快。 4月30日於菲律賓文化中心(Sentro Filipino Cultural Center)舉辦的聚會門票現仍開放購買,現場將有陣容強大的講者陣容。除了StrictlyVC一貫以人脈拓展與社群互動著稱外,這場舊金山活動對於尋求最新募資洞見的人工智慧創新者與創辦人而言,將具有特別的價值。誰將登上舞台門票現已開售,但若您尚未
Honestly never thought about how much energy one ChatGPT question uses 😳 This makes me reconsider spamming 'regenerate response' so much. The environmental impact of AI is kinda scary when you think about it...
Wow, the energy consumption per chat is surprisingly high! We often overlook the environmental footprint of these AI tools. This makes me wonder how sustainable the current AI boom really is. 🌍
Esta herramienta me parece súper útil! Siempre me preguntaba cuánta energía consume mi bot de chat favorito. Ahora podré elegir modelos más ecológicos 🌱 Quizás deberían implementar algo así en las apps para crear conciencia.
This tool is eye-opening! It's wild to think how much energy a single chatbot prompt uses. Makes me wonder if AI's gonna need its own power plant soon 😅. Great work by Hugging Face for digging into this!
Dieses KI-Tool von Hugging Face ist aufschlussreich! Es ist verrückt zu sehen, wie viel Energie eine einzelne Chatbot-Anfrage verbrauchen kann. Das lässt einen zweimal über diese lässigen Gespräche nachdenken. Könnte eine etwas benutzerfreundlichere Oberfläche gebrauchen, aber trotzdem, es ist ziemlich cool! 🌍





首頁






