AI工具揭示了單個聊天機器人提示的能耗

AI系統因其高能消耗而臭名昭著，但要確定確切的能源使用，尤其是對於單個聊天機器人查詢，仍然難以捉摸。為了闡明這個問題，一位擁抱的面部工程師開發了一種旨在發現這些隱藏成本的工具。

很容易用AI基礎架構的空靈語言迷失，其經常提及“雲”和其他通風的隱喻。但是，在這個面紗之下，是能源密集型計算機的現實。 AI系統需要以突破性的速度執行複雜的計算，依靠強大的芯片，多個GPU和龐大的數據中心。每當您提出一個問題以進行研究時，這些組件都會逐漸消耗，消耗電。這就是為什麼許多聊天機器人對其免費層次施加使用限制的原因 - 電力成本使計算對於主持這些服務的公司來說是昂貴的事情。

聊天UI能量

為了使這個模糊的區域清晰起見，擁抱臉的工程師朱利安·德拉萬德（Julien Delavande）創建了一個AI聊天界面，顯示對您的對話的實時能源使用估算。該工具不僅比較了不同模型，任務和請求的能源消耗，而且還強調了需要推理的提示如何比直接發現的事實查詢更能消耗能量。該界面在瓦特小時和焦耳等相關指標以及更明顯的比較（例如電話費用的百分比或駕駛時間）中提供了能源用法。

當我問聊天UI能源有關紐約市的天氣時，它告訴我我的查詢使用了大約9.5％的電話費。通過單擊此估算值，我可以看到其他等效的比較，例如45分鐘的LED使用，微波爐使用1.21秒和0.15秒的烤麵包機能量。隨著對話的繼續，機器人顯示了聊天窗口底部的總能量使用和持續時間。

儘管我的查詢很簡單，但它需要互聯網訪問，該機器人缺乏互聯網訪問，這可能解釋了為什麼它花了90秒，並且能量比預期的要多。即使估計，45分鐘的LED燈泡使用似乎令人驚訝地很高，從而透視了更複雜，多步驟提示的能量需求。

儘管只有AI公司對其係統的能源消耗有精確的數據，但研究表明需求正在上升。一份2024年的國際能源機構報告預測，到2026年，全球電力需求增加了3.4％，部分是由於數據中心的擴展所驅動。同樣，伯克利實驗室的一份報告預計，數據中心的增長率將“ 2023年至2028年之間”“ 13％至27％”。

該工具的發布強調了諸如擁抱面孔和更秘密的AI公司之類的開源平台之間的差異。聊天者在公告中說：“隨著AI能源得分和對AI能源足蹟的更廣泛研究，我們正在推動開源社區的透明度。” “有一天，能量使用可能與食物上的營養標籤一樣可見！”

如何自己嘗試

您可以在此處嘗試聊天機器人，並在包括Google Gemma 3，Meta的Llama 3.3和Mismtral Nemo指令的各種開源型號之間進行切換。

對更多的AI故事感興趣？訂閱我們的每週新聞創新。