AIツールは、単一のチャットボットプロンプトのエネルギー消費を明らかにします

AIシステムは、高エネルギー消費で有名ですが、特に個々のチャットボットクエリの正確なエネルギー使用を正確に特定することはとらえどころのないままです。この問題に光を当てるために、ハグするフェイスエンジニアは、これらの隠れたコストを明らかにすることを目的としたツールを開発しました。

「クラウド」やその他の風通しの良いメタファーへの頻繁な言及により、AIインフラストラクチャのエーテル言語で迷子になるのは簡単です。しかし、このベールの下には、エネルギー集約型のコンピューターの現実があります。 AIシステムは、猛烈な速度で複雑な計算を実行する必要があり、強力なチップ、複数のGPU、および膨大なデータセンターに依存しています。 ChatGptに質問をするたびに、これらのコンポーネントは動き出し、電力を消費します。これが、多くのチャットボットが無料の層に使用制限を課す理由です。電力のコストにより、これらのサービスをホストする企業にとってコンピューティングが高価になります。

チャットUIエネルギー

この暗い地域にある程度の明確さをもたらすために、Hugging FaceのエンジニアであるJulien Delavandeは、会話のリアルタイムエネルギー使用量を表示するAIチャットインターフェイスを作成しました。このツールは、さまざまなモデル、タスク、リクエストのエネルギー消費を比較するだけでなく、推論を必要とするプロンプトが、簡単な事実調査クエリよりも多くのエネルギーを消費する方法を強調しています。このインターフェイスは、ワット時間やジュールなどの関連性のあるメトリックでのエネルギー使用量を提供し、環境保護庁（EPA）から供給された電話料金や運転時間の割合などのより具体的な比較を示します。

ニューヨーク市の天気についてChat UI Energyに尋ねたとき、私の質問は電話料金の約9.5％を使用していることを知らせました。この推定をクリックすると、45分間のLED電球の使用、1.21秒のマイクロ波使用、0.15秒のトースターエネルギーなど、他の同等の比較を見ることができました。会話が続くにつれて、ボットはチャットウィンドウの下部にエネルギーの合計使用と期間を表示しました。

私のクエリのシンプルさにもかかわらず、ボットに欠けていたインターネットアクセスが必要であり、おそらく応答する予定よりも90秒かかり、エネルギーが多い理由を説明した可能性があります。推定としても、45分間のLED電球の使用は驚くほど高く、より複雑なマルチステッププロンプトのエネルギー需要を視野に入れました。

AI企業のみがシステムのエネルギー消費に関する正確なデータを持っていますが、研究は需要が増加していることを示唆しています。 2024年の国際エネルギー機関レポートは、2026年までに世界的な電力需要が3.4％増加すると予測しており、一部はデータセンターの拡大によって推進されています。同様に、バークレーラボレポートでは、データセンターの成長率は「2023年から2028年の間に13％から27％」の成長率を予測しています。

このツールのリリースは、顔を抱きしめるなどのオープンソースプラットフォームとより秘密のAI企業の違いを強調しています。 「AIエネルギースコアやAIのエネルギーフットプリントに関するより広範な研究などのプロジェクトにより、私たちはオープンソースコミュニティの透明性を求めています」とチャットのクリエイターは発表で述べています。 「ある日、エネルギーの使用は、食物の栄養ラベルと同じくらい見えるかもしれません！」

自分で試す方法

ここでチャットボットを試して、Google Gemma 3、MetaのLlama 3.3、Mistral Nemo Instruceなど、さまざまなオープンソースモデルを切り替えることができます。

より多くのAIストーリーに興味がありますか？毎週のニュースレターであるInnovationを購読してください。