AI工具揭示了单个聊天机器人提示的能耗

AI系统因其高能消耗而臭名昭著，但要确定确切的能源使用，尤其是对于单个聊天机器人查询，仍然难以捉摸。为了阐明这个问题，一位拥抱的面部工程师开发了一种旨在发现这些隐藏成本的工具。

很容易用AI基础架构的空灵语言迷失，其经常提及“云”和其他通风的隐喻。但是，在这个面纱之下，是能源密集型计算机的现实。 AI系统需要以突破性的速度执行复杂的计算，依靠强大的芯片，多个GPU和庞大的数据中心。每当您提出一个问题以进行研究时，这些组件都会逐渐消耗，消耗电。这就是为什么许多聊天机器人对其免费层次施加使用限制的原因 - 电力成本使计算对于主持这些服务的公司来说是昂贵的事情。

聊天UI能量

为了使这个模糊的区域清晰起见，拥抱脸的工程师朱利安·德拉万德（Julien Delavande）创建了一个AI聊天界面，显示对您的对话的实时能源使用估算。该工具不仅比较了不同模型，任务和请求的能源消耗，而且还强调了需要推理的提示如何比直接发现的事实查询更能消耗能量。该界面在瓦特小时和焦耳等相关指标以及更明显的比较（例如电话费用的百分比或驾驶时间）中提供了能源用法。

当我问聊天UI能源有关纽约市的天气时，它告诉我我的查询使用了大约9.5％的电话费。通过单击此估算值，我可以看到其他等效的比较，例如45分钟的LED使用，微波炉使用1.21秒和0.15秒的烤面包机能量。随着对话的继续，机器人显示了聊天窗口底部的总能量使用和持续时间。

尽管我的查询很简单，但它需要互联网访问，该机器人缺乏互联网访问，这可能解释了为什么它花了90秒，并且能量比预期的要多。即使估计，45分钟的LED灯泡使用似乎令人惊讶地很高，从而透视了更复杂，多步骤提示的能量需求。

尽管只有AI公司对其系统的能源消耗有精确的数据，但研究表明需求正在上升。一份2024年的国际能源机构报告预测，到2026年，全球电力需求增加了3.4％，部分是由于数据中心的扩展所驱动。同样，伯克利实验室的一份报告预计，数据中心的增长率将“ 2023年至2028年之间”“ 13％至27％”。

该工具的发布强调了诸如拥抱面孔和更秘密的AI公司之类的开源平台之间的差异。聊天者在公告中说：“随着AI能源得分和对AI能源足迹的更广泛研究，我们正在推动开源社区的透明度。” “有一天，能量使用可能与食物上的营养标签一样可见！”

如何自己尝试

您可以在此处尝试聊天机器人，并在包括Google Gemma 3，Meta的Llama 3.3和Mismtral Nemo指令的各种开源型号之间进行切换。

对更多的AI故事感兴趣？订阅我们的每周新闻创新。