AI工具揭示了单个聊天机器人提示的能耗
人工智能系统以高能耗著称,但精确测定其能耗,尤其是单个聊天机器人查询的能耗,仍难以捉摸。为解决这一问题,Hugging Face 的一名工程师开发了一种工具,旨在揭示这些隐藏成本。
人工智能基础设施的语言常显得虚无缥缈,频繁提及“云”和其他轻盈的比喻。然而,这层面纱下隐藏着高能耗计算机的现实。人工智能系统需以极快速度执行复杂计算,依赖强大芯片、多个GPU和庞大数据中心。每次向ChatGPT提问,这些组件都会启动,消耗电能。这就是许多聊天机器人对免费层级施加使用限制的原因——电费成本使得托管这些服务的公司开支昂贵。
聊天界面能耗
为了澄清这一模糊领域,Hugging Face 的工程师 Julien Delavande 创建了一个人工智能聊天界面,实时显示对话的能耗估算。该工具不仅比较不同模型、任务和请求的能耗,还突出显示需要推理的提示可能比简单事实查询消耗更多能量。界面以可理解的单位(如瓦时和焦耳)展示能耗,并提供更直观的比较,如手机电量的百分比或行驶时间,数据来源于环境保护署(EPA)。

当我通过聊天界面能耗询问纽约市的天气时,它告诉我该查询消耗了约9.5%的手机电量。点击此估算值,我可以看到其他等效比较,如45分钟的LED灯泡使用、1.21秒的微波炉使用和0.15秒的烤面包机能耗。随着对话继续,机器人在聊天窗口底部显示总能耗和持续时间。
尽管我的查询简单,但需要互联网连接,而机器人缺乏此功能,这可能解释了为何响应耗时90秒且能耗高于预期。即使是估算值,45分钟的LED灯泡使用量也显得惊人,让人们重新审视更复杂、多步骤提示的能耗需求。
虽然只有人工智能公司拥有其系统能耗的精确数据,但研究表明需求正在上升。2024年国际能源署报告预测,到2026年全球电力需求将增长3.4%,部分原因是数据中心的扩张。同样,伯克利实验室报告预计2023至2028年间数据中心增长率将达“13%至27%”。
该工具的发布凸显了 Hugging Face 等开源平台与更封闭的人工智能公司之间的差异。聊天机器人的创建者在公告中表示:“通过 AI Energy Score 等项目和对人工智能能耗足迹的广泛研究,我们在开源社区推动透明度。未来,能耗信息可能像食品营养标签一样清晰可见!”
如何亲自尝试
您可以此处体验该聊天机器人,并切换不同开源模型,包括 Google Gemma 3、Meta 的 Llama 3.3 和 Mistral Nemo Instruct。
想了解更多人工智能故事?订阅我们的每周简讯 Innovation。
相关文章
DeepMind首席执行官哈西里斯:我每天睡六个小时,通常在凌晨1点左右感到精力充沛。
Fortune 最近刊登了对谷歌 DeepMind 首席执行官 Demis Hassabis 的采访,揭示了他对休息和生产力的非传统方法。Hassabis 透露,他睡眠时间非常少,将清醒时间划分为两个不同的工作阶段。关于他的睡眠习惯,Hassabis 表示:“我目标睡六小时,但我的习惯非同寻常。我可以在白天有效运作。”他强调,睡眠少于六小时会对大脑健康产生负面影响。Hassabis 于 2010 年联合创立了 DeepMind(后被谷歌收购),并因其在蛋白质结构预测方面的开创性工作荣获 20
尽管营收未达预期,OpenAI与Anthropic仍在争夺市场份额
尽管近期有报道称OpenAI未达营收目标,给本周二的科技股带来压力,但私营人工智能实验室的投资者仍表现坚韧。经验丰富的投资者已确认,尽管媒体报道负面,他们仍不会减少投资。分析师认为当前的人工智能竞赛仍处于早期阶段,因此不会出现“赢家通吃”的局面。尽管高昂的计算成本给营收带来压力,但实验室可通过提高订阅费来提升盈利能力。行业格局正发生微妙变化与OpenAI不同,其竞争对手Anthropic获得了强有
加利福尼亚州自动驾驶合规:罚单、地理围栏和100万英里的新时代
Guident公司在南佛罗里达州运营一辆AuveTech自动驾驶班车,利用其远程监控技术管理西棕榈滩的一条4英里路线和博卡拉顿的一条1英里路线。| 图片来源:Guident加利福尼亚州正在重新定义无人驾驶车辆的监管格局,正逐渐摆脱科技行业“快速行动,打破常规”的思维模式,转向严格的问责制和严苛的行驶里程要求。Guident执行董事长兼首席执行官哈罗德·布劳恩(Harold Braun)在《机器人报
相关专题推荐
评论 (11)
0/500
プロンプト1つでこれだけ電力を使うの?🤯 普段何気なく質問してるけど、裏では莫大なエネルギー消費があったなんて考えるとゾッとします。環境負荷を無視してAIの進化を語るのは無理がある気がします。透明性のあるツール開発は素晴らしいですが、ユーザー側も消費意識を持つべきですね。
Interesting tool! But I'm curious: how accurate is it? The energy measurement must be tricky with all the server overhead. 😅
Honestly never thought about how much energy one ChatGPT question uses 😳 This makes me reconsider spamming 'regenerate response' so much. The environmental impact of AI is kinda scary when you think about it...
Wow, the energy consumption per chat is surprisingly high! We often overlook the environmental footprint of these AI tools. This makes me wonder how sustainable the current AI boom really is. 🌍
Esta herramienta me parece súper útil! Siempre me preguntaba cuánta energía consume mi bot de chat favorito. Ahora podré elegir modelos más ecológicos 🌱 Quizás deberían implementar algo así en las apps para crear conciencia.
人工智能系统以高能耗著称,但精确测定其能耗,尤其是单个聊天机器人查询的能耗,仍难以捉摸。为解决这一问题,Hugging Face 的一名工程师开发了一种工具,旨在揭示这些隐藏成本。
人工智能基础设施的语言常显得虚无缥缈,频繁提及“云”和其他轻盈的比喻。然而,这层面纱下隐藏着高能耗计算机的现实。人工智能系统需以极快速度执行复杂计算,依赖强大芯片、多个GPU和庞大数据中心。每次向ChatGPT提问,这些组件都会启动,消耗电能。这就是许多聊天机器人对免费层级施加使用限制的原因——电费成本使得托管这些服务的公司开支昂贵。
聊天界面能耗
为了澄清这一模糊领域,Hugging Face 的工程师 Julien Delavande 创建了一个人工智能聊天界面,实时显示对话的能耗估算。该工具不仅比较不同模型、任务和请求的能耗,还突出显示需要推理的提示可能比简单事实查询消耗更多能量。界面以可理解的单位(如瓦时和焦耳)展示能耗,并提供更直观的比较,如手机电量的百分比或行驶时间,数据来源于环境保护署(EPA)。

当我通过聊天界面能耗询问纽约市的天气时,它告诉我该查询消耗了约9.5%的手机电量。点击此估算值,我可以看到其他等效比较,如45分钟的LED灯泡使用、1.21秒的微波炉使用和0.15秒的烤面包机能耗。随着对话继续,机器人在聊天窗口底部显示总能耗和持续时间。
尽管我的查询简单,但需要互联网连接,而机器人缺乏此功能,这可能解释了为何响应耗时90秒且能耗高于预期。即使是估算值,45分钟的LED灯泡使用量也显得惊人,让人们重新审视更复杂、多步骤提示的能耗需求。
虽然只有人工智能公司拥有其系统能耗的精确数据,但研究表明需求正在上升。2024年国际能源署报告预测,到2026年全球电力需求将增长3.4%,部分原因是数据中心的扩张。同样,伯克利实验室报告预计2023至2028年间数据中心增长率将达“13%至27%”。
该工具的发布凸显了 Hugging Face 等开源平台与更封闭的人工智能公司之间的差异。聊天机器人的创建者在公告中表示:“通过 AI Energy Score 等项目和对人工智能能耗足迹的广泛研究,我们在开源社区推动透明度。未来,能耗信息可能像食品营养标签一样清晰可见!”
如何亲自尝试
您可以此处体验该聊天机器人,并切换不同开源模型,包括 Google Gemma 3、Meta 的 Llama 3.3 和 Mistral Nemo Instruct。
想了解更多人工智能故事?订阅我们的每周简讯 Innovation。
DeepMind首席执行官哈西里斯:我每天睡六个小时,通常在凌晨1点左右感到精力充沛。
Fortune 最近刊登了对谷歌 DeepMind 首席执行官 Demis Hassabis 的采访,揭示了他对休息和生产力的非传统方法。Hassabis 透露,他睡眠时间非常少,将清醒时间划分为两个不同的工作阶段。关于他的睡眠习惯,Hassabis 表示:“我目标睡六小时,但我的习惯非同寻常。我可以在白天有效运作。”他强调,睡眠少于六小时会对大脑健康产生负面影响。Hassabis 于 2010 年联合创立了 DeepMind(后被谷歌收购),并因其在蛋白质结构预测方面的开创性工作荣获 20
尽管营收未达预期,OpenAI与Anthropic仍在争夺市场份额
尽管近期有报道称OpenAI未达营收目标,给本周二的科技股带来压力,但私营人工智能实验室的投资者仍表现坚韧。经验丰富的投资者已确认,尽管媒体报道负面,他们仍不会减少投资。分析师认为当前的人工智能竞赛仍处于早期阶段,因此不会出现“赢家通吃”的局面。尽管高昂的计算成本给营收带来压力,但实验室可通过提高订阅费来提升盈利能力。行业格局正发生微妙变化与OpenAI不同,其竞争对手Anthropic获得了强有
プロンプト1つでこれだけ電力を使うの?🤯 普段何気なく質問してるけど、裏では莫大なエネルギー消費があったなんて考えるとゾッとします。環境負荷を無視してAIの進化を語るのは無理がある気がします。透明性のあるツール開発は素晴らしいですが、ユーザー側も消費意識を持つべきですね。
Interesting tool! But I'm curious: how accurate is it? The energy measurement must be tricky with all the server overhead. 😅
Honestly never thought about how much energy one ChatGPT question uses 😳 This makes me reconsider spamming 'regenerate response' so much. The environmental impact of AI is kinda scary when you think about it...
Wow, the energy consumption per chat is surprisingly high! We often overlook the environmental footprint of these AI tools. This makes me wonder how sustainable the current AI boom really is. 🌍
Esta herramienta me parece súper útil! Siempre me preguntaba cuánta energía consume mi bot de chat favorito. Ahora podré elegir modelos más ecológicos 🌱 Quizás deberían implementar algo así en las apps para crear conciencia.





首页






