AI工具揭示了单个聊天机器人提示的能耗
人工智能系统以高能耗著称,但精确测定其能耗,尤其是单个聊天机器人查询的能耗,仍难以捉摸。为解决这一问题,Hugging Face 的一名工程师开发了一种工具,旨在揭示这些隐藏成本。
人工智能基础设施的语言常显得虚无缥缈,频繁提及“云”和其他轻盈的比喻。然而,这层面纱下隐藏着高能耗计算机的现实。人工智能系统需以极快速度执行复杂计算,依赖强大芯片、多个GPU和庞大数据中心。每次向ChatGPT提问,这些组件都会启动,消耗电能。这就是许多聊天机器人对免费层级施加使用限制的原因——电费成本使得托管这些服务的公司开支昂贵。
聊天界面能耗
为了澄清这一模糊领域,Hugging Face 的工程师 Julien Delavande 创建了一个人工智能聊天界面,实时显示对话的能耗估算。该工具不仅比较不同模型、任务和请求的能耗,还突出显示需要推理的提示可能比简单事实查询消耗更多能量。界面以可理解的单位(如瓦时和焦耳)展示能耗,并提供更直观的比较,如手机电量的百分比或行驶时间,数据来源于环境保护署(EPA)。

当我通过聊天界面能耗询问纽约市的天气时,它告诉我该查询消耗了约9.5%的手机电量。点击此估算值,我可以看到其他等效比较,如45分钟的LED灯泡使用、1.21秒的微波炉使用和0.15秒的烤面包机能耗。随着对话继续,机器人在聊天窗口底部显示总能耗和持续时间。
尽管我的查询简单,但需要互联网连接,而机器人缺乏此功能,这可能解释了为何响应耗时90秒且能耗高于预期。即使是估算值,45分钟的LED灯泡使用量也显得惊人,让人们重新审视更复杂、多步骤提示的能耗需求。
虽然只有人工智能公司拥有其系统能耗的精确数据,但研究表明需求正在上升。2024年国际能源署报告预测,到2026年全球电力需求将增长3.4%,部分原因是数据中心的扩张。同样,伯克利实验室报告预计2023至2028年间数据中心增长率将达“13%至27%”。
该工具的发布凸显了 Hugging Face 等开源平台与更封闭的人工智能公司之间的差异。聊天机器人的创建者在公告中表示:“通过 AI Energy Score 等项目和对人工智能能耗足迹的广泛研究,我们在开源社区推动透明度。未来,能耗信息可能像食品营养标签一样清晰可见!”
如何亲自尝试
您可以此处体验该聊天机器人,并切换不同开源模型,包括 Google Gemma 3、Meta 的 Llama 3.3 和 Mistral Nemo Instruct。
想了解更多人工智能故事?订阅我们的每周简讯 Innovation。
相关文章
随着印度加快科技发展步伐,信实集团公布了1100亿美元的人工智能投资计划
印度信实集团(Reliance)亿万富翁董事长穆凯什·安巴尼(Mukesh Ambani)周四宣布了一项投资10万亿卢比(约合1100亿美元)的计划,将在未来七年内在印度各地建设人工智能计算基础设施。安巴尼周四在新德里举行的“印度人工智能影响力峰会”上表示,这笔投资将用于建设吉瓦级数据中心、全国性的边缘计算网络,以及与信实集团旗下Jio电信平台集成的新人工智能服务。安巴尼指出,信实集团已在古吉拉特
智源WITA通过首次合规申报,结束了“裸机”机器人交互
具身智能领域已达成一个重要里程碑。据上海市网络信息办公室最新公告,智源研发的WITA大模型已成功完成备案,成为国内首个合规部署的具身智能交互大模型。这一成就远不止于获得许可证。WITA的核心目标是让类人机器人能够真正进行对话、感知情感并发展出鲜明的个性。该模型专为机器人交互场景设计,通过自然且富有情感表达的沟通,将冰冷的机械躯体转变为拥有连续记忆和个性特征的“硅基伙伴”。 作为交互智能部署的核心引
一项人类学研究指出,经过精心打磨的人工智能内容会导致人类思考能力的下降
当你看到人工智能瞬间生成一段结构严谨、逻辑清晰的代码或文档时,是否会不假思索地选择相信它?据AIbase报道,领先的人工智能公司Anthropic最近发布了一份题为《AI流利度指数》的研究报告。 在分析了近10,000份匿名Claude对话样本后,该研究揭示了一个令人担忧的趋势:AI生成的内容看起来越是精炼,用户就越不愿意去核实事实。报告显示,当Claude生成小型应用程序、网页代码或格式化文档等
相关专题推荐
评论 (9)
0/500
Honestly never thought about how much energy one ChatGPT question uses 😳 This makes me reconsider spamming 'regenerate response' so much. The environmental impact of AI is kinda scary when you think about it...
Wow, the energy consumption per chat is surprisingly high! We often overlook the environmental footprint of these AI tools. This makes me wonder how sustainable the current AI boom really is. 🌍
Esta herramienta me parece súper útil! Siempre me preguntaba cuánta energía consume mi bot de chat favorito. Ahora podré elegir modelos más ecológicos 🌱 Quizás deberían implementar algo así en las apps para crear conciencia.
This tool is eye-opening! It's wild to think how much energy a single chatbot prompt uses. Makes me wonder if AI's gonna need its own power plant soon 😅. Great work by Hugging Face for digging into this!
Dieses KI-Tool von Hugging Face ist aufschlussreich! Es ist verrückt zu sehen, wie viel Energie eine einzelne Chatbot-Anfrage verbrauchen kann. Das lässt einen zweimal über diese lässigen Gespräche nachdenken. Könnte eine etwas benutzerfreundlichere Oberfläche gebrauchen, aber trotzdem, es ist ziemlich cool! 🌍
人工智能系统以高能耗著称,但精确测定其能耗,尤其是单个聊天机器人查询的能耗,仍难以捉摸。为解决这一问题,Hugging Face 的一名工程师开发了一种工具,旨在揭示这些隐藏成本。
人工智能基础设施的语言常显得虚无缥缈,频繁提及“云”和其他轻盈的比喻。然而,这层面纱下隐藏着高能耗计算机的现实。人工智能系统需以极快速度执行复杂计算,依赖强大芯片、多个GPU和庞大数据中心。每次向ChatGPT提问,这些组件都会启动,消耗电能。这就是许多聊天机器人对免费层级施加使用限制的原因——电费成本使得托管这些服务的公司开支昂贵。
聊天界面能耗
为了澄清这一模糊领域,Hugging Face 的工程师 Julien Delavande 创建了一个人工智能聊天界面,实时显示对话的能耗估算。该工具不仅比较不同模型、任务和请求的能耗,还突出显示需要推理的提示可能比简单事实查询消耗更多能量。界面以可理解的单位(如瓦时和焦耳)展示能耗,并提供更直观的比较,如手机电量的百分比或行驶时间,数据来源于环境保护署(EPA)。

当我通过聊天界面能耗询问纽约市的天气时,它告诉我该查询消耗了约9.5%的手机电量。点击此估算值,我可以看到其他等效比较,如45分钟的LED灯泡使用、1.21秒的微波炉使用和0.15秒的烤面包机能耗。随着对话继续,机器人在聊天窗口底部显示总能耗和持续时间。
尽管我的查询简单,但需要互联网连接,而机器人缺乏此功能,这可能解释了为何响应耗时90秒且能耗高于预期。即使是估算值,45分钟的LED灯泡使用量也显得惊人,让人们重新审视更复杂、多步骤提示的能耗需求。
虽然只有人工智能公司拥有其系统能耗的精确数据,但研究表明需求正在上升。2024年国际能源署报告预测,到2026年全球电力需求将增长3.4%,部分原因是数据中心的扩张。同样,伯克利实验室报告预计2023至2028年间数据中心增长率将达“13%至27%”。
该工具的发布凸显了 Hugging Face 等开源平台与更封闭的人工智能公司之间的差异。聊天机器人的创建者在公告中表示:“通过 AI Energy Score 等项目和对人工智能能耗足迹的广泛研究,我们在开源社区推动透明度。未来,能耗信息可能像食品营养标签一样清晰可见!”
如何亲自尝试
您可以此处体验该聊天机器人,并切换不同开源模型,包括 Google Gemma 3、Meta 的 Llama 3.3 和 Mistral Nemo Instruct。
想了解更多人工智能故事?订阅我们的每周简讯 Innovation。
随着印度加快科技发展步伐,信实集团公布了1100亿美元的人工智能投资计划
印度信实集团(Reliance)亿万富翁董事长穆凯什·安巴尼(Mukesh Ambani)周四宣布了一项投资10万亿卢比(约合1100亿美元)的计划,将在未来七年内在印度各地建设人工智能计算基础设施。安巴尼周四在新德里举行的“印度人工智能影响力峰会”上表示,这笔投资将用于建设吉瓦级数据中心、全国性的边缘计算网络,以及与信实集团旗下Jio电信平台集成的新人工智能服务。安巴尼指出,信实集团已在古吉拉特
智源WITA通过首次合规申报,结束了“裸机”机器人交互
具身智能领域已达成一个重要里程碑。据上海市网络信息办公室最新公告,智源研发的WITA大模型已成功完成备案,成为国内首个合规部署的具身智能交互大模型。这一成就远不止于获得许可证。WITA的核心目标是让类人机器人能够真正进行对话、感知情感并发展出鲜明的个性。该模型专为机器人交互场景设计,通过自然且富有情感表达的沟通,将冰冷的机械躯体转变为拥有连续记忆和个性特征的“硅基伙伴”。 作为交互智能部署的核心引
一项人类学研究指出,经过精心打磨的人工智能内容会导致人类思考能力的下降
当你看到人工智能瞬间生成一段结构严谨、逻辑清晰的代码或文档时,是否会不假思索地选择相信它?据AIbase报道,领先的人工智能公司Anthropic最近发布了一份题为《AI流利度指数》的研究报告。 在分析了近10,000份匿名Claude对话样本后,该研究揭示了一个令人担忧的趋势:AI生成的内容看起来越是精炼,用户就越不愿意去核实事实。报告显示,当Claude生成小型应用程序、网页代码或格式化文档等
Honestly never thought about how much energy one ChatGPT question uses 😳 This makes me reconsider spamming 'regenerate response' so much. The environmental impact of AI is kinda scary when you think about it...
Wow, the energy consumption per chat is surprisingly high! We often overlook the environmental footprint of these AI tools. This makes me wonder how sustainable the current AI boom really is. 🌍
Esta herramienta me parece súper útil! Siempre me preguntaba cuánta energía consume mi bot de chat favorito. Ahora podré elegir modelos más ecológicos 🌱 Quizás deberían implementar algo así en las apps para crear conciencia.
This tool is eye-opening! It's wild to think how much energy a single chatbot prompt uses. Makes me wonder if AI's gonna need its own power plant soon 😅. Great work by Hugging Face for digging into this!
Dieses KI-Tool von Hugging Face ist aufschlussreich! Es ist verrückt zu sehen, wie viel Energie eine einzelne Chatbot-Anfrage verbrauchen kann. Das lässt einen zweimal über diese lässigen Gespräche nachdenken. Könnte eine etwas benutzerfreundlichere Oberfläche gebrauchen, aber trotzdem, es ist ziemlich cool! 🌍





首页






