Инструмент ИИ раскрывает энергопотребление одной подсказки чат -бота

Системы ИИ печально известны своим высоким энергопотреблением, однако точно определить энергозатраты, особенно для отдельных запросов к чат-ботам, остаётся сложной задачей. Чтобы пролить свет на эту проблему, инженер Hugging Face разработал инструмент, направленный на раскрытие этих скрытых затрат.

Легко потеряться в эфирном языке инфраструктуры ИИ, с его частыми упоминаниями "облака" и других воздушных метафор. Однако за этой завесой скрывается реальность энергоёмких компьютеров. Системы ИИ, которым необходимо выполнять сложные вычисления на огромной скорости, зависят от мощных чипов, множества графических процессоров и огромных дата-центров. Каждый раз, когда вы задаёте вопрос ChatGPT, эти компоненты начинают работать, потребляя электроэнергию. Именно поэтому многие чат-боты устанавливают ограничения на использование бесплатных уровней — стоимость электроэнергии делает вычисления дорогостоящим делом для компаний, предоставляющих эти услуги.

Энергия интерфейса чата

Чтобы внести ясность в эту мутную область, Жюльен Делаванде, инженер Hugging Face, создал интерфейс чата ИИ, который показывает в реальном времени оценки энергопотребления для ваших разговоров. Этот инструмент не только сравнивает энергопотребление различных моделей, задач и запросов, но и подчёркивает, как запрос, требующий рассуждений, может потреблять больше энергии, чем простой запрос на поиск фактов. Интерфейс представляет энергопотребление в понятных единицах, таких как ватт-часы и джоули, а также в более осязаемых сравнениях, таких как процент заряда телефона или время вождения, полученные от Агентства по охране окружающей среды (EPA).

Когда я спросил у Chat UI Energy о погоде в Нью-Йорке, он сообщил, что мой запрос использовал около 9,5% заряда телефона. Нажав на эту оценку, я смог увидеть другие эквивалентные сравнения, такие как 45 минут работы светодиодной лампы, 1,21 секунды использования микроволновки и 0,15 секунды работы тостера. По мере продолжения разговора бот отображал общее энергопотребление и продолжительность внизу окна чата.

Несмотря на простоту моего запроса, он требовал доступа к интернету, которого у бота не было, что, возможно, объясняет, почему ответ занял 90 секунд и потребовал больше энергии, чем ожидалось. Даже как оценка, 45 минут работы светодиодной лампы кажутся удивительно высокими, что заставляет задуматься об энергетических потребностях более сложных, многоэтапных запросов.

Хотя только компании, занимающиеся ИИ, имеют точные данные об энергопотреблении своих систем, исследования показывают, что спрос растёт. Отчёт Международного энергетического агентства за 2024 год прогнозирует рост глобального спроса на электроэнергию на 3,4% к 2026 году, частично обусловленный расширением дата-центров. Аналогично, отчёт Лаборатории Беркли прогнозирует темпы роста дата-центров на уровне "13–27% между 2023 и 2028 годами".

Выпуск этого инструмента подчёркивает разницу между открытыми платформами, такими как Hugging Face, и более закрытыми компаниями ИИ. "С проектами, такими как AI Energy Score, и более широкими исследованиями энергетического следа ИИ, мы стремимся к прозрачности в сообществе открытого кода", — заявили создатели чата в своём анонсе. "Однажды энергопотребление может стать таким же видимым, как этикетки с питательной ценностью на продуктах!"

Как попробовать самому

Вы можете экспериментировать с чат-ботом здесь и переключаться между различными моделями с открытым исходным кодом, включая Google Gemma 3, Meta's Llama 3.3 и Mistral Nemo Instruct.

Интересуетесь другими историями об ИИ? Подпишитесь на Innovation, нашу еженедельную рассылку.