Инструмент ИИ раскрывает энергопотребление одной подсказки чат -бота

Системы ИИ известны своим высоким потреблением энергии, но и определяют точное использование энергии, особенно для отдельных запросов чат -ботов, остается неуловимым. Чтобы пролить свет на эту проблему, обнимающий инженер лица разработал инструмент, направленный на выявление этих скрытых затрат.

Легко потеряться на эфирном языке инфраструктуры ИИ, с его частыми ссылками на «облако» и другие воздушные метафоры. Однако под этой завесой лежит реальность энергоемких компьютеров. Системы ИИ, которые должны выполнять сложные расчеты на скорости головокружения, полагаются на мощные чипы, множественные графические процессоры и обширные центры обработки данных. Каждый раз, когда вы ставите вопрос в Chatgpt, эти компоненты вступают в действие, потребляя электричество. Вот почему многие чат -боты накладывают ограничения использования на своих бесплатных уровнях - стоимость электроэнергии делает вычисление дорогим делом для компаний, занимающих эти услуги.

Чат пользовательского интерфейса энергии

Чтобы привнести некоторую ясность в эту мутную область, Жюльен Делаванде, инженер, инженера по обнимающему лицу, создал интерфейс чата ИИ, который отображает оценки использования энергии в реальном времени для ваших разговоров. Этот инструмент не только сравнивает энергопотребление различных моделей, задач и запросов, но также подчеркивает, как подсказка, требующая рассуждений, может потреблять больше энергии, чем простой запрос по установлению фактов. Интерфейс представляет использование энергии в относительных показателях, таких как Watt-Hours и Joules, а также более осязаемые сравнения, такие как процент заряда телефона или время вождения, полученные от Агентства по охране окружающей среды (EPA).

Когда я спросил CHAT UI Energy о погоде в Нью -Йорке, он сообщил мне, что мой запрос использовал около 9,5% телефона. Нажав на эту оценку, я мог видеть другие эквивалентные сравнения, такие как 45 минут использования светодиодной лампы, 1,21 секунды микроволнового использования и 0,15 секунды энергии тостера. По мере продолжения разговора бот показал общее использование и продолжительность энергии в нижней части окна чата.

Несмотря на простоту моего запроса, он требовал доступа к Интернету, которого не хватало боту, возможно, объяснив, почему это заняло 90 секунд и больше энергии, чем ожидалось. Даже как оценка, 45 минут использования светодиодной лампы казались удивительно высокими, в перспективе потребности в энергии более сложных, многоэтапных подсказок.

В то время как только компании ИИ имеют точные данные о потреблении энергии своих систем, исследования показывают, что спрос растет. В отчете международного энергетического агентства в 2024 году прогнозируется, что к 2026 году глобальное увеличение спроса на электроэнергию на 3,4%, частично обусловленное расширением центров обработки данных. Аналогичным образом, лабораторный отчет в Беркли предвидит темпы роста центров обработки данных «от 13% до 27% в период с 2023 по 2028 год».

Выпуск этого инструмента подчеркивает разницу между платформами с открытым исходным кодом, такими как обнимающие лицо и более скрытные компании ИИ. «С такими проектами, как оценка энергии ИИ и более широкие исследования энергетического следа ИИ, мы стремимся к прозрачности в сообществе с открытым исходным кодом»,-заявили создатели чата в своем объявлении. «Однажды использование энергии может быть так же видимым, как и ярлыки для питания на еде!»

Как попробовать самостоятельно

Вы можете экспериментировать с чат-ботом здесь и переключаться между различными моделями с открытым исходным кодом, включая Google Gemma 3, Meta's Llama 3.3 и Mistral Nemo.

Заинтересованы в большем количестве историй искусственного интеллекта? Подпишитесь на инновации, нашу еженедельную рассылку.