Công cụ AI cho thấy mức tiêu thụ năng lượng của một dấu nhắc chatbot duy nhất

Các hệ thống AI nổi tiếng với mức tiêu thụ năng lượng cao của họ, nhưng xác định chính xác việc sử dụng năng lượng chính xác, đặc biệt là đối với các truy vấn chatbot riêng lẻ, vẫn còn khó nắm bắt. Để làm sáng tỏ vấn đề này, một kỹ sư khuôn mặt ôm nhau đã phát triển một công cụ nhằm khám phá những chi phí ẩn này.

Thật dễ dàng để bị lạc trong ngôn ngữ thanh tao của cơ sở hạ tầng AI, với các tài liệu tham khảo thường xuyên về "đám mây" và các phép ẩn dụ thoáng đãng khác. Tuy nhiên, bên dưới bức màn này là một thực tế của các máy tính sử dụng nhiều năng lượng. Các hệ thống AI, cần thực hiện các tính toán phức tạp ở tốc độ chóng mặt, dựa trên các chip mạnh mẽ, nhiều GPU và trung tâm dữ liệu rộng lớn. Mỗi khi bạn đặt ra một câu hỏi cho Chatgpt, các thành phần này lại hoạt động, tiêu thụ điện. Đây là lý do tại sao nhiều chatbot áp đặt các giới hạn sử dụng đối với các tầng miễn phí của họ, chi phí điện khiến cho tính toán trở thành một vấn đề đắt đỏ cho các công ty lưu trữ các dịch vụ này.

Chat UI Energy

Để mang lại sự rõ ràng cho khu vực âm u này, Julien Delavande, một kỹ sư ở Hugging Face, đã tạo ra một giao diện trò chuyện AI hiển thị các ước tính sử dụng năng lượng thời gian thực cho các cuộc trò chuyện của bạn. Công cụ này không chỉ so sánh mức tiêu thụ năng lượng của các mô hình, nhiệm vụ và yêu cầu khác nhau mà còn nêu bật cách một sự nhanh chóng yêu cầu lý luận có thể tiêu thụ nhiều năng lượng hơn một truy vấn tìm hiểu thực tế đơn giản. Giao diện trình bày việc sử dụng năng lượng trong các số liệu có thể liên quan như watt-giờ và joules, cũng như các so sánh hữu hình hơn như tỷ lệ phần trăm của điện thoại hoặc thời gian lái xe, có nguồn gốc từ Cơ quan Bảo vệ Môi trường (EPA).

Khi tôi hỏi trò chuyện UI Energy về thời tiết ở thành phố New York, nó đã thông báo cho tôi rằng truy vấn của tôi đã sử dụng khoảng 9,5% phí điện thoại. Bằng cách nhấp vào ước tính này, tôi có thể thấy các so sánh tương đương khác, chẳng hạn như 45 phút sử dụng bóng đèn LED, 1,21 giây sử dụng lò vi sóng và 0,15 giây năng lượng máy nướng bánh mì. Khi cuộc trò chuyện tiếp tục, bot hiển thị tổng lượng sử dụng năng lượng và thời lượng ở dưới cùng của cửa sổ trò chuyện.

Mặc dù sự đơn giản của truy vấn của tôi, nó yêu cầu truy cập internet, mà bot thiếu, có thể giải thích lý do tại sao phải mất 90 giây và nhiều năng lượng hơn dự đoán sẽ trả lời. Ngay cả như một ước tính, 45 phút sử dụng bóng đèn LED có vẻ cao đáng ngạc nhiên, đưa vào quan điểm về nhu cầu năng lượng của các gợi ý phức tạp hơn, nhiều bước.

Mặc dù chỉ có các công ty AI có dữ liệu chính xác về mức tiêu thụ năng lượng của hệ thống của họ, các nghiên cứu cho thấy nhu cầu đang gia tăng. Một báo cáo của Cơ quan Năng lượng Quốc tế 2024 dự báo nhu cầu điện toàn cầu tăng 3,4% vào năm 2026, một phần do sự mở rộng của các trung tâm dữ liệu. Tương tự, một báo cáo của Phòng thí nghiệm Berkeley dự đoán tốc độ tăng trưởng của trung tâm dữ liệu là "13% đến 27% từ năm 2023 đến 2028."

Việc phát hành công cụ này nhấn mạnh sự khác biệt giữa các nền tảng nguồn mở như ôm mặt và các công ty AI bí mật hơn. "Với các dự án như điểm năng lượng AI và nghiên cứu rộng hơn về dấu chân năng lượng của AI, chúng tôi đang thúc đẩy sự minh bạch trong cộng đồng nguồn mở", những người tạo ra cuộc trò chuyện đã nêu trong thông báo của họ. "Một ngày nọ, việc sử dụng năng lượng có thể được nhìn thấy như nhãn dinh dưỡng trên thực phẩm!"

Làm thế nào để tự mình thử

Bạn có thể thử nghiệm với chatbot ở đây và chuyển đổi giữa các mô hình nguồn mở khác nhau, bao gồm Google Gemma 3, Meta's Llama 3.3 và hướng dẫn Nemo của Mistral.

Quan tâm đến nhiều câu chuyện AI hơn? Đăng ký đổi mới, bản tin hàng tuần của chúng tôi.