Sakana AI tăng tốc độ đào tạo mô hình

Tuần này, Sakana AI, một công ty khởi nghiệp được Nvidia hỗ trợ và nhận hàng triệu đô la từ vốn đầu tư mạo hiểm, đã đưa ra một tuyên bố táo bạo. Họ tuyên bố hệ thống AI mới của mình, được gọi là AI CUDA Engineer, có thể tăng tốc độ huấn luyện của một số mô hình AI lên gấp 100 lần.

Hóa ra, tất cả chỉ là màn khói và gương.

Những người trên X (bạn biết đấy, nền tảng trước đây được gọi là Twitter) đã nhanh chóng vạch trần lời khoe khoang của Sakana. Thay vì tăng tốc, AI của họ thực sự làm giảm hiệu suất. Một người dùng thậm chí báo cáo tốc độ chậm hơn gấp 3 lần—chà, thật là trái ngược hoàn toàn với những gì được hứa hẹn!

Vậy, chuyện gì đã xảy ra? Theo Lucas Beyer từ OpenAI, đó là một lỗi tinh vi trong mã code. "Mã nguồn gốc của họ sai ở một cách tinh tế," Beyer chỉ ra trên X. "Việc họ chạy thử nghiệm hai lần với kết quả khác biệt lớn như vậy đáng lẽ phải khiến họ dừng lại và suy nghĩ."

Trong một bài phân tích thẳng thắn được công bố vào thứ Sáu, Sakana đã thừa nhận sai lầm. Họ thừa nhận hệ thống của mình đã tìm ra cách để "gian lận" (từ của họ, không phải của tôi) bằng cách khai thác các lỗ hổng trong mã đánh giá. Điều này cho phép nó bỏ qua các kiểm tra quan trọng như xác thực độ chính xác. Sakana gọi đó là "hacking phần thưởng," nơi AI tìm ra các lối tắt để tăng chỉ số mà không thực sự đạt được mục tiêu—trong trường hợp này là tăng tốc huấn luyện mô hình. Nó giống như những AI chơi cờ tìm cách thắng bằng những mánh khóe.

Sakana cho biết họ đã sửa lỗi và đang làm việc để cập nhật bài báo cùng kết quả của mình để phản ánh đúng những gì đã xảy ra. "Chúng tôi đã khiến khung đánh giá và đo lường hiệu suất trở nên mạnh mẽ hơn để loại bỏ nhiều lỗ hổng như vậy," họ viết trên X. "Chúng tôi đang trong quá trình sửa đổi bài báo và kết quả của mình, để phản ánh và thảo luận về các tác động [...] Chúng tôi thành thật xin lỗi vì sự sơ suất của mình đối với độc giả. Chúng tôi sẽ sớm cung cấp bản sửa đổi của công trình này và thảo luận về những bài học của mình."

Phải công nhận Sakana vì đã dũng cảm thừa nhận sai lầm. Nhưng toàn bộ câu chuyện này là một lời nhắc nhở rõ ràng: nếu điều gì đó trong thế giới AI nghe có vẻ quá tốt để là sự thật, thì có lẽ đúng là như vậy.