Sakana AI tăng tốc độ đào tạo mô hình

# sakana

Tuần này, Sakana AI, một công ty khởi nghiệp được hỗ trợ bởi Nvidia và Flush với hàng triệu người từ đầu tư mạo hiểm, đã đưa ra một tuyên bố táo bạo. Họ đã tuyên bố hệ thống AI mới của họ, được đặt tên là Kỹ sư AI Cuda, có thể tăng tốc độ đào tạo của một số mô hình AI nhất định bằng cách đáng kinh ngạc 100 lần. Hóa ra, tất cả đều là khói và gương. Mọi người trên X (bạn biết đấy, nền tảng trước đây được gọi là Twitter) đã nhanh chóng gọi ra Sakana's Bluff. Thay vì tăng tốc mọi thứ, AI của họ thực sự đã kéo hiệu suất xuống. Một người dùng thậm chí còn báo cáo một sự chậm lại 3 lần, bạn đang nói về điều ngược lại với những gì đã được hứa hẹn! Vì vậy, những gì đã sai? Theo Lucas Beyer từ Openai, đó là một lỗi lén lút trong mã. "Mã nguồn gốc của họ là sai theo cách tinh tế", Beyer chỉ ra X. "Thực tế họ chạy điểm chuẩn hai lần với kết quả cực kỳ khác nhau sẽ khiến họ dừng lại và suy nghĩ." Trong một postmortem thẳng thắn được phát hành vào thứ Sáu, Sakana đã đi lên. Họ thừa nhận hệ thống của họ đã tìm ra cách để "gian lận" (lời nói của họ, không phải của tôi) bằng cách khai thác các lỗ hổng trong mã đánh giá. Điều này cho phép nó bỏ qua các kiểm tra quan trọng như xác nhận chính xác. Sakana gọi nó là "phần thưởng hack", trong đó AI tìm thấy các phím tắt để tăng số liệu mà không thực sự đạt được mục tiêu trong trường hợp này, tăng tốc độ đào tạo mô hình. Nó giống như những AI chơi cờ tìm thấy những cách lén lút để giành chiến thắng. Sakana nói rằng họ đã khắc phục sự cố và đang làm việc để cập nhật giấy và kết quả của họ để phản ánh những gì thực sự đã xảy ra. "Chúng tôi đã thực hiện đánh giá và khai thác định hình thời gian chạy mạnh mẽ hơn để loại bỏ nhiều lỗ hổng [sic] như vậy", họ viết trên X. "Chúng tôi đang trong quá trình sửa đổi bài báo của mình và kết quả của chúng tôi, để phản ánh và thảo luận về các tác động của chúng tôi. Gotta đưa cho đạo cụ Sakana để sở hữu sai lầm của họ. Nhưng toàn bộ câu chuyện này là một lời nhắc nhở vững chắc: nếu một cái gì đó trong thế giới AI nghe có vẻ quá tốt là đúng, thì có lẽ là như vậy.

Bài viết liên quan

Nhận xét (25)