Thử nghiệm AGI mới chứng minh đầy thách thức, phần lớn các mô hình AI

# agi

Quỹ Arc Prize, do nhà nghiên cứu AI nổi tiếng François Chollet đồng sáng lập, gần đây đã công bố một chuẩn mực mới có tên ARC-AGI-2 trong một bài đăng blog. Bài kiểm tra này nhằm đẩy xa giới hạn của trí thông minh tổng quát của AI, và cho đến nay, nó đang chứng tỏ là một thách thức khó khăn đối với hầu hết các mô hình AI.

Theo bảng xếp hạng Arc Prize, ngay cả các mô hình AI "suy luận" tiên tiến như o1-pro của OpenAI và R1 của DeepSeek chỉ đạt điểm số từ 1% đến 1.3%. Trong khi đó, các mô hình không suy luận mạnh mẽ như GPT-4.5, Claude 3.7 Sonnet và Gemini 2.0 Flash dao động quanh mức 1%.

Các bài kiểm tra ARC-AGI thách thức các hệ thống AI với những vấn đề giống như câu đố, yêu cầu chúng xác định các mẫu hình ảnh trong các lưới ô vuông có màu sắc khác nhau và tạo ra lưới "đáp án" chính xác. Những vấn đề này được thiết kế để kiểm tra khả năng thích nghi của AI với những thách thức mới, chưa từng thấy.

Để thiết lập một đường cơ sở cho con người, Quỹ Arc Prize đã yêu cầu hơn 400 người tham gia bài kiểm tra ARC-AGI-2. Trung bình, những "nhóm" người này đạt tỷ lệ thành công 60%, vượt trội đáng kể so với các mô hình AI.

François Chollet đã lên X để tuyên bố rằng ARC-AGI-2 là một thước đo chính xác hơn về trí thông minh thực sự của một mô hình AI so với phiên bản trước đó, ARC-AGI-1. Các bài kiểm tra của Quỹ Arc Prize được thiết kế để đánh giá liệu một AI có thể học các kỹ năng mới một cách hiệu quả ngoài dữ liệu huấn luyện của nó.

Chollet nhấn mạnh rằng ARC-AGI-2 ngăn chặn các mô hình AI dựa vào sức mạnh tính toán "brute force" để giải quyết vấn đề, một lỗ hổng mà ông thừa nhận trong bài kiểm tra đầu tiên. Để khắc phục điều này, ARC-AGI-2 đưa ra một chỉ số hiệu quả và yêu cầu các mô hình phải diễn giải các mẫu ngay lập tức thay vì dựa vào việc ghi nhớ.

Trong một bài đăng blog, đồng sáng lập Quỹ Arc Prize Greg Kamradt nhấn mạnh rằng trí thông minh không chỉ là về việc giải quyết vấn đề hoặc đạt điểm cao. "Hiệu quả mà những khả năng đó được tiếp thu và triển khai là một thành phần quan trọng, định nghĩa," ông viết. "Câu hỏi cốt lõi không chỉ là, 'Liệu AI có thể tiếp thu kỹ năng để giải quyết một nhiệm vụ không?' mà còn là, 'Với hiệu quả hoặc chi phí bao nhiêu?'"

ARC-AGI-1 đã không bị đánh bại trong khoảng năm năm cho đến tháng 12 năm 2024, khi mô hình suy luận tiên tiến của OpenAI, o3, vượt qua tất cả các mô hình AI khác và đạt hiệu suất ngang bằng với con người. Tuy nhiên, thành công của o3 trên ARC-AGI-1 đi kèm với một chi phí đáng kể. Phiên bản mô hình o3 của OpenAI, o3 (thấp), đạt điểm ấn tượng 75.7% trên ARC-AGI-1, nhưng chỉ đạt 4% trên ARC-AGI-2, sử dụng 200 đô la sức mạnh tính toán cho mỗi nhiệm vụ.

Việc giới thiệu ARC-AGI-2 diễn ra vào thời điểm nhiều người trong ngành công nghệ đang kêu gọi các chuẩn mực mới, chưa bão hòa để đo lường tiến bộ của AI. Thomas Wolf, đồng sáng lập Hugging Face, gần đây đã nói với TechCrunch rằng ngành AI thiếu các bài kiểm tra đủ để đo lường các đặc điểm quan trọng của trí thông minh tổng quát nhân tạo, chẳng hạn như sự sáng tạo.

Cùng với chuẩn mực mới, Quỹ Arc Prize đã công bố cuộc thi Arc Prize 2025, thách thức các nhà phát triển đạt độ chính xác 85% trên bài kiểm tra ARC-AGI-2 trong khi chỉ chi 0.42 đô la cho mỗi nhiệm vụ.

Bài viết liên quan

Nhận xét (36)