Thử nghiệm AGI mới chứng minh đầy thách thức, phần lớn các mô hình AI

# agi

Quỹ giải thưởng ARC, được đồng sáng lập bởi nhà nghiên cứu AI nổi tiếng François Chollet, gần đây đã tiết lộ một chuẩn mực mới có tên ARC-AGI-2 trong một bài đăng trên blog. Thử nghiệm này nhằm mục đích đẩy các ranh giới của trí thông minh chung của AI, và cho đến nay, nó chứng tỏ là một hạt khó khăn để bẻ khóa đối với hầu hết các mô hình AI.

Theo Bảng xếp hạng giải thưởng ARC, thậm chí các mô hình AI "Lý luận" nâng cao như O1-Pro và R1 của Openai và Deepseek chỉ quản lý điểm từ 1% đến 1,3%. Trong khi đó, các mô hình không hợp lý mạnh mẽ như GPT-4.5, Claude 3.7 Sonnet và Gemini 2.0 Flash đang lơ lửng xung quanh mốc 1%.

Các thử nghiệm ARC-AGI thách thức các hệ thống AI với các vấn đề giống như câu đố, yêu cầu chúng phải xác định các mẫu hình ảnh trong các lưới của các hình vuông màu khác nhau và tạo ra lưới "trả lời" chính xác. Những vấn đề này được thiết kế để kiểm tra khả năng thích nghi với những thách thức mới, chưa từng thấy của AI.

Để thiết lập một cơ sở của con người, Quỹ Giải thưởng ARC đã có hơn 400 người làm bài kiểm tra ARC-AGI-2. Trung bình, các "bảng" của con người đã đạt được tỷ lệ thành công 60%, vượt trội đáng kể so với các mô hình AI.

François Chollet đã đến X để tuyên bố rằng ARC-AGI-2 là thước đo chính xác hơn về trí thông minh thực sự của mô hình AI so với người tiền nhiệm của nó, ARC-AGI-1. Các bài kiểm tra của Quỹ ARC được thiết kế để đánh giá liệu AI có thể học hiệu quả các kỹ năng mới ngoài dữ liệu đào tạo của mình hay không.

Chollet nhấn mạnh rằng ARC-AGI-2 ngăn các mô hình AI dựa vào sức mạnh tính toán "vũ lực" để giải quyết các vấn đề, một lỗ hổng mà ông thừa nhận trong thử nghiệm đầu tiên. Để giải quyết vấn đề này, ARC-AGI-2 giới thiệu một số liệu hiệu quả và yêu cầu các mô hình giải thích các mẫu trên con ruồi thay vì dựa vào ghi nhớ.

Trong một bài đăng trên blog, người đồng sáng lập ARC Prize Foundation, Greg Kamradt nhấn mạnh rằng trí thông minh không chỉ là giải quyết các vấn đề hoặc đạt được điểm số cao. "Hiệu quả mà các khả năng đó được thu thập và triển khai là một thành phần quan trọng, xác định", ông viết. "Câu hỏi cốt lõi đang được đặt ra không chỉ là, 'Ai có thể có được [kỹ năng] để giải quyết một nhiệm vụ?' Nhưng cũng vậy, 'với hiệu quả hay chi phí nào?' "

ARC-AGI-1 vẫn bất bại trong khoảng năm năm cho đến tháng 12 năm 2024, khi mô hình lý luận nâng cao của Openai, O3, đã vượt qua tất cả các mô hình AI khác và phù hợp với hiệu suất của con người. Tuy nhiên, thành công của O3 trên ARC-AGI-1 có chi phí đáng kể. Phiên bản của mô hình O3 của Openai, O3 (thấp), đạt 75,7% ấn tượng trên ARC-AGI-1, chỉ quản lý 4% trên ARC-AGI-2, sử dụng công suất điện toán trị giá 200 đô la cho mỗi nhiệm vụ.

Việc giới thiệu ARC-AGI-2 diễn ra vào thời điểm mà nhiều người trong ngành công nghệ đang kêu gọi các điểm chuẩn mới, không bão hòa để đo lường tiến trình AI. Thomas Wolf, đồng sáng lập của Hugging Face, gần đây đã nói với TechCrunch rằng ngành công nghiệp AI thiếu các bài kiểm tra đầy đủ để đo lường các đặc điểm chính của trí thông minh nhân tạo, như sáng tạo.

Bên cạnh điểm chuẩn mới, Quỹ ARC Prize đã công bố cuộc thi ARC Action 2025, thách thức các nhà phát triển đạt được độ chính xác 85% trong thử nghiệm ARC-AGI-2 trong khi chỉ chi 0,42 đô la cho mỗi nhiệm vụ.

Bài viết liên quan

Nhận xét (35)