Học sinh trung học tạo trang web cho các thử thách xây dựng AI Minecraft

Điểm chuẩn AI sáng tạo với Minecraft

Khi các phương pháp điểm chuẩn AI truyền thống giảm, các nhà phát triển đang khám phá các cách tiếp cận sáng tạo để đánh giá năng lực của các mô hình AI tổng quát. Một phương pháp sáng tạo như vậy liên quan đến việc sử dụng Minecraft, trò chơi Sandbox phổ biến thuộc sở hữu của Microsoft. Một nhóm các nhà phát triển đã ra mắt điểm chuẩn Minecraft, hoặc MC Bench, một nền tảng nơi các mô hình AI cạnh tranh trong việc tạo các bản dựng Minecraft dựa trên các lời nhắc nhất định.

Trên băng ghế MC, người dùng có thể bỏ phiếu cho việc tạo ra mô hình AI mà họ thích và chỉ sau khi bỏ phiếu, họ mới phát hiện ra mô hình nào đã tạo ra mỗi bản dựng. Cách tiếp cận tương tác này không chỉ thu hút cộng đồng mà còn cung cấp một cách độc đáo để đánh giá khả năng AI.

Adi Singh, một học sinh lớp 12 và là người khởi xướng MC băng ghế, tin rằng sự công nhận rộng rãi của Minecraft là chìa khóa. Là trò chơi video bán chạy nhất từ ​​trước đến nay, nó quen thuộc với nhiều người, giúp mọi người dễ dàng đánh giá chất lượng của các bản dựng do AI tạo ra, ngay cả khi họ không tự chơi trò chơi. "Minecraft cho phép mọi người thấy sự tiến bộ [phát triển AI] dễ dàng hơn nhiều", Singh giải thích với TechCrunch. "Mọi người đã quen với Minecraft, đã quen với vẻ ngoài và sự rung cảm."

MC ghế được hỗ trợ bởi một nhóm gồm tám người đóng góp tình nguyện. Các công ty như Anthropic, Google, Openai và Alibaba đã cung cấp sản phẩm của họ để điều hành các lời nhắc điểm chuẩn, mặc dù họ không liên quan đến dự án.

Singh hình dung mở rộng băng ghế MC vượt ra ngoài các công trình đơn giản đến các nhiệm vụ hướng đến mục tiêu phức tạp hơn. "Các trò chơi có thể chỉ là một lý luận trung bình để kiểm tra lý luận an toàn hơn so với trong cuộc sống thực và kiểm soát nhiều hơn cho mục đích thử nghiệm, làm cho nó trở nên lý tưởng hơn trong mắt tôi", ông nói.

Các trò chơi khác như điểm chuẩn của AI

Bên cạnh Minecraft, các trò chơi khác như Pokémon Red, Street Fighter và Pictionary đã được sử dụng làm điểm chuẩn thử nghiệm cho AI. Thách thức của việc điểm chuẩn AI nằm ở sự phức tạp của nó, vì các thử nghiệm tiêu chuẩn hóa truyền thống thường ủng hộ các mô hình AI do các phương pháp đào tạo của chúng, vượt trội trong các khu vực giải quyết vấn đề hẹp như ghi nhớ vẹt hoặc ngoại suy cơ bản.

Chẳng hạn, trong khi GPT-4 của Openai có thể ghi điểm trong phần trăm thứ 88 trên LSAT, thì nó phải vật lộn với các nhiệm vụ đơn giản hơn như đếm số lượng RS trong "Dâu". Tương tự, Sonnet Claude 3.7 của Anthropic đạt được độ chính xác 62,3% trên điểm chuẩn Kỹ thuật phần mềm nhưng không chơi Pokémon so với hầu hết những đứa trẻ năm tuổi.

MC-Bench: Không chỉ là một điểm chuẩn lập trình

Về mặt kỹ thuật, MC ghế dài là một chuẩn mực lập trình vì nó đòi hỏi các mô hình AI phải viết mã để tạo ra các bản dựng như "Frosty the Snowman" hoặc "một túp lều nhiệt đới quyến rũ trên bờ cát nguyên sơ". Tuy nhiên, sự hấp dẫn của nền tảng nằm ở khả năng tiếp cận của nó. Người dùng dễ dàng đánh giá chất lượng trực quan của bản dựng hơn là phân tích mã, giúp mở rộng phạm vi của dự án và tiềm năng thu thập dữ liệu về hiệu suất mô hình.

Cuộc tranh luận tiếp tục về việc những điểm số này có thực sự phản ánh tính hữu dụng của AI hay không. Singh, tuy nhiên, tin rằng họ là một chỉ số mạnh mẽ. "Bảng xếp hạng hiện tại phản ánh khá chặt chẽ với trải nghiệm của tôi về việc sử dụng các mô hình này, không giống như nhiều điểm chuẩn văn bản thuần túy", ông nói. "Có lẽ [MC-Bench] có thể hữu ích cho các công ty để biết liệu họ có đi đúng hướng không."