고등학교 학생은 AI Minecraft 빌드 오프 문제에 대한 웹 사이트를 만듭니다.

Minecraft를 활용한 창의적 AI 벤치마킹

전통적인 AI 벤치마킹 방법이 한계를 드러내면서, 개발자들은 생성형 AI 모델의 능력을 평가하기 위한 혁신적인 접근법을 탐구하고 있습니다. 그 중 하나가 Microsoft가 소유한 인기 샌드박스 게임 Minecraft를 활용하는 창의적 방법입니다. 개발자 그룹이 Minecraft Benchmark, 즉 MC-Bench를 출시했으며, 이는 AI 모델들이 주어진 프롬프트에 따라 Minecraft 빌드를 생성하며 경쟁하는 플랫폼입니다.

MC-Bench에서는 사용자가 어떤 AI 모델의 작품을 선호하는지 투표할 수 있으며, 투표 후에야 어떤 모델이 각 빌드를 만들었는지 알 수 있습니다. 이 대화형 접근 방식은 커뮤니티를 참여시키는 동시에 AI 능력을 평가하는 독특한 방법을 제공합니다.

12학년 학생이자 MC-Bench의 창시자인 Adi Singh는 Minecraft의 널리 알려진 인지도가 핵심이라고 믿습니다. 역사상 가장 많이 팔린 비디오 게임으로, 많은 사람들에게 익숙해 게임을 직접 해보지 않은 사람들도 AI가 생성한 빌드의 품질을 쉽게 판단할 수 있습니다. Singh는 TechCrunch에 이렇게 설명했습니다. "Minecraft는 사람들이 AI 개발의 진행 상황을 훨씬 쉽게 볼 수 있게 해줍니다. 사람들은 Minecraft에 익숙하고, 그 모습과 분위기에 익숙합니다."

MC-Bench는 8명의 자원봉사 기여자 팀의 지원을 받고 있습니다. Anthropic, Google, OpenAI, Alibaba와 같은 기업들이 벤치마크 프롬프트 실행을 위해 제품을 제공했지만, 프로젝트에 직접 관여하지는 않습니다.

Singh는 MC-Bench를 단순한 빌드 이상으로 확장해 더 복잡하고 목표 지향적인 작업으로 발전시키고자 합니다. 그는 이렇게 말했습니다. "게임은 실제보다 안전하고 테스트 목적으로 더 통제 가능한 에이전트적 추론을 테스트하는 매개체일 수 있습니다. 제 눈에는 더 이상적입니다."

AI 벤치마크로 사용된 다른 게임들

Minecraft 외에도 Pokémon Red, Street Fighter, Pictionary와 같은 게임들이 AI 실험적 벤치마크로 사용되었습니다. AI 벤치마킹의 도전 과제는 그 복잡성에 있으며, 전통적인 표준화된 테스트는 종종 AI 모델들이 암기나 기본적인 외삽과 같은 좁은 문제 해결 영역에서 뛰어나도록 훈련받아 유리하게 작용합니다.

예를 들어, OpenAI의 GPT-4는 LSAT에서 88번째 백분위수를 기록할 수 있지만, "strawberry"에서 R의 개수를 세는 간단한 작업에서는 어려움을 겪습니다. 마찬가지로 Anthropic의 Claude 3.7 Sonnet은 소프트웨어 엔지니어링 벤치마크에서 62.3%의 정확도를 달성했지만, Pokémon 플레이에서는 대부분의 다섯 살 아이들보다 뒤처집니다.

MC-Bench: 단순한 프로그래밍 벤치마크 이상

기술적으로 MC-Bench는 AI 모델이 "Frosty the Snowman"이나 "깨끗한 모래 해변의 매력적인 열대 해변 오두막"과 같은 빌드를 만들기 위해 코드를 작성해야 하므로 프로그래밍 벤치마크입니다. 하지만 이 플랫폼의 매력은 접근성에 있습니다. 사용자가 코드 분석보다 빌드의 시각적 품질을 평가하는 것이 더 쉬워 프로젝트의 도달 범위와 모델 성능 데이터 수집 가능성을 넓힙니다.

이 점수들이 AI의 유용성을 진정으로 반영하는지에 대한 논쟁은 계속되고 있습니다. 하지만 Singh는 이것이 강력한 지표라고 믿습니다. 그는 이렇게 말했습니다. "현재 리더보드는 제가 이 모델들을 사용한 경험과 매우 유사하게 반영됩니다. 이는 순수 텍스트 벤치마크와는 다릅니다. 아마도 [MC-Bench]는 기업들이 올바른 방향으로 가고 있는지 알 수 있는 데 유용할 수 있습니다."