고등학교 학생은 AI Minecraft 빌드 오프 문제에 대한 웹 사이트를 만듭니다.

Minecraft와의 창의적인 AI 벤치마킹

전통적인 AI 벤치마킹 방법이 부족함에 따라 개발자는 생성 AI 모델의 능력을 평가하기위한 혁신적인 접근 방식을 모색하고 있습니다. 이러한 창의적인 방법 중 하나는 Microsoft가 소유 한 인기있는 샌드 박스 게임 인 Minecraft를 사용하는 것입니다. 개발자 그룹은 AI 모델이 주어진 프롬프트를 기반으로 마인 크래프트 빌드를 만드는 데 경쟁하는 플랫폼 인 Minecraft Benchmark 또는 Mc-Bench를 출시했습니다.

MC-Bench에서 사용자는 어떤 AI 모델의 생성물을 선호하는지 투표 할 수 있으며, 투표를 한 후에 만 ​​각 빌드를 만든 모델을 발견 할 수 있습니다. 이 대화식 접근 방식은 커뮤니티에 참여할뿐만 아니라 AI 기능을 평가하는 독특한 방법을 제공합니다.

12 학년이자 Mc-Bench의 개시자인 Adi Singh는 Minecraft의 광범위한 인정이 핵심이라고 생각합니다. 베스트셀러 비디오 게임으로서, 많은 사람들에게 친숙하므로 사람들이 게임을 스스로 플레이하지 않더라도 AI 생성 빌드의 품질을 더 쉽게 판단 할 수 있습니다. Singh는 TechCrunch에 "Minecraft를 통해 사람들은 [AI 개발의 진전]을 훨씬 쉽게 볼 수있게 해줍니다."라고 설명했습니다. "사람들은 미니 크래프트에 익숙하며, 외모와 분위기에 익숙합니다."

MC-Bench는 8 명의 자원 봉사 기고자로 구성된 팀의 지원을받습니다. Anthropic, Google, Openai 및 Alibaba와 같은 회사는 벤치 마크 프롬프트를 운영하기 위해 제품을 제공했지만 프로젝트에는 관련이 없습니다.

Singh은 간단한 빌드를 넘어 Mc-Bench를 더 복잡하고 목표 지향적 인 작업으로 확장합니다. "게임은 실생활보다 안전하고 테스트 목적으로 더 통제 할 수있는 중간 규모의 대리인 추론 일 수 있으므로 내 눈에는 더 이상적입니다."

AI 벤치 마크로 다른 게임

Minecraft 외에도 Pokémon Red, Street Fighter 및 Pictionary와 같은 다른 게임은 AI의 실험 벤치 마크로 사용되었습니다. 기존의 표준화 된 테스트는 종종 훈련 방법으로 인해 AI 모델을 선호하기 때문에 AI 벤치마킹의 과제는 복잡성에 있습니다.

예를 들어, OpenAI의 GPT-4는 LSAT의 88 번째 백분위 수에서 득점 할 수 있지만 "Strawberry"의 RS 수를 계산하는 것과 같은 간단한 작업으로 어려움을 겪고 있습니다. 마찬가지로, Anthropic의 Claude 3.7 Sonnet은 소프트웨어 엔지니어링 벤치 마크에서 62.3% 정확도를 달성했지만 대부분의 5 살짜리에 비해 포켓몬을하는 데 부족합니다.

MC-Bench : 단순한 프로그래밍 벤치 마크 이상

기술적으로 Mc-Bench는 AI 모델이 "Frosty the Snowman"또는 "깨끗한 모래 해안의 매력적인 열대 해변 오두막"과 같은 빌드를 만들기 위해 코드를 작성해야하기 때문에 프로그래밍 벤치 마크입니다. 그러나 플랫폼의 호소는 접근성에 있습니다. 사용자가 코드를 분석하는 것보다 빌드의 시각적 품질을 평가하는 것이 더 쉽습니다. 이는 프로젝트의 도달 범위와 모델 성능에 대한 데이터 수집 가능성을 확대합니다.

토론은 이러한 점수가 AI 유용성을 진정으로 반영하는지 여부에 대해 계속합니다. 그러나 싱은 그들이 강력한 지표라고 생각합니다. "현재 리더 보드는 이러한 모델을 사용한 경험과 매우 가깝게 반영됩니다.이 모델은 많은 순수한 텍스트 벤치 마크와는 다릅니다." "어쩌면 [Mc-Bench]는 회사가 올바른 방향으로 향하고 있는지 아는 데 유용 할 수 있습니다."