高校生は、AI MinecraftのビルドオフチャレンジのためにWebサイトを作成します

Minecraftを使用したクリエイティブAIベンチマーク

従来のAIベンチマーク手法が不足する中、開発者たちは生成AIモデルの能力を評価するための革新的なアプローチを模索しています。そのようなクリエイティブな方法の一つが、Microsoftが所有する人気のサンドボックスゲーム、Minecraftを使用することです。一部の開発者グループがMinecraft Benchmark、またはMC-Benchを立ち上げ、AIモデルが与えられたプロンプトに基づいてMinecraftの建築物を作成し競い合うプラットフォームを構築しました。

MC-Benchでは、ユーザーがどのAIモデルの作品を好むかに投票でき、投票後に初めてどのモデルが各建築物を作成したかを知ることができます。このインタラクティブなアプローチは、コミュニティを巻き込むだけでなく、AIの能力を評価する独自の方法を提供します。

12年生でMC-Benchの創始者であるAdi Singhは、Minecraftの広く知られた認知度が鍵だと考えています。史上最も売れたビデオゲームとして、Minecraftは多くの人に馴染みがあり、ゲームをプレイしたことがない人でもAIが生成した建築物の品質を判断しやすくなっています。「Minecraftは人々がAI開発の進捗をより簡単に見ることを可能にします」とSinghはTechCrunchに説明しました。「人々はMinecraftに慣れており、その見た目や雰囲気に慣れています。」

MC-Benchは8人のボランティア貢献者によるチームによってサポートされています。Anthropic、Google、OpenAI、Alibabaなどの企業がベンチマークプロンプトの実行のために製品を提供していますが、プロジェクトにはそれ以外の関与はありません。

Singhは、MC-Benchを単純な建築物からより複雑で目標指向のタスクへと拡張することを構想しています。「ゲームは、現実世界よりも安全で、テスト目的でより制御可能なエージェント的推論をテストする媒体になるかもしれません。それが私の目には理想的です」と彼は述べました。

他のゲームをAIベンチマークとして

Minecraft以外にも、Pokémon Red、Street Fighter、PictionaryなどのゲームがAIの実験的ベンチマークとして使用されています。AIのベンチマークの課題は、その複雑さにあります。従来の標準化されたテストは、AIモデルが得意とする暗記や基本的な推論といった狭い問題解決領域を重視する傾向があるためです。

例えば、OpenAIのGPT-4はLSATで88パーセンタイルのスコアを獲得できますが、「strawberry」の中のRの数を数えるような簡単なタスクには苦戦します。同様に、AnthropicのClaude 3.7 Sonnetはソフトウェアエンジニアリングベンチマークで62.3%の精度を達成しましたが、Pokémonをプレイする能力では5歳の子供のほとんどの能力に及びません。

MC-Bench：単なるプログラミングベンチマーク以上のもの

技術的には、MC-BenchはAIモデルが「フロスティ・ザ・スノーマン」や「手つかずの砂浜にある魅力的なトロピカルビーチハット」などの建築物を作成するためにコードを書く必要があるため、プログラミングベンチマークです。しかし、このプラットフォームの魅力は、そのアクセシビリティにあります。ユーザーがコードを分析するよりも、建築物の視覚的な品質を評価する方が簡単であり、これによりプロジェクトの範囲とモデルパフォーマンスに関するデータ収集の可能性が広がります。

これらのスコアがAIの有用性を本当に反映しているかどうかについての議論は続いています。しかし、Singhはそれらが強い指標だと信じています。「現在のリーダーボードは、私がこれらのモデルを使用した経験にかなり近いものを反映しています。これは多くの純粋なテキストベンチマークとは異なります」と彼は述べました。「おそらく[MC-Bench]は、企業が正しい方向に進んでいるかどうかを知るのに役立つかもしれません。」