高校生は、AI MinecraftのビルドオフチャレンジのためにWebサイトを作成します

Minecraftを使用したクリエイティブAIベンチマーク

従来のAIベンチマーク方法が不足しているため、開発者は生成AIモデルの腕前を評価するための革新的なアプローチを模索しています。そのような創造的な方法の1つは、Microsoftが所有する人気のあるサンドボックスゲームであるMinecraftの使用です。開発者のグループは、Minecraftベンチマーク（MC-Bench）を立ち上げました。これは、AIモデルが指定されたプロンプトに基づいてMinecraftビルドの作成に競うプラットフォームです。

MCベンチでは、ユーザーはどのAIモデルの作成を好むかを投票できます。投票した後にのみ、どのモデルが各ビルドを作成したかを発見します。このインタラクティブなアプローチは、コミュニティに関与するだけでなく、AI機能を評価するユニークな方法も提供します。

12年生でMCベンチのイニシエーターであるAdi Singhは、Minecraftの広範な認識が重要であると考えています。ベストセラーのビデオゲームは、多くの人にとって馴染みのあるものであり、たとえ自分でゲームをプレイしていなくても、AIに生成されたビルドの品質を簡単に判断しやすくなります。 「Minecraftは、人々が（AI開発の）進歩をより簡単に見ることができるようにすることを可能にします」とSinghはTechCrunchに説明しました。 「人々はミネクラフトに慣れており、外観と雰囲気に慣れています。」

MCベンチは、8人のボランティア貢献者のチームによってサポートされています。 Anthropic、Google、Openai、Alibabaなどの企業は、プロジェクトに関係していないものではありませんが、ベンチマークプロンプトを実行するための製品を提供しています。

Singhは、単純なビルドを超えてMCベンチをより複雑で目標指向のタスクに拡大することを想定しています。 「ゲームは、実生活よりも安全であり、テストの目的でより制御可能なテストエージェントの推論である可能性があり、私の目にはより理想的になります」と彼は言いました。

AIベンチマークとしての他のゲーム

Minecraftに加えて、PokémonRed、Street Fighter、Pictionaryなどの他のゲームは、AIの実験ベンチマークとして使用されています。 AIのベンチマークの課題は、従来の標準化されたテストがトレーニング方法のためにAIモデルを好むことが多いため、その複雑さにあります。これは、暗記や基本的な外挿などの狭い問題解決領域で優れています。

たとえば、OpenaiのGPT-4はLSATの88パーセンタイルで得点できますが、「Strawberry」のRSの数を数えるなど、より単純なタスクに苦労しています。同様に、AnthropicのClaude 3.7 Sonnetは、ソフトウェアエンジニアリングベンチマークで62.3％の精度を達成しましたが、ほとんどの5歳と比較してPokémonをプレイするのに不足しています。

MCベンチ：単なるプログラミングベンチマーク以上のもの

技術的には、MCベンチはプログラミングベンチマークです。なぜなら、AIモデルが「Frosty The Snowman」や「魅力的な熱帯のビーチ小屋」などのビルドを作成するためのコードを作成する必要があるためです。ただし、プラットフォームの魅力はアクセシビリティにあります。ユーザーは、モデルのパフォーマンスに関するデータ収集の範囲を広げるコードを分析するよりも、ビルドの視覚品質を評価するのが簡単です。

これらのスコアがAIの有用性を真に反映しているかどうかについての議論は続いています。しかし、シンは彼らが強力な指標であると信じています。 「現在のリーダーボードは、これらのモデルを使用した私自身の経験に非常に密接に反映されています。これは、多くの純粋なテキストベンチマークとは異なります」と彼は言いました。 「たぶん[MC-Bench]は、企業が正しい方向に向かっているかどうかを知るのに役立つかもしれません。」