高中生為AI Minecraft建立挑戰創建網站

使用Minecraft進行創意AI基準測試

隨著傳統AI基準測試方法的不足，開發者們正探索創新的方式來評估生成式AI模型的能力。其中一種創意方法是使用Minecraft，這款由Microsoft擁有的熱門沙盒遊戲。一群開發者推出了Minecraft Benchmark，或稱MC-Bench，這是一個讓AI模型根據給定提示競爭創建Minecraft建築的平台。

在MC-Bench上，使用者可以投票選擇他們偏好的AI模型創作，且只有在投票後才會得知每件建築是由哪個模型製作的。這種互動方式不僅吸引了社群參與，還提供了一種獨特的方式來評估AI的能力。

Adi Singh，一位12年級學生，也是MC-Bench的發起人，認為Minecraft的廣泛知名度是關鍵。作為有史以來最暢銷的電子遊戲，許多人都對它很熟悉，這使得人們即使沒有親自玩過遊戲，也能更容易判斷AI生成建築的品質。Singh向TechCrunch解釋說：「Minecraft讓人們更容易看到[AI發展]的進展。」他補充道：「人們習慣了Minecraft的風格和氛圍。」

MC-Bench由八名志願者組成的團隊支持。像Anthropic、Google、OpenAI和Alibaba這樣的企業提供了他們的產品來運行基準測試提示，但他們並未以其他方式參與該項目。

Singh設想將MC-Bench擴展到超越簡單建築，朝著更複雜、以目標為導向的任務發展。他說：「遊戲可能只是一種測試代理推理的媒介，相較於現實生活更安全，且更可控，適合測試用途，這在我看來更為理想。」

其他遊戲作為AI基準

除了Minecraft，其他遊戲如Pokémon Red、Street Fighter和Pictionary也已被用作AI的實驗性基準。AI基準測試的挑戰在於其複雜性，因為傳統的標準化測試往往偏向AI模型，這是由於它們的訓練方式在狹窄的問題解決領域（如機械記憶或基本推斷）中表現出色。

例如，OpenAI的GPT-4在LSAT考試中能達到88百分位的成績，但在像計算「strawberry」中R的數量這樣較簡單的任務上卻表現不佳。同樣，Anthropic的Claude 3.7 Sonnet在軟體工程基準測試中達到62.3%的準確率，但在玩Pokémon時的表現卻不如大多數五歲的孩子。

MC-Bench：不僅僅是程式設計基準

從技術上講，MC-Bench是一個程式設計基準，因為它要求AI模型撰寫程式碼來創建像「雪人Frosty」或「原始沙灘上的迷人熱帶小屋」這樣的建築。然而，這個平台的吸引力在於其可及性。使用者評估建築的視覺品質比分析程式碼更容易，這擴大了項目的影響力和收集模型性能數據的潛力。

關於這些分數是否真正反映AI實用性的爭論仍在繼續。然而，Singh認為它們是一個強有力的指標。他說：「目前的排行榜與我使用這些模型的個人經驗相當吻合，這與許多純文字基準不同。」他補充道：「也許[MC-Bench]對企業來說有助於了解他們是否朝著正確的方向前進。」