高中生为AI Minecraft建立挑战创建网站

使用Minecraft进行创意AI基准测试

随着传统AI基准测试方法的不足，开发者们正在探索创新方法来评估生成式AI模型的能力。其中一种创意方法是使用Microsoft旗下的热门沙盒游戏Minecraft。一组开发者推出了Minecraft基准测试，或称MC-Bench，这是一个平台，让AI模型根据给定的提示竞争创建Minecraft建筑。

在MC-Bench上，用户可以投票选择他们喜欢的AI模型创作，并且只有在投票后才会知道每个建筑是由哪个模型创建的。这种互动方式不仅吸引了社区参与，还提供了一种独特的方式来评估AI能力。

Adi Singh，一名12年级学生，也是MC-Bench的发起人，认为Minecraft的广泛知名度是关键。作为有史以来最畅销的视频游戏，它为许多人所熟悉，使人们更容易判断AI生成建筑的质量，即使他们自己没有玩过这款游戏。Singh对TechCrunch解释说：“Minecraft让人们更容易看到AI发展的进展。人们已经习惯了Minecraft的画面和氛围。”

MC-Bench由八名志愿者组成的团队支持。Anthropic、Google、OpenAI和Alibaba等公司提供了他们的产品用于运行基准测试提示，尽管他们并未以其他方式参与该项目。

Singh设想将MC-Bench扩展到超越简单建筑的更复杂、目标导向的任务。他表示：“游戏可能只是一个测试代理推理的媒介，相比现实生活更安全，且更可控，适合测试目的，在我看来更理想。”

其他游戏作为AI基准

除了Minecraft，其他游戏如Pokémon Red、Street Fighter和Pictionary也被用作AI的实验性基准测试。AI基准测试的挑战在于其复杂性，因为传统标准化测试通常偏向于AI模型，这些模型因训练方法而在狭窄问题解决领域（如机械记忆或基本推断）表现优异。

例如，OpenAI的GPT-4在LSAT考试中能获得88%的分数，但却难以完成像统计“strawberry”中R字母数量这样的简单任务。同样，Anthropic的Claude 3.7 Sonnet在软件工程基准测试中达到62.3%的准确率，但在玩Pokémon时远不如大多数五岁儿童。

MC-Bench：不仅仅是编程基准

从技术角度看，MC-Bench是一个编程基准测试，因为它要求AI模型编写代码来创建像“雪人Frosty”或“原始沙滩上的迷人热带小屋”这样的建筑。然而，该平台的吸引力在于其可访问性。用户更容易评估建筑的视觉质量，而不是分析代码，这拓宽了项目的覆盖范围和模型性能数据收集的潜力。

关于这些分数是否真正反映AI实用性的争论仍在继续。然而，Singh认为它们是一个强有力的指标。他说：“当前的排行榜非常贴近我使用这些模型的体验，这与许多纯文本基准测试不同。也许MC-Bench可以帮助公司了解他们是否朝着正确的方向前进。”