Студент средней школы создает веб-сайт для создания AI Minecraft.

Творческий анализ искусственного искусства с Minecraft

Поскольку традиционные методы сравнительного анализа искусственного интеллекта не терпят неудачу, разработчики изучают инновационные подходы для оценки мастерства генеративных моделей ИИ. Один из таких творческих методов включает использование Minecraft, популярной игры на песочницу, принадлежащей Microsoft. Группа разработчиков запустила Minecraft Benchmark, или Mc-Bench, платформу, на которой модели искусственного интеллекта конкурируют за создание сборки Minecraft на основе заданных подсказок.

На MC-Bench пользователи могут голосовать, на какое создание модели ИИ они предпочитают, и только после того, как они голосуют, они обнаруживают, какая модель создала каждую сборку. Этот интерактивный подход не только привлекает сообщество, но и предоставляет уникальный способ оценки возможностей ИИ.

Ади Сингх, 12-й класс и инициатор MC-Bench, считает, что широко распространенное признание Minecraft является ключевым. Будучи самыми продаваемыми видеоигры, она знакома многим, что облегчает людям судить о качестве сгенерированных AI сборок, даже если они сами не играли в эту игру. «Minecraft позволяет людям гораздо легче увидеть прогресс [развития ИИ]», - объяснил Сингх TechCrunch. «Люди привыкли к Minecraft, привыкнув к внешнему виду и атмосферу».

Mc-Bench поддерживается командой из восьми добровольных участников. Такие компании, как Anpropic, Google, Openai и Alibaba, предоставили свои продукты для подсказки для работы с эталонами, хотя они иначе не связаны с проектом.

Сингх предполагает, что MC-Bench за пределы простых строительств на более сложные, целенаправленные задачи. «Игры могут быть просто средой для проверки агентских рассуждений, которые безопаснее, чем в реальной жизни и более контролируемые для целей тестирования, что делает их более идеальным в моих глазах», - сказал он.

Другие игры как тесты ИИ

Помимо Minecraft, другие игры, такие как Pokémon Red, Street Fighter и Pictionary, использовались в качестве экспериментальных ориентиров для ИИ. Задача сравнительного анализа ИИ заключается в его сложности, поскольку традиционные стандартизированные тесты часто предпочитают модели ИИ из-за их методов обучения, которые преуспевают в узких областях решения проблем, таких как запоминание Rote или базовая экстраполяция.

Например, в то время как GPT-4 OpenAI может забить в 88-м процентиле на LSAT, он борется с более простыми задачами, такими как подсчет количества рупий в «Клубнике». Аналогичным образом, Sonnet от Anpropic Claude 3,7 достиг 62,3% точности на эталоне разработки программного обеспечения, но не хватает в игре Pokémon по сравнению с большинством пятилетних.

MC-Bench: Больше, чем просто эталон программирования

Технически, MC-Bench является эталоном программирования, потому что ему требуется модели искусственного интеллекта для написания кода, чтобы создать сборки, такие как «Морозный снеговик» или «очаровательная тропическая пляжная хижина на нетронутом песчаном берегу». Тем не менее, привлекательность платформы заключается в его доступности. Пользователям проще оценить визуальное качество сборки, чем анализировать код, что расширяет охват проекта и потенциал для сбора данных при производительности модели.

Дебаты продолжаются о том, действительно ли эти оценки отражают полезность ИИ. Сингх, однако, считает, что они являются сильным показателем. «Нынешняя таблица лидеров довольно внимательно отражается на моем собственном опыте использования этих моделей, что отличается от множества чистых текстовых критериев», - сказал он. «Возможно, [MC-Bench] может быть полезен для компаний, чтобы узнать, движутся ли они в правильном направлении».