El estudiante de secundaria crea un sitio web para los desafíos de AI Minecraft Build-Off

Benchmarking de IA Creativa con Minecraft

A medida que los métodos tradicionales de evaluación de IA se quedan cortos, los desarrolladores están explorando enfoques innovadores para evaluar las capacidades de los modelos de IA generativa. Uno de estos métodos creativos implica el uso de Minecraft, el popular juego sandbox propiedad de Microsoft. Un grupo de desarrolladores ha lanzado Minecraft Benchmark, o MC-Bench, una plataforma donde los modelos de IA compiten en la creación de construcciones en Minecraft basadas en prompts dados.

En MC-Bench, los usuarios pueden votar por la creación de qué modelo de IA prefieren, y solo después de emitir su voto descubren qué modelo realizó cada construcción. Este enfoque interactivo no solo involucra a la comunidad, sino que también proporciona una forma única de evaluar las capacidades de la IA.

Adi Singh, un estudiante de 12º grado y el iniciador de MC-Bench, cree que el reconocimiento generalizado de Minecraft es clave. Como el videojuego más vendido de todos los tiempos, es familiar para muchos, lo que facilita que las personas juzguen la calidad de las construcciones generadas por IA, incluso si no han jugado el juego ellos mismos. "Minecraft permite a las personas ver el progreso [del desarrollo de la IA] mucho más fácilmente," explicó Singh a TechCrunch. "La gente está acostumbrada a Minecraft, a su apariencia y su ambiente."

MC-Bench cuenta con el apoyo de un equipo de ocho colaboradores voluntarios. Empresas como Anthropic, Google, OpenAI y Alibaba han proporcionado sus productos para ejecutar prompts de evaluación, aunque no están involucradas de ninguna otra manera con el proyecto.

Singh prevé expandir MC-Bench más allá de construcciones simples hacia tareas más complejas y orientadas a objetivos. "Los juegos podrían ser solo un medio para probar el razonamiento agentivo que es más seguro que en la vida real y más controlable para fines de prueba, lo que lo hace más ideal en mi opinión," dijo.

Otros Juegos como Benchmarks de IA

Además de Minecraft, otros juegos como Pokémon Red, Street Fighter y Pictionary han sido utilizados como benchmarks experimentales para IA. El desafío de evaluar la IA radica en su complejidad, ya que las pruebas estandarizadas tradicionales a menudo favorecen a los modelos de IA debido a sus métodos de entrenamiento, que destacan en áreas de resolución de problemas específicas como la memorización mecánica o la extrapolación básica.

Por ejemplo, mientras que GPT-4 de OpenAI puede obtener una puntuación en el percentil 88 en el LSAT, tiene dificultades con tareas más simples como contar el número de Rs en "strawberry." De manera similar, Claude 3.7 Sonnet de Anthropic logró una precisión del 62.3% en un benchmark de ingeniería de software, pero se queda corto al jugar Pokémon en comparación con la mayoría de los niños de cinco años.

MC-Bench: Más que un Simple Benchmark de Programación

Técnicamente, MC-Bench es un benchmark de programación porque requiere que los modelos de IA escriban código para crear construcciones como "Frosty el Muñeco de Nieve" o "una encantadora cabaña en una playa tropical en una costa arenosa prístina." Sin embargo, el atractivo de la plataforma radica en su accesibilidad. Es más fácil para los usuarios evaluar la calidad visual de una construcción que analizar el código, lo que amplía el alcance del proyecto y su potencial para la recolección de datos sobre el rendimiento del modelo.

El debate continúa sobre si estas puntuaciones reflejan realmente la utilidad de la IA. Sin embargo, Singh cree que son un fuerte indicador. "La tabla de clasificación actual refleja bastante de cerca mi propia experiencia al usar estos modelos, lo cual es diferente a muchos benchmarks puramente de texto," dijo. "Tal vez [MC-Bench] podría ser útil para las empresas para saber si están yendo en la dirección correcta."