El estudiante de secundaria crea un sitio web para los desafíos de AI Minecraft Build-Off

Benchmarking creativo de IA con Minecraft

A medida que los métodos de evaluación comparativa tradicional de IA se quedan cortas, los desarrolladores están explorando enfoques innovadores para evaluar la destreza de los modelos de IA generativos. Uno de esos métodos creativos implica usar Minecraft, el popular juego de sandbox propiedad de Microsoft. Un grupo de desarrolladores ha lanzado Minecraft Benchmark, o MC-Bench, una plataforma donde los modelos de IA compiten en la creación de compilaciones de Minecraft basadas en indicaciones dadas.

En MC-Bench, los usuarios pueden votar sobre la creación de AI Model que prefieren, y solo después de emitir su voto descubren qué modelo hizo cada construcción. Este enfoque interactivo no solo involucra a la comunidad, sino que también proporciona una forma única de evaluar las capacidades de IA.

Adi Singh, estudiante de 12º grado e iniciador de MC-Bench, cree que el reconocimiento generalizado de Minecraft es clave. Como el videojuego más vendido de la historia, es familiar para muchos, lo que facilita a las personas juzgar la calidad de las construcciones generadas por IA, incluso si no han jugado el juego ellos mismos. "Minecraft permite a las personas ver el progreso [del desarrollo de IA] mucho más fácilmente", explicó Singh a TechCrunch. "La gente está acostumbrada a Minecraft, acostumbrada al aspecto y al ambiente".

MC-Bench cuenta con el apoyo de un equipo de ocho colaboradores voluntarios. Empresas como Anthrope, Google, Openai y Alibaba han proporcionado sus productos para ejecutar indicaciones de referencia, aunque de otro modo no participan con el proyecto.

Singh prevé expandir el bancario MC más allá de las simples construcciones a tareas más complejas y orientadas a objetivos. "Los juegos podrían ser un razonamiento agente medio para probar que sea más seguro que en la vida real y más controlable para fines de prueba, lo que lo hace más ideal en mis ojos", dijo.

Otros juegos como puntos de referencia de AI

Además de Minecraft, otros juegos como Pokémon Red, Street Fighter y Pictionary se han utilizado como puntos de referencia experimentales para la IA. El desafío de la evaluación comparativa de IA radica en su complejidad, ya que las pruebas estandarizadas tradicionales a menudo favorecen los modelos de IA debido a sus métodos de entrenamiento, que se destacan en áreas estrechas de resolución de problemas como la memorización de memoria o extrapolación básica.

Por ejemplo, si bien el GPT-4 de OpenAI puede obtener en el percentil 88 en el LSAT, lucha con tareas más simples como contar el número de RS en "Strawberry". Del mismo modo, el soneto Claude 3.7 de Anthrope alcanzó una precisión del 62.3% en un punto de referencia de ingeniería de software, pero se queda corto en jugar Pokémon en comparación con la mayoría de los niños de cinco años.

MC-Bench: más que un simple punto de referencia de programación

Técnicamente, MC-Bench es un punto de referencia de programación porque requiere que los modelos de IA escriban código para crear construcciones como "Frosty the Snowman" o "una encantadora cabaña de playa tropical en una orilla arenosa virgen". Sin embargo, el atractivo de la plataforma radica en su accesibilidad. Es más fácil para los usuarios evaluar la calidad visual de una compilación que analizar el código, lo que amplía el alcance del proyecto y el potencial para la recopilación de datos sobre el rendimiento del modelo.

El debate continúa si estos puntajes realmente reflejan la utilidad de AI. Singh, sin embargo, cree que son un indicador fuerte. "La tabla de clasificación actual se refleja bastante estrechamente con mi propia experiencia de usar estos modelos, que es diferente a muchos puntos de referencia de texto puro", dijo. "Tal vez [MC-Bench] podría ser útil para las empresas para saber si se dirigen en la dirección correcta".