Hogar
El estudiante de secundaria crea un sitio web para los desafíos de AI Minecraft Build-Off
Benchmarking de IA Creativa con Minecraft
A medida que los métodos tradicionales de evaluación de IA se quedan cortos, los desarrolladores están explorando enfoques innovadores para evaluar las capacidades de los modelos de IA generativa. Uno de estos métodos creativos implica el uso de Minecraft, el popular juego sandbox propiedad de Microsoft. Un grupo de desarrolladores ha lanzado Minecraft Benchmark, o MC-Bench, una plataforma donde los modelos de IA compiten en la creación de construcciones en Minecraft basadas en prompts dados.
En MC-Bench, los usuarios pueden votar por la creación de qué modelo de IA prefieren, y solo después de emitir su voto descubren qué modelo realizó cada construcción. Este enfoque interactivo no solo involucra a la comunidad, sino que también proporciona una forma única de evaluar las capacidades de la IA.

Créditos de la imagen: Minecraft Benchmark Adi Singh, un estudiante de 12º grado y el iniciador de MC-Bench, cree que el reconocimiento generalizado de Minecraft es clave. Como el videojuego más vendido de todos los tiempos, es familiar para muchos, lo que facilita que las personas juzguen la calidad de las construcciones generadas por IA, incluso si no han jugado el juego ellos mismos. "Minecraft permite a las personas ver el progreso [del desarrollo de la IA] mucho más fácilmente," explicó Singh a TechCrunch. "La gente está acostumbrada a Minecraft, a su apariencia y su ambiente."
MC-Bench cuenta con el apoyo de un equipo de ocho colaboradores voluntarios. Empresas como Anthropic, Google, OpenAI y Alibaba han proporcionado sus productos para ejecutar prompts de evaluación, aunque no están involucradas de ninguna otra manera con el proyecto.
Singh prevé expandir MC-Bench más allá de construcciones simples hacia tareas más complejas y orientadas a objetivos. "Los juegos podrían ser solo un medio para probar el razonamiento agentivo que es más seguro que en la vida real y más controlable para fines de prueba, lo que lo hace más ideal en mi opinión," dijo.
Otros Juegos como Benchmarks de IA
Además de Minecraft, otros juegos como Pokémon Red, Street Fighter y Pictionary han sido utilizados como benchmarks experimentales para IA. El desafío de evaluar la IA radica en su complejidad, ya que las pruebas estandarizadas tradicionales a menudo favorecen a los modelos de IA debido a sus métodos de entrenamiento, que destacan en áreas de resolución de problemas específicas como la memorización mecánica o la extrapolación básica.
Por ejemplo, mientras que GPT-4 de OpenAI puede obtener una puntuación en el percentil 88 en el LSAT, tiene dificultades con tareas más simples como contar el número de Rs en "strawberry." De manera similar, Claude 3.7 Sonnet de Anthropic logró una precisión del 62.3% en un benchmark de ingeniería de software, pero se queda corto al jugar Pokémon en comparación con la mayoría de los niños de cinco años.

Créditos de la imagen: Minecraft Benchmark MC-Bench: Más que un Simple Benchmark de Programación
Técnicamente, MC-Bench es un benchmark de programación porque requiere que los modelos de IA escriban código para crear construcciones como "Frosty el Muñeco de Nieve" o "una encantadora cabaña en una playa tropical en una costa arenosa prístina." Sin embargo, el atractivo de la plataforma radica en su accesibilidad. Es más fácil para los usuarios evaluar la calidad visual de una construcción que analizar el código, lo que amplía el alcance del proyecto y su potencial para la recolección de datos sobre el rendimiento del modelo.
El debate continúa sobre si estas puntuaciones reflejan realmente la utilidad de la IA. Sin embargo, Singh cree que son un fuerte indicador. "La tabla de clasificación actual refleja bastante de cerca mi propia experiencia al usar estos modelos, lo cual es diferente a muchos benchmarks puramente de texto," dijo. "Tal vez [MC-Bench] podría ser útil para las empresas para saber si están yendo en la dirección correcta."
Artículo relacionado
Stripe adquirirá OpenRouter a medida que el enrutamiento basado en modelos de IA cobra impulso
Stripe ha acordado adquirir OpenRouter, una plataforma de enrutamiento de modelos de IA que ofrece a los desarrolladores acceso a cientos de modelos a través de una única interfaz. El acuerdo amplía e
El exinvestigador de OpenAI, Barrett Zoph, regresa a Google para colaborar en el desarrollo de Gemini
Barret Zoph, que anteriormente abandonó de forma repentina la empresa para incorporarse a OpenAI debido a un desacuerdo con la directora general de Thinking Machines Lab, Miriam Mularati, ha vuelto a
Cómo Recursive Intelligence recaudó 335 millones de dólares con una valoración de 4.000 millones de dólares en cuatro meses
Las cofundadoras de la startup Ricursive Intelligence parecían destinadas a ser cofundadoras.Anna Goldie, directora ejecutiva, y Azalia Mirhoseini, directora técnica, son tan conocidas en la comunidad
Recomendaciones de temas especiales relacionados
comentario (27)
0/500
Interesting approach! Using Minecraft for AI benchmarking sounds way more engaging than standard tests. Wonder if this could lead to AI that actually helps design game worlds? The student's project is a cool example of how gaming and AI research can mix. Hope they share the results! 🎮
高校生がAI建築チャレンジのサイトを作ったのか…!Minecraftの世界でAIの創造性を測るってアイデア、すごく面白いな。でも、これって結局マイクロソフトのプロモーションみたいなものじゃないの?AIがどんどんゲーム内に溶け込んでいくの、ちょっと怖い気もする😅 未来のゲームはすべてAIが作っちゃうのかな?
É sempre incrível ver jovens inovando com IA! Alguém já testou se esses desafios do Minecraft realmente conseguem medir bem a criatividade dos modelos? Ou será que é só mais uma moda passageira? 😅
这个高中生用Minecraft来测试AI生成建筑也太有创意了吧!😂 传统AI评测标准太死板了,确实需要这种更直观有趣的方式。不过我很好奇评判标准是什么,是美观度还是还原度?也想试试看用我的世界来测试Stable Diffusion效果
Benchmarking de IA Creativa con Minecraft
A medida que los métodos tradicionales de evaluación de IA se quedan cortos, los desarrolladores están explorando enfoques innovadores para evaluar las capacidades de los modelos de IA generativa. Uno de estos métodos creativos implica el uso de Minecraft, el popular juego sandbox propiedad de Microsoft. Un grupo de desarrolladores ha lanzado Minecraft Benchmark, o MC-Bench, una plataforma donde los modelos de IA compiten en la creación de construcciones en Minecraft basadas en prompts dados.
En MC-Bench, los usuarios pueden votar por la creación de qué modelo de IA prefieren, y solo después de emitir su voto descubren qué modelo realizó cada construcción. Este enfoque interactivo no solo involucra a la comunidad, sino que también proporciona una forma única de evaluar las capacidades de la IA.

Adi Singh, un estudiante de 12º grado y el iniciador de MC-Bench, cree que el reconocimiento generalizado de Minecraft es clave. Como el videojuego más vendido de todos los tiempos, es familiar para muchos, lo que facilita que las personas juzguen la calidad de las construcciones generadas por IA, incluso si no han jugado el juego ellos mismos. "Minecraft permite a las personas ver el progreso [del desarrollo de la IA] mucho más fácilmente," explicó Singh a TechCrunch. "La gente está acostumbrada a Minecraft, a su apariencia y su ambiente."
MC-Bench cuenta con el apoyo de un equipo de ocho colaboradores voluntarios. Empresas como Anthropic, Google, OpenAI y Alibaba han proporcionado sus productos para ejecutar prompts de evaluación, aunque no están involucradas de ninguna otra manera con el proyecto.
Singh prevé expandir MC-Bench más allá de construcciones simples hacia tareas más complejas y orientadas a objetivos. "Los juegos podrían ser solo un medio para probar el razonamiento agentivo que es más seguro que en la vida real y más controlable para fines de prueba, lo que lo hace más ideal en mi opinión," dijo.
Otros Juegos como Benchmarks de IA
Además de Minecraft, otros juegos como Pokémon Red, Street Fighter y Pictionary han sido utilizados como benchmarks experimentales para IA. El desafío de evaluar la IA radica en su complejidad, ya que las pruebas estandarizadas tradicionales a menudo favorecen a los modelos de IA debido a sus métodos de entrenamiento, que destacan en áreas de resolución de problemas específicas como la memorización mecánica o la extrapolación básica.
Por ejemplo, mientras que GPT-4 de OpenAI puede obtener una puntuación en el percentil 88 en el LSAT, tiene dificultades con tareas más simples como contar el número de Rs en "strawberry." De manera similar, Claude 3.7 Sonnet de Anthropic logró una precisión del 62.3% en un benchmark de ingeniería de software, pero se queda corto al jugar Pokémon en comparación con la mayoría de los niños de cinco años.

MC-Bench: Más que un Simple Benchmark de Programación
Técnicamente, MC-Bench es un benchmark de programación porque requiere que los modelos de IA escriban código para crear construcciones como "Frosty el Muñeco de Nieve" o "una encantadora cabaña en una playa tropical en una costa arenosa prístina." Sin embargo, el atractivo de la plataforma radica en su accesibilidad. Es más fácil para los usuarios evaluar la calidad visual de una construcción que analizar el código, lo que amplía el alcance del proyecto y su potencial para la recolección de datos sobre el rendimiento del modelo.
El debate continúa sobre si estas puntuaciones reflejan realmente la utilidad de la IA. Sin embargo, Singh cree que son un fuerte indicador. "La tabla de clasificación actual refleja bastante de cerca mi propia experiencia al usar estos modelos, lo cual es diferente a muchos benchmarks puramente de texto," dijo. "Tal vez [MC-Bench] podría ser útil para las empresas para saber si están yendo en la dirección correcta."
Stripe adquirirá OpenRouter a medida que el enrutamiento basado en modelos de IA cobra impulso
Stripe ha acordado adquirir OpenRouter, una plataforma de enrutamiento de modelos de IA que ofrece a los desarrolladores acceso a cientos de modelos a través de una única interfaz. El acuerdo amplía e
El exinvestigador de OpenAI, Barrett Zoph, regresa a Google para colaborar en el desarrollo de Gemini
Barret Zoph, que anteriormente abandonó de forma repentina la empresa para incorporarse a OpenAI debido a un desacuerdo con la directora general de Thinking Machines Lab, Miriam Mularati, ha vuelto a
Cómo Recursive Intelligence recaudó 335 millones de dólares con una valoración de 4.000 millones de dólares en cuatro meses
Las cofundadoras de la startup Ricursive Intelligence parecían destinadas a ser cofundadoras.Anna Goldie, directora ejecutiva, y Azalia Mirhoseini, directora técnica, son tan conocidas en la comunidad
Interesting approach! Using Minecraft for AI benchmarking sounds way more engaging than standard tests. Wonder if this could lead to AI that actually helps design game worlds? The student's project is a cool example of how gaming and AI research can mix. Hope they share the results! 🎮
高校生がAI建築チャレンジのサイトを作ったのか…!Minecraftの世界でAIの創造性を測るってアイデア、すごく面白いな。でも、これって結局マイクロソフトのプロモーションみたいなものじゃないの?AIがどんどんゲーム内に溶け込んでいくの、ちょっと怖い気もする😅 未来のゲームはすべてAIが作っちゃうのかな?
É sempre incrível ver jovens inovando com IA! Alguém já testou se esses desafios do Minecraft realmente conseguem medir bem a criatividade dos modelos? Ou será que é só mais uma moda passageira? 😅
这个高中生用Minecraft来测试AI生成建筑也太有创意了吧!😂 传统AI评测标准太死板了,确实需要这种更直观有趣的方式。不过我很好奇评判标准是什么,是美观度还是还原度?也想试试看用我的世界来测试Stable Diffusion效果











