O aluno do ensino médio cria um site para os desafios de construção da AI Minecraft

Creative AI Benchmarking com Minecraft

À medida que os métodos tradicionais de benchmarking de IA ficam aquém, os desenvolvedores estão explorando abordagens inovadoras para avaliar a proeza dos modelos generativos de IA. Um desses métodos criativos envolve o uso do Minecraft, o popular jogo de sandbox de propriedade da Microsoft. Um grupo de desenvolvedores lançou o Minecraft Benchmark, ou MC-Bench, uma plataforma em que os modelos de IA competem na criação de compilações do Minecraft com base em determinados prompts.

No MC-Bench, os usuários podem votar na qual a criação do modelo de IA preferem, e somente depois de votar seu voto, eles descobrem qual modelo fez cada construção. Essa abordagem interativa não apenas envolve a comunidade, mas também fornece uma maneira única de avaliar os recursos de IA.

Adi Singh, aluno da 12ª série e iniciador do MC-banch, acredita que o reconhecimento generalizado de Minecraft é fundamental. Como o videogame mais vendido de todos os tempos, é familiar para muitos, facilitando para as pessoas julgar a qualidade das construções geradas pela IA, mesmo que elas não jogassem o jogo. "O Minecraft permite que as pessoas vejam o progresso [do desenvolvimento da IA] com muito mais facilidade", explicou Singh ao TechCrunch. "As pessoas estão acostumadas a minecraft, acostumadas com a aparência e a vibração".

O MC-Bench é apoiado por uma equipe de oito colaboradores voluntários. Empresas como Anthropic, Google, Openai e Alibaba forneceram seus produtos para a execução de instruções de referência, embora não estejam envolvidos no projeto.

Singh prevê expandir o MC-banch além das compilações simples para tarefas mais complexas e orientadas a objetivos. "Os jogos podem ser apenas um médio para testar o raciocínio agêntico que é mais seguro do que na vida real e mais controlável para fins de teste, tornando -o mais ideal aos meus olhos", disse ele.

Outros jogos como benchmarks de IA

Além do Minecraft, outros jogos como Pokémon Red, Street Fighter e Pictionary foram usados ​​como benchmarks experimentais para a IA. O desafio da AI de benchmarking reside em sua complexidade, pois os testes padronizados tradicionais geralmente favorecem os modelos de IA devido aos seus métodos de treinamento, que se destacam em áreas estreitas de solução de problemas, como memorização mecânica ou extrapolação básica.

Por exemplo, embora o GPT-4 do Openai possa marcar no percentil 88 no LSAT, ele luta com tarefas mais simples, como contar o número de Rs em "Strawberry". Da mesma forma, o claude de 3,7 sonetos da Anthropic alcançou 62,3% de precisão em uma referência de engenharia de software, mas fica aquém do jogo de Pokémon em comparação com a maioria das crianças de cinco anos.

MC-BENCH: Mais do que apenas um benchmark de programação

Tecnicamente, o MC-Bench é um benchmark de programação, porque exige que os modelos de IA escreviam código para criar construções como "Frosty the Snowman" ou "uma encantadora cabana de praia tropical em uma costa arenosa intocada". No entanto, o apelo da plataforma está em sua acessibilidade. É mais fácil para os usuários avaliar a qualidade visual de uma construção do que analisar o código, que amplia o alcance do projeto e o potencial de coleta de dados no desempenho do modelo.

O debate continua sobre se essas pontuações realmente refletem a utilidade da IA. Singh, no entanto, acredita que eles são um forte indicador. "A tabela de classificação atual reflete muito de perto minha própria experiência de usar esses modelos, o que é diferente de muitos benchmarks de texto puro", disse ele. "Talvez [MC-banch] possa ser útil para as empresas para saber se estão indo na direção certa".