Meta AI não consegue competir com llama, gêmeos e chatgpt no teste de codificação

Quão Bem as Ferramentas de IA Escrevem Código?

Nos últimos meses, testei diversos modelos de linguagem de grande escala para avaliar sua eficácia em enfrentar desafios básicos de programação. A ideia por trás desses testes é simples: se eles não conseguem lidar com o básico, é improvável que sejam muito úteis em tarefas mais complexas. Mas, se performarem bem nesses desafios fundamentais, podem se tornar aliados valiosos para desenvolvedores que desejam economizar tempo.

Para estabelecer uma base, utilizei quatro testes distintos. Eles variam de tarefas de codificação simples a exercícios de depuração que exigem maior entendimento de frameworks como o WordPress. Vamos mergulhar em cada teste e comparar como a nova ferramenta de IA da Meta se sai contra as demais.

Teste 1: Escrevendo um Plugin para WordPress

Criar um plugin para WordPress envolve desenvolvimento web usando PHP dentro do ecossistema WordPress. Também exige algum design de interface do usuário. Se um chatbot de IA conseguir realizar isso, pode ser um assistente útil para desenvolvedores web.

Resultados:

• Meta AI: Interface adequada, mas falhou na funcionalidade.
• Meta Code Llama: Falha completa.
• Google Gemini Advanced: Boa interface, falhou na funcionalidade.
• ChatGPT: Interface limpa e saída funcional.

Aqui está uma comparação visual: (Nota: Substitua "/path-to-image/" pelo caminho real do arquivo de imagem.)

O ChatGPT entregou uma interface mais organizada e posicionou o botão "Randomizar" de forma mais lógica. No entanto, ao executar o plugin, a Meta AI travou, apresentando a temida "Tela Branca da Morte".

Teste 2: Reescrevendo uma Função de String

Este teste avalia a capacidade de uma IA em melhorar funções utilitárias. O sucesso aqui sugere potencial de assistência para desenvolvedores, enquanto a falha indica espaço para melhorias.

Resultados:

• Meta AI: Falhou devido a correções de valores incorretas, mau manejo de números com múltiplos decimais e problemas de formatação.
• Meta Code Llama: Sucesso.
• Google Gemini Advanced: Falhou.
• ChatGPT: Sucesso.

Enquanto a Meta AI tropeçou nesta tarefa aparentemente simples, a Meta Code Llama brilhou, demonstrando sua capacidade. O ChatGPT também teve um desempenho admirável.

Teste 3: Encontrando um Bug Irritante

Este teste não é sobre escrever código — é sobre diagnosticar problemas. O sucesso exige conhecimento profundo das APIs do WordPress e das interações entre diferentes partes do código.

Resultados:

• Meta AI: Passou com distinção, identificando o problema e sugerindo um ajuste que melhora a eficiência.
• Meta Code Llama: Falhou.
• Google Gemini Advanced: Falhou.
• ChatGPT: Passou.

Surpreendentemente, apesar de suas dificuldades anteriores, a Meta AI se destacou aqui, provando seu potencial, mas também destacando inconsistências em suas respostas.

Teste 4: Escrevendo um Script

Este teste avalia o conhecimento de ferramentas especializadas como Keyboard Maestro e AppleScript. Ambas são relativamente de nicho, mas representam um espectro mais amplo de habilidades de programação.

Resultados:

• Meta AI: Falhou em recuperar dados do Keyboard Maestro.
• Meta Code Llama: Mesma falha.
• Google Gemini Advanced: Sucesso.
• ChatGPT: Sucesso.

Gemini e ChatGPT demonstraram proficiência com essas ferramentas, enquanto as ofertas da Meta ficaram aquém.

Resultados Gerais

Com base na minha experiência de seis meses usando o ChatGPT para projetos de codificação, continuo confiante em sua confiabilidade. Outros modelos ainda não conseguiram igualar sua consistência e eficácia. Embora a Meta AI tenha mostrado momentos de brilho, seu desempenho geral deixa muito a desejar.

Você já experimentou essas ferramentas? Compartilhe suas opiniões nos comentários abaixo!