Meta AI não consegue competir com llama, gêmeos e chatgpt no teste de codificação

Quão bem as ferramentas da IA ​​escrevem código?

No último ano, coloquei vários modelos de idiomas grandes em seus passos para ver com que eficácia eles enfrentam desafios básicos de programação. A idéia por trás desses testes é direta: se eles não conseguirem lidar com o básico, é improvável que eles tenham muita ajuda com tarefas mais complexas. Mas se eles se sairem bem nesses desafios fundamentais, eles podem se tornar aliados valiosos para os desenvolvedores que desejam economizar tempo.

Para estabelecer uma linha de base, eu tenho usado quatro testes distintos. Eles variam de atribuições de codificação direta a exercícios de depuração que exigem informações mais profundas sobre estruturas como o WordPress. Vamos mergulhar em cada teste e comparar como a nova ferramenta de IA da Meta se compara aos outros.

Teste 1: Escrevendo um plugin do WordPress

A criação de um plug -in do WordPress envolve o desenvolvimento da Web usando o PHP no ecossistema WordPress. Também exige algum design de interface do usuário. Se um chatbot de AI puder fazer isso, poderá servir como um assistente útil para desenvolvedores da Web.

Resultados:

• Meta AI : interface adequada, mas funcionalidade falhada.
• META CÓDIGO LLAMA : Falha completa.
• Google Gemini Advanced : boa interface, funcionalidade com falha.
• Chatgpt : interface limpa e saída funcional.

Aqui está uma comparação visual: (Nota: substitua "/caminho a imagem/" pelo caminho real para o arquivo de imagem.)

O ChatGPT entregou uma interface mais limpa e posicionou o botão "randomizar" mais logicamente. Quando se tratava de executar o plug -in, no entanto, a Meta Ai caiu, apresentando a temida "tela branca da morte".

Teste 2: Reescrevendo uma função de string

Este teste avalia a capacidade de uma IA de melhorar as funções de utilidade. O sucesso aqui sugere assistência potencial para os desenvolvedores, enquanto o fracasso implica espaço para melhorias.

Resultados:

• Meta AI : falhou devido a correções de valor incorretas, tratamento ruim de números multi-decimais e problemas de formatação.
• META CÓDIGO LLAMA : sucedeu.
• Google Gemini Advanced : falhou.
• Chatgpt : sucedeu.

Enquanto a Meta Ai tropeçou nessa tarefa aparentemente simples, o Meta Code Llama conseguiu brilhar, mostrando sua capacidade. O ChatGPT também teve um desempenho admirável.

Teste 3: Encontrar um bug irritante

Não se trata de escrever código - trata -se de diagnosticar problemas. O sucesso requer profundo conhecimento das APIs do WordPress e as interações entre diferentes partes da base de código.

Resultados:

• Meta AI : Passado com cores voadoras, identificando o problema e sugerindo um ajuste que aumenta a eficiência.
• META CÓDIGO LLAMA : falhou.
• Google Gemini Advanced : falhou.
• Chatgpt : Passado.

Surpreendentemente, apesar de suas lutas anteriores, a Meta AI se destacou aqui, provando seu potencial, mas também destacando inconsistências em suas respostas.

Teste 4: Escrevendo um script

Este teste avalia o conhecimento de ferramentas especializadas, como maestro de teclado e AppleScript. Ambos são relativamente nicho, mas representam um espectro mais amplo de habilidades de programação.

Resultados:

• Meta AI : Falha ao recuperar dados do maestro do teclado.
• META CÓDIGO LLAMA : O mesmo fracasso.
• Google Gemini Advanced : sucedeu.
• Chatgpt : sucedeu.

Gêmeos e ChatGPT demonstraram proficiência com essas ferramentas, enquanto as ofertas da Meta ficaram aquém.

Resultados gerais

Com base na minha experiência de seis meses usando o ChatGPT para projetos de codificação, continuo confiante em sua confiabilidade. Outros modelos ainda precisam corresponder à sua consistência e eficácia. Enquanto a Meta Ai mostrou flashes de brilho, seu desempenho geral deixa muito a desejar.

Você já experimentou essas ferramentas? Compartilhe seus pensamentos nos comentários abaixo!