Meta Ai ne fait pas concurrence avec Llama, Gemini et Chatgpt dans le test de codage

Dans quelle mesure les outils d'IA écrivent-ils du code?

Au cours de la dernière année environ, j'ai mis plusieurs modèles de langage à travers leur rythme pour voir à quel point ils relèvent efficacement les défis de la programmation de base. L'idée derrière ces tests est simple: s'ils ne peuvent pas gérer les bases, il est peu probable qu'ils soient beaucoup utiles avec des tâches plus complexes. Mais s'ils réussissent bien sur ces défis fondamentaux, ils pourraient bien devenir des alliés précieux pour les développeurs qui cherchent à gagner du temps.

Pour établir une ligne de base, j'ai utilisé quatre tests distincts. Ceux-ci vont des affectations de codage simples aux exercices de débogage qui nécessitent un aperçu plus approfondi des cadres comme WordPress. Plongeons dans chaque test et comparons comment les nouveaux outils d'IA de Meta s'accompagnent des autres.

Test 1: Rédaction d'un plugin WordPress

La création d'un plugin WordPress implique le développement Web à l'aide de PHP dans l'écosystème WordPress. Il exige également une conception d'interface utilisateur. Si un chatbot AI peut le réaliser, il pourrait servir d'assistant utile pour les développeurs Web.

Résultats:

• Meta AI : Interface adéquate mais fonctionnalité échouée.
• Meta Code Llama : échec complet.
• Google Gemini Advanced : bonne interface, fonctionnalité échouée.
• ChatGPT : Clean Interface et sortie fonctionnelle.

Voici une comparaison visuelle: (Remarque: remplacez "/ path-to-image /" par le chemin réel vers le fichier image.)

Chatgpt a livré une interface plus nette et a positionné le bouton "randomiser" plus logiquement. Cependant, en ce qui concerne l'exécution du plugin, Meta Ai s'est écrasé, présentant le redoutable "écran blanc de la mort".

Test 2: Réécriture d'une fonction de chaîne

Ce test évalue la capacité d'une IA à améliorer les fonctions d'utilité. Le succès ici suggère une assistance potentielle pour les développeurs, tandis que l'échec implique une place d'amélioration.

Résultats:

• Meta AI : Échec en raison de corrections de valeur incorrectes, de mauvaise gestion des nombres multi-décimaux et de problèmes de formatage.
• Meta Code Llama : a réussi.
• Google Gemini Advanced : a échoué.
• Chatgpt : a réussi.

Alors que Meta Ai a trébuché sur cette tâche apparemment simple, Meta Code Llama a réussi à briller, présentant ses capacités. Chatgpt a également joué admirablement.

Test 3: trouver un bogue ennuyeux

Il ne s'agit pas d'écrire de code - il s'agit de diagnostiquer les problèmes. Le succès nécessite une connaissance approfondie des API WordPress et des interactions entre les différentes parties de la base de code.

Résultats:

• Meta Ai : passé avec des couleurs volantes, identifiant le problème et suggérant un ajustement améliorant l'efficacité.
• Meta Code Llama : Échec.
• Google Gemini Advanced : a échoué.
• Chatgpt : passé.

Étonnamment, malgré ses difficultés antérieures, Meta Ai a excellé ici, prouvant son potentiel mais soulignant également les incohérences dans ses réponses.

Test 4: Rédaction d'un script

Ce test évalue les connaissances d'outils spécialisés comme le clavier Maestro et Applescript. Les deux sont relativement niches mais représentent un spectre plus large des compétences en programmation.

Résultats:

• Meta AI : n'a pas réussi à récupérer les données du clavier Maestro.
• Meta Code Llama : même échec.
• Google Gemini Advanced : a réussi.
• Chatgpt : a réussi.

Gemini et Chatgpt ont démontré la compétence avec ces outils, tandis que les offres de Meta ont échoué.

Résultats globaux

Sur la base de mon expérience de six mois en utilisant ChatGpt pour le codage des projets, je reste confiant dans sa fiabilité. D'autres modèles n'ont pas encore correspondu à sa cohérence et à leur efficacité. Alors que Meta Ai a montré des éclairs de brillance, ses performances globales laissent beaucoup à désirer.

Avez-vous expérimenté ces outils? Partagez vos réflexions dans les commentaires ci-dessous!