Meta Ai ne fait pas concurrence avec Llama, Gemini et Chatgpt dans le test de codage

Comment les outils d'IA écrivent-ils du code ?

Au cours de l'année dernière environ, j'ai testé plusieurs grands modèles de langage pour évaluer leur efficacité à relever des défis de programmation de base. L'idée derrière ces tests est simple : s'ils ne peuvent pas gérer les bases, il est peu probable qu'ils soient très utiles pour des tâches plus complexes. Mais s'ils réussissent bien ces défis fondamentaux, ils pourraient devenir des alliés précieux pour les développeurs cherchant à gagner du temps.

Pour établir une base de référence, j'ai utilisé quatre tests distincts. Ces tests vont d'exercices de codage simples à des exercices de débogage nécessitant une compréhension approfondie de cadres comme WordPress. Plongeons dans chaque test et comparons les performances du nouvel outil d'IA de Meta par rapport aux autres.

Test 1 : Écriture d'un plugin WordPress

Créer un plugin WordPress implique du développement web avec PHP dans l'écosystème WordPress. Cela exige également une certaine conception d'interface utilisateur. Si un chatbot d'IA peut réussir cela, il pourrait être un assistant utile pour les développeurs web.

Résultats :

• Meta AI : Interface adéquate mais fonctionnalité échouée.
• Meta Code Llama : Échec total.
• Google Gemini Advanced : Bonne interface, fonctionnalité échouée.
• ChatGPT : Interface propre et sortie fonctionnelle.

Voici une comparaison visuelle : (Note : Remplacez "/path-to-image/" par le chemin réel vers le fichier image.)

ChatGPT a offert une interface plus soignée et a positionné le bouton "Randomiser" de manière plus logique. Cependant, lorsqu'il s'agissait d'exécuter le plugin, Meta AI a planté, affichant le redouté "Écran blanc de la mort".

Test 2 : Réécriture d'une fonction de chaîne

Ce test évalue la capacité d'une IA à améliorer les fonctions utilitaires. Un succès ici suggère une aide potentielle pour les développeurs, tandis qu'un échec indique des marges de progression.

Résultats :

• Meta AI : Échoué en raison de corrections de valeurs incorrectes, d'une mauvaise gestion des nombres à plusieurs décimales et de problèmes de formatage.
• Meta Code Llama : Réussi.
• Google Gemini Advanced : Échoué.
• ChatGPT : Réussi.

Alors que Meta AI a trébuché sur cette tâche apparemment simple, Meta Code Llama a su briller, démontrant ses capacités. ChatGPT s'est également bien comporté.

Test 3 : Trouver un bogue agaçant

Il ne s'agit pas d'écrire du code, mais de diagnostiquer des problèmes. La réussite nécessite une connaissance approfondie des API WordPress et des interactions entre différentes parties du code.

Résultats :

• Meta AI : Réussi avec brio, identifiant le problème et suggérant une optimisation améliorant l'efficacité.
• Meta Code Llama : Échoué.
• Google Gemini Advanced : Échoué.
• ChatGPT : Réussi.

Étonnamment, malgré ses difficultés antérieures, Meta AI a excellé ici, prouvant son potentiel tout en mettant en évidence des incohérences dans ses réponses.

Test 4 : Écriture d'un script

Ce test évalue la connaissance d'outils spécialisés comme Keyboard Maestro et AppleScript. Ces deux outils sont relativement de niche mais représentent un spectre plus large de compétences en programmation.

Résultats :

• Meta AI : Échoué à récupérer des données de Keyboard Maestro.
• Meta Code Llama : Même échec.
• Google Gemini Advanced : Réussi.
• ChatGPT : Réussi.

Gemini et ChatGPT ont démontré leur maîtrise de ces outils, tandis que les offres de Meta ont été insuffisantes.

Résultats globaux

Sur la base de mon expérience de six mois en utilisant ChatGPT pour des projets de codage, je reste confiant dans sa fiabilité. Les autres modèles n'ont pas encore égalé sa cohérence et son efficacité. Bien que Meta AI ait montré des éclairs de brilliance, ses performances globales laissent beaucoup à désirer.

Avez-vous expérimenté avec ces outils ? Partagez vos pensées dans les commentaires ci-dessous !