Grok de X dépasse les attentes dans les tests de codage de l'IA

Lorsque X a lancé son chatbot pour la première fois, il était caché derrière un paywall. Mais, comme le dit l'adage, il n'y a pas de repas gratuit (TANSTAAFL), jusqu'à récemment, lorsque X a décidé d'ouvrir Grok à tout le monde. Curieux de ses capacités, j'ai décidé de le soumettre à mes tests de programmation.

J'ai toujours eu un faible pour Grok, grâce à son nom, inventé par Robert Heinlein, l'un de mes auteurs de science-fiction préférés de tous les temps. Les œuvres de Heinlein ont joué un rôle important dans la formation de mon esprit jeune. Mes parents, qui étaient assez stricts sur les médias que je consommais, m'ont permis de plonger dans la science-fiction à la bibliothèque locale, en supposant que tout ce qui était étiqueté « science » devait être éducatif.

Les histoires de Heinlein n'étaient pas seulement divertissantes ; elles étaient provocantes, remettant en question les normes sociétales et mêlant des thèmes scientifiques à des commentaires sociaux. Le terme « grok », introduit dans *L'Étranger dans un pays étrange*, incarne une compréhension profonde et fondamentale, ce qui en fait un nom approprié pour un chatbot IA.

Cependant, il y a un hic...

Lorsque j'ai interrogé Grok sur le grand modèle de langage (LLM) qu'il utilise, il a mentionné être inspiré par l'esprit et la rébellion du *Guide du voyageur galactique*. Bien que le *Guide* ait certainement son charme, il n'utilise pas réellement le terme « grok ». Mais passons aux tests de programmation.

1. Écrire un plugin WordPress

Ce test exigeait que l'IA démontre des compétences en programmation PHP et une connaissance du développement de plugins WordPress. Il provenait d'une demande réelle de ma femme, qui avait besoin d'un outil pour randomiser des noms pour le dispositif d'engagement mensuel de son site e-commerce. La particularité était que certains utilisateurs pouvaient avoir plusieurs entrées, donc le randomiseur devait s'assurer que ces noms ne soient pas placés côte à côte.

Le code devait également être convivial, permettant à ma femme de simplement coller des noms, cliquer sur un bouton et obtenir sa liste. Grok a réussi ce test haut la main. L'interface était propre, fonctionnelle et faisait exactement ce qu'elle était censée faire.

2. Réécrire une fonction de chaîne

Le deuxième test consistait à corriger un problème signalé par un utilisateur avec une fonction destinée à valider des montants en dollars et cents. Mon code original n'acceptait que les entiers, donc 5 $ était valide, mais 5,25 $ ne l'était pas. Grok a réécrit l'expression régulière, s'approchant d'une victoire. Cependant, il n'a pas reconnu les nombres comme 0,5 comme une monnaie valide, et il a utilisé une méthode inefficace avec des conversions doubles. Donc, c'est une défaite sur ce point.

3. Trouver un bug agaçant

Ce test nécessitait une compréhension du framework et de l'API WordPress pour repérer un bug subtil. De nombreux LLM, y compris moi-même au départ, ont eu du mal avec cela. Mais Grok l'a réussi brillamment, fournissant une solution correcte et utile. Cela fait deux victoires sur trois.

4. Écrire un script

Le test final était un défi, nécessitant une connaissance de Keyboard Maestro, un outil de scriptage Mac de niche, et la capacité d'écrire du code pour plusieurs environnements simultanément : Keyboard Maestro, Chrome et AppleScript. Seuls Google Gemini et ChatGPT avec GPT-4 ou supérieur avaient réussi ce test auparavant. Grok, cependant, l'a réussi avec brio, obtenant trois victoires sur quatre.

Réflexions finales

Grok s'est bien comporté dans ces tests. S'il avait simplement permis des valeurs monétaires sans zéro initial, il aurait été parfait. Malgré mes sentiments mitigés à propos des changements chez X depuis qu'il a remplacé Twitter, Grok s'est révélé être un chatbot robuste, surtout en termes de compétences en programmation.

Quel est votre avis sur Grok ? L'avez-vous essayé ? Et qu'en est-il de *L'Étranger dans un pays étrange* ou du *Guide du voyageur galactique* ? Partagez vos pensées dans les commentaires ci-dessous. À bientôt, et merci pour tous les poissons !