Compétences de codage R1 et V3 de Deepseek testées: nous ne sommes pas encore condamnés

Présentation de DeepSeek : Un nouvel acteur dans l'arène de l'IA

DeepSeek a fait irruption sur la scène ce week-end, attirant l'attention mondiale pour trois raisons convaincantes :

• C'est un chatbot IA originaire de Chine, une différence notable par rapport aux offres habituelles basées aux États-Unis.
• Il est open source, ce qui est important dans la communauté technologique.
• Il fonctionne avec beaucoup moins d'infrastructure que ses homologues poids lourds, ce qui en fait une option intrigante pour beaucoup.

Bien que l'examen par le gouvernement américain de TikTok et l'éventuelle implication du gouvernement chinois dans son code aient suscité des inquiétudes, l'émergence de DeepSeek depuis la Chine attire naturellement une attention similaire. Cependant, nous évitons ici la politique. Plongeons plutôt dans la manière dont DeepSeek V3 et DeepSeek R1 se comparent à d'autres modèles d'IA dans les tâches de codage.

Selon les propres conseils de DeepSeek :

• Choisissez V3 pour les tâches exigeant profondeur et précision, comme résoudre des problèmes mathématiques complexes ou générer du code complexe.
• Optez pour R1 lorsque vous avez besoin d'applications rapides à haut volume, telles que l'automatisation du support client ou le traitement de texte de base.

Vous pouvez basculer entre R1 et V3 à l'aide d'un petit bouton dans l'interface de chat. S'il est bleu, vous utilisez R1.

Alors, comment s'en sont-ils sortis ? Les deux modèles ont montré du potentiel mais n'étaient pas parfaits. Explorons les résultats.

Test 1 : Création d'un https://img.xix.aiplugin WordPress

Mon premier test, inspiré par le besoin de ma femme pour un https://img.xix.aiplugin WordPress afin de gérer un dispositif d'implication pour son groupe en ligne, est un classique. Le https://img.xix.aiplugin devait accepter une liste de noms, les trier et s'assurer que les doublons ne soient pas côte à côte. J'ai lancé ce défi à de nombreuses IA, et c'est un défi difficile.

DeepSeek V3 a réussi, créant une interface utilisateur et une logique de programme qui répondaient parfaitement au cahier des charges. R1 a adopté une approche différente, offrant une analyse de 4502 mots avant de partager le code. L'interface utilisateur était plus large, mais l'interface et la logique fonctionnaient, donc R1 a également réussi.

Jusqu'à présent, V3 et R1 ont réussi un test sur quatre.

Test 2 : Réécriture d'une fonction de chaîne

Un utilisateur avait du mal à entrer des dollars et des cents dans un champ de don, ce que mon code original ne permettait pas. La tâche était de modifier la routine pour accepter les deux. DeepSeek a généré un code fonctionnel, mais il y a place à amélioration.

Le code de V3 était trop long et répétitif, tandis que le raisonnement de R1 avant de générer le code était également long. Les deux modèles validaient jusqu'à deux décimales, mais ils ne géraient pas bien les très grands nombres. L'utilisation par R1 de la conversion en Number de JavaScript sans vérifier les cas limites pourrait entraîner des plantages.

Intéressant, R1 a fourni une belle liste de cas de test :

Je donne le point à V3 car son code ne planterait pas et produirait les résultats attendus. R1 échoue en raison de plantages potentiels avec des entrées non-chaîne. Cela fait deux victoires sur quatre pour V3 et une pour R1.

Test 3 : Traquer un bug gênant

Ce test provenait d'un bug que j'ai eu du mal à trouver. Le défi était que la réponse évidente basée sur le message d'erreur était fausse, ce qui piège souvent les IA. Le résoudre nécessite de comprendre les appels d'API WordPress, de voir au-delà du message d'erreur et de localiser le bug.

V3 et R1 ont réussi ce test avec des réponses presque identiques, portant V3 à trois victoires sur quatre et R1 à deux sur quatre. DeepSeek surpasse déjà Gemini, Copilot, Claude et Meta.

Test 4 : Création d'un script

Ce test est difficile car il implique trois environnements : AppleScript, le modèle d'objet Chrome et Keyboard Maestro. ChatGPT a excellé, mais DeepSeek V3 et R1 ont échoué. Aucun des modèles n'a compris la nécessité de diviser les tâches entre Keyboard Maestro et Chrome, et leurs connaissances en AppleScript étaient faibles.

R1 a fait des hypothèses incorrectes, comme supposer qu'une fenêtre active existe toujours et que le programme actif serait toujours Chrome. Cela laisse V3 avec trois tests corrects et un échec, et R1 avec deux tests corrects et deux échecs.

Réflexions finales

L'insistance de DeepSeek à utiliser un e-mail de cloud public comme Gmail plutôt que mon domaine d'entreprise était frustrante. Il y avait aussi des problèmes de réactivité qui ont rendu les tests plus longs que prévu.

J'ai initialement eu du mal à m'inscrire à cause de cette erreur :

Les services en ligne de DeepSeek ont récemment été confrontés à des attaques malveillantes à grande échelle. Pour assurer la continuité du service, l'inscription est temporairement limitée aux numéros de téléphone +86. Les utilisateurs existants peuvent se connecter comme d'habitude. Merci de votre compréhension et de votre soutien.

Une fois connecté, j'ai pu exécuter les tests. DeepSeek a tendance à être verbeux avec son code. L'AppleScript dans le Test 4 était à la fois incorrect et inutilement long. L'expression régulière dans le Test 2 aurait pu être plus maintenable, bien que V3 l'ait bien faite.

Je suis impressionné que V3 ait surpassé Gemini, Copilot et Meta, mais il est encore au niveau de l'ancien GPT-3.5, ce qui suggère qu'il y a place à l'amélioration. La performance de R1 était décevante. Si je devais choisir, je resterais avec ChatGPT pour l'aide à la programmation.

Cela dit, pour un nouvel outil fonctionnant avec beaucoup moins d'infrastructure, DeepSeek est définitivement à surveiller.

Qu'en pensez-vous ? Avez-vous essayé DeepSeek ? Utilisez-vous des IA pour le support à la programmation ? Faites-le-nous savoir dans les commentaires ci-dessous.

Suivez mes mises à jour quotidiennes de projets sur les réseaux sociaux, abonnez-vous à ma newsletter hebdomadaire, et connectez-vous avec moi sur Twitter/X à @DavidGewirtz, Facebook à Facebook.com/DavidGewirtz, Instagram à Instagram.com/DavidGewirtz, Bluesky à @DavidGewirtz.com, et YouTube à YouTube.com/DavidGewirtzTV.