Deepseeks R1- und V3 -Codierungsfähigkeiten getestet: Wir sind noch nicht zum Scheitern verurteilt

Einführung in DeepSeek: Ein neuer Akteur in der KI-Arena

DeepSeek hat am Wochenende die Bühne betreten und weltweit Aufmerksamkeit aus drei überzeugenden Gründen erregt:

• Es ist ein KI-Chatbot aus China, eine bemerkenswerte Abweichung von den üblichen Angeboten aus den USA.
• Es ist Open Source, was in der Tech-Community eine große Sache ist.
• Es läuft auf deutlich weniger Infrastruktur als seine schwergewichtigen Pendants, was es für viele zu einer interessanten Option macht.

Während die genaue Prüfung der US-Regierung bezüglich TikTok und einer möglichen Beteiligung der chinesischen Regierung an dessen Code für Aufsehen gesorgt hat, zieht DeepSeeks Herkunft aus China natürlich ähnliche Aufmerksamkeit auf sich. Wir halten uns hier jedoch von der Politik fern. Stattdessen tauchen wir ein in die Frage, wie DeepSeek V3 und DeepSeek R1 im Vergleich zu anderen KI-Modellen bei Programmieraufgaben abschneiden.

Laut den eigenen Richtlinien von DeepSeek:

• Wählen Sie V3 für Aufgaben, die Tiefe und Genauigkeit erfordern, wie das Lösen komplexer mathematischer Probleme oder das Generieren komplizierter Codes.
• Entscheiden Sie sich für R1, wenn Sie schnelle, hochvolumige Anwendungen benötigen, wie z. B. die Automatisierung des Kundensupports oder einfache Textverarbeitung.

Sie können zwischen R1 und V3 über einen kleinen Button in der Chat-Oberfläche wechseln. Wenn er blau ist, verwenden Sie R1.

Wie haben sie abgeschnitten? Beide Modelle zeigten Potenzial, waren aber nicht fehlerfrei. Lassen Sie uns die Ergebnisse untersuchen.

Test 1: Erstellen eines WordPress-https://img.xix.aiplugins

Mein erster Test, inspiriert von dem Bedarf meiner Frau nach einem WordPress-https://img.xix.aiplugin zur Verwaltung eines Beteiligungsgeräts für ihre Online-Gruppe, ist ein Klassiker. Das https://img.xix.aiplugin musste eine Liste von Namen akzeptieren, sie sortieren und sicherstellen, dass Duplikate nicht nebeneinander stehen. Ich habe diese Herausforderung zahlreichen KIs gestellt, und sie ist schwierig.

DeepSeek V3 hat es perfekt gemeistert und eine Benutzeroberfläche sowie Programmlogik erstellt, die die Vorgaben exakt erfüllten. R1 verfolgte einen anderen Ansatz und lieferte satte 4502 Wörter Analyse, bevor der Code geteilt wurde. Die Benutzeroberfläche war umfassender, aber sowohl die Benutzeroberfläche als auch die Logik funktionierten, sodass R1 ebenfalls bestand.

Bis jetzt haben sowohl V3 als auch R1 einen von vier Tests bestanden.

Test 2: Umschreiben einer String-Funktion

Ein Benutzer hatte Probleme, Dollar und Cent in ein Spendenfeld einzugeben, was mein ursprünglicher Code nicht erlaubte. Die Aufgabe war, die Routine so anzupassen, dass beides akzeptiert wird. DeepSeek generierte funktionalen Code, aber es gibt Verbesserungspotenzial.

Der Code von V3 war übermäßig lang und repetitiv, während die Argumentation von R1 vor der Codegenerierung ebenfalls ausführlich war. Beide Modelle validierten bis zu zwei Dezimalstellen, aber sie kamen mit sehr großen Zahlen nicht gut zurecht. R1s Nutzung der JavaScript-Number-Konvertierung ohne Prüfung von Randfällen könnte zu Abstürzen führen.

Interessanterweise lieferte R1 eine schöne Liste von Testfällen:

Ich gebe den Punkt an V3, weil sein Code nicht abstürzt und die erwarteten Ergebnisse liefert. R1 fällt durch mögliche Abstürze bei Nicht-String-Eingaben durch. Das macht zwei Siege von vier für V3 und einen für R1.

Test 3: Aufspüren eines lästigen Fehlers

Dieser Test basierte auf einem Fehler, den ich nur schwer finden konnte. Die Herausforderung war, dass die offensichtliche Antwort basierend auf der Fehlermeldung falsch war, was KIs oft täuscht. Das Lösen erfordert ein Verständnis der WordPress-API-Aufrufe, das Hinaussehen über die Fehlermeldung und das genaue Lokalisieren des Fehlers.

Beide, V3 und R1, bestanden diesen Test mit nahezu identischen Antworten, was V3 auf drei von vier Siegen und R1 auf zwei von vier bringt. DeepSeek übertrifft bereits Gemini, Copilot, Claude und Meta.

Test 4: Erstellen eines Skripts

Dieser Test ist schwierig, weil er drei Umgebungen umfasst: AppleScript, das Chrome-Objektmodell und Keyboard Maestro. ChatGPT hat es gemeistert, aber DeepSeek V3 und R1 blieben zurück. Keines der Modelle verstand die Notwendigkeit, Aufgaben zwischen Keyboard Maestro und Chrome aufzuteilen, und ihr AppleScript-Wissen war schwach.

R1 machte falsche Annahmen, wie dass immer ein vorderes Fenster existiert und dass das laufende Programm immer Chrome sein würde. Dies ließ V3 mit drei korrekten Tests und einem Fehlschlag sowie R1 mit zwei korrekten Tests und zwei Fehlschlägen zurück.

Schlussgedanken

DeepSeeks Beharren darauf, eine öffentliche Cloud-E-Mail wie Gmail anstelle meiner Unternehmensdomäne zu verwenden, war frustrierend. Es gab auch einige Reaktionsprobleme, die die Tests länger als erwartet dauern ließen.

Ich hatte zunächst Schwierigkeiten, mich anzumelden, aufgrund dieses Fehlers:

Die Online-Dienste von DeepSeek waren kürzlich groß angelegten bösartigen Angriffen ausgesetzt. Um den fortlaufenden Dienst zu gewährleisten, ist die Registrierung vorübergehend auf +86 Telefonnummern beschränkt. Bestehende Benutzer können sich wie gewohnt einloggen. Vielen Dank für Ihr Verständnis und Ihre Unterstützung.

Nach dem Einloggen konnte ich die Tests durchführen. DeepSeek neigt dazu, mit seinem Code wortreich zu sein. Das AppleScript in Test 4 war sowohl falsch als auch unnötig lang. Der reguläre Ausdruck in Test 2 hätte wartungsfreundlicher sein können, obwohl V3 es richtig gemacht hat.

Ich bin beeindruckt, dass V3 Gemini, Copilot und Meta geschlagen hat, aber es liegt immer noch auf dem alten GPT-3.5-Niveau, was Raum für Wachstum andeutet. Die Leistung von R1 war enttäuschend. Wenn ich wählen müsste, würde ich für Programmierhilfe bei ChatGPT bleiben.

Trotzdem ist DeepSeek für ein neues Tool, das auf viel weniger Infrastruktur läuft, definitiv eines, das man im Auge behalten sollte.

Was sind Ihre Gedanken? Haben Sie DeepSeek ausprobiert? Nutzen Sie KIs für Programmierunterstützung? Lassen Sie es uns in den Kommentaren unten wissen.

Folgen Sie meinen täglichen Projekt-Updates auf Social Media, abonnieren Sie meinen wöchentlichen Newsletter und verbinden Sie sich mit mir auf Twitter/X unter @DavidGewirtz, Facebook unter Facebook.com/DavidGewirtz, Instagram unter Instagram.com/DavidGewirtz, Bluesky unter @DavidGewirtz.com und YouTube unter YouTube.com/DavidGewirtzTV.