Meta AI konkurriert nicht mit Lama, Gemini und Chatgpt im Codierungstest

Wie gut schreiben KI-Tools Code?

In den letzten etwa einem Jahr habe ich mehrere große Sprachmodelle getestet, um zu sehen, wie effektiv sie grundlegende Programmieraufgaben bewältigen. Die Idee hinter diesen Tests ist einfach: Wenn sie die Grundlagen nicht meistern, werden sie bei komplexeren Aufgaben kaum hilfreich sein. Aber wenn sie bei diesen grundlegenden Herausforderungen gut abschneiden, könnten sie wertvolle Verbündete für Entwickler werden, die Zeit sparen wollen.

Um eine Basislinie zu etablieren, habe ich vier verschiedene Tests verwendet. Diese reichen von einfachen Programmieraufgaben bis hin zu Debugging-Übungen, die tieferes Verständnis von Frameworks wie WordPress erfordern. Lassen Sie uns in jeden Test eintauchen und vergleichen, wie das neue KI-Tool von Meta im Vergleich zu anderen abschneidet.

Test 1: Erstellen eines WordPress-Plugins

Das Erstellen eines WordPress-Plugins erfordert Webentwicklung mit PHP innerhalb des WordPress-Ökosystems. Es erfordert auch etwas UI-Design. Wenn ein KI-Chatbot dies schafft, könnte er ein nützlicher Assistent für Webentwickler sein.

Ergebnisse:

• Meta AI: Angemessene Benutzeroberfläche, aber fehlerhafte Funktionalität.
• Meta Code Llama: Komplettes Versagen.
• Google Gemini Advanced: Gute Benutzeroberfläche, fehlerhafte Funktionalität.
• ChatGPT: Saubere Benutzeroberfläche und funktionale Ausgabe.

Hier ist ein visueller Vergleich: (Hinweis: Ersetzen Sie "/path-to-image/" durch den tatsächlichen Pfad zur Bilddatei.)

ChatGPT lieferte eine sauberere Benutzeroberfläche und platzierte den „Randomize“-Button logischer. Beim Ausführen des Plugins stürzte Meta AI jedoch ab und zeigte den gefürchteten „White Screen of Death“.

Test 2: Umschreiben einer String-Funktion

Dieser Test bewertet die Fähigkeit einer KI, Utility-Funktionen zu verbessern. Erfolg hier deutet auf potenzielle Unterstützung für Entwickler hin, während Misserfolg Verbesserungsbedarf anzeigt.

Ergebnisse:

• Meta AI: Gescheitert aufgrund falscher Wertkorrekturen, schlechter Handhabung von Zahlen mit mehreren Dezimalstellen und Formatierungsproblemen.
• Meta Code Llama: Erfolgreich.
• Google Gemini Advanced: Gescheitert.
• ChatGPT: Erfolgreich.

Während Meta AI bei dieser scheinbar einfachen Aufgabe stolperte, glänzte Meta Code Llama und zeigte seine Fähigkeiten. ChatGPT schnitt ebenfalls bewundernswert ab.

Test 3: Finden eines lästigen Fehlers

Hier geht es nicht um das Schreiben von Code, sondern um die Diagnose von Problemen. Erfolg erfordert tiefes Wissen über WordPress-APIs und die Interaktionen zwischen verschiedenen Teilen des Codes.

Ergebnisse:

• Meta AI: Mit Bravour bestanden, erkannte das Problem und schlug eine effizienzsteigernde Anpassung vor.
• Meta Code Llama: Gescheitert.
• Google Gemini Advanced: Gescheitert.
• ChatGPT: Bestanden.

Überraschenderweise glänzte Meta AI hier trotz früherer Schwierigkeiten und zeigte ihr Potenzial, aber auch Inkonsistenzen in ihren Antworten.

Test 4: Schreiben eines Skripts

Dieser Test bewertet das Wissen über spezialisierte Tools wie Keyboard Maestro und AppleScript. Beide sind relativ nischig, repräsentieren aber ein breiteres Spektrum an Programmierfähigkeiten.

Ergebnisse:

• Meta AI: Konnte keine Daten von Keyboard Maestro abrufen.
• Meta Code Llama: Dasselbe Versagen.
• Google Gemini Advanced: Erfolgreich.
• ChatGPT: Erfolgreich.

Gemini und ChatGPT zeigten Kompetenz mit diesen Tools, während die Angebote von Meta hinterherhinkten.

Gesamtergebnisse

Basierend auf meiner sechsmonatigen Erfahrung mit ChatGPT für Programmierprojekte bin ich weiterhin von seiner Zuverlässigkeit überzeugt. Andere Modelle können seine Konsistenz und Effektivität noch nicht erreichen. Während Meta AI Momente der Brillanz zeigte, lässt ihre Gesamtleistung viel zu wünschen übrig.

Haben Sie mit diesen Tools experimentiert? Teilen Sie Ihre Gedanken in den Kommentaren unten!