X's Grok übertrifft die Erwartungen bei KI -Codierungstests

Als X seinen Chatbot erstmals startete, war er hinter einer Bezahlschranke versteckt. Aber, wie das Sprichwort sagt, gibt es nichts umsonst (TANSTAAFL), bis kürzlich, als X beschloss, Grok für alle freizugeben. Neugierig auf seine Fähigkeiten, entschied ich mich, ihn meinen Programmiertests zu unterziehen.

Ich hatte schon immer eine Schwäche für Grok, dank seines Namens, der von Robert Heinlein geprägt wurde, einem meiner absoluten Lieblings-Sci-Fi-Autoren. Heinleins Werke spielten eine bedeutende Rolle dabei, meinen jungen Geist zu formen. Meine Eltern, die sehr streng bezüglich der Medien waren, die ich konsumierte, erlaubten mir, in der örtlichen Bibliothek in Science-Fiction einzutauchen, unter der Annahme, dass alles, was als „Wissenschaft“ bezeichnet wurde, lehrreich sein müsse.

Heinleins Geschichten waren nicht nur unterhaltsam; sie waren zum Nachdenken anregend, stellten gesellschaftliche Normen infrage und verknüpften wissenschaftliche Themen mit sozialen Kommentaren. Der Begriff „grok“, eingeführt in *Fremder in einer fremden Welt*, verkörpert ein tiefes, grundlegendes Verständnis, was ihn zu einem passenden Namen für einen KI-Chatbot macht.

Allerdings gibt es einen Haken...

Als ich nach dem großen Sprachmodell (LLM) fragte, das Grok verwendet, erwähnte es, dass es vom Witz und der Rebellionslust von *Per Anhalter durch die Galaxis* inspiriert sei. Während *Per Anhalter* sicherlich seinen Charme hat, verwendet es tatsächlich nicht den Begriff „grok“. Aber lassen wir das und kommen zu den Programmiertests.

1. Schreiben eines WordPress-Plugins

Dieser Test erforderte, dass die KI PHP-Programmierkenntnisse und Wissen über die Entwicklung von WordPress-Plugins zeigte. Er entstand aus einer realen Anfrage meiner Frau, die ein Tool benötigte, um Namen für das monatliche Engagement-Gerät ihrer E-Commerce-Website zu randomisieren. Die Herausforderung war, dass einige Benutzer mehrere Einträge haben konnten, sodass der Randomizer sicherstellen musste, dass diese Namen nicht nebeneinander platziert wurden.

Der Code musste außerdem benutzerfreundlich sein, sodass sie einfach Namen einfügen, einen Button klicken und ihre Liste erhalten konnte. Grok bestand diesen Test mit Bravour. Die Benutzeroberfläche war sauber, funktional und tat genau das, was sie tun sollte.

2. Umschreiben einer String-Funktion

Der zweite Test beinhaltete die Behebung eines von einem Benutzer gemeldeten Problems mit einer Funktion, die Dollar- und Cent-Beträge validieren sollte. Mein ursprünglicher Code akzeptierte nur Ganzzahlen, sodass $5 gültig war, aber $5.25 nicht. Grok schrieb den regulären Ausdruck um und kam einem Sieg nahe. Allerdings erkannte es Zahlen wie .5 nicht als gültige Währung, und es verwendete eine ineffiziente Methode mit doppelten Konvertierungen. Das war also ein Verlust.

3. Finden eines lästigen Fehlers

Dieser Test erforderte ein Verständnis des WordPress-Frameworks und der API, um einen subtilen Fehler zu lokalisieren. Viele LLMs, einschließlich mir selbst anfangs, hatten damit Schwierigkeiten. Aber Grok meisterte es und lieferte eine korrekte und nützliche Lösung. Das sind zwei Siege von drei.

4. Schreiben eines Skripts

Der letzte Test war eine Herausforderung, die Kenntnisse von Keyboard Maestro, einem speziellen Mac-Scripting-Tool, und die Fähigkeit erforderte, Code für mehrere Umgebungen gleichzeitig zu schreiben: Keyboard Maestro, Chrome und AppleScript. Nur Google Gemini und ChatGPT mit GPT-4 oder höher hatten diesen Test zuvor bestanden. Grok jedoch meisterte ihn und sicherte sich drei Siege von vier.

Abschließende Gedanken

Grok hat in diesen Tests gut abgeschnitten. Hätte es nur Währungswerte ohne führende Null erlaubt, wäre es perfekt gewesen. Trotz meiner gemischten Gefühle bezüglich der Veränderungen bei X, seit es Twitter ersetzt hat, hat sich Grok als robuster Chatbot erwiesen, insbesondere in Bezug auf Programmierfähigkeiten.

Was ist deine Meinung zu Grok? Hast du ihn ausprobiert? Und was ist mit *Fremder in einer fremden Welt* oder *Per Anhalter durch die Galaxis*? Teile deine Gedanken in den Kommentaren unten. Bis bald und danke für all die Fische!