El Grok de X supera las expectativas en las pruebas de codificación de IA

Cuando X lanzó por primera vez su chatbot, estaba escondido detrás de un muro de pago. Pero, como dice el refrán, no hay tal cosa como un almuerzo gratis (TANSTAAFL), hasta hace poco cuando X decidió abrir Grok a todos. Curioso por sus capacidades, decidí someterlo a mis pruebas de programación.

Siempre he tenido un cariño especial por Grok, gracias a su nombre, que fue acuñado por Robert Heinlein, uno de mis autores favoritos de ciencia ficción de todos los tiempos. Las obras de Heinlein jugaron un papel importante en la formación de mi mente joven. Mis padres, que eran bastante estrictos con los medios que consumía, me permitieron sumergirme en la ciencia ficción en nuestra biblioteca local, bajo la suposición de que cualquier cosa etiquetada como 'ciencia' debía ser educativa.

Las historias de Heinlein no solo eran entretenidas; eran provocadoras, desafiaban las normas sociales y entrelazaban temas científicos con comentarios sociales. El término "grok", introducido en *Extraño en tierra extraña*, encarna una comprensión profunda y fundamental, lo que lo convierte en un nombre apropiado para un chatbot de IA.

Sin embargo, hay un inconveniente...

Cuando pregunté sobre el modelo de lenguaje grande (LLM) que usa Grok, mencionó estar inspirado en el ingenio y la rebeldía de *Guía del autoestopista galáctico*. Aunque *Guía del autoestopista* ciertamente tiene su encanto, en realidad no usa el término "grok". Pero pasemos a las pruebas de programación.

1. Escribir un complemento de WordPress

Esta prueba requería que la IA demostrara habilidades de programación en PHP y conocimiento del desarrollo de complementos de WordPress. Surgió de una solicitud real de mi esposa, quien necesitaba una herramienta para randomizar nombres para el dispositivo de participación mensual de su sitio de comercio electrónico. El giro era que algunos usuarios podían tener múltiples entradas, por lo que el randomizador necesitaba asegurarse de que estos nombres no estuvieran colocados uno al lado del otro.

El código también tenía que ser fácil de usar, permitiendo que ella simplemente pegara nombres, clicara un botón y obtuviera su lista. Grok pasó esta prueba con gran éxito. La interfaz era limpia, funcional y hacía exactamente lo que se suponía que debía hacer.

2. Reescribir una función de cadena

La segunda prueba involucró corregir un problema reportado por un usuario con una función destinada a validar cantidades de dólares y centavos. Mi código original solo aceptaba enteros, por lo que $5 era válido, pero $5.25 no lo era. Grok reescribió la expresión regular, acercándose a una victoria. Sin embargo, no reconoció números como .5 como moneda válida y usó un método ineficiente con conversiones dobles. Así que, es una derrota en este caso.

3. Encontrar un error molesto

Esta prueba requería entender el marco y la API de WordPress para localizar un error sutil. Muchos LLM, incluyéndome a mí inicialmente, lucharon con esto. Pero Grok lo resolvió, proporcionando una solución correcta y útil. Eso son dos victorias de tres.

4. Escribir un script

La prueba final fue un desafío, requiriendo conocimiento de Keyboard Maestro, una herramienta de scripting de nicho para Mac, y la capacidad de escribir código para múltiples entornos simultáneamente: Keyboard Maestro, Chrome y AppleScript. Solo Google Gemini y ChatGPT con GPT-4 o superior habían pasado esta prueba anteriormente. Grok, sin embargo, la superó, asegurando tres victorias de cuatro.

Pensamientos finales

Grok se desempeñó bien en estas pruebas. Si solo hubiera permitido valores de moneda sin un cero inicial, habría sido perfecto. A pesar de mis sentimientos encontrados sobre los cambios en X desde que reemplazó a Twitter, Grok ha demostrado ser un chatbot robusto, especialmente en términos de habilidades de programación.

¿Cuál es tu opinión sobre Grok? ¿Lo has probado? ¿Y qué hay de *Extraño en tierra extraña* o *Guía del autoestopista galáctico*? Comparte tus pensamientos en los comentarios abajo. ¡Hasta luego, y gracias por todos los peces!