Meta AI no compite con Llama, Gemini y Chatgpt en la prueba de codificación

¿Qué tan bien escriben el código de AI Tools?

Durante el año pasado más o menos, he puesto varios modelos de idiomas grandes a prueba para ver cuán efectivamente abordan los desafíos básicos de programación. La idea detrás de estas pruebas es directa: si no pueden manejar lo básico, es poco probable que sean de mucha ayuda con tareas más complejas. Pero si les va bien en estos desafíos fundamentales, podrían convertirse en aliados valiosos para los desarrolladores que buscan ahorrar tiempo.

Para establecer una línea de base, he estado usando cuatro pruebas distintas. Estos van desde tareas de codificación sencillas hasta ejercicios de depuración que requieren una visión más profunda de marcos como WordPress. Vamos a sumergirnos en cada prueba y comparar cómo la nueva herramienta de IA de Meta se compara con los demás.

Prueba 1: Escribir un complemento de WordPress

La creación de un complemento de WordPress implica el desarrollo web utilizando PHP dentro del ecosistema de WordPress. También exige un diseño de interfaz de usuario. Si un chatbot de IA puede lograr esto, podría servir como un asistente útil para los desarrolladores web.

Resultados:

• Meta AI : interfaz adecuada pero funcionalidad fallida.
• Meta Code Llama : falla completa.
• Google Gemini Advanced : buena interfaz, funcionalidad fallida.
• CHATGPT : interfaz limpia y salida funcional.

Aquí hay una comparación visual: (Nota: Reemplace "/ruta a la imagen/" con la ruta real al archivo de imagen).

CHATGPT entregó una interfaz más ordenada y colocó el botón "Randomize" más lógicamente. Sin embargo, cuando se trataba de ejecutar el complemento, Meta AI se estrelló, presentando la temida "pantalla blanca de la muerte".

Prueba 2: Reescribir una función de cadena

Esta prueba evalúa la capacidad de una IA para mejorar las funciones de servicios públicos. El éxito aquí sugiere asistencia potencial para los desarrolladores, mientras que el fracaso implica margen de mejora.

Resultados:

• Meta AI : Falló debido a correcciones de valor incorrectas, un mal manejo de números multidecimales y problemas de formato.
• Meta Code Llama : Sucedió.
• Google Gemini Advanced : Falló.
• CHATGPT : Lo logró.

Mientras Meta AI tropezó con esta tarea aparentemente simple, Meta Code Llama logró brillar, mostrando su capacidad. Chatgpt también se desempeñó admirablemente.

Prueba 3: Encontrar un error molesto

No se trata de escribir código, se trata de diagnosticar problemas. El éxito requiere un conocimiento profundo de las API de WordPress y las interacciones entre diferentes partes de la base de código.

Resultados:

• Meta AI : Pasado con colores de vuelo, identificando el problema y sugiriendo un ajuste de eficiencia.
• Meta Code Llama : Falló.
• Google Gemini Advanced : Falló.
• CHATGPT : Pasado.

Sorprendentemente, a pesar de sus luchas anteriores, Meta Ai se destacó aquí, demostrando su potencial, pero también destaca las inconsistencias en sus respuestas.

Prueba 4: Escribir un script

Esta prueba evalúa el conocimiento de herramientas especializadas como Keyboard Maestro y AppleScript. Ambos son relativamente nicho pero representan un espectro más amplio de habilidades de programación.

Resultados:

• Meta AI : no se pudo recuperar datos del maestro de teclado.
• Meta Code Llama : mismo fracaso.
• Google Gemini avanzado : tuvo éxito.
• CHATGPT : Lo logró.

Gemini y ChatGPT demostraron competencia con estas herramientas, mientras que las ofertas de Meta se quedaron cortas.

Resultados generales

Basado en mi experiencia de seis meses usando CHATGPT para proyectos de codificación, sigo confiado en su confiabilidad. Otros modelos aún no han coincidido con su consistencia y efectividad. Mientras que Meta AI mostró destellos de brillo, su rendimiento general deja mucho que desear.

¿Has experimentado con estas herramientas? ¡Comparte tus pensamientos en los comentarios a continuación!