Meta AI no compite con Llama, Gemini y Chatgpt en la prueba de codificación

¿Cómo de bien escriben código las herramientas de IA?

Durante el último año, he probado varios modelos de lenguaje grandes para evaluar su eficacia en desafíos de programación básicos. La idea es simple: si no pueden con lo básico, es poco probable que ayuden en tareas complejas. Pero si lo hacen bien en estos desafíos fundamentales, podrían ser aliados valiosos para desarrolladores que buscan ahorrar tiempo.

Para establecer una base, he usado cuatro pruebas distintas. Estas van desde tareas de codificación simples hasta ejercicios de depuración que requieren un conocimiento más profundo de frameworks como WordPress. Analicemos cada prueba y comparemos cómo se desempeña la nueva herramienta de IA de Meta frente a otras.

Prueba 1: Escribir un plugin de WordPress

Crear un plugin de WordPress implica desarrollo web con PHP dentro del ecosistema de WordPress. También requiere diseño de UI. Si un chatbot de IA logra esto, podría ser un asistente útil para desarrolladores web.

Resultados:

• Meta AI: Interfaz adecuada pero funcionalidad fallida.
• Meta Code Llama: Fracaso total.
• Google Gemini Advanced: Buena interfaz, funcionalidad fallida.
• ChatGPT: Interfaz limpia y salida funcional.

Aquí está una comparación visual: (Nota: Reemplaza "/path-to-image/" con la ruta real al archivo de imagen.)

ChatGPT ofreció una interfaz más ordenada y colocó el botón "Randomize" de forma más lógica. Sin embargo, al ejecutar el plugin, Meta AI colapsó, mostrando la temida "Pantalla Blanca de la Muerte".

Prueba 2: Reescribir una función de cadena

Esta prueba evalúa la capacidad de una IA para mejorar funciones de utilidad. El éxito aquí sugiere asistencia potencial para desarrolladores, mientras que el fracaso implica margen de mejora.

Resultados:

• Meta AI: Falló por correcciones de valores incorrectas, mal manejo de números con múltiples decimales y problemas de formato.
• Meta Code Llama: Éxito.
• Google Gemini Advanced: Falló.
• ChatGPT: Éxito.

Mientras Meta AI tropezó en esta tarea aparentemente simple, Meta Code Llama destacó, mostrando su capacidad. ChatGPT también tuvo un desempeño admirable.

Prueba 3: Encontrar un error molesto

Esto no se trata de escribir código, sino de diagnosticar problemas. El éxito requiere un conocimiento profundo de las APIs de WordPress y las interacciones entre diferentes partes del código.

Resultados:

• Meta AI: Aprobó con gran éxito, identificando el problema y sugiriendo un ajuste para mejorar la eficiencia.
• Meta Code Llama: Falló.
• Google Gemini Advanced: Falló.
• ChatGPT: Aprobó.

Sorprendentemente, a pesar de sus dificultades previas, Meta AI destacó aquí, demostrando su potencial pero también evidenciando inconsistencias en sus respuestas.

Prueba 4: Escribir un script

Esta prueba evalúa el conocimiento de herramientas especializadas como Keyboard Maestro y AppleScript. Ambas son relativamente de nicho, pero representan un espectro más amplio de habilidades de programación.

Resultados:

• Meta AI: Falló al recuperar datos de Keyboard Maestro.
• Meta Code Llama: Mismo fallo.
• Google Gemini Advanced: Éxito.
• ChatGPT: Éxito.

Gemini y ChatGPT demostraron competencia con estas herramientas, mientras que las ofertas de Meta se quedaron cortas.

Resultados generales

Basado en mi experiencia de seis meses usando ChatGPT para proyectos de codificación, sigo confiando en su fiabilidad. Otros modelos aún no igualan su consistencia y efectividad. Aunque Meta AI mostró destellos de brillantez, su desempeño general deja mucho que desear.

¿Has experimentado con estas herramientas? ¡Comparte tus opiniones en los comentarios abajo!