Claude 3.5 El soneto lucha creativamente en pruebas de codificación de IA dominadas por ChatGPT

Probando las Capacidades del Nuevo Claude 3.5 Sonnet de Anthropic

La semana pasada, recibí un correo de Anthropic anunciando el lanzamiento de Claude 3.5 Sonnet. Presumieron que "eleva el estándar de la industria en inteligencia, superando a modelos competidores y a Claude 3 Opus en una amplia gama de evaluaciones." También afirmaron que era perfecto para tareas complejas como la generación de código. Naturalmente, tuve que poner a prueba estas afirmaciones.

He realizado una serie de pruebas de codificación en varios AIs, y tú también puedes hacerlo. Solo dirígete a Cómo pruebo la capacidad de codificación de un chatbot AI - y tú también puedes para encontrar todos los detalles. Vamos a sumergirnos en cómo se desempeñó Claude 3.5 Sonnet en mis pruebas estándar, y ver cómo se compara con otros AIs como Microsoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced y ChatGPT.

1. Escribiendo un Plugin de WordPress

Inicialmente, Claude 3.5 Sonnet mostró mucho potencial. La interfaz de usuario que generó fue impresionante, con un diseño limpio que colocó los campos de datos uno al lado del otro por primera vez entre los AIs que he probado.

Captura de pantalla por David Gewirtz/ZDNET

Lo que llamó mi atención fue cómo Claude abordó la generación de código. En lugar de los archivos separados habituales para PHP, JavaScript y CSS, proporcionó un solo archivo PHP que generaba automáticamente los archivos JavaScript y CSS en el directorio del plugin. Aunque este fue un enfoque innovador, es arriesgado porque depende de las configuraciones del sistema operativo que permitan a un plugin escribir en su propia carpeta, una falla de seguridad importante en un entorno de producción.

Desafortunadamente, a pesar de la solución creativa, el plugin no funcionó. El botón "Randomize" no hacía nada, lo cual fue decepcionante dado su potencial inicial.

Aquí están los resultados agregados comparados con pruebas anteriores:

• Claude 3.5 Sonnet: Interfaz: buena, funcionalidad: fallida
• ChatGPT GPT-4o: Interfaz: buena, funcionalidad: buena
• Microsoft Copilot: Interfaz: adecuada, funcionalidad: fallida
• Meta AI: Interfaz: adecuada, funcionalidad: fallida
• Meta Code Llama: Fracaso completo
• Google Gemini Advanced: Interfaz: buena, funcionalidad: fallida
• ChatGPT 4: Interfaz: buena, funcionalidad: buena
• ChatGPT 3.5: Interfaz: buena, funcionalidad: buena

2. Reescribiendo una Función de Cadena

Esta prueba evalúa qué tan bien un AI puede reescribir código para cumplir con necesidades específicas, en este caso, para conversiones de dólares y centavos. Claude 3.5 Sonnet hizo un buen trabajo eliminando ceros iniciales, manejando correctamente enteros y decimales, y previniendo valores negativos. También devolvió inteligentemente "0" para entradas inesperadas, lo que ayuda a evitar errores.

Sin embargo, no permitió entradas como ".50" para 50 centavos, que era un requisito. Esto significa que el código revisado no funcionaría en un escenario del mundo real, por lo que debo marcarlo como fallido.

Aquí están los resultados agregados:

• Claude 3.5 Sonnet: Fallido
• ChatGPT GPT-4o: Exitoso
• Microsoft Copilot: Fallido
• Meta AI: Fallido
• Meta Code Llama: Exitoso
• Google Gemini Advanced: Fallido
• ChatGPT 4: Exitoso
• ChatGPT 3.5: Exitoso

3. Encontrando un Error Molesto

Esta prueba es complicada porque requiere que el AI encuentre un error sutil que necesita conocimiento específico de WordPress. Es un error que yo mismo pasé por alto y tuve que recurrir a ChatGPT para resolver inicialmente.

Claude 3.5 Sonnet no solo encontró y corrigió el error, sino que también notó un error introducido durante el proceso de publicación, que luego corregí. Esto fue una primicia entre los AIs que he probado desde que publiqué el conjunto completo de pruebas.

Aquí están los resultados agregados:

• Claude 3.5 Sonnet: Exitoso
• ChatGPT GPT-4o: Exitoso
• Microsoft Copilot: Fallido. Espectacularmente. Entusiastamente. Con emojis.
• Meta AI: Exitoso
• Meta Code Llama: Fallido
• Google Gemini Advanced: Fallido
• ChatGPT 4: Exitoso
• ChatGPT 3.5: Exitoso

Hasta ahora, Claude 3.5 Sonnet ha fallado en dos de tres pruebas. Veamos cómo le va con la última.

4. Escribiendo un Script

Esta prueba verifica el conocimiento del AI sobre herramientas de programación especializadas como AppleScript y Keyboard Maestro. Mientras que ChatGPT mostró competencia en ambas, Claude 3.5 Sonnet no tuvo tan buen desempeño. Escribió un AppleScript que intentó interactuar con Chrome pero ignoró completamente el componente de Keyboard Maestro.

Además, el AppleScript contenía un error de sintaxis. Al intentar hacer que la coincidencia no distinguiera entre mayúsculas y minúsculas, Claude generó una línea que causaría un error en tiempo de ejecución:

La declaración "contains" ya no distingue entre mayúsculas y minúsculas, y la frase "ignoring case" estaba mal ubicada, resultando en un error.

Aquí están los resultados agregados:

• Claude 3.5 Sonnet: Fallido
• ChatGPT GPT-4o: Exitoso pero con reservas
• Microsoft Copilot: Fallido
• Meta AI: Fallido
• Meta Code Llama: Fallido
• Google Gemini Advanced: Exitoso
• ChatGPT 4: Exitoso
• ChatGPT 3.5: Fallido

Resultados Generales

Aquí está cómo se desempeñó Claude 3.5 Sonnet en general comparado con otros AIs:

• Claude 3.5 Sonnet: 1 de 4 exitoso
• ChatGPT GPT-4o: 4 de 4 exitosos, pero con una respuesta extraña de doble elección
• Microsoft Copilot: 0 de 4 exitosos
• Meta AI: 1 de 4 exitoso
• Meta Code Llama: 1 de 4 exitoso
• Google Gemini Advanced: 1 de 4 exitoso
• ChatGPT 4: 4 de 4 exitosos
• ChatGPT 3.5: 3 de 4 exitosos

Estaba bastante decepcionado con Claude 3.5 Sonnet. Anthropic prometió que era adecuado para programar, pero no cumplió con esas expectativas. No es que no pueda programar; simplemente no puede programar correctamente. Sigo esperando encontrar un AI que supere a ChatGPT, especialmente a medida que estos modelos se integran en entornos de programación. Pero por ahora, me quedo con ChatGPT para ayuda en programación, y te recomiendo que hagas lo mismo.

¿Has usado un AI para programar? ¿Cuál, y cómo te fue? Comparte tus experiencias en los comentarios abajo.

Sigue las actualizaciones de mi proyecto en redes sociales, suscríbete a mi boletín semanal, y conéctate conmigo en Twitter/X en @DavidGewirtz, en Facebook en Facebook.com/DavidGewirtz, en Instagram en Instagram.com/DavidGewirtz, y en YouTube en YouTube.com/DavidGewirtzTV.