Claude 3.5 El soneto lucha creativamente en pruebas de codificación de IA dominadas por ChatGPT

Prueba de las capacidades del nuevo soneto Claude 3.5 de Anthrope

La semana pasada, recibí un correo electrónico de Anthrope anunciando el lanzamiento del soneto Claude 3.5. Se jactaron de que "eleva la barra de la industria para la inteligencia, superando a los modelos de la competencia y a Claude 3 Opus en una amplia gama de evaluaciones". También afirmaron que era perfecto para tareas complejas como la generación de código. Naturalmente, tuve que poner estas afirmaciones a la prueba.

He ejecutado una serie de pruebas de codificación en varios AIS, y tú también puedes. Simplemente diríjase a cómo pruebo la capacidad de codificación de un chatbot Ai, y usted también puede encontrar todos los detalles. Veamos cómo se desempeñó el soneto Claude 3.5 con mis pruebas estándar, y veamos cómo se compara con otras AIS como Microsoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced y ChatGPT.

1. Escribir un complemento de WordPress

Inicialmente, el soneto Claude 3.5 mostró muchas promesas. La interfaz de usuario que generó fue impresionante, con un diseño limpio que colocó los campos de datos de lado a lado por primera vez entre los AIS que he probado.

Captura de pantalla de David Gewirtz/Zdnet

Lo que me llamó la atención fue cómo Claude se acercó a la generación de código. En lugar de los archivos separados habituales para PHP, JavaScript y CSS, proporcionó un solo archivo PHP que generó automáticamente los archivos JavaScript y CSS en el directorio del complemento. Si bien este fue un enfoque innovador, es arriesgado porque depende de la configuración del sistema operativo que permite que un complemento escriba en su propia carpeta, un defecto de seguridad importante en un entorno de producción.

Desafortunadamente, a pesar de la solución creativa, el complemento no funcionó. El botón de "aleatorizar" no hizo nada, lo cual fue decepcionante dada su promesa inicial.

Aquí están los resultados agregados en comparación con las pruebas anteriores:

• Claude 3.5 soneto: interfaz: bueno, funcionalidad: falla
• Chatgpt gpt-4o: interfaz: bueno, funcionalidad: buena
• Copiloto de Microsoft: Interfaz: Adecuado, Funcionalidad: Fail
• Meta ai: interfaz: adecuada, funcionalidad: falla
• Meta Code Llama: falla completa
• Google Gemini Avanzado: Interfaz: bueno, Funcionalidad: Fail
• Chatgpt 4: Interfaz: bueno, funcionalidad: buena
• Chatgpt 3.5: Interfaz: bueno, funcionalidad: buena

2. Reescribir una función de cadena

Esta prueba evalúa qué tan bien una IA puede reescribir el código para satisfacer las necesidades específicas, en este caso, para conversiones en dólares y centros. El soneto de Claude 3.5 hizo un buen trabajo eliminando ceros principales, manejando enteros y decimales correctamente, y evitando valores negativos. También devolvió de manera inteligente "0" para entradas inesperadas, lo que ayuda a evitar errores.

Sin embargo, no pudo permitir entradas como ".50" por 50 centavos, lo cual era un requisito. Esto significa que el código revisado no funcionaría en un escenario del mundo real, por lo que tengo que marcarlo como un fracaso.

Aquí están los resultados agregados:

• Claude 3.5 soneto: fallido
• Chatgpt GPT-4O: tuvo éxito
• Copiloto de Microsoft: fallido
• Meta ai: fallido
• Meta Code Llama: tuvo éxito
• Google Géminis avanzado: fallido
• Chatgpt 4: lo logró
• Chatgpt 3.5: tuvo éxito

3. Encontrar un error molesto

Esta prueba es complicada porque requiere que la IA encuentre un error sutil que necesite un conocimiento específico de WordPress. Es un error que me extrañé y tuve que recurrir a Chatgpt para resolver inicialmente.

El soneto de Claude 3.5 no solo encontró y solucionó el error, sino que también notó un error introducido durante el proceso de publicación, que luego corrigí. Esta fue la primera vez entre los AIS que he probado desde que publiqué el conjunto completo de pruebas.

Aquí están los resultados agregados:

• Soneto de Claude 3.5: tuvo éxito
• Chatgpt GPT-4O: tuvo éxito
• Copilot de Microsoft: Falló. Espectacularmente. Con entusiasmo. Emojicamente.
• Meta ai: tuvo éxito
• Meta Code Llama: fallido
• Google Géminis avanzado: fallido
• Chatgpt 4: lo logró
• Chatgpt 3.5: tuvo éxito

Hasta ahora, el soneto Claude 3.5 ha fallado dos de cada tres pruebas. Veamos cómo le va con el último.

4. Escribir un guión

Esta prueba verifica el conocimiento de la IA de herramientas de programación especializadas como Applecript y Keyboard Maestro. Mientras que ChatGPT había mostrado competencia en ambos, Claude 3.5 Sonnet no le fue bien. Escribió un AppleScript que intentó interactuar con Chrome pero ignoró por completo el componente de Maestro del teclado.

Además, el Applecript contenía un error de sintaxis. Al tratar de hacer que la caja del partido sea insensible, Claude generó una línea que causaría un error de tiempo de ejecución:

Si el título de Thetab contiene un caso de ignoración de insumos, entonces

La declaración "Contiene" ya es insensible al caso, y la frase "ignorante del caso" estaba fuera de lugar, lo que resultó en un error.

Aquí están los resultados agregados:

• Claude 3.5 soneto: fallido
• Chatgpt gpt-4o: tuvo éxito pero con reservas
• Copiloto de Microsoft: fallido
• Meta ai: fallido
• Meta Code Llama: fallido
• Google Géminis avanzado: tuvo éxito
• Chatgpt 4: lo logró
• Chatgpt 3.5: fallido

Resultados generales

Así es como Claude 3.5 Sonnet en general en comparación con otros AIS:

• Claude 3.5 soneto: 1 de 4 tuvieron éxito
• Chatgpt GPT-4O: 4 de 4 tuvieron éxito, pero con una extraña respuesta de doble opción
• Copiloto de Microsoft: 0 de 4 tuvieron éxito
• Meta ai: 1 de 4 tuvo éxito
• Meta Code Llama: 1 de 4 tuvo éxito
• Google Gemini avanzado: 1 de 4 tuvieron éxito
• Chatgpt 4: 4 de 4 tuvieron éxito
• Chatgpt 3.5: 3 de 4 tuvieron éxito

Estaba bastante decepcionado con el soneto Claude 3.5. Anthrope prometió que era adecuado para la programación, pero no cumplía con esas expectativas. No es que no pueda programar; Simplemente no puede programar correctamente. Sigo esperando encontrar una IA que pueda superar a ChatGPT, especialmente a medida que estos modelos se integran en entornos de programación. Pero por ahora, me quedo con ChatGPT para la ayuda de programación, y te recomiendo que hagas lo mismo.

¿Has utilizado una IA para la programación? ¿Cuál y cómo fue? Comparta sus experiencias en los comentarios a continuación.

Siga mis actualizaciones de proyecto en las redes sociales, suscríbase a mi boletín semanal y conéctese conmigo en Twitter/X en @DavidgeWirtz, en Facebook en Facebook.com/davidgewirtz , en Instagram en Instagram.com/davidgewirtz , y en YouTube.com/davidgewirtztv .