Las habilidades de codificación R1 y V3 de Deepseek probadas: aún no estamos condenados

Presentando DeepSeek: Un nuevo actor en el escenario de la IA

DeepSeek irrumpió en escena durante el fin de semana, captando la atención mundial por tres razones convincentes:

• Es un chatbot de IA procedente de China, una notable diferencia con las ofertas habituales basadas en EE. UU.
• Es de código abierto, lo cual es un gran acontecimiento en la comunidad tecnológica.
• Funciona con significativamente menos infraestructura que sus contrapartes de peso pesado, lo que lo convierte en una opción intrigante para muchos.

Mientras el escrutinio del gobierno de EE. UU. sobre TikTok y la posible participación del gobierno chino en su código ha generado preocupación, la aparición de DeepSeek desde China naturalmente atrae atención similar. Sin embargo, aquí evitamos la política. En cambio, exploremos cómo DeepSeek V3 y DeepSeek R1 se comparan con otros modelos de IA en tareas de programación.

Según la propia guía de DeepSeek:

• Elige V3 para tareas que requieran profundidad y precisión, como resolver problemas matemáticos complejos o generar código intrincado.
• Opta por R1 cuando necesites aplicaciones rápidas y de gran volumen, como automatización de soporte al cliente o procesamiento básico de texto.

Puedes alternar entre R1 y V3 usando un pequeño botón en la interfaz de chat. Si es azul, estás usando R1.

Entonces, ¿cómo les fue? Ambos modelos mostraron promesa pero no fueron impecables. Exploremos los resultados.

Prueba 1: Creando un complemento de WordPress

Mi primera prueba, inspirada en la necesidad de mi esposa de un complemento de WordPress para gestionar un dispositivo de participación para su grupo en línea, es un clásico. El complemento debía aceptar una lista de nombres, ordenarlos y asegurar que los duplicados no estuvieran juntos. He lanzado este desafío a numerosos AIs, y es uno difícil.

DeepSeek V3 lo logró, creando una interfaz de usuario y lógica de programa que cumplió perfectamente con el requerimiento. R1 tomó un enfoque diferente, ofreciendo un análisis de 4502 palabras antes de compartir el código. La interfaz fue más amplia, pero tanto la interfaz como la lógica funcionaron, por lo que R1 también pasó.

Hasta ahora, tanto V3 como R1 han pasado una de cuatro pruebas.

Prueba 2: Reescribiendo una función de cadena

Un usuario tuvo problemas para ingresar dólares y centavos en un campo de donación, lo que mi código original no permitía. La tarea era modificar la rutina para aceptar ambos. DeepSeek generó código funcional, pero hay margen para mejorar.

El código de V3 fue excesivamente largo y repetitivo, mientras que el razonamiento de R1 antes de generar el código también fue extenso. Ambos modelos validaron hasta dos decimales, pero no manejaron bien números muy grandes. El uso de R1 de la conversión de Number en JavaScript sin verificar casos extremos podría causar fallos.

Curiosamente, R1 proporcionó una buena lista de casos de prueba:

Doy el punto a V3 porque su código no fallaría y produciría los resultados esperados. R1 falla por posibles fallos con entradas no válidas. Eso son dos victorias de cuatro para V3 y una para R1.

Prueba 3: Rastreando un error molesto

Esta prueba surgió de un error que me costó encontrar. El desafío era que la respuesta obvia basada en el mensaje de error era incorrecta, lo que a menudo engaña a las IAs. Resolverlo requiere entender las llamadas a la API de WordPress, ver más allá del mensaje de error y localizar el error.

Ambos, V3 y R1, pasaron esta prueba con respuestas casi idénticas, llevando a V3 a tres de cuatro victorias y a R1 a dos de cuatro. DeepSeek ya está superando a Gemini, Copilot, Claude y Meta.

Prueba 4: Creando un script

Esta prueba es difícil porque involucra tres entornos: AppleScript, el modelo de objetos de Chrome y Keyboard Maestro. ChatGPT la superó, pero DeepSeek V3 y R1 se quedaron cortos. Ningún modelo entendió la necesidad de dividir tareas entre Keyboard Maestro y Chrome, y su conocimiento de AppleScript fue débil.

R1 hizo suposiciones incorrectas, como asumir que siempre existe una ventana frontal y que el programa en ejecución siempre sería Chrome. Esto dejó a V3 con tres pruebas correctas y una fallida, y a R1 con dos pruebas correctas y dos fallidas.

Pensamientos finales

La insistencia de DeepSeek en usar un correo de nube pública como Gmail en lugar de mi dominio corporativo fue frustrante. También hubo algunos problemas de respuesta que hicieron que las pruebas tomaran más tiempo de lo esperado.

Inicialmente tuve problemas para registrarme debido a este error:

Los servicios en línea de DeepSeek han enfrentado recientemente ataques maliciosos a gran escala. Para garantizar el servicio continuo, el registro está temporalmente limitado a números de teléfono +86. Los usuarios existentes pueden iniciar sesión como de costumbre. Gracias por su comprensión y apoyo.

Una vez dentro, pude realizar las pruebas. DeepSeek tiende a ser verboso con su código. El AppleScript en la Prueba 4 fue incorrecto y excesivamente largo. La expresión regular en la Prueba 2 podría haber sido más mantenible, aunque V3 lo hizo bien.

Estoy impresionado de que V3 superara a Gemini, Copilot y Meta, pero aún está al nivel de GPT-3.5, lo que sugiere que hay espacio para crecer. El rendimiento de R1 fue decepcionante. Si tuviera que elegir, me quedaría con ChatGPT para ayuda con la programación.

Dicho esto, para una nueva herramienta que funciona con mucha menos infraestructura, DeepSeek es definitivamente una para seguir de cerca.

¿Qué opinas? ¿Has probado DeepSeek? ¿Usas alguna IA para soporte de programación? Déjanos saber en los comentarios a continuación.

Sigue mis actualizaciones diarias de proyectos en redes sociales, suscríbete a mi boletín semanal y conéctate conmigo en Twitter/X en @DavidGewirtz, Facebook en Facebook.com/DavidGewirtz, Instagram en Instagram.com/DavidGewirtz, Bluesky en @DavidGewirtz.com y YouTube en YouTube.com/DavidGewirtzTV.