Habilidades de codificação R1 e V3 de Deepseek testadas: ainda não estamos condenados

Apresentando DeepSeek: Um Novo Jogador na Arena da IA

DeepSeek surgiu em cena no último fim de semana, capturando atenção mundial por três razões convincentes:

• É um chatbot de IA originário da China, uma mudança notável em relação às ofertas geralmente baseadas nos EUA.
• É de código aberto, o que é um grande feito na comunidade tecnológica.
• Funciona com uma infraestrutura significativamente menor do que seus concorrentes de peso, tornando-o uma opção intrigante para muitos.

Embora o escrutínio do governo dos EUA sobre o TikTok e o potencial envolvimento do governo chinês em seu código tenha levantado sobrancelhas, a emergência do DeepSeek da China naturalmente atrai atenção semelhante. No entanto, estamos evitando a política aqui. Em vez disso, vamos mergulhar em como o DeepSeek V3 e o DeepSeek R1 se comparam a outros modelos de IA em tarefas de codificação.

De acordo com a própria orientação da DeepSeek:

• Escolha o V3 para tarefas que exigem profundidade e precisão, como resolver problemas matemáticos complexos ou gerar códigos intricados.
• Opte pelo R1 quando precisar de aplicações rápidas e de alto volume, como automação de suporte ao cliente ou processamento de texto básico.

Você pode alternar entre R1 e V3 usando um pequeno botão na interface de bate-papo. Se estiver azul, você está usando o R1.

Então, como eles se saíram? Ambos os modelos mostraram promessa, mas não foram impecáveis. Vamos explorar os resultados.

Teste 1: Criando um https://img.xix.aiplugin para WordPress

Meu primeiro teste, inspirado pela necessidade da minha esposa de um https://img.xix.aiplugin para WordPress para gerenciar um dispositivo de envolvimento para seu grupo online, é um clássico. O https://img.xix.aiplugin precisava aceitar uma lista de nomes, ordená-los e garantir que duplicatas não ficassem lado a lado. Já lancei esse desafio a várias IAs, e é um desafio difícil.

O DeepSeek V3 acertou em cheio, criando uma interface de usuário e uma lógica de programa que atenderam perfeitamente ao briefing. O R1 tomou uma abordagem diferente, oferecendo impressionantes 4502 palavras de análise antes de compartilhar o código. A interface era mais ampla, mas tanto a interface quanto a lógica funcionaram, então o R1 também passou.

Até agora, tanto o V3 quanto o R1 passaram em um de quatro testes.

Teste 2: Reescrita de uma Função de String

Um usuário teve problemas para inserir dólares e centavos em um campo de doação, o que meu código original não permitia. A tarefa era modificar a rotina para aceitar ambos. O DeepSeek gerou um código funcional, mas há espaço para melhorias.

O código do V3 era excessivamente longo e repetitivo, enquanto o raciocínio do R1 antes de gerar o código também foi extenso. Ambos os modelos validaram até duas casas decimais, mas não lidaram bem com números muito grandes. O uso do R1 da conversão de Number do JavaScript sem verificar casos extremos poderia levar a falhas.

Curiosamente, o R1 forneceu uma boa lista de casos de teste:

Estou dando o ponto ao V3 porque seu código não falharia e produziria os resultados esperados. O R1 falha devido a possíveis falhas com entradas não-string. Isso dá duas vitórias em quatro para o V3 e uma para o R1.

Teste 3: Rastreando um Bug Incômodo

Este teste surgiu de um bug que eu lutei para encontrar. O desafio era que a resposta óbvia com base na mensagem de erro estava errada, o que frequentemente engana as IAs. Resolvê-lo exige entender as chamadas de API do WordPress, ver além da mensagem de erro e identificar o bug.

Ambos, V3 e R1, passaram neste teste com respostas quase idênticas, levando o V3 a três de quatro vitórias e o R1 a duas de quatro. O DeepSeek já está superando Gemini, Copilot, Claude e Meta.

Teste 4: Criando um Script

Este teste é difícil porque envolve três ambientes: AppleScript, o modelo de objeto do Chrome e o Keyboard Maestro. O ChatGPT acertou em cheio, mas o DeepSeek V3 e o R1 ficaram aquém. Nenhum dos modelos entendeu a necessidade de dividir tarefas entre o Keyboard Maestro e o Chrome, e seu conhecimento de AppleScript era fraco.

O R1 fez suposições incorretas, como assumir que uma janela frontal sempre existe e que o programa em execução na frente seria sempre o Chrome. Isso deixou o V3 com três testes corretos e uma falha, e o R1 com dois testes corretos e duas falhas.

Considerações Finais

A insistência do DeepSeek em usar um e-mail de nuvem pública como o Gmail, em vez do meu domínio corporativo, foi frustrante. Também houve alguns problemas de responsividade que fizeram os testes demorarem mais do que o esperado.

Inicialmente, lutei para me inscrever devido a este erro:

Os serviços online da DeepSeek enfrentaram recentemente ataques maliciosos em grande escala. Para garantir a continuidade do serviço, o registro está temporariamente limitado a números de telefone com código +86. Usuários existentes podem fazer login normalmente. Obrigado pela sua compreensão e apoio.

Uma vez dentro, consegui executar os testes. O DeepSeek tende a ser prolixo com seu código. O AppleScript no Teste 4 estava incorreto e desnecessariamente longo. A expressão regular no Teste 2 poderia ter sido mais manutenível, embora o V3 tenha acertado.

Estou impressionado que o V3 superou Gemini, Copilot e Meta, mas ainda está no nível do antigo GPT-3.5, sugerindo que há espaço para crescimento. O desempenho do R1 foi decepcionante. Dada a escolha, eu ficaria com o ChatGPT para ajuda com programação.

Dito isso, para uma nova ferramenta funcionando com muito menos infraestrutura, o DeepSeek é definitivamente um para se ficar de olho.

Quais são seus pensamentos? Você experimentou o DeepSeek? Usa alguma IA para suporte à programação? Deixe-nos saber nos comentários abaixo.

Acompanhe as atualizações diárias do meu projeto nas redes sociais, assine meu boletim semanal e conecte-se comigo no Twitter/X em @DavidGewirtz, Facebook em Facebook.com/DavidGewirtz, Instagram em Instagram.com/DavidGewirtz, Bluesky em @DavidGewirtz.com e YouTube em YouTube.com/DavidGewirtzTV.