Gemini Pro 2.5: Um poderoso assistente de codificação que representa uma grande ameaça para o chatgpt

Quando se trata de avaliar IA para assistência em codificação, desenvolvi um conjunto de quatro testes padronizados. Esses testes são cruciais para avaliar o quão bem uma IA pode apoiar seus esforços de programação. Afinal, a última coisa que você precisa é de uma IA que adiciona mais bugs ao seu código, certo?

Há algum tempo, um leitor questionou minha abordagem, sugerindo que as IAs poderiam ter melhor desempenho com desafios diferentes. É um ponto válido, mas eu mantenho esses testes porque são diretos. Uso PHP e JavaScript, que não são as linguagens mais difíceis por aí, e executo algumas consultas de script através das IAs. Essa consistência nos permite comparar o desempenho diretamente.

Os testes incluem escrever um plugin simples para WordPress, reescrever uma função de string, encontrar um bug com o qual já lutei e usar ferramentas de programação para extrair dados do Chrome. É como ensinar alguém a dirigir — você não os deixaria soltos em uma rodovia se eles não conseguem nem sair da garagem.

Até hoje, apenas o LLM GPT-4 (e superior) do ChatGPT passou em todos esses testes. Curiosamente, o Perplexity Pro também teve sucesso, mas isso porque ele roda na série de LLMs GPT-4. Por outro lado, o Microsoft Copilot, apesar de usar o mesmo LLM, falhou em todos os testes.

O Gemini do Google não teve um desempenho muito melhor. Inicialmente, o Bard (o nome inicial do Gemini) falhou na maioria dos testes, e até o Gemini Advanced, que custa $20 por mês, falhou em três dos quatro testes no último ano.

Mas agora, o Google lançou o Gemini Pro 2.5, e ele é gratuito para todos, embora com limites de taxa. Eu atingi esses limites após apenas dois prompts durante meus testes, o que é um pouco restritivo. É possível que a limitação de taxa seja baseada na complexidade das tarefas, em vez do número de prompts. Meus dois primeiros pedidos foram para escrever um plugin completo para WordPress e corrigir um código, o que pode ter consumido meu limite mais rápido do que consultas mais simples.

Apesar da espera, os resultados foram surpreendentes e valeram a pena.

Teste 1: Escrever um plugin simples para WordPress

Desta vez, o Gemini Pro 2.5 arrasou. O desafio era criar um plugin para WordPress que fornecesse uma interface de usuário para randomizar linhas de entrada e distribuir duplicatas para que não ficassem adjacentes.

Anteriormente, o Gemini Advanced não criou um painel de administração, mas exigiu um shortcode no texto de uma página pública. Ele criou uma interface básica, mas clicar no botão não fazia nada. Não importava como eu ajustasse os prompts, ele ainda falhava.

Mas o Gemini Pro 2.5 entregou uma interface sólida, e o código funcionou como esperado. O que realmente me impressionou foi a escolha do ícone para o plugin. A maioria das IAs ignora esse detalhe, mas o Gemini Pro 2.5 escolheu um ícone relevante do conjunto de Dashicons do WordPress sem qualquer solicitação minha. O código estava bem documentado, com cada segmento principal explicado claramente.

Teste 2: Reescrever uma função de string

No segundo teste, pedi ao Gemini Pro 2.5 para modificar um código de processamento de strings para lidar com dólares e centavos, não apenas inteiros. O ChatGPT acertou isso, enquanto o Bard acabou conseguindo após falhas iniciais.

Da última vez, o Gemini Advanced falhou de maneira sutil, mas perigosa. Ele não permitia entradas não decimais e limitava incorretamente os números a dois dígitos antes do ponto decimal, entendendo mal o conceito de dólares e centavos. Esse tipo de erro poderia levar a uma enxurrada de relatórios de bugs se não fosse detectado.

O Gemini Pro 2.5, no entanto, acertou em cheio. Ele verificou corretamente os tipos de entrada, removeu espaços em branco, corrigiu a expressão regular para lidar com zeros à esquerda e entradas apenas decimais, e rejeitou entradas negativas. O código estava bem comentado, com um conjunto completo de exemplos de teste. Embora não permitisse vírgulas de agrupamento ou símbolos de moeda à frente, esses foram erros controlados, não falhas, então considero que passou.

Teste 3: Encontrar um bug

Uma vez, lutei com um bug no meu código que deveria funcionar, mas não funcionava. O problema era complicado, e enquanto eu estava focado no número de parâmetros sendo passados, o ChatGPT apontou que eu precisava mudar algo em um hook.

Tanto o Bard quanto o Meta erraram o alvo, seguindo o mesmo caminho inútil que eu. O Gemini Advanced, em fevereiro de 2024, sugeriu olhar "provavelmente em algum outro lugar no plugin ou no WordPress", o que não ajudou.

Com o Gemini Pro 2.5, atingi o limite de taxa após os dois primeiros testes, então tive que esperar até o dia seguinte. Quando finalmente executei o teste, o Gemini Pro 2.5 não só encontrou o bug, mas também me mostrou exatamente onde corrigi-lo, completo com um diagrama útil.

Teste 4: Escrever um script

O teste final envolve entender o modelo de objeto interno do Chrome, AppleScript e Keyboard Maestro, uma ferramenta de construção de macros. Trata-se de abrir abas do Chrome e definir a aba ativa com base em um parâmetro.

A maioria das IAs lida bem com as partes do Chrome e AppleScript, mas muitas vezes tem dificuldade com o Keyboard Maestro. O Gemini Pro 2.5, no entanto, acertou. Ele escreveu o código necessário para passar variáveis corretamente, adicionou verificação de erros e notificações ao usuário, e até forneceu passos para configurar o Keyboard Maestro.

Com todos os quatro testes aprovados, o Gemini Pro 2.5 se junta ao grupo de elite de ferramentas de IA que podem realmente ajudar com tarefas de programação.

Era apenas uma questão de tempo até que a IA do Google alcançasse as ofertas da OpenAI. O artigo de 2017 do Google, "Attention is all you need", deu início ao boom da IA generativa, então não é surpresa que eles tenham chegado a esse ponto. O Gemini Pro 2.5 é mais lento que o ChatGPT Plus, levando entre 15 segundos e um minuto para responder, mas a precisão é mais importante que a velocidade.

O Google também tornou o Google Code Assist gratuito com limites generosos, mas só é valioso se o código gerado for de alta qualidade. Com o Gemini Pro 2.5, essa qualidade agora é evidente. Embora atualmente marcado como "experimental", espero que o Google refine isso em breve, potencialmente oferecendo uma versão paga com menos limites de taxa.

Fica claro que o Gemini Pro 2.5 está pronto para desafiar o ChatGPT no campo da assistência em codificação. Estarei acompanhando de perto esse desenvolvimento e compartilhando mais atualizações em breve.