X's Grok supera as expectativas nos testes de codificação de IA

Quando o X lançou seu chatbot pela primeira vez, ele estava escondido atrás de um paywall. Mas, como diz o ditado, não existe almoço grátis (TANSTAAFL), até recentemente, quando o X decidiu abrir o Grok para todos. Curioso sobre suas capacidades, decidi submetê-lo aos meus testes de programação.

Sempre tive um carinho especial pelo Grok, graças ao seu nome, criado por Robert Heinlein, um dos meus autores favoritos de ficção científica de todos os tempos. As obras de Heinlein tiveram um papel significativo em moldar minha mente jovem. Meus pais, que eram bastante rígidos quanto à mídia que eu consumia, permitiam que eu mergulhasse na ficção científica na biblioteca local, sob a suposição de que qualquer coisa rotulada como 'ciência' deveria ser educativa.

As histórias de Heinlein não eram apenas divertidas; elas eram provocadoras, desafiando normas sociais e entrelaçando temas científicos com comentários sociais. O termo "grok", introduzido em *Estranho em Terra Estranha*, incorpora um entendimento profundo e fundamental, tornando-o um nome apropriado para um chatbot de IA.

No entanto, há um porém...

Quando perguntei sobre o modelo de linguagem de grande escala (LLM) que o Grok usa, ele mencionou ser inspirado pelo humor e rebeldia de *O Guia do Mochileiro das Galáxias*. Embora *O Guia do Mochileiro* certamente tenha seu charme, ele não usa o termo "grok". Mas vamos passar para os testes de programação.

1. Escrevendo um Plugin para WordPress

Este teste exigiu que a IA demonstrasse habilidades de programação em PHP e conhecimento sobre desenvolvimento de plugins para WordPress. Ele surgiu de um pedido real da minha esposa, que precisava de uma ferramenta para randomizar nomes para o dispositivo de envolvimento mensal do seu site de comércio eletrônico. O diferencial era que alguns usuários poderiam ter várias entradas, então o randomizador precisava garantir que esses nomes não fossem colocados lado a lado.

O código também precisava ser amigável, permitindo que ela simplesmente colasse nomes, clicasse em um botão e obtivesse sua lista. O Grok passou neste teste com louvor. A interface era limpa, funcional e fazia exatamente o que deveria fazer.

2. Reescrevendo uma Função de String

O segundo teste envolveu corrigir um problema relatado por um usuário com uma função destinada a validar valores em dólares e centavos. Meu código original aceitava apenas inteiros, então $5 era válido, mas $5,25 não era. O Grok reescreveu a expressão regular, chegando perto de uma vitória. No entanto, ele não reconheceu números como 0,5 como moeda válida e usou um método ineficiente com conversões duplas. Então, é uma derrota neste caso.

3. Encontrando um Bug Irritante

Este teste exigiu entender o framework e a API do WordPress para identificar um bug sutil. Muitos LLMs, incluindo eu mesmo inicialmente, tiveram dificuldades com isso. Mas o Grok acertou em cheio, fornecendo uma solução correta e útil. Isso são duas vitórias em três.

4. Escrevendo um Script

O teste final foi desafiador, exigindo conhecimento do Keyboard Maestro, uma ferramenta de script de nicho para Mac, e a capacidade de escrever código para vários ambientes simultaneamente: Keyboard Maestro, Chrome e AppleScript. Apenas o Google Gemini e o ChatGPT com GPT-4 ou superior haviam passado neste teste anteriormente. O Grok, no entanto, arrasou, garantindo três vitórias em quatro.

Considerações Finais

O Grok se saiu bem nesses testes. Se ele tivesse apenas permitido valores monetários sem um zero à esquerda, teria sido perfeito. Apesar dos meus sentimentos mistos sobre as mudanças no X desde que substituiu o Twitter, o Grok provou ser um chatbot robusto, especialmente em termos de habilidades de programação.

Qual é a sua opinião sobre o Grok? Você já experimentou? E quanto a *Estranho em Terra Estranha* ou *O Guia do Mochileiro das Galáxias*? Compartilhe seus pensamentos nos comentários abaixo. Até mais, e obrigado por todos os peixes!