LarEstudo da Microsoft Revela Limitações de Modelos de IA na Depuração de Software
Modelos de IA da OpenAI, Anthropic e outros laboratórios de IA líderes estão sendo cada vez mais utilizados para tarefas de codificação. O CEO da Google, Sundar Pichai, observou em outubro que a IA gera 25% do novo código na empresa, enquanto o CEO da Meta, Mark Zuckerberg, pretende implementar amplamente ferramentas de codificação por IA na gigante das redes sociais.
No entanto, mesmo os modelos de melhor desempenho têm dificuldades para corrigir bugs de software que desenvolvedores experientes lidam com facilidade.
Um recente estudo da Microsoft Research, conduzido pela divisão de P&D da Microsoft, mostra que modelos como o Claude 3.7 Sonnet da Anthropic e o o3-mini da OpenAI têm dificuldades para resolver muitos problemas no benchmark de desenvolvimento de software SWE-bench Lite. As descobertas destacam que, apesar das afirmações ambiciosas de empresas como a OpenAI, a IA ainda fica aquém da expertise humana em áreas como codificação.
Os pesquisadores do estudo testaram nove modelos como base para um “agente baseado em prompt único” equipado com ferramentas de depuração, incluindo um depurador Python. O agente foi encarregado de abordar 300 desafios de depuração de software selecionados do SWE-bench Lite.
Os resultados mostraram que, mesmo com modelos avançados, o agente raramente resolveu mais da metade das tarefas com sucesso. O Claude 3.7 Sonnet liderou com uma taxa de sucesso de 48,4%, seguido pelo o1 da OpenAI com 30,2% e o o3-mini com 22,1%.
Um gráfico do estudo mostrando o aumento de desempenho que os modelos obtiveram com ferramentas de depuração. Créditos da imagem: Microsoft O que explica os resultados decepcionantes? Alguns modelos tiveram dificuldades para usar efetivamente as ferramentas de depuração disponíveis ou identificar quais ferramentas eram adequadas para problemas específicos. O principal problema, segundo os pesquisadores, foi a falta de dados de treinamento suficientes, particularmente dados que capturam “processos de tomada de decisão sequencial” como rastros de depuração humana.
“Acreditamos que treinar ou ajustar esses modelos pode melhorar suas capacidades de depuração”, escreveram os pesquisadores. “No entanto, isso requer dados especializados, como dados de trajetória que capturam agentes interagindo com um depurador para coletar informações antes de propor correções.”
Participe das Sessões TechCrunch: IA
Reserve seu lugar em nosso principal evento da indústria de IA, com palestrantes da OpenAI, Anthropic e Cohere. Por tempo limitado, os ingressos custam apenas $292 para um dia inteiro de palestras de especialistas, workshops e oportunidades de networking.
Exiba no TechCrunch Sessions: IA
Reserve seu espaço no TC Sessions: IA para apresentar seu trabalho a mais de 1.200 tomadores de decisão. Oportunidades de exposição estão disponíveis até 9 de maio ou até que as mesas estejam totalmente reservadas.
As descobertas não são surpreendentes. Numerosos estudos mostraram que o código gerado por IA frequentemente introduz falhas de segurança e erros devido a fraquezas na compreensão da lógica de programação. Um teste recente do Devin, uma conhecida ferramenta de codificação por IA, revelou que ela só conseguiu completar três de 20 tarefas de programação.
O estudo da Microsoft oferece uma das análises mais aprofundadas desse desafio contínuo para modelos de IA. Embora seja improvável que isso reduza o interesse dos investidores em ferramentas de codificação alimentadas por IA, pode levar desenvolvedores e seus líderes a reconsiderarem a dependência excessiva em IA para tarefas de codificação.
Notavelmente, vários líderes de tecnologia refutaram a ideia de que a IA eliminará empregos de codificação. O cofundador da Microsoft, Bill Gates, o CEO da Replit, Amjad Masad, o CEO da Okta, Todd McKinnon, e o CEO da IBM, Arvind Krishna, expressaram confiança de que a programação como profissão perdurará.
Artigo relacionado
O Qualcomm Snapdragon impulsiona o ecossistema de IA generativa da Samsung
Da esquerda para a direita: Galaxy Z Flip8, Galaxy Z Fold8 e Galaxy Z Fold8 Ultra. Crédito: SamsungCristiano Amon, da Qualcomm, afirma que a parceria com a Samsung possibilita uma IA natural e sensíve
A Alibaba projeta chips de IA voltados para agentes, mudando o rumo da corrida
A Alibaba lançou um processador de IA dedicado para agentes inteligentes, acompanhado por um plano de desenvolvimento de chips plurianual e um novo modelo de linguagem de grande porte, demonstrando su
Órgãos de saúde dos EUA avaliam modelos de IA da OpenAI e da Anthropic
Órgãos de saúde pública em todo o país devem avaliar a IA generativa por meio de uma nova iniciativa liderada pela Coalizão para a IA na Saúde (Coalition for Health AI), em parceria com a OpenAI, a An
Recomendações de tópicos especiais relacionados
Assistente de Reunião
Os melhores criadores de agendas com IA: planeje melhor suas reuniões semanais em poucos minutos
A página “Os melhores criadores de agendas com IA de 2026” apresenta uma lista selecionada das ferramentas mais bem avaliadas, que facilitam o planejamento das reuniões semanais da equipe. Essas soluções poderosas ajudam você a criar agendas organizadas e eficientes em apenas alguns minutos, economizando tempo valioso e aumentando a produtividade. A XIX.AI garante que todas as ferramentas passem por rigorosos testes práticos antes de serem incluídas. Veja uma comparação entre as versões gratuita e paga e descubra as opções imperdíveis que oferecem resultados revolucionários. Explore agora para encontrar a ferramenta perfeita para fluxos de trabalho mais ágeis!
15 ferramentas
xix.ai
Negócios
Melhores Ferramentas de IA para Planos de Negócios para Startups
2026 Últimas Melhores Ferramentas de IA para Planos de Negócios Mais Bem Avaliadas para Startups! A XIX.AI seleciona uma coleção poderosa e transformadora de ferramentas imperdíveis, que passam por testes do mundo real e rankings atualizados semanalmente com rigor. Essas soluções de topo ajudam as startups a elaborar planos impecáveis, aumentar a produtividade e desbloquear todo o seu potencial de IA. Explore agora para descobrir sua ferramenta perfeita!
9 ferramentas
xix.ai
Marketing
As melhores ferramentas de criação de personas com IA para pesquisa de público-alvo
As melhores e mais bem avaliadas ferramentas de 2026 para criação de personas com IA, voltadas para pesquisa de público-alvo, estão aqui no XIX.AI! Esta lista selecionada apresenta ferramentas poderosas e revolucionárias que ajudam você a realizar testes na prática e criar perfis precisos de público-alvo por meio de uma comparação detalhada entre opções gratuitas e pagas. Você descobrirá as opções imperdíveis que aumentam a eficiência na redação e revelam sua vantagem com IA nas estratégias de marketing. Explore agora para encontrar a ferramenta perfeita para você!
9 ferramentas
xix.ai
Criação de vídeo
Ferramentas de vídeo de demonstração com IA para o marketing de produtos SaaS
As melhores e mais bem avaliadas ferramentas de vídeo com IA de 2026 para o marketing de produtos SaaS, cuidadosamente selecionadas pela XIX.AI. Essas soluções poderosas e revolucionárias ajudam os profissionais de marketing a criar conteúdo de vídeo de alta qualidade rapidamente, aumentar a eficiência na redação e otimizar os fluxos de trabalho de marketing. Confira uma comparação entre versões gratuitas e pagas, além de testes práticos e rankings atualizados semanalmente. Explore agora mesmo e descubra a ferramenta perfeita para impulsionar suas vendas de SaaS!
9 ferramentas
xix.ai
Incitar
Ferramentas de Teste de Prompts de IA para Melhor Qualidade de Saída
2026 Últimas Melhores Ferramentas de Teste de Prompts de IA Mais Bem Avaliadas para Melhor Qualidade de Saída! A XIX.AI reuniu uma coleção poderosa e transformadora de ferramentas altamente eficientes, submetidas a rigorosos testes do mundo real para garantir resultados consistentes de alto nível. Você encontrará análises detalhadas comparando versões gratuitas e pagas, rankings abrangentes e orientações de especialistas para ajudá-lo a identificar as soluções imperdíveis que impulsionam significativamente seu fluxo de trabalho. Explore agora para desbloquear sua vantagem com IA!
11 ferramentas
xix.ai
Negócios
Ferramentas de Inteligência Artificial para Análise de Clientes, voltadas para o posicionamento de produtos
2026 – As melhores e mais bem avaliadas ferramentas de inteligência artificial para análise do comportamento do cliente, ideais para o posicionamento de produtos! A XIX.AI reuniu uma coleção poderosa e revolucionária, que passou por testes reais e possui classificações atualizadas semanalmente. Elas ajudam você a identificar rapidamente as necessidades dos clientes, aumentando assim a eficiência na redação, criando conteúdo otimizado para SEO e elaborando mensagens perfeitas para redes sociais, sem perder tempo. Explore agora para encontrar a ferramenta ideal e aproveitar todas as vantagens oferecidas pela inteligência artificial.
10 ferramentas
xix.ai
Comentários (6)
![ThomasScott]()
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
![HenryWalker]()
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
![BrianRoberts]()
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
![KevinDavis]()
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
![PeterThomas]()
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
![JuanWhite]()
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
Modelos de IA da OpenAI, Anthropic e outros laboratórios de IA líderes estão sendo cada vez mais utilizados para tarefas de codificação. O CEO da Google, Sundar Pichai, observou em outubro que a IA gera 25% do novo código na empresa, enquanto o CEO da Meta, Mark Zuckerberg, pretende implementar amplamente ferramentas de codificação por IA na gigante das redes sociais.
No entanto, mesmo os modelos de melhor desempenho têm dificuldades para corrigir bugs de software que desenvolvedores experientes lidam com facilidade.
Um recente estudo da Microsoft Research, conduzido pela divisão de P&D da Microsoft, mostra que modelos como o Claude 3.7 Sonnet da Anthropic e o o3-mini da OpenAI têm dificuldades para resolver muitos problemas no benchmark de desenvolvimento de software SWE-bench Lite. As descobertas destacam que, apesar das afirmações ambiciosas de empresas como a OpenAI, a IA ainda fica aquém da expertise humana em áreas como codificação.
Os pesquisadores do estudo testaram nove modelos como base para um “agente baseado em prompt único” equipado com ferramentas de depuração, incluindo um depurador Python. O agente foi encarregado de abordar 300 desafios de depuração de software selecionados do SWE-bench Lite.
Os resultados mostraram que, mesmo com modelos avançados, o agente raramente resolveu mais da metade das tarefas com sucesso. O Claude 3.7 Sonnet liderou com uma taxa de sucesso de 48,4%, seguido pelo o1 da OpenAI com 30,2% e o o3-mini com 22,1%.
O que explica os resultados decepcionantes? Alguns modelos tiveram dificuldades para usar efetivamente as ferramentas de depuração disponíveis ou identificar quais ferramentas eram adequadas para problemas específicos. O principal problema, segundo os pesquisadores, foi a falta de dados de treinamento suficientes, particularmente dados que capturam “processos de tomada de decisão sequencial” como rastros de depuração humana.
“Acreditamos que treinar ou ajustar esses modelos pode melhorar suas capacidades de depuração”, escreveram os pesquisadores. “No entanto, isso requer dados especializados, como dados de trajetória que capturam agentes interagindo com um depurador para coletar informações antes de propor correções.”
Participe das Sessões TechCrunch: IA
Reserve seu lugar em nosso principal evento da indústria de IA, com palestrantes da OpenAI, Anthropic e Cohere. Por tempo limitado, os ingressos custam apenas $292 para um dia inteiro de palestras de especialistas, workshops e oportunidades de networking.
Exiba no TechCrunch Sessions: IA
Reserve seu espaço no TC Sessions: IA para apresentar seu trabalho a mais de 1.200 tomadores de decisão. Oportunidades de exposição estão disponíveis até 9 de maio ou até que as mesas estejam totalmente reservadas.
As descobertas não são surpreendentes. Numerosos estudos mostraram que o código gerado por IA frequentemente introduz falhas de segurança e erros devido a fraquezas na compreensão da lógica de programação. Um teste recente do Devin, uma conhecida ferramenta de codificação por IA, revelou que ela só conseguiu completar três de 20 tarefas de programação.
O estudo da Microsoft oferece uma das análises mais aprofundadas desse desafio contínuo para modelos de IA. Embora seja improvável que isso reduza o interesse dos investidores em ferramentas de codificação alimentadas por IA, pode levar desenvolvedores e seus líderes a reconsiderarem a dependência excessiva em IA para tarefas de codificação.
Notavelmente, vários líderes de tecnologia refutaram a ideia de que a IA eliminará empregos de codificação. O cofundador da Microsoft, Bill Gates, o CEO da Replit, Amjad Masad, o CEO da Okta, Todd McKinnon, e o CEO da IBM, Arvind Krishna, expressaram confiança de que a programação como profissão perdurará.
O Qualcomm Snapdragon impulsiona o ecossistema de IA generativa da Samsung
Da esquerda para a direita: Galaxy Z Flip8, Galaxy Z Fold8 e Galaxy Z Fold8 Ultra. Crédito: SamsungCristiano Amon, da Qualcomm, afirma que a parceria com a Samsung possibilita uma IA natural e sensíve
A Alibaba projeta chips de IA voltados para agentes, mudando o rumo da corrida
A Alibaba lançou um processador de IA dedicado para agentes inteligentes, acompanhado por um plano de desenvolvimento de chips plurianual e um novo modelo de linguagem de grande porte, demonstrando su
Órgãos de saúde dos EUA avaliam modelos de IA da OpenAI e da Anthropic
Órgãos de saúde pública em todo o país devem avaliar a IA generativa por meio de uma nova iniciativa liderada pela Coalizão para a IA na Saúde (Coalition for Health AI), em parceria com a OpenAI, a An
A página “Os melhores criadores de agendas com IA de 2026” apresenta uma lista selecionada das ferramentas mais bem avaliadas, que facilitam o planejamento das reuniões semanais da equipe. Essas soluções poderosas ajudam você a criar agendas organizadas e eficientes em apenas alguns minutos, economizando tempo valioso e aumentando a produtividade. A XIX.AI garante que todas as ferramentas passem por rigorosos testes práticos antes de serem incluídas. Veja uma comparação entre as versões gratuita e paga e descubra as opções imperdíveis que oferecem resultados revolucionários. Explore agora para encontrar a ferramenta perfeita para fluxos de trabalho mais ágeis!
15 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de IA para Planos de Negócios Mais Bem Avaliadas para Startups! A XIX.AI seleciona uma coleção poderosa e transformadora de ferramentas imperdíveis, que passam por testes do mundo real e rankings atualizados semanalmente com rigor. Essas soluções de topo ajudam as startups a elaborar planos impecáveis, aumentar a produtividade e desbloquear todo o seu potencial de IA. Explore agora para descobrir sua ferramenta perfeita!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de 2026 para criação de personas com IA, voltadas para pesquisa de público-alvo, estão aqui no XIX.AI! Esta lista selecionada apresenta ferramentas poderosas e revolucionárias que ajudam você a realizar testes na prática e criar perfis precisos de público-alvo por meio de uma comparação detalhada entre opções gratuitas e pagas. Você descobrirá as opções imperdíveis que aumentam a eficiência na redação e revelam sua vantagem com IA nas estratégias de marketing. Explore agora para encontrar a ferramenta perfeita para você!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de vídeo com IA de 2026 para o marketing de produtos SaaS, cuidadosamente selecionadas pela XIX.AI. Essas soluções poderosas e revolucionárias ajudam os profissionais de marketing a criar conteúdo de vídeo de alta qualidade rapidamente, aumentar a eficiência na redação e otimizar os fluxos de trabalho de marketing. Confira uma comparação entre versões gratuitas e pagas, além de testes práticos e rankings atualizados semanalmente. Explore agora mesmo e descubra a ferramenta perfeita para impulsionar suas vendas de SaaS!
9 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Teste de Prompts de IA Mais Bem Avaliadas para Melhor Qualidade de Saída! A XIX.AI reuniu uma coleção poderosa e transformadora de ferramentas altamente eficientes, submetidas a rigorosos testes do mundo real para garantir resultados consistentes de alto nível. Você encontrará análises detalhadas comparando versões gratuitas e pagas, rankings abrangentes e orientações de especialistas para ajudá-lo a identificar as soluções imperdíveis que impulsionam significativamente seu fluxo de trabalho. Explore agora para desbloquear sua vantagem com IA!
11 ferramentas
xix.ai
2026 – As melhores e mais bem avaliadas ferramentas de inteligência artificial para análise do comportamento do cliente, ideais para o posicionamento de produtos! A XIX.AI reuniu uma coleção poderosa e revolucionária, que passou por testes reais e possui classificações atualizadas semanalmente. Elas ajudam você a identificar rapidamente as necessidades dos clientes, aumentando assim a eficiência na redação, criando conteúdo otimizado para SEO e elaborando mensagens perfeitas para redes sociais, sem perder tempo. Explore agora para encontrar a ferramenta ideal e aproveitar todas as vantagens oferecidas pela inteligência artificial.
10 ferramentas
xix.ai
微软这个研究结果太真实了😂 前几天用Copilot改bug，它居然把正确代码改得更错了…看来AI写代码还是得人工把关，至少现阶段别太依赖它们debug。
It's wild that AI is pumping out 25% of Google's code, but this Microsoft study shows it's not perfect at debugging. Kinda makes you wonder if we're trusting these models a bit too much too soon. 😅 Anyone else worried about buggy AI code sneaking into big projects?
It's wild that AI is cranking out 25% of Google's code, but the debugging struggles are real. Makes me wonder if we're leaning too hard on AI without fixing its blind spots first. 🧑💻
It's wild that AI is pumping out 25% of Google's code, but the debugging limitations in this study make me wonder if we're leaning too hard on these models without enough human oversight. 🤔
Interesting read! AI generating 25% of Google's code is wild, but I'm not surprised it struggles with debugging. Machines can churn out code fast, but catching tricky bugs? That’s still a human’s game. 🧑💻
AI coding sounds cool, but if it can't debug properly, what's the point? 🤔 Feels like we're hyping up half-baked tools while devs still clean up the mess.
