Lar
Equipe da Universidade Jiao Tong de Xangai lança o benchmark SWE-Explore, revelando falhas de localização em nível de linha em agentes de codificação baseados em IA
Uma equipe internacional de pesquisa, da qual faz parte a Universidade Jiao Tong de Xangai, lançou hoje o SWE-Explore, uma nova ferramenta de testes de benchmark. Ela revela quantitativamente deficiências técnicas significativas dos atuais agentes de codificação de IA no que diz respeito à “precisão em nível de linha”, ao separar a busca de código da fase de correção propriamente dita. Este estudo vai além do modelo de avaliação único anterior, que se baseava exclusivamente na “taxa de correção final”, oferecendo um novo padrão para medir diretamente a qualidade da busca inicial nos agentes e impulsionando a evolução da avaliação da engenharia de software de IA em áreas mais aprofundadas.
Benchmarks tradicionais, como o SWE-bench, muitas vezes mascaram os defeitos reais dos agentes nas etapas de leitura e compreensão de código, pois se concentram apenas nos resultados de ponta a ponta. Para resolver isso, a equipe de pesquisa extraiu segmentos de código consensuais de múltiplos caminhos de solução independentes, com base nas trajetórias de operação bem-sucedidas de grandes modelos convencionais, como o GPT-5.4, Gemini3Pro, Claude Sonnet4.6 e Kimi K2.6, construindo um conjunto de dados contendo 848 tarefas com defeitos em 10 linguagens de programação e 203 projetos de código aberto.

Os resultados da avaliação mostram que, embora agentes de codificação gerais como o Claude Code e o OpenHands apresentem bom desempenho no posicionamento “no nível do arquivo”, sua cobertura da área central cai drasticamente para entre 14% e 19% quando o foco está em “linhas de código” específicas. Experimentos de ablação confirmaram ainda mais o efeito do “limite mínimo de contexto”: quando a proporção visível das principais áreas centrais fica abaixo de 50%, a correção do modelo geralmente falha; no entanto, assim que ultrapassa o limite de 50% a 75%, a taxa de sucesso da correção aumenta drasticamente.
Esse resultado da pesquisa indica que o gargalo atual para os agentes de IA não se refere inteiramente à capacidade de escrever patches, mas sim à filtragem e captura precisas do contexto crítico. No contexto atual do setor, em que gerentes de projeto rejeitam metade das propostas de adoção automatizada, a direção técnica “menos filtragem, mais leitura” proposta pelo SWE-Explore não apenas aponta o caminho para a otimização da arquitetura de sistemas especializados de localização de código de última geração (como o CoSIL), mas também acelera a mudança de paradigma da engenharia de software automatizada, passando da “geração por força bruta” para a “recuperação precisa”.
Artigo relacionado
CEO da DeepMind, Hassabis: Durmo seis horas por dia, geralmente me sinto energético por volta da 1h
O Fortune recentemente publicou uma entrevista com Demis Hassabis, CEO da Google DeepMind, revelando sua abordagem incomum para descanso e produtividade. Hassabis revelou que dorme muito pouco, estruturando suas horas acordadas em dois blocos de trab
OpenAI e Anthropic disputam participação no mercado, apesar da queda na receita
Apesar de relatos recentes sugerirem que a OpenAI não atingiu suas metas de receita, o que gerou pressão sobre as ações do setor de tecnologia nesta terça-feira, os investidores privados em laboratóri
Conformidade com a regulamentação de veículos autônomos na Califórnia: uma nova era de multas, geocercas e 1 milhão de milhas
A Guident opera um veículo de transporte da AuveTech no sul da Flórida, administrando uma rota de quatro milhas em West Palm Beach e uma rota de uma milha em Boca Raton por meio de sua tecnologia de m
Recomendações de tópicos especiais relacionados
Comentários (0)
Uma equipe internacional de pesquisa, da qual faz parte a Universidade Jiao Tong de Xangai, lançou hoje o SWE-Explore, uma nova ferramenta de testes de benchmark. Ela revela quantitativamente deficiências técnicas significativas dos atuais agentes de codificação de IA no que diz respeito à “precisão em nível de linha”, ao separar a busca de código da fase de correção propriamente dita. Este estudo vai além do modelo de avaliação único anterior, que se baseava exclusivamente na “taxa de correção final”, oferecendo um novo padrão para medir diretamente a qualidade da busca inicial nos agentes e impulsionando a evolução da avaliação da engenharia de software de IA em áreas mais aprofundadas.
Benchmarks tradicionais, como o SWE-bench, muitas vezes mascaram os defeitos reais dos agentes nas etapas de leitura e compreensão de código, pois se concentram apenas nos resultados de ponta a ponta. Para resolver isso, a equipe de pesquisa extraiu segmentos de código consensuais de múltiplos caminhos de solução independentes, com base nas trajetórias de operação bem-sucedidas de grandes modelos convencionais, como o GPT-5.4, Gemini3Pro, Claude Sonnet4.6 e Kimi K2.6, construindo um conjunto de dados contendo 848 tarefas com defeitos em 10 linguagens de programação e 203 projetos de código aberto.

Os resultados da avaliação mostram que, embora agentes de codificação gerais como o Claude Code e o OpenHands apresentem bom desempenho no posicionamento “no nível do arquivo”, sua cobertura da área central cai drasticamente para entre 14% e 19% quando o foco está em “linhas de código” específicas. Experimentos de ablação confirmaram ainda mais o efeito do “limite mínimo de contexto”: quando a proporção visível das principais áreas centrais fica abaixo de 50%, a correção do modelo geralmente falha; no entanto, assim que ultrapassa o limite de 50% a 75%, a taxa de sucesso da correção aumenta drasticamente.
Esse resultado da pesquisa indica que o gargalo atual para os agentes de IA não se refere inteiramente à capacidade de escrever patches, mas sim à filtragem e captura precisas do contexto crítico. No contexto atual do setor, em que gerentes de projeto rejeitam metade das propostas de adoção automatizada, a direção técnica “menos filtragem, mais leitura” proposta pelo SWE-Explore não apenas aponta o caminho para a otimização da arquitetura de sistemas especializados de localização de código de última geração (como o CoSIL), mas também acelera a mudança de paradigma da engenharia de software automatizada, passando da “geração por força bruta” para a “recuperação precisa”.
CEO da DeepMind, Hassabis: Durmo seis horas por dia, geralmente me sinto energético por volta da 1h
O Fortune recentemente publicou uma entrevista com Demis Hassabis, CEO da Google DeepMind, revelando sua abordagem incomum para descanso e produtividade. Hassabis revelou que dorme muito pouco, estruturando suas horas acordadas em dois blocos de trab
OpenAI e Anthropic disputam participação no mercado, apesar da queda na receita
Apesar de relatos recentes sugerirem que a OpenAI não atingiu suas metas de receita, o que gerou pressão sobre as ações do setor de tecnologia nesta terça-feira, os investidores privados em laboratóri











