Lar
OpenAI critica teste de desempenho de IA: quase um terço das perguntas apresentava falhas, e a taxa de aprovação disparou para 80% em 8 meses
A OpenAI contestou publicamente o principal benchmark do setor, o SWE-Bench Pro, em uma postagem no blog, alegando que cerca de 30% de suas 731 tarefas de teste públicas contêm falhas de avaliação. Desenvolvido pela Scale AI, o SWE-Bench Pro foi projetado para avaliar as habilidades de programação de grandes modelos de linguagem e agentes de IA. Por refletir fielmente o desenvolvimento empresarial no mundo real e aplicar medidas rigorosas contra fraudes, ele se tornou um benchmark amplamente reconhecido na engenharia de software de IA.
A OpenAI destaca um sinal importante na postagem do blog: a taxa de aprovação dos modelos de ponta nesse benchmark saltou de 23,3% para 80,3% em apenas oito meses. Um progresso tão rápido parece suspeito, e a OpenAI argumenta que o benchmark não consegue mais medir com precisão as habilidades de desenvolvimento de software de um modelo no mundo real. O problema provavelmente decorre de falhas na própria avaliação, e não de um salto genuíno na capacidade dos modelos.
Dois processos de revisão, submetidos a validação cruzada, revelaram que quase 30% das tarefas são consideradas “inadequadas”.
Para verificar isso, a OpenAI lançou dois processos de revisão paralelos. A análise dos pontos de dados revelou 200 tarefas com falha, ou 27,4% das 731 tarefas públicas. Enquanto isso, a anotação manual sinalizou 249 tarefas com falha, ou 34,1%. Ao cruzar os resultados dos dois métodos, a OpenAI estima que cerca de 30% das tarefas do SWE-Bench Pro contenham defeitos, que se enquadram em quatro categorias: testes excessivamente rigorosos, prompts inadequados, cobertura de teste limitada e prompts enganosos.
A OpenAI também compartilhou um exemplo típico: uma tarefa solicitava um único espaço no início de uma linha ao converter conteúdo para Markdown, mas o teste oculto esperava dois espaços. Como resultado, mesmo que o modelo seguisse o requisito declarado, seria marcado como incorreto. Essa incompatibilidade entre instruções explícitas e requisitos ocultos distorce diretamente a avaliação da verdadeira capacidade de um modelo e explica o aumento irracional nas taxas de aprovação.
Retirada da recomendação de adoção e apelo para a reconstrução do sistema de avaliação de IA
Com base nessa análise, a OpenAI retirou oficialmente sua recomendação anterior de usar o SWE-Bench Pro. A empresa acredita que os futuros benchmarks devem ser criados por desenvolvedores de software experientes especificamente para a avaliação de IA, em vez de reaproveitar lógicas de teste projetadas para desenvolvedores humanos. Se um benchmark do setor apresenta quase 30% de suas tarefas com falhas, a credibilidade de todo o sistema de avaliação de IA fica comprometida. Mudar o foco de competições voltadas à busca por pontuações para avaliações genuínas da capacidade de engenharia pode ser o próximo passo crucial na avaliação da engenharia de software de IA.
Artigo relacionado
A Apple esclarece rumores sobre o Gemini: a IA do Siri será desenvolvida internamente
Após a Conferência Mundial de Desenvolvedores (WWDC) de 2026, a Apple respondeu às perguntas da imprensa sobre rumores de que sua nova infraestrutura de IA era apenas um “invólucro do Gemini”. A empresa esclareceu que os Modelos Fundamentais da Apple
A OpenAI ainda luta para controlar atividades de IA fora de controle
Na sexta-feira, a OpenAI lançou uma página dedicada a “relatórios de desalinhamento”, revelando um volume alarmante de comportamentos irregulares documentados ao longo de um período prolongado. O site lista atualmente nove incidentes, a maioria ocorr
CEO da Flock afirma que microfones detectam apenas tiros, apesar das alegações do site
O CEO da Flock, Garrett Langley, afirmou que os microfones de detecção de tiros da empresa captam “apenas tiros”, mas o site da Flock apresenta um escopo muito mais amplo do áudio ambiente que ela grava.Falando no TechCrunch Disrupt, o co-fundador da
Recomendações de tópicos especiais relacionados
Design e Arte
As melhores ferramentas de ilustração com IA: crie cenas editoriais e capas de forma mais rápida
As melhores ferramentas de ilustração com IA de 2026: nossa lista selecionada apresenta as melhores ferramentas, com design robusto, para criar rapidamente cenas editoriais impressionantes e capas atraentes. Cada opção passou por rigorosos testes práticos, oferecendo uma comparação entre versões gratuitas e pagas para ajudar você a encontrar a opção perfeita para o seu fluxo de trabalho. Experimente hoje mesmo essas soluções imperdíveis para aproveitar ao máximo as vantagens da IA e impulsionar sua produtividade criativa. Explore agora no XIX.AI.
10 ferramentas
xix.ai
Educação e Aprendizagem
Os melhores professores particulares especializados em IA para preparação para exames: pratique matemática, ciências e inglês
Os melhores tutores de IA para preparação para exames de 2026, com as melhores avaliações, estão aqui no XIX.AI! Nossa lista cuidadosamente selecionada apresenta ferramentas poderosas e revolucionárias que oferecem comparação entre versões gratuitas e pagas, testes práticos e rankings atualizados semanalmente. Elas ajudam a aumentar sua eficiência na redação, simplificar o aprendizado de tópicos complexos e liberar seu potencial acadêmico. Explore agora para descobrir sua ferramenta perfeita de preparação para exames e comece a criar hoje mesmo para aproveitar toda a vantagem da IA!
10 ferramentas
xix.ai
Financiar
Ferramentas de planejamento orçamentário com IA para gestão financeira pessoal
As melhores e mais bem avaliadas ferramentas de planejamento orçamentário com IA para gestão financeira pessoal de 2026 estão aqui no XIX.AI! Esta seleção especial apresenta soluções poderosas e revolucionárias que ajudam você a realizar testes na prática, entender hábitos de consumo e criar planos personalizados para aumentar a produtividade. Confira uma comparação entre versões gratuitas e pagas, além de rankings detalhados. Ferramentas imperdíveis, projetadas para simplificar a gestão financeira e explorar o potencial da IA. Explore agora!
11 ferramentas
xix.ai
Saúde e Bem-Estar
Assistentes de rastreamento do sono com IA: melhore sua recuperação adotando hábitos mais adequados antes de dormir
2026 – Os melhores assistentes de rastreamento do sono com inteligência artificial mais bem avaliados, selecionados para proporcionar uma recuperação máxima. Este guia semanal completamente atualizado apresenta ferramentas poderosas que incluem testes reais, comparações entre versões gratuitas e pagas, além de classificações detalhadas, visando ajudá-lo a encontrar a solução ideal para melhorar a qualidade do sono e fomentar hábitos noturnos mais saudáveis. Explore agora em XIX.AI e aproveite todas as vantagens oferecidas pela inteligência artificial.
10 ferramentas
xix.ai
Análise de dados
Copilotos de IA em SQL para análise de produtos e receitas
2026: Os melhores e mais bem avaliados copilotos de IA para SQL em análise de produtos e receitas! A XIX.AI selecionou um conjunto poderoso e revolucionário de ferramentas imperdíveis, que passam por testes práticos por meio de rankings atualizados semanalmente. Essas ferramentas ajudam os usuários a aumentar significativamente a produtividade, acelerando a análise de dados, simplificando consultas complexas e gerando insights precisos para impulsionar decisões de negócios mais inteligentes. Explore agora e descubra a ferramenta perfeita para aproveitar ao máximo o potencial da IA!
14 ferramentas
xix.ai
Educação e Aprendizagem
Os melhores auxiliares de tarefas escolares com IA que ensinam: aprenda conceitos, não apenas respostas
2026: Os melhores e mais bem avaliados auxiliares de tarefas com IA que ensinam conceitos fundamentais, não apenas respostas. Ferramentas poderosas para estudantes. Lista selecionada que você não pode deixar de conferir. Atualizada semanalmente. Comparação entre versões gratuitas e pagas. Testes em situações reais. Rankings precisos para ajudar você a atingir todo o seu potencial de aprendizado. Explore agora e descubra a ferramenta perfeita para estudar de forma mais inteligente.
10 ferramentas
xix.ai
Comentários (0)
A OpenAI contestou publicamente o principal benchmark do setor, o SWE-Bench Pro, em uma postagem no blog, alegando que cerca de 30% de suas 731 tarefas de teste públicas contêm falhas de avaliação. Desenvolvido pela Scale AI, o SWE-Bench Pro foi projetado para avaliar as habilidades de programação de grandes modelos de linguagem e agentes de IA. Por refletir fielmente o desenvolvimento empresarial no mundo real e aplicar medidas rigorosas contra fraudes, ele se tornou um benchmark amplamente reconhecido na engenharia de software de IA.
A OpenAI destaca um sinal importante na postagem do blog: a taxa de aprovação dos modelos de ponta nesse benchmark saltou de 23,3% para 80,3% em apenas oito meses. Um progresso tão rápido parece suspeito, e a OpenAI argumenta que o benchmark não consegue mais medir com precisão as habilidades de desenvolvimento de software de um modelo no mundo real. O problema provavelmente decorre de falhas na própria avaliação, e não de um salto genuíno na capacidade dos modelos.
Dois processos de revisão, submetidos a validação cruzada, revelaram que quase 30% das tarefas são consideradas “inadequadas”.
Para verificar isso, a OpenAI lançou dois processos de revisão paralelos. A análise dos pontos de dados revelou 200 tarefas com falha, ou 27,4% das 731 tarefas públicas. Enquanto isso, a anotação manual sinalizou 249 tarefas com falha, ou 34,1%. Ao cruzar os resultados dos dois métodos, a OpenAI estima que cerca de 30% das tarefas do SWE-Bench Pro contenham defeitos, que se enquadram em quatro categorias: testes excessivamente rigorosos, prompts inadequados, cobertura de teste limitada e prompts enganosos.
A OpenAI também compartilhou um exemplo típico: uma tarefa solicitava um único espaço no início de uma linha ao converter conteúdo para Markdown, mas o teste oculto esperava dois espaços. Como resultado, mesmo que o modelo seguisse o requisito declarado, seria marcado como incorreto. Essa incompatibilidade entre instruções explícitas e requisitos ocultos distorce diretamente a avaliação da verdadeira capacidade de um modelo e explica o aumento irracional nas taxas de aprovação.
Retirada da recomendação de adoção e apelo para a reconstrução do sistema de avaliação de IA
Com base nessa análise, a OpenAI retirou oficialmente sua recomendação anterior de usar o SWE-Bench Pro. A empresa acredita que os futuros benchmarks devem ser criados por desenvolvedores de software experientes especificamente para a avaliação de IA, em vez de reaproveitar lógicas de teste projetadas para desenvolvedores humanos. Se um benchmark do setor apresenta quase 30% de suas tarefas com falhas, a credibilidade de todo o sistema de avaliação de IA fica comprometida. Mudar o foco de competições voltadas à busca por pontuações para avaliações genuínas da capacidade de engenharia pode ser o próximo passo crucial na avaliação da engenharia de software de IA.
A Apple esclarece rumores sobre o Gemini: a IA do Siri será desenvolvida internamente
Após a Conferência Mundial de Desenvolvedores (WWDC) de 2026, a Apple respondeu às perguntas da imprensa sobre rumores de que sua nova infraestrutura de IA era apenas um “invólucro do Gemini”. A empresa esclareceu que os Modelos Fundamentais da Apple
A OpenAI ainda luta para controlar atividades de IA fora de controle
Na sexta-feira, a OpenAI lançou uma página dedicada a “relatórios de desalinhamento”, revelando um volume alarmante de comportamentos irregulares documentados ao longo de um período prolongado. O site lista atualmente nove incidentes, a maioria ocorr
CEO da Flock afirma que microfones detectam apenas tiros, apesar das alegações do site
O CEO da Flock, Garrett Langley, afirmou que os microfones de detecção de tiros da empresa captam “apenas tiros”, mas o site da Flock apresenta um escopo muito mais amplo do áudio ambiente que ela grava.Falando no TechCrunch Disrupt, o co-fundador da
As melhores ferramentas de ilustração com IA de 2026: nossa lista selecionada apresenta as melhores ferramentas, com design robusto, para criar rapidamente cenas editoriais impressionantes e capas atraentes. Cada opção passou por rigorosos testes práticos, oferecendo uma comparação entre versões gratuitas e pagas para ajudar você a encontrar a opção perfeita para o seu fluxo de trabalho. Experimente hoje mesmo essas soluções imperdíveis para aproveitar ao máximo as vantagens da IA e impulsionar sua produtividade criativa. Explore agora no XIX.AI.
10 ferramentas
xix.ai
Os melhores tutores de IA para preparação para exames de 2026, com as melhores avaliações, estão aqui no XIX.AI! Nossa lista cuidadosamente selecionada apresenta ferramentas poderosas e revolucionárias que oferecem comparação entre versões gratuitas e pagas, testes práticos e rankings atualizados semanalmente. Elas ajudam a aumentar sua eficiência na redação, simplificar o aprendizado de tópicos complexos e liberar seu potencial acadêmico. Explore agora para descobrir sua ferramenta perfeita de preparação para exames e comece a criar hoje mesmo para aproveitar toda a vantagem da IA!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de planejamento orçamentário com IA para gestão financeira pessoal de 2026 estão aqui no XIX.AI! Esta seleção especial apresenta soluções poderosas e revolucionárias que ajudam você a realizar testes na prática, entender hábitos de consumo e criar planos personalizados para aumentar a produtividade. Confira uma comparação entre versões gratuitas e pagas, além de rankings detalhados. Ferramentas imperdíveis, projetadas para simplificar a gestão financeira e explorar o potencial da IA. Explore agora!
11 ferramentas
xix.ai
2026 – Os melhores assistentes de rastreamento do sono com inteligência artificial mais bem avaliados, selecionados para proporcionar uma recuperação máxima. Este guia semanal completamente atualizado apresenta ferramentas poderosas que incluem testes reais, comparações entre versões gratuitas e pagas, além de classificações detalhadas, visando ajudá-lo a encontrar a solução ideal para melhorar a qualidade do sono e fomentar hábitos noturnos mais saudáveis. Explore agora em XIX.AI e aproveite todas as vantagens oferecidas pela inteligência artificial.
10 ferramentas
xix.ai
2026: Os melhores e mais bem avaliados copilotos de IA para SQL em análise de produtos e receitas! A XIX.AI selecionou um conjunto poderoso e revolucionário de ferramentas imperdíveis, que passam por testes práticos por meio de rankings atualizados semanalmente. Essas ferramentas ajudam os usuários a aumentar significativamente a produtividade, acelerando a análise de dados, simplificando consultas complexas e gerando insights precisos para impulsionar decisões de negócios mais inteligentes. Explore agora e descubra a ferramenta perfeita para aproveitar ao máximo o potencial da IA!
14 ferramentas
xix.ai
2026: Os melhores e mais bem avaliados auxiliares de tarefas com IA que ensinam conceitos fundamentais, não apenas respostas. Ferramentas poderosas para estudantes. Lista selecionada que você não pode deixar de conferir. Atualizada semanalmente. Comparação entre versões gratuitas e pagas. Testes em situações reais. Rankings precisos para ajudar você a atingir todo o seu potencial de aprendizado. Explore agora e descubra a ferramenta perfeita para estudar de forma mais inteligente.
10 ferramentas
xix.ai
