Maison
OpenAI fustige un test de référence en IA : près d'un tiers des questions sont erronées, le taux de réussite a grimpé à 80 % en 8 mois
Dans un article de blog, OpenAI a publiquement remis en cause SWE-Bench Pro, la référence majeure du secteur, en affirmant qu'environ 30 % de ses 731 tâches de test publiques comportaient des failles d'évaluation. Développé par Scale AI, SWE-Bench Pro est conçu pour évaluer les capacités de programmation des grands modèles linguistiques et des agents IA. Comme il reflète fidèlement le développement en entreprise dans le monde réel et applique des mesures anti-tricherie strictes, il est devenu un benchmark largement reconnu dans le domaine de l'ingénierie logicielle en IA.
OpenAI met en avant un élément clé dans son article de blog : le taux de réussite des modèles de premier plan à ce benchmark est passé de 23,3 % à 80,3 % en seulement huit mois. Une progression aussi rapide semble suspecte, et OpenAI fait valoir que ce benchmark ne permet plus de mesurer avec précision les compétences réelles d’un modèle en matière de développement logiciel. Le problème provient probablement de failles dans l’évaluation elle-même, et non d’un véritable bond en avant des capacités des modèles.
Deux processus de révision, validés de manière croisée, révèlent que près de 30 % des tâches sont jugées « non conformes ».
Pour vérifier cela, OpenAI a lancé deux processus d’examen parallèles. L’analyse des points de données a mis en évidence 200 tâches ayant échoué, soit 27,4 % des 731 tâches publiques. Parallèlement, l’annotation manuelle a signalé 249 tâches ayant échoué, soit 34,1 %. En recoupant les résultats de ces deux méthodes, OpenAI estime qu’environ 30 % des tâches de SWE-Bench Pro contiennent des défauts, qui se répartissent en quatre catégories : des tests trop stricts, des consignes inadéquates, une couverture de test trop restreinte et des consignes trompeuses.
OpenAI a également donné un exemple typique : une tâche demandait un seul espace au début d’une ligne lors de la conversion d’un contenu au format Markdown, mais le test caché s’attendait à deux espaces. En conséquence, même si le modèle respectait l’exigence énoncée, il était considéré comme incorrect. Ce décalage entre les instructions explicites et les exigences cachées fausse directement l’évaluation des capacités réelles d’un modèle et explique la hausse déraisonnable des taux de réussite.
Retrait de la recommandation d’adoption et appel à la refonte du système d’évaluation de l’IA
Sur la base de cette analyse, OpenAI a officiellement retiré sa recommandation antérieure d’utiliser SWE-Bench Pro. L’entreprise estime que les futurs benchmarks devraient être créés par des développeurs logiciels expérimentés spécifiquement pour l’évaluation de l’IA, plutôt que de réutiliser une logique de test conçue pour des développeurs humains. Si près de 30 % des tâches d’un benchmark industriel sont erronées, c’est toute la crédibilité du système d’évaluation de l’IA qui est remise en cause. Passer de concours axés sur la course aux scores à de véritables évaluations des capacités d’ingénierie pourrait constituer la prochaine étape cruciale dans l’évaluation de l’ingénierie logicielle en IA.
Article connexe
Comment optimiser les Core Web Vitals pour améliorer son référencement naturel
Comment Carrefour utilise l'IA générative pour transformer le commerce de détailIntroductionHélène Labaum : du droit à la direction du commerce en ligneCarrefour : un géant mondial de la grande distri
L'accord conclu entre Fortinet et Virtue AI renforce la sécurité basée sur l'IA d'Agentic
Ken Xie, fondateur et PDG de Fortinet | Crédit : FortinetFortinet acquiert Virtue AI afin de renforcer la protection en temps réel et la validation automatisée des systèmes d'IA, alors que les entrepr
xAI dévoile une version bêta précoce de Grok pour les tâches de programmation complexes
Le 14 mai, l’entreprise d’intelligence artificielle d’Elon Musk, xAI, a lancé une version bêta anticipée d’un assistant de codage nommé Grok Build. Actuellement réservé aux abonnés SuperGrok, cette plateforme est conçue pour rationaliser l’ingénierie
Recommandations de sujets spéciaux liés
Conception et art
Les meilleurs outils d'illustration basés sur l'IA : créez plus rapidement des scènes éditoriales et des illustrations de couverture
Les meilleurs outils d'illustration IA de 2026 : notre sélection regroupe les outils les plus performants pour créer rapidement de superbes scènes éditoriales et des couvertures accrocheuses. Chaque option a été soumise à des tests rigoureux en conditions réelles ; nous vous proposons une comparaison entre les versions gratuites et payantes afin de vous aider à trouver celle qui correspond le mieux à votre flux de travail. Essayez dès aujourd’hui ces solutions incontournables pour exploiter pleinement le potentiel de l’IA et booster votre productivité créative. Découvrez-les dès maintenant sur XIX.AI.
10 outils
xix.ai
Éducation et apprentissage
Les meilleurs professeurs particuliers spécialisés en IA pour la préparation aux examens : entraînez-vous en maths, en sciences et en anglais
Les meilleurs tuteurs IA 2026 les mieux notés pour la préparation aux examens sont disponibles ici, sur XIX.AI ! Notre sélection comprend des outils puissants et révolutionnaires qui proposent une comparaison entre les versions gratuites et payantes, des tests concrets et des classements mis à jour chaque semaine. Ils vous aident à améliorer votre efficacité à l'écrit, à simplifier l'apprentissage de sujets complexes et à libérer votre potentiel académique. Découvrez dès maintenant l'outil de préparation aux examens qui vous convient le mieux et commencez à créer dès aujourd'hui pour exploiter pleinement les avantages de l'IA !
10 outils
xix.ai
Finance
Outils de planification budgétaire par IA pour la gestion personnelle des finances
2026 Derniers Meilleurs Outils de Planification Budgétaire par IA les mieux notés pour la gestion personnelle des finances sont ici sur XIX.AI ! Cette collection soigneusement sélectionnée propose des solutions puissantes et révolutionnaires qui vous aident à réaliser des tests concrets, à comprendre vos habitudes de dépenses et à créer des plans personnalisés pour améliorer votre productivité. Profitez d’une comparaison entre versions gratuites et payantes ainsi que de classements détaillés. Des outils incontournables conçus pour simplifier la gestion financière et exploiter pleinement votre avantage grâce à l’IA. Explorez dès maintenant !
11 outils
xix.ai
Santé et bien-être
Assistants de suivi du sommeil par l’IA : améliorez votre récupération grâce à de meilleures habitudes avant le coucher
2026 : Découvrez les meilleurs assistants de suivi du sommeil basés sur l’IA, hautement notés et récemment mis à jour, conçus pour une récupération optimale. Ce guide hebdomadaire entièrement actualisé présente des outils puissants qui offrent des tests en conditions réelles, des comparaisons entre versions gratuites et payantes, ainsi que des classements détaillés afin de vous aider à trouver la solution idéale pour améliorer la qualité du sommeil et favoriser de meilleures habitudes avant le coucher. Explorez-le dès maintenant sur XIX.AI pour tirer parti des avantages offerts par l’IA.
10 outils
xix.ai
Analyse des données
Copilotes SQL basés sur l'IA pour l'analyse des produits et du chiffre d'affaires
2026 : les meilleurs copilotes SQL IA les mieux notés pour l'analyse des produits et du chiffre d'affaires ! XIX.AI a sélectionné une gamme d’outils puissants et révolutionnaires à essayer absolument, qui sont soumis à des tests en conditions réelles via des classements mis à jour chaque semaine. Ces outils aident les utilisateurs à booster considérablement leur productivité en accélérant l’analyse des données, en simplifiant les requêtes complexes et en générant des informations précises permettant de prendre des décisions commerciales plus éclairées. Explorez-les dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer pleinement parti de l’IA !
14 outils
xix.ai
Éducation et apprentissage
Les meilleurs outils d'aide aux devoirs basés sur l'IA qui enseignent : apprenez les concepts, pas seulement les réponses
2026 : les meilleurs outils d'aide aux devoirs basés sur l'IA, les mieux notés, qui enseignent les concepts fondamentaux et ne se contentent pas de fournir des réponses. Des outils puissants pour les élèves. Une sélection incontournable à ne pas manquer. Mise à jour hebdomadaire. Comparaison entre les versions gratuites et payantes. Tests en conditions réelles. Classements précis pour vous aider à exploiter pleinement votre potentiel d'apprentissage. Explorez dès maintenant pour découvrir l'outil idéal qui vous permettra d'étudier plus efficacement.
10 outils
xix.ai
commentaires (0)
Dans un article de blog, OpenAI a publiquement remis en cause SWE-Bench Pro, la référence majeure du secteur, en affirmant qu'environ 30 % de ses 731 tâches de test publiques comportaient des failles d'évaluation. Développé par Scale AI, SWE-Bench Pro est conçu pour évaluer les capacités de programmation des grands modèles linguistiques et des agents IA. Comme il reflète fidèlement le développement en entreprise dans le monde réel et applique des mesures anti-tricherie strictes, il est devenu un benchmark largement reconnu dans le domaine de l'ingénierie logicielle en IA.
OpenAI met en avant un élément clé dans son article de blog : le taux de réussite des modèles de premier plan à ce benchmark est passé de 23,3 % à 80,3 % en seulement huit mois. Une progression aussi rapide semble suspecte, et OpenAI fait valoir que ce benchmark ne permet plus de mesurer avec précision les compétences réelles d’un modèle en matière de développement logiciel. Le problème provient probablement de failles dans l’évaluation elle-même, et non d’un véritable bond en avant des capacités des modèles.
Deux processus de révision, validés de manière croisée, révèlent que près de 30 % des tâches sont jugées « non conformes ».
Pour vérifier cela, OpenAI a lancé deux processus d’examen parallèles. L’analyse des points de données a mis en évidence 200 tâches ayant échoué, soit 27,4 % des 731 tâches publiques. Parallèlement, l’annotation manuelle a signalé 249 tâches ayant échoué, soit 34,1 %. En recoupant les résultats de ces deux méthodes, OpenAI estime qu’environ 30 % des tâches de SWE-Bench Pro contiennent des défauts, qui se répartissent en quatre catégories : des tests trop stricts, des consignes inadéquates, une couverture de test trop restreinte et des consignes trompeuses.
OpenAI a également donné un exemple typique : une tâche demandait un seul espace au début d’une ligne lors de la conversion d’un contenu au format Markdown, mais le test caché s’attendait à deux espaces. En conséquence, même si le modèle respectait l’exigence énoncée, il était considéré comme incorrect. Ce décalage entre les instructions explicites et les exigences cachées fausse directement l’évaluation des capacités réelles d’un modèle et explique la hausse déraisonnable des taux de réussite.
Retrait de la recommandation d’adoption et appel à la refonte du système d’évaluation de l’IA
Sur la base de cette analyse, OpenAI a officiellement retiré sa recommandation antérieure d’utiliser SWE-Bench Pro. L’entreprise estime que les futurs benchmarks devraient être créés par des développeurs logiciels expérimentés spécifiquement pour l’évaluation de l’IA, plutôt que de réutiliser une logique de test conçue pour des développeurs humains. Si près de 30 % des tâches d’un benchmark industriel sont erronées, c’est toute la crédibilité du système d’évaluation de l’IA qui est remise en cause. Passer de concours axés sur la course aux scores à de véritables évaluations des capacités d’ingénierie pourrait constituer la prochaine étape cruciale dans l’évaluation de l’ingénierie logicielle en IA.
Comment optimiser les Core Web Vitals pour améliorer son référencement naturel
Comment Carrefour utilise l'IA générative pour transformer le commerce de détailIntroductionHélène Labaum : du droit à la direction du commerce en ligneCarrefour : un géant mondial de la grande distri
L'accord conclu entre Fortinet et Virtue AI renforce la sécurité basée sur l'IA d'Agentic
Ken Xie, fondateur et PDG de Fortinet | Crédit : FortinetFortinet acquiert Virtue AI afin de renforcer la protection en temps réel et la validation automatisée des systèmes d'IA, alors que les entrepr
xAI dévoile une version bêta précoce de Grok pour les tâches de programmation complexes
Le 14 mai, l’entreprise d’intelligence artificielle d’Elon Musk, xAI, a lancé une version bêta anticipée d’un assistant de codage nommé Grok Build. Actuellement réservé aux abonnés SuperGrok, cette plateforme est conçue pour rationaliser l’ingénierie
Les meilleurs outils d'illustration IA de 2026 : notre sélection regroupe les outils les plus performants pour créer rapidement de superbes scènes éditoriales et des couvertures accrocheuses. Chaque option a été soumise à des tests rigoureux en conditions réelles ; nous vous proposons une comparaison entre les versions gratuites et payantes afin de vous aider à trouver celle qui correspond le mieux à votre flux de travail. Essayez dès aujourd’hui ces solutions incontournables pour exploiter pleinement le potentiel de l’IA et booster votre productivité créative. Découvrez-les dès maintenant sur XIX.AI.
10 outils
xix.ai
Les meilleurs tuteurs IA 2026 les mieux notés pour la préparation aux examens sont disponibles ici, sur XIX.AI ! Notre sélection comprend des outils puissants et révolutionnaires qui proposent une comparaison entre les versions gratuites et payantes, des tests concrets et des classements mis à jour chaque semaine. Ils vous aident à améliorer votre efficacité à l'écrit, à simplifier l'apprentissage de sujets complexes et à libérer votre potentiel académique. Découvrez dès maintenant l'outil de préparation aux examens qui vous convient le mieux et commencez à créer dès aujourd'hui pour exploiter pleinement les avantages de l'IA !
10 outils
xix.ai
2026 Derniers Meilleurs Outils de Planification Budgétaire par IA les mieux notés pour la gestion personnelle des finances sont ici sur XIX.AI ! Cette collection soigneusement sélectionnée propose des solutions puissantes et révolutionnaires qui vous aident à réaliser des tests concrets, à comprendre vos habitudes de dépenses et à créer des plans personnalisés pour améliorer votre productivité. Profitez d’une comparaison entre versions gratuites et payantes ainsi que de classements détaillés. Des outils incontournables conçus pour simplifier la gestion financière et exploiter pleinement votre avantage grâce à l’IA. Explorez dès maintenant !
11 outils
xix.ai
2026 : Découvrez les meilleurs assistants de suivi du sommeil basés sur l’IA, hautement notés et récemment mis à jour, conçus pour une récupération optimale. Ce guide hebdomadaire entièrement actualisé présente des outils puissants qui offrent des tests en conditions réelles, des comparaisons entre versions gratuites et payantes, ainsi que des classements détaillés afin de vous aider à trouver la solution idéale pour améliorer la qualité du sommeil et favoriser de meilleures habitudes avant le coucher. Explorez-le dès maintenant sur XIX.AI pour tirer parti des avantages offerts par l’IA.
10 outils
xix.ai
2026 : les meilleurs copilotes SQL IA les mieux notés pour l'analyse des produits et du chiffre d'affaires ! XIX.AI a sélectionné une gamme d’outils puissants et révolutionnaires à essayer absolument, qui sont soumis à des tests en conditions réelles via des classements mis à jour chaque semaine. Ces outils aident les utilisateurs à booster considérablement leur productivité en accélérant l’analyse des données, en simplifiant les requêtes complexes et en générant des informations précises permettant de prendre des décisions commerciales plus éclairées. Explorez-les dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer pleinement parti de l’IA !
14 outils
xix.ai
2026 : les meilleurs outils d'aide aux devoirs basés sur l'IA, les mieux notés, qui enseignent les concepts fondamentaux et ne se contentent pas de fournir des réponses. Des outils puissants pour les élèves. Une sélection incontournable à ne pas manquer. Mise à jour hebdomadaire. Comparaison entre les versions gratuites et payantes. Tests en conditions réelles. Classements précis pour vous aider à exploiter pleinement votre potentiel d'apprentissage. Explorez dès maintenant pour découvrir l'outil idéal qui vous permettra d'étudier plus efficacement.
10 outils
xix.ai
