Maison
Les tests d’agents IA se concentrent sur le codage, ignorant 92 % de la main-d’œuvre

Une étude collaborative de l’Université Carnegie Mellon et de l’Université de Stanford met en lumière une « dépendance au chemin » critique dans la trajectoire actuelle du développement des agents d’IA. Les résultats révèlent que les benchmarks d’évaluation existants sont disproportionnellement axés sur la programmation, négligeant les secteurs non techniques qui constituent 92 % de la main-d’œuvre aux États-Unis.
L’équipe de recherche a effectué une analyse systématique de 72 000 tâches réparties dans 43 benchmarks d’IA majeurs, en les recoupant avec 1 016 professions répertoriées dans la base de données O*NET du gouvernement américain.
Déséquilibres clés identifiés dans l’enquête :
« Angles morts des benchmarks » dans le secteur numérique : Bien que les rôles managériaux affichent un taux de numérisation de 88 %, ils ne représentent que 1,4 % des tests actuels de benchmarks d’IA. De même, les professions juridiques, avec un niveau de numérisation de 70 %, ne couvrent que 0,3 % des benchmarks.
Écart significatif des compétences : Les évaluations d’IA actuelles privilégient les compétences en « récupération d’informations » et en « utilisation d’ordinateur », qui représentent moins de 5 % des emplois aux États-Unis. À l’inverse, l’« interaction interpersonnelle », composante essentielle du travail réel, est largement absente des évaluations d’IA existantes.
« Baisse des capacités » due à l’augmentation de la complexité : L’étude indique que les agents d’IA éprouvent des difficultés considérables avec les tâches complexes. Même dans le développement logiciel, leur domaine de prédilection, les taux de réussite chutent lorsque le nombre d’étapes de la tâche augmente ou que les exigences logiques deviennent plus complexes.
Les chercheurs plaident pour que les futurs benchmarks d’IA privilégient les secteurs à haute valeur ajoutée et fortement numérisés, tels que la gestion, le droit, la construction et l’ingénierie. De plus, les évaluations devraient examiner les étapes intermédiaires d’exécution, et non seulement les résultats finaux, afin de répondre aux défis pratiques tels que les objectifs ambigus et les cycles de vérification prolongés.
Les données du marché corroborent ces conclusions. Une analyse récente d’Anthropic révèle que près de 50 % de ses appels API restent axés sur le développement logiciel. Les experts mettent en garde : si le développement de l’IA continue de privilégier les tâches de programmation faciles à évaluer, il risque de manquer l’opportunité de démontrer sa valeur en matière de productivité sur un spectre économique plus large.
Article connexe
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Recommandations de sujets spéciaux liés
commentaires (1)
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

Une étude collaborative de l’Université Carnegie Mellon et de l’Université de Stanford met en lumière une « dépendance au chemin » critique dans la trajectoire actuelle du développement des agents d’IA. Les résultats révèlent que les benchmarks d’évaluation existants sont disproportionnellement axés sur la programmation, négligeant les secteurs non techniques qui constituent 92 % de la main-d’œuvre aux États-Unis.
L’équipe de recherche a effectué une analyse systématique de 72 000 tâches réparties dans 43 benchmarks d’IA majeurs, en les recoupant avec 1 016 professions répertoriées dans la base de données O*NET du gouvernement américain.
Déséquilibres clés identifiés dans l’enquête :
« Angles morts des benchmarks » dans le secteur numérique : Bien que les rôles managériaux affichent un taux de numérisation de 88 %, ils ne représentent que 1,4 % des tests actuels de benchmarks d’IA. De même, les professions juridiques, avec un niveau de numérisation de 70 %, ne couvrent que 0,3 % des benchmarks.
Écart significatif des compétences : Les évaluations d’IA actuelles privilégient les compétences en « récupération d’informations » et en « utilisation d’ordinateur », qui représentent moins de 5 % des emplois aux États-Unis. À l’inverse, l’« interaction interpersonnelle », composante essentielle du travail réel, est largement absente des évaluations d’IA existantes.
« Baisse des capacités » due à l’augmentation de la complexité : L’étude indique que les agents d’IA éprouvent des difficultés considérables avec les tâches complexes. Même dans le développement logiciel, leur domaine de prédilection, les taux de réussite chutent lorsque le nombre d’étapes de la tâche augmente ou que les exigences logiques deviennent plus complexes.
Les chercheurs plaident pour que les futurs benchmarks d’IA privilégient les secteurs à haute valeur ajoutée et fortement numérisés, tels que la gestion, le droit, la construction et l’ingénierie. De plus, les évaluations devraient examiner les étapes intermédiaires d’exécution, et non seulement les résultats finaux, afin de répondre aux défis pratiques tels que les objectifs ambigus et les cycles de vérification prolongés.
Les données du marché corroborent ces conclusions. Une analyse récente d’Anthropic révèle que près de 50 % de ses appels API restent axés sur le développement logiciel. Les experts mettent en garde : si le développement de l’IA continue de privilégier les tâches de programmation faciles à évaluer, il risque de manquer l’opportunité de démontrer sa valeur en matière de productivité sur un spectre économique plus large.
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll











