Lar
Testes de Agentes de IA se Concentram na Programação, Ignorando 92% da Força de Trabalho

Um estudo colaborativo da Universidade Carnegie Mellon e da Universidade de Stanford destaca uma "dependência de caminho" crítica na trajetura atual do desenvolvimento de agentes de IA. As descobertas revelam que os benchmarks de avaliação existentes estão desproporcionalmente focados em programação, ignorando setores não técnicos que constituem 92% da força de trabalho dos Estados Unidos.
A equipe de pesquisa realizou uma análise sistemática de 72.000 tarefas em 43 benchmarks de IA proeminentes, cruzando-os com 1.016 ocupações listadas no banco de dados O*NET do governo dos Estados Unidos.
Principais desequilíbrios identificados na pesquisa:
"Pontos cegos de benchmark" na indústria digital: Embora os cargos gerenciais apresentem uma taxa de digitalização de 88%, eles representam apenas 1,4% dos testes atuais de benchmark de IA. Da mesma forma, as profissões jurídicas, com um nível de digitalização de 70%, correspondem a apenas 0,3% da cobertura do benchmark.
Descompasso significativo de habilidades: As avaliações atuais de IA priorizam habilidades de "recuperação de informações" e "operação de computador", que compõem menos de 5% dos empregos nos EUA. Por outro lado, a "interação interpessoal", um componente vital do trabalho no mundo real, está ausente nas avaliações de IA existentes.
"Queda de capacidade" impulsionada pelo aumento da complexidade: O estudo indica que os agentes de IA têm dificuldades significativas com tarefas complexas. Mesmo no desenvolvimento de software, seu principal ponto forte, as taxas de sucesso despencam à medida que o número de etapas da tarefa aumenta ou os requisitos lógicos se tornam mais intrincados.
Os pesquisadores defendem que os futuros benchmarks de IA priorizem setores altamente digitalizados e de alto valor, como gestão, direito, construção e engenharia. Além disso, as avaliações devem analisar as etapas intermediárias de execução, não apenas os resultados finais, para abordar desafios práticos como metas ambíguas e ciclos de verificação prolongados.
Os dados de mercado corroboram essas conclusões. Uma análise recente da Anthropic revela que quase 50% de suas chamadas de API permanecem focadas no desenvolvimento de software. Especialistas alertam que, se o desenvolvimento de IA continuar a priorizar tarefas de programação facilmente pontuáveis, corre o risco de perder a oportunidade de demonstrar valor de produtividade em um espectro econômico mais amplo.
Artigo relacionado
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen
Recomendações de tópicos especiais relacionados
Comentários (1)
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

Um estudo colaborativo da Universidade Carnegie Mellon e da Universidade de Stanford destaca uma "dependência de caminho" crítica na trajetura atual do desenvolvimento de agentes de IA. As descobertas revelam que os benchmarks de avaliação existentes estão desproporcionalmente focados em programação, ignorando setores não técnicos que constituem 92% da força de trabalho dos Estados Unidos.
A equipe de pesquisa realizou uma análise sistemática de 72.000 tarefas em 43 benchmarks de IA proeminentes, cruzando-os com 1.016 ocupações listadas no banco de dados O*NET do governo dos Estados Unidos.
Principais desequilíbrios identificados na pesquisa:
"Pontos cegos de benchmark" na indústria digital: Embora os cargos gerenciais apresentem uma taxa de digitalização de 88%, eles representam apenas 1,4% dos testes atuais de benchmark de IA. Da mesma forma, as profissões jurídicas, com um nível de digitalização de 70%, correspondem a apenas 0,3% da cobertura do benchmark.
Descompasso significativo de habilidades: As avaliações atuais de IA priorizam habilidades de "recuperação de informações" e "operação de computador", que compõem menos de 5% dos empregos nos EUA. Por outro lado, a "interação interpessoal", um componente vital do trabalho no mundo real, está ausente nas avaliações de IA existentes.
"Queda de capacidade" impulsionada pelo aumento da complexidade: O estudo indica que os agentes de IA têm dificuldades significativas com tarefas complexas. Mesmo no desenvolvimento de software, seu principal ponto forte, as taxas de sucesso despencam à medida que o número de etapas da tarefa aumenta ou os requisitos lógicos se tornam mais intrincados.
Os pesquisadores defendem que os futuros benchmarks de IA priorizem setores altamente digitalizados e de alto valor, como gestão, direito, construção e engenharia. Além disso, as avaliações devem analisar as etapas intermediárias de execução, não apenas os resultados finais, para abordar desafios práticos como metas ambíguas e ciclos de verificação prolongados.
Os dados de mercado corroboram essas conclusões. Uma análise recente da Anthropic revela que quase 50% de suas chamadas de API permanecem focadas no desenvolvimento de software. Especialistas alertam que, se o desenvolvimento de IA continuar a priorizar tarefas de programação facilmente pontuáveis, corre o risco de perder a oportunidade de demonstrar valor de produtividade em um espectro econômico mais amplo.
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll











