Hogar
Las pruebas de agentes de IA se inclinan hacia la programación, ignorando al 92% de la fuerza laboral

Un estudio colaborativo de la Universidad Carnegie Mellon y la Universidad de Stanford destaca una "dependencia del camino" crítica en la trayectoria actual del desarrollo de agentes de IA. Los hallazgos revelan que las pruebas de evaluación existentes se centran desproporcionadamente en la programación, pasando por alto los sectores no técnicos que constituyen el 92% de la fuerza laboral de Estados Unidos.
El equipo de investigación realizó un análisis sistemático de 72 000 tareas en 43 pruebas de IA destacadas, cruzando los datos con 1 016 ocupaciones enumeradas en la base de datos O*NET del gobierno de Estados Unidos.
Principales desequilibrios identificados en la encuesta:
"Puntos ciegos de las pruebas" en la industria digital: Aunque los puestos directivos presentan una tasa de digitalización del 88%, representan apenas el 1,4% de las pruebas actuales de IA. De manera similar, las profesiones jurídicas, con un nivel de digitalización del 70%, representan solo el 0,3% de la cobertura de las pruebas.
Desajuste significativo de habilidades: Las evaluaciones actuales de IA priorizan las habilidades de "recuperación de información" y "operación informática", que comprenden menos del 5% de los empleos en Estados Unidos. Por el contrario, la "interacción interpersonal", un componente vital del trabajo en el mundo real, está ausente en gran medida de las evaluaciones actuales de IA.
"Caída de capacidad" impulsada por la complejidad creciente: El estudio indica que los agentes de IA tienen dificultades significativas con tareas complejas. Incluso en el desarrollo de software, su principal fortaleza, las tasas de éxito se desploman a medida que aumentan los pasos de la tarea o se vuelven más intrincados los requisitos lógicos.
Los investigadores abogan porque las futuras pruebas de IA prioricen sectores altamente digitalizados y de alto valor, como la gestión, el derecho, la construcción y la ingeniería. Además, las evaluaciones deben examinar los pasos intermedios de ejecución, no solo los resultados finales, para abordar desafíos prácticos como objetivos ambiguos y ciclos de verificación prolongados.
Los datos del mercado corroboran estas conclusiones. Un análisis reciente de Anthropic revela que casi el 50% de sus llamadas a la API siguen centradas en el desarrollo de software. Los expertos advierten que si el desarrollo de IA continúa priorizando tareas de programación fáciles de calificar, corre el riesgo de perder la oportunidad de demostrar valor de productividad en un espectro económico más amplio.
Artículo relacionado
Stripe adquirirá OpenRouter a medida que el enrutamiento basado en modelos de IA cobra impulso
Stripe ha acordado adquirir OpenRouter, una plataforma de enrutamiento de modelos de IA que ofrece a los desarrolladores acceso a cientos de modelos a través de una única interfaz. El acuerdo amplía e
El exinvestigador de OpenAI, Barrett Zoph, regresa a Google para colaborar en el desarrollo de Gemini
Barret Zoph, que anteriormente abandonó de forma repentina la empresa para incorporarse a OpenAI debido a un desacuerdo con la directora general de Thinking Machines Lab, Miriam Mularati, ha vuelto a
Cómo Recursive Intelligence recaudó 335 millones de dólares con una valoración de 4.000 millones de dólares en cuatro meses
Las cofundadoras de la startup Ricursive Intelligence parecían destinadas a ser cofundadoras.Anna Goldie, directora ejecutiva, y Azalia Mirhoseini, directora técnica, son tan conocidas en la comunidad
Recomendaciones de temas especiales relacionados
comentario (1)
0/500
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

Un estudio colaborativo de la Universidad Carnegie Mellon y la Universidad de Stanford destaca una "dependencia del camino" crítica en la trayectoria actual del desarrollo de agentes de IA. Los hallazgos revelan que las pruebas de evaluación existentes se centran desproporcionadamente en la programación, pasando por alto los sectores no técnicos que constituyen el 92% de la fuerza laboral de Estados Unidos.
El equipo de investigación realizó un análisis sistemático de 72 000 tareas en 43 pruebas de IA destacadas, cruzando los datos con 1 016 ocupaciones enumeradas en la base de datos O*NET del gobierno de Estados Unidos.
Principales desequilibrios identificados en la encuesta:
"Puntos ciegos de las pruebas" en la industria digital: Aunque los puestos directivos presentan una tasa de digitalización del 88%, representan apenas el 1,4% de las pruebas actuales de IA. De manera similar, las profesiones jurídicas, con un nivel de digitalización del 70%, representan solo el 0,3% de la cobertura de las pruebas.
Desajuste significativo de habilidades: Las evaluaciones actuales de IA priorizan las habilidades de "recuperación de información" y "operación informática", que comprenden menos del 5% de los empleos en Estados Unidos. Por el contrario, la "interacción interpersonal", un componente vital del trabajo en el mundo real, está ausente en gran medida de las evaluaciones actuales de IA.
"Caída de capacidad" impulsada por la complejidad creciente: El estudio indica que los agentes de IA tienen dificultades significativas con tareas complejas. Incluso en el desarrollo de software, su principal fortaleza, las tasas de éxito se desploman a medida que aumentan los pasos de la tarea o se vuelven más intrincados los requisitos lógicos.
Los investigadores abogan porque las futuras pruebas de IA prioricen sectores altamente digitalizados y de alto valor, como la gestión, el derecho, la construcción y la ingeniería. Además, las evaluaciones deben examinar los pasos intermedios de ejecución, no solo los resultados finales, para abordar desafíos prácticos como objetivos ambiguos y ciclos de verificación prolongados.
Los datos del mercado corroboran estas conclusiones. Un análisis reciente de Anthropic revela que casi el 50% de sus llamadas a la API siguen centradas en el desarrollo de software. Los expertos advierten que si el desarrollo de IA continúa priorizando tareas de programación fáciles de calificar, corre el riesgo de perder la oportunidad de demostrar valor de productividad en un espectro económico más amplio.
Stripe adquirirá OpenRouter a medida que el enrutamiento basado en modelos de IA cobra impulso
Stripe ha acordado adquirir OpenRouter, una plataforma de enrutamiento de modelos de IA que ofrece a los desarrolladores acceso a cientos de modelos a través de una única interfaz. El acuerdo amplía e
El exinvestigador de OpenAI, Barrett Zoph, regresa a Google para colaborar en el desarrollo de Gemini
Barret Zoph, que anteriormente abandonó de forma repentina la empresa para incorporarse a OpenAI debido a un desacuerdo con la directora general de Thinking Machines Lab, Miriam Mularati, ha vuelto a
Cómo Recursive Intelligence recaudó 335 millones de dólares con una valoración de 4.000 millones de dólares en cuatro meses
Las cofundadoras de la startup Ricursive Intelligence parecían destinadas a ser cofundadoras.Anna Goldie, directora ejecutiva, y Azalia Mirhoseini, directora técnica, son tan conocidas en la comunidad
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll











