ДомТестирование ИИ-агентов смещается в сторону кодирования, игнорируя 92% рабочей силы
Совместное исследование Университета Карнеги-Меллона и Стэнфордского университета подчеркивает критическую «зависимость от пути» в текущем направлении развития ИИ-агентов. Результаты показывают, что существующие оценочные бенчмарки непропорционально сосредоточены на программировании, игнорируя нетехнические сектора, которые составляют 92% рабочей силы США.
Команда исследователей провела систематический анализ 72 000 задач в 43 известных ИИ-бенчмарках, сопоставив их с 1 016 профессиями, перечисленными в базе данных O*NET правительства США.
Ключевые дисбалансы, выявленные в обзоре:
«Слепые зоны» бенчмарков в цифровой индустрии: Хотя уровень цифровизации управленческих ролей составляет 88%, на них приходится лишь 1,4% текущих тестов ИИ-бенчмарков. Аналогично, юридические профессии с уровнем цифровизации 70% составляют всего 0,3% покрытия бенчмарков.
Значительное несоответствие навыков: Текущие оценки ИИ отдают приоритет навыкам «поиска информации» и «оперирования компьютером», которые составляют менее 5% рабочих мест в США. Напротив, «межличностное взаимодействие», являющееся жизненно важным компонентом реальной работы, практически отсутствует в существующих оценках ИИ.
«Снижение способности», обусловленное ростом сложности: Исследование показывает, что ИИ-агенты испытывают значительные трудности со сложными задачами. Даже в разработке программного обеспечения, их основной сильной стороне, уровень успеха резко падает по мере увеличения количества шагов задачи или усложнения логических требований.
Исследователи выступают за то, чтобы будущие ИИ-бенчмарки отдавали приоритет высокоценным, высокоцифровизированным секторам, таким как управление, право, строительство и инженерия. Кроме того, оценки должны оценивать промежуточные этапы выполнения, а не только конечные результаты, чтобы решать практические проблемы, такие как неоднозначные цели и расширенные циклы проверки.
Рыночные данные подтверждают эти выводы. Недавний анализ Anthropic показывает, что почти 50% вызовов его API по-прежнему сосредоточены на разработке программного обеспечения. Эксперты предупреждают, что если развитие ИИ продолжит отдавать приоритет легко оцениваемым задачам программирования, оно рискует упустить возможность продемонстрировать ценность производительности в более широком экономическом спектре.
Связанная статья
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в
Как компания Recursive Intelligence за 4 месяца привлекла 335 млн долларов при оценке в 4 млрд долларов
Соучредителям стартапа Ricursive Intelligence, похоже, было суждено стать соучредителями.Анна Голди, генеральный директор, и Азалия Мирхосейни, технический директор, настолько известны в сообществе сп
Рекомендации по связанным специальным темам
Дизайн и искусство
Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
Образование и обучение
Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
Финансы
Инструменты планирования бюджета на основе ИИ для управления личными финансами
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
Здоровье и благополучие
Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
Анализ данных
AI-копилоты SQL для аналитики продуктов и выручки
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
Образование и обучение
Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Комментарии (1)
![ThomasYoung]()
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll
Совместное исследование Университета Карнеги-Меллона и Стэнфордского университета подчеркивает критическую «зависимость от пути» в текущем направлении развития ИИ-агентов. Результаты показывают, что существующие оценочные бенчмарки непропорционально сосредоточены на программировании, игнорируя нетехнические сектора, которые составляют 92% рабочей силы США.
Команда исследователей провела систематический анализ 72 000 задач в 43 известных ИИ-бенчмарках, сопоставив их с 1 016 профессиями, перечисленными в базе данных O*NET правительства США.
Ключевые дисбалансы, выявленные в обзоре:
«Слепые зоны» бенчмарков в цифровой индустрии: Хотя уровень цифровизации управленческих ролей составляет 88%, на них приходится лишь 1,4% текущих тестов ИИ-бенчмарков. Аналогично, юридические профессии с уровнем цифровизации 70% составляют всего 0,3% покрытия бенчмарков.
Значительное несоответствие навыков: Текущие оценки ИИ отдают приоритет навыкам «поиска информации» и «оперирования компьютером», которые составляют менее 5% рабочих мест в США. Напротив, «межличностное взаимодействие», являющееся жизненно важным компонентом реальной работы, практически отсутствует в существующих оценках ИИ.
«Снижение способности», обусловленное ростом сложности: Исследование показывает, что ИИ-агенты испытывают значительные трудности со сложными задачами. Даже в разработке программного обеспечения, их основной сильной стороне, уровень успеха резко падает по мере увеличения количества шагов задачи или усложнения логических требований.
Исследователи выступают за то, чтобы будущие ИИ-бенчмарки отдавали приоритет высокоценным, высокоцифровизированным секторам, таким как управление, право, строительство и инженерия. Кроме того, оценки должны оценивать промежуточные этапы выполнения, а не только конечные результаты, чтобы решать практические проблемы, такие как неоднозначные цели и расширенные циклы проверки.
Рыночные данные подтверждают эти выводы. Недавний анализ Anthropic показывает, что почти 50% вызовов его API по-прежнему сосредоточены на разработке программного обеспечения. Эксперты предупреждают, что если развитие ИИ продолжит отдавать приоритет легко оцениваемым задачам программирования, оно рискует упустить возможность продемонстрировать ценность производительности в более широком экономическом спектре.
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в
Как компания Recursive Intelligence за 4 месяца привлекла 335 млн долларов при оценке в 4 млрд долларов
Соучредителям стартапа Ricursive Intelligence, похоже, было суждено стать соучредителями.Анна Голди, генеральный директор, и Азалия Мирхосейни, технический директор, настолько известны в сообществе сп
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll
