Новый тест проверяет готовность ИИ-агентов к работе на рабочем месте

Почти два года назад генеральный директор Microsoft Сатья Наделла предсказал, что искусственный интеллект изменит сферу интеллектуального труда — область деятельности юристов, инвестиционных банкиров, библиотекарей, бухгалтеров, ИТ-специалистов и других подобных профессий.

Однако, несмотря на значительные достижения в области базовых моделей, трансформация интеллектуального труда происходит медленно. Хотя модели превосходны в глубоких исследованиях и агентном планировании, большинство профессий, связанных с умственным трудом, испытали относительно небольшие изменения по причинам, которые остаются неясными.

Это остается одной из величайших загадок ИИ. Новое исследование лидера в области обучающих данных Mercor теперь предоставляет важные сведения.

В исследовании оценивается, как ведущие модели ИИ справляются с реальными задачами белых воротничков из сферы консалтинга, инвестиционного банкинга и права. Это привело к созданию теста APEX-Agents, который в настоящее время не проходит ни одна лаборатория ИИ. При представлении запросов от реальных профессионалов даже лучшие модели правильно ответили менее чем на четверть из них. Чаще всего они давали неверный ответ или не отвечали вовсе.

По словам генерального директора Mercor Брендана Фуди, который участвовал в исследовании, основной слабостью моделей было синтезирование информации из нескольких областей — ключевой компонент интеллектуальной работы человека.

«Ключевой инновацией в этом тесте является то, что мы создали полную среду, смоделированную на основе реальных профессиональных услуг», — пояснил Фуди TechCrunch. «В нашей работе нет ни одного человека, который предоставляет нам весь контекст в одном месте. В реальности вы работаете в Slack, Google Drive и различных других инструментах». Для многих моделей искусственного интеллекта такого типа междоменное мышление остается непоследовательным.

Тестовые сценарии были получены от реальных профессионалов на экспертном рынке Mercor, которые разработали запросы и определили критерии успешного ответа. Просмотр общедоступных вопросов на Hugging Face показывает сложность этих задач. 

Билеты на Disrupt 2026: одноразовое предложение

Билеты уже в продаже! Сэкономьте до 680 долларов в рамках этого ограниченного по времени предложения и будьте среди первых 500 зарегистрировавшихся, чтобы получить 50% скидку на пропуск +1. TechCrunch Disrupt собирает ведущих лидеров из Google Cloud, Netflix, Microsoft, Box, a16z, Hugging Face и других компаний для участия в более чем 250 сессиях, направленных на стимулирование роста и усиление вашего конкурентного преимущества. Общайтесь с сотнями инновационных стартапов и участвуйте в тщательно подобранных нетворкинговых мероприятиях, которые способствуют заключению сделок, обмену идеями и вдохновению.

Билеты на Disrupt 2026: одноразовое предложение

Билеты уже в продаже! Сэкономьте до 680 долларов в рамках этого ограниченного по времени предложения и будьте среди первых 500 зарегистрировавшихся, чтобы получить 50% скидку на пропуск +1. TechCrunch Disrupt собирает ведущих руководителей из Google Cloud, Netflix, Microsoft, Box, a16z, Hugging Face и других компаний для участия в более чем 250 сессиях, направленных на стимулирование роста и укрепление вашего конкурентного преимущества. Общайтесь с сотнями инновационных стартапов и участвуйте в тщательно подобранных нетворкинговых мероприятиях, которые способствуют заключению сделок, обмену идеями и вдохновению.

Один из примеров из раздела «Закон» задает следующий вопрос: 

В течение первых 48 минут после сбоя в работе производственных систем в ЕС инженерная команда Northstar экспортировала один или два набора журналов событий производственных систем в ЕС, содержащих персональные данные, американскому поставщику аналитических услуг... Согласно собственным политикам Northstar, можно ли считать, что экспорт одного или двух журналов соответствует статье 49?

Правильный ответ — да, но для его получения требуется подробный анализ как внутренней политики компании, так и соответствующих правил ЕС в области конфиденциальности.

Такой вопрос может поставить в тупик даже знающего специалиста, но исследователи стремились смоделировать реальную профессиональную работу. LLM, способный достоверно отвечать на такие запросы, потенциально может заменить многих практикующих юристов. «Это, пожалуй, самая важная экономическая тема на сегодняшний день», — сказал Фуди TechCrunch. «Этот тест точно отражает реальную работу, которую выполняют эти специалисты».

Ранее OpenAI пыталась оценить профессиональные навыки с помощью теста GDPval, но тест APEX-Agents значительно отличается от него. В то время как GDPval оценивает общие знания во многих областях, APEX-Agents измеряет способность системы выполнять постоянные задачи в нескольких избранных высокооплачиваемых профессиях. Это делает тест более сложным для моделей и более непосредственно связанным с потенциалом автоматизации рабочих мест.

Хотя ни одна модель не готова заменить инвестиционного банкира, некоторые явно приблизились к этому больше, чем другие. Gemini 3 Flash лидировал в группе с точностью 24 % за один раз, за ним следовал GPT-5.2 с 23 %. Opus 4.5, Gemini 3 Pro и GPT-5 набрали около 18 %.

Хотя эти первоначальные результаты не впечатляют, область ИИ имеет опыт быстрого преодоления сложных тестов. Теперь, когда тест APEX-Agents стал общедоступным, он представляет собой открытый вызов для лабораторий ИИ, уверенных в том, что они могут улучшить свои результаты — и именно этого Foody полностью ожидает в ближайшие месяцы. 

«Темпы совершенствования замечательно быстры», — сказал он TechCrunch. «В настоящее время эту технологию можно сравнить со стажером, который делает все правильно в четверти случаев, но в прошлом году это был стажер, который добивался успеха в 5 или 10 % случаев. Такой темп прогресса из года в год может очень быстро привести к существенным результатам».