Дом
OpenAI подвергла резкой критике тест по искусственному интеллекту: почти треть вопросов оказалась некорректной, а проходной балл за 8 месяцев взлетел до 80%
В своём блоге компания OpenAI публично подвергла критике ведущий отраслевой тестовый набор SWE-Bench Pro, заявив, что примерно 30 % из 731 общедоступной тестовой задачи содержат недостатки в системе оценки. Разработанный компанией Scale AI, SWE-Bench Pro предназначен для оценки способностей крупных языковых моделей и ИИ-агентов к написанию кода. Поскольку он точно отражает реальные условия корпоративной разработки и предусматривает строгие меры по предотвращению мошенничества, он стал широко признанным эталоном в области разработки программного обеспечения с использованием ИИ.
В своём блоге OpenAI обращает внимание на ключевой показатель: доля моделей высшего уровня, прошедших этот тест, подскочила с 23,3 % до 80,3 % всего за восемь месяцев. Такой стремительный прогресс выглядит подозрительно, и OpenAI утверждает, что этот тест больше не способен точно измерить реальные навыки модели в области разработки программного обеспечения. Проблема, вероятно, связана с недостатками самой оценки, а не с подлинным скачком в возможностях моделей.
Два метода проверки, прошедшие перекрестную валидацию, показали, что почти 30 % задач признаны «несоответствующими».
Чтобы проверить это, OpenAI запустила два параллельных процесса проверки. Анализ данных выявил 200 задач, не прошедших проверку, или 27,4 % из 731 общедоступной задачи. В то же время при ручной аннотации было выявлено 249 задач, не прошедших проверку, или 34,1 %. Сравнив результаты обоих методов, OpenAI оценивает, что примерно 30 % задач SWE-Bench Pro содержат дефекты, которые можно разделить на четыре категории: чрезмерно строгие тесты, неадекватные подсказки, узкий охват тестирования и вводящие в заблуждение подсказки.
OpenAI также привела типичный пример: в одной задаче требовалось вставить один пробел в начале строки при преобразовании контента в формат Markdown, но скрытый тест ожидал двух пробелов. В результате даже если модель следовала заявленному требованию, она оценивалась как неправильная. Это несоответствие между явными инструкциями и скрытыми требованиями напрямую искажает оценку реальных способностей модели и объясняет необоснованный скачок показателей успешности.
Отзыв рекомендации по внедрению и призыв к перестройке системы оценки ИИ
Основываясь на этом анализе, OpenAI официально отозвала свою предыдущую рекомендацию по использованию SWE-Bench Pro. Компания считает, что будущие тестовые наборы должны создаваться опытными разработчиками программного обеспечения специально для оценки ИИ, а не путем перепрофилирования тестовой логики, предназначенной для разработчиков-людей. Если почти 30 % задач отраслевого тестового набора содержат ошибки, под сомнение ставится достоверность всей системы оценки ИИ. Перенос акцента с соревнований по набору баллов на подлинную оценку инженерных способностей может стать следующим важнейшим шагом в оценке разработки программного обеспечения для ИИ.
Связанная статья
Стартап при поддержке Марка Бениоффа стремится решить проблемы внедрения ИИ
Крупные предприятия сталкиваются с такими масштабными вызовами при развертывании надежных инструментов искусственного интеллекта, что появляются целые команды инженеров, внедряемых непосредственно в клиентские компании (forward-deployed engineers) —
AliVideo представляет Wan3.0, обеспечивающий генерацию сверхдлинных видео и многомерную согласованность
24 августа Alibaba представила Wan3.0, свою новейшую большую модель для генерации видео. Этот выпуск представляет собой значительный скачок в развитии видеотехнологий Alibaba, обеспечивая существенные улучшения в продолжительности, универсальном созд
MiniMax Large Model Mispronounces Names - Xiyu Technology: Insufficient Training After Specific Tokens
Недавно компания MiniMax опубликовала технический отчет, в котором подробно объясняется, почему её модели серии M2 испытывали трудности с точной генерацией конкретных имён, таких как «Ма Цзяци». Эта очевидная ошибка выявляет системный недостаток в те
Рекомендации по связанным специальным темам
Дизайн и искусство
Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
Образование и обучение
Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
Финансы
Инструменты планирования бюджета на основе ИИ для управления личными финансами
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
Здоровье и благополучие
Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
Анализ данных
AI-копилоты SQL для аналитики продуктов и выручки
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
Образование и обучение
Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Комментарии (0)
В своём блоге компания OpenAI публично подвергла критике ведущий отраслевой тестовый набор SWE-Bench Pro, заявив, что примерно 30 % из 731 общедоступной тестовой задачи содержат недостатки в системе оценки. Разработанный компанией Scale AI, SWE-Bench Pro предназначен для оценки способностей крупных языковых моделей и ИИ-агентов к написанию кода. Поскольку он точно отражает реальные условия корпоративной разработки и предусматривает строгие меры по предотвращению мошенничества, он стал широко признанным эталоном в области разработки программного обеспечения с использованием ИИ.
В своём блоге OpenAI обращает внимание на ключевой показатель: доля моделей высшего уровня, прошедших этот тест, подскочила с 23,3 % до 80,3 % всего за восемь месяцев. Такой стремительный прогресс выглядит подозрительно, и OpenAI утверждает, что этот тест больше не способен точно измерить реальные навыки модели в области разработки программного обеспечения. Проблема, вероятно, связана с недостатками самой оценки, а не с подлинным скачком в возможностях моделей.
Два метода проверки, прошедшие перекрестную валидацию, показали, что почти 30 % задач признаны «несоответствующими».
Чтобы проверить это, OpenAI запустила два параллельных процесса проверки. Анализ данных выявил 200 задач, не прошедших проверку, или 27,4 % из 731 общедоступной задачи. В то же время при ручной аннотации было выявлено 249 задач, не прошедших проверку, или 34,1 %. Сравнив результаты обоих методов, OpenAI оценивает, что примерно 30 % задач SWE-Bench Pro содержат дефекты, которые можно разделить на четыре категории: чрезмерно строгие тесты, неадекватные подсказки, узкий охват тестирования и вводящие в заблуждение подсказки.
OpenAI также привела типичный пример: в одной задаче требовалось вставить один пробел в начале строки при преобразовании контента в формат Markdown, но скрытый тест ожидал двух пробелов. В результате даже если модель следовала заявленному требованию, она оценивалась как неправильная. Это несоответствие между явными инструкциями и скрытыми требованиями напрямую искажает оценку реальных способностей модели и объясняет необоснованный скачок показателей успешности.
Отзыв рекомендации по внедрению и призыв к перестройке системы оценки ИИ
Основываясь на этом анализе, OpenAI официально отозвала свою предыдущую рекомендацию по использованию SWE-Bench Pro. Компания считает, что будущие тестовые наборы должны создаваться опытными разработчиками программного обеспечения специально для оценки ИИ, а не путем перепрофилирования тестовой логики, предназначенной для разработчиков-людей. Если почти 30 % задач отраслевого тестового набора содержат ошибки, под сомнение ставится достоверность всей системы оценки ИИ. Перенос акцента с соревнований по набору баллов на подлинную оценку инженерных способностей может стать следующим важнейшим шагом в оценке разработки программного обеспечения для ИИ.
Стартап при поддержке Марка Бениоффа стремится решить проблемы внедрения ИИ
Крупные предприятия сталкиваются с такими масштабными вызовами при развертывании надежных инструментов искусственного интеллекта, что появляются целые команды инженеров, внедряемых непосредственно в клиентские компании (forward-deployed engineers) —
AliVideo представляет Wan3.0, обеспечивающий генерацию сверхдлинных видео и многомерную согласованность
24 августа Alibaba представила Wan3.0, свою новейшую большую модель для генерации видео. Этот выпуск представляет собой значительный скачок в развитии видеотехнологий Alibaba, обеспечивая существенные улучшения в продолжительности, универсальном созд
MiniMax Large Model Mispronounces Names - Xiyu Technology: Insufficient Training After Specific Tokens
Недавно компания MiniMax опубликовала технический отчет, в котором подробно объясняется, почему её модели серии M2 испытывали трудности с точной генерацией конкретных имён, таких как «Ма Цзяци». Эта очевидная ошибка выявляет системный недостаток в те
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
