ДомИсследование показало, что производительность кода ИИ в реальных условиях завышена
Исследование института METR показывает, что широко используемый тестовый набор SWE-bench Verified, предназначенный для оценки возможностей ИИ в области программирования, может значительно завышать показатели эффективности ИИ-агентов в реальных условиях разработки программного обеспечения. Исследование выявило, что примерно половина решений в виде кода, сгенерированных ИИ и отмеченных тестовым набором как «пройденные», скорее всего, была бы отклонена реальными разработчиками проекта в ходе рецензирования кода, что свидетельствует о существенном разрыве между результатами автоматизированной оценки и реальным качеством кода.
SWE-bench Verified долгое время считался ключевым стандартом для оценки программной инженерии с помощью ИИ, позволяющим проверить, могут ли модели решать реальные задачи программирования в проектах с открытым исходным кодом, и удостовериться, что изменения в коде проходят набор автоматических тестов проекта. Несколько компаний, занимающихся ИИ, включая Anthropic и OpenAI, часто ссылаются на результаты этого теста, чтобы продемонстрировать прогресс моделей.
В рамках данного исследования команда METR привлекла четырех опытных разработчиков, поддерживающих проекты с открытым исходным кодом scikit-learn, Sphinx и pytest, для ручной проверки 296 фрагментов кода, сгенерированного ИИ. Эти образцы кода были созданы пятью различными моделями: Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet и GPT-5. Результаты показали, что фактический показатель принятия со стороны разработчиков был в среднем примерно на 24 процентных пункта ниже, чем автоматические оценки SWE-bench — это статистически значимая разница.
Исследование также показало, что отклонение кода, сгенерированного ИИ, было вызвано не столько стилистическими проблемами, сколько более существенными техническими недостатками. Разработчики разделили проблемы на три основных типа: качество кода, не соответствующее спецификациям проекта; нарушение существующей структуры кода; и фундаментальные функциональные ошибки. Значительная часть случаев касалась функциональных ошибок, когда, несмотря на прохождение автоматических тестов, код не решал намеченную задачу правильно.
Что касается сравнения моделей, исследование показало, что переход с Claude 3.5 Sonnet на Claude 3.7 Sonnet значительно улучшил показатель прохождения тестов, но количество функциональных ошибок, отмеченных разработчиками, также увеличилось. Переход с Claude 3.7 Sonnet на Claude 4 Opus привел к увеличению количества проблем с качеством кода, в то время как Claude 4.5 Sonnet продемонстрировал улучшение качества кода. Напротив, GPT-5 в целом показал заметно худшие результаты, чем серия моделей Anthropic, в ходе этой ручной оценки.
Исследовательская группа также провела оценочный анализ «времени выполнения задачи»: согласно результатам автоматической оценки SWE-bench, для выполнения задач с успешностью 50% Claude 4.5 Sonnet потребовалось бы примерно 50 минут человеческого труда. Однако, исходя из оценок разработчиков, расчетное время сокращается до всего лишь 8 минут, что позволяет предположить, что тест может переоценивать возможности системы в семь раз.
Тем не менее, исследователи также подчеркнули, что данное исследование не подразумевает фундаментального ограничения возможностей программных агентов ИИ. С помощью усовершенствованных стратегий подсказок, большего количества обратной связи от человека или нескольких циклов итераций разрыв между автоматической оценкой и ручной проверкой можно сократить. Кроме того, экспериментальная постановка отличается от реальных процессов разработки — например, у агентов ИИ была только одна попытка подачи, тогда как разработчики-люди обычно могут итеративно модифицировать код на основе обратной связи.
В целом, исследование приходит к выводу, что опора исключительно на результаты тестов при оценке практической полезности программных агентов ИИ может привести к систематическому смещению. По мере быстрого развития моделей кодирования на базе ИИ разработка систем оценки, которые лучше отражают реальные среды разработки, стала важным направлением исследований в области программной инженерии ИИ.
Связанная статья
NanoClaw Creator отклоняет предложение о покупке за $20 млн и привлекает $12 млн на стадии seed-финансирования
NanoCo, команда стоящая за NanoClaw — безопасной альтернативой OpenClaw, — привлекла сверхнормативный раунд финансирования на стадии seed в размере 12 миллионов долларов после вирусного запуска, сообщили TechCrunch основатели Гавриэль и Лазер Коэн.Р
Финансовый отчет SpaceX показывает, что доходы от ИИ утроились, превысив доходы от космических запусков
В последнем квартальном финансовом отчете SpaceX раскрывается, что его подразделение искусственного интеллекта, поддерживаемое значительными инвестициями в вычислительную инфраструктуру, сгенерировало 2,6 миллиарда долларов выручки за один квартал. Э
По данным источников, стартап в области робототехники, работающий по модели генералиста, достиг оценки в 3 млрд долларов.
Стартап в области робототехники Generalist достиг оценки в 3 млрд долларов после нового раунда финансирования под руководством 8VC, сообщили два источника, знакомых с сделкой.Согласно регуляторным документам, последний приток капитала составил почти
Рекомендации по связанным специальным темам
Дизайн и искусство
Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
Образование и обучение
Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
Финансы
Инструменты планирования бюджета на основе ИИ для управления личными финансами
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
Здоровье и благополучие
Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
Анализ данных
AI-копилоты SQL для аналитики продуктов и выручки
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
Образование и обучение
Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Комментарии (2)
![MichaelMartinez]()
Interesting findings! I've always suspected those benchmarks were too good to be true. Real-world coding is messy, and it's no surprise that AI agents struggle with edge cases. 😅
![GregoryRamirez]()
Interessant, aber irgendwie auch nicht überraschend. Benchmarks sind oft zu optimistisch, weil sie in einer kontrollierten Umgebung laufen. In der echten Welt mit Legacy-Code, unklaren Anforderungen und Teamarbeit sieht es dann anders aus. 🤔 Vielleicht sollten wir weniger auf die Marketing-Hypes hören und mehr auf praktische Tests setzen. Wer hat schon Erfahrung mit AI-Coding-Tools im Alltag gemacht?
Исследование института METR показывает, что широко используемый тестовый набор SWE-bench Verified, предназначенный для оценки возможностей ИИ в области программирования, может значительно завышать показатели эффективности ИИ-агентов в реальных условиях разработки программного обеспечения. Исследование выявило, что примерно половина решений в виде кода, сгенерированных ИИ и отмеченных тестовым набором как «пройденные», скорее всего, была бы отклонена реальными разработчиками проекта в ходе рецензирования кода, что свидетельствует о существенном разрыве между результатами автоматизированной оценки и реальным качеством кода.
SWE-bench Verified долгое время считался ключевым стандартом для оценки программной инженерии с помощью ИИ, позволяющим проверить, могут ли модели решать реальные задачи программирования в проектах с открытым исходным кодом, и удостовериться, что изменения в коде проходят набор автоматических тестов проекта. Несколько компаний, занимающихся ИИ, включая Anthropic и OpenAI, часто ссылаются на результаты этого теста, чтобы продемонстрировать прогресс моделей.
В рамках данного исследования команда METR привлекла четырех опытных разработчиков, поддерживающих проекты с открытым исходным кодом scikit-learn, Sphinx и pytest, для ручной проверки 296 фрагментов кода, сгенерированного ИИ. Эти образцы кода были созданы пятью различными моделями: Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet и GPT-5. Результаты показали, что фактический показатель принятия со стороны разработчиков был в среднем примерно на 24 процентных пункта ниже, чем автоматические оценки SWE-bench — это статистически значимая разница.
Исследование также показало, что отклонение кода, сгенерированного ИИ, было вызвано не столько стилистическими проблемами, сколько более существенными техническими недостатками. Разработчики разделили проблемы на три основных типа: качество кода, не соответствующее спецификациям проекта; нарушение существующей структуры кода; и фундаментальные функциональные ошибки. Значительная часть случаев касалась функциональных ошибок, когда, несмотря на прохождение автоматических тестов, код не решал намеченную задачу правильно.
Что касается сравнения моделей, исследование показало, что переход с Claude 3.5 Sonnet на Claude 3.7 Sonnet значительно улучшил показатель прохождения тестов, но количество функциональных ошибок, отмеченных разработчиками, также увеличилось. Переход с Claude 3.7 Sonnet на Claude 4 Opus привел к увеличению количества проблем с качеством кода, в то время как Claude 4.5 Sonnet продемонстрировал улучшение качества кода. Напротив, GPT-5 в целом показал заметно худшие результаты, чем серия моделей Anthropic, в ходе этой ручной оценки.
Исследовательская группа также провела оценочный анализ «времени выполнения задачи»: согласно результатам автоматической оценки SWE-bench, для выполнения задач с успешностью 50% Claude 4.5 Sonnet потребовалось бы примерно 50 минут человеческого труда. Однако, исходя из оценок разработчиков, расчетное время сокращается до всего лишь 8 минут, что позволяет предположить, что тест может переоценивать возможности системы в семь раз.
Тем не менее, исследователи также подчеркнули, что данное исследование не подразумевает фундаментального ограничения возможностей программных агентов ИИ. С помощью усовершенствованных стратегий подсказок, большего количества обратной связи от человека или нескольких циклов итераций разрыв между автоматической оценкой и ручной проверкой можно сократить. Кроме того, экспериментальная постановка отличается от реальных процессов разработки — например, у агентов ИИ была только одна попытка подачи, тогда как разработчики-люди обычно могут итеративно модифицировать код на основе обратной связи.
В целом, исследование приходит к выводу, что опора исключительно на результаты тестов при оценке практической полезности программных агентов ИИ может привести к систематическому смещению. По мере быстрого развития моделей кодирования на базе ИИ разработка систем оценки, которые лучше отражают реальные среды разработки, стала важным направлением исследований в области программной инженерии ИИ.
NanoClaw Creator отклоняет предложение о покупке за $20 млн и привлекает $12 млн на стадии seed-финансирования
NanoCo, команда стоящая за NanoClaw — безопасной альтернативой OpenClaw, — привлекла сверхнормативный раунд финансирования на стадии seed в размере 12 миллионов долларов после вирусного запуска, сообщили TechCrunch основатели Гавриэль и Лазер Коэн.Р
Финансовый отчет SpaceX показывает, что доходы от ИИ утроились, превысив доходы от космических запусков
В последнем квартальном финансовом отчете SpaceX раскрывается, что его подразделение искусственного интеллекта, поддерживаемое значительными инвестициями в вычислительную инфраструктуру, сгенерировало 2,6 миллиарда долларов выручки за один квартал. Э
По данным источников, стартап в области робототехники, работающий по модели генералиста, достиг оценки в 3 млрд долларов.
Стартап в области робототехники Generalist достиг оценки в 3 млрд долларов после нового раунда финансирования под руководством 8VC, сообщили два источника, знакомых с сделкой.Согласно регуляторным документам, последний приток капитала составил почти
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Interesting findings! I've always suspected those benchmarks were too good to be true. Real-world coding is messy, and it's no surprise that AI agents struggle with edge cases. 😅
Interessant, aber irgendwie auch nicht überraschend. Benchmarks sind oft zu optimistisch, weil sie in einer kontrollierten Umgebung laufen. In der echten Welt mit Legacy-Code, unklaren Anforderungen und Teamarbeit sieht es dann anders aus. 🤔 Vielleicht sollten wir weniger auf die Marketing-Hypes hören und mehr auf praktische Tests setzen. Wer hat schon Erfahrung mit AI-Coding-Tools im Alltag gemacht?
