Дом
Microsoft представила инструмент для разработчиков, позволяющий создавать тесты поведения ИИ на основе текстовых описаний
Исследователи и лаборатории в области искусственного интеллекта добились значительного прогресса в оценке моделей ИИ с точки зрения безопасности, соответствия нормативным требованиям, отсутствия льстивости и согласованности. Однако сейчас компании и разработчики сталкиваются с конкретной проблемой: необходимостью обеспечить, чтобы их системы ИИ работали именно так, как это предусмотрено для их конкретного продукта или услуги.
Чтобы упростить этот процесс тестирования, во вторник компания Microsoft представила ASSERT — аббревиатуру от Adaptive Spec-driven Scoring for Evaluation and Regression Testing (адаптивная оценка на основе спецификаций для оценочного и регрессионного тестирования).
По словам Microsoft, этот фреймворк с открытым исходным кодом упрощает оценку поведения ИИ в конкретных приложениях. Он использует ИИ для преобразования высокоуровневых описаний целей, политик или предполагаемого поведения на естественном языке в комплексные тесты с оценкой, которые можно проанализировать.
ASSERT принимает описания ожидаемого поведения и политик модели ИИ, написанные простым языком, а затем преобразует их в структурированный набор допустимых и недопустимых вариантов поведения. Она генерирует проблемные сценарии и тестовые случаи, запускает их на целевой системе и оценивает результаты. Фреймворк также записывает пути работы системы ИИ, включая промежуточные действия и вызовы инструментов, что позволяет разработчикам выяснять, где именно происходят сбои.
Разработчики также могут задавать системный контекст, инструменты и ограничения, чтобы дополнительно настраивать объем оцениваемых аспектов.
Например, разработчик может указать, что ИИ-агент по поиску документов не должен отправлять электронные письма лицам за пределами компании, должен ограничивать доступ к конфиденциальной информации руководителями высшего звена и должен предоставлять краткие резюме с учётом предыдущего контекста. Затем ASSERT использует эти правила для генерации тестовых случаев, которые постоянно проверяют, следует ли система этим правилам.
Источник изображения:Microsoft
По словам Microsoft, эта платформа восполняет пробел, который не могут устранить более широкие и общие оценки, когда модели ИИ должны вести себя в соответствии с контекстом, политиками и инструментами приложения или продукта.
«Одно из того, чему мы научились, — это то, что оценки имеют решающее значение для принятия правильных решений», — сказала Сара Берд (Sarah Bird), директор по продуктам в подразделении Responsible AI компании Microsoft. «Ведь если вы не понимаете поведения системы ИИ, очень сложно определить, соответствует ли она стандартам вашей организации […] Мы пришли к выводу, что для создания действительно надежной системы необходимо оценивать гораздо больше аспектов, специфичных для конкретного приложения».
Берд отметила, что ASSERT можно использовать для оценки систем на этапе разработки, после развертывания, а также для непрерывного мониторинга.
Выпуск происходит на фоне постепенного, но все более масштабного сдвига в индустрии искусственного интеллекта. По мере того как модели становятся всё более мощными, исследователи сосредотачиваются на повторяемом тестировании и регрессионных проверках. Проект HELM из Стэнфорда, AILuminate от MLCommons и такие группы по оценке, как METR, внедряют тестовые наборы для измерения поведения моделей в различных условиях.
Связанная статья
Microsoft выводит из эксплуатации неудачные инструменты на базе искусственного интеллекта и объединяет приложения Copilot
Два года назад Microsoft охарактеризовала искусственный интеллект как «технологический сдвиг поколения», которым компания намерена руководить. Сегодня корпорация консолидирует свои потребительские и бизнес-приложения под брендом Copilot, одновременно
По сообщениям, Microsoft обучает своих сотрудников по продажам занижать цены по сравнению с конкурентами OpenAI и Anthropic
По сообщениям, Microsoft готовит свои отделы продаж для усиления конкуренции с ключевыми соперниками в сфере искусственного интеллекта.Согласно отчету Bloomberg, во вторник руководители провели внутреннее стратегическое совещание, на котором поручил
Не станет ли это началом кризиса для экономик токенов?
Недавно Microsoft внесла значительные изменения в ценообразование GitHub Copilot — настолько существенные, что один из пользователей Reddit назвал сложившуюся ситуацию в своей компании «Tokenpocalypse».В самом последнем выпуске подкаста TechCrunch’s
Рекомендации по связанным специальным темам
Музыкальная композиция
Лучшие инструменты для написания мелодий с помощью ИИ для черновиков песен
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
чат-бот
Лучшие инструменты для тренировки разговоров с помощью ИИ для подготовки к собеседованиям
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для переноса стилей с помощью ИИ для творческих экспериментов
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
Создание комиксов
Лучшие инструменты для создания диалоговых пузырей с помощью ИИ для визуального повествования
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
Помощник по встречам
Лучшие инструменты для составления отчетов о встречах с использованием ИИ: четкое отслеживание решений и последующих действий
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
Анализ данных
Лучшие инструменты для очистки данных с использованием ИИ: быстрое устранение пропущенных значений и дубликатов
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
Комментарии (0)
Исследователи и лаборатории в области искусственного интеллекта добились значительного прогресса в оценке моделей ИИ с точки зрения безопасности, соответствия нормативным требованиям, отсутствия льстивости и согласованности. Однако сейчас компании и разработчики сталкиваются с конкретной проблемой: необходимостью обеспечить, чтобы их системы ИИ работали именно так, как это предусмотрено для их конкретного продукта или услуги.
Чтобы упростить этот процесс тестирования, во вторник компания Microsoft представила ASSERT — аббревиатуру от Adaptive Spec-driven Scoring for Evaluation and Regression Testing (адаптивная оценка на основе спецификаций для оценочного и регрессионного тестирования).
По словам Microsoft, этот фреймворк с открытым исходным кодом упрощает оценку поведения ИИ в конкретных приложениях. Он использует ИИ для преобразования высокоуровневых описаний целей, политик или предполагаемого поведения на естественном языке в комплексные тесты с оценкой, которые можно проанализировать.
ASSERT принимает описания ожидаемого поведения и политик модели ИИ, написанные простым языком, а затем преобразует их в структурированный набор допустимых и недопустимых вариантов поведения. Она генерирует проблемные сценарии и тестовые случаи, запускает их на целевой системе и оценивает результаты. Фреймворк также записывает пути работы системы ИИ, включая промежуточные действия и вызовы инструментов, что позволяет разработчикам выяснять, где именно происходят сбои.
Разработчики также могут задавать системный контекст, инструменты и ограничения, чтобы дополнительно настраивать объем оцениваемых аспектов.
Например, разработчик может указать, что ИИ-агент по поиску документов не должен отправлять электронные письма лицам за пределами компании, должен ограничивать доступ к конфиденциальной информации руководителями высшего звена и должен предоставлять краткие резюме с учётом предыдущего контекста. Затем ASSERT использует эти правила для генерации тестовых случаев, которые постоянно проверяют, следует ли система этим правилам.
Источник изображения:Microsoft
По словам Microsoft, эта платформа восполняет пробел, который не могут устранить более широкие и общие оценки, когда модели ИИ должны вести себя в соответствии с контекстом, политиками и инструментами приложения или продукта.
«Одно из того, чему мы научились, — это то, что оценки имеют решающее значение для принятия правильных решений», — сказала Сара Берд (Sarah Bird), директор по продуктам в подразделении Responsible AI компании Microsoft. «Ведь если вы не понимаете поведения системы ИИ, очень сложно определить, соответствует ли она стандартам вашей организации […] Мы пришли к выводу, что для создания действительно надежной системы необходимо оценивать гораздо больше аспектов, специфичных для конкретного приложения».
Берд отметила, что ASSERT можно использовать для оценки систем на этапе разработки, после развертывания, а также для непрерывного мониторинга.
Выпуск происходит на фоне постепенного, но все более масштабного сдвига в индустрии искусственного интеллекта. По мере того как модели становятся всё более мощными, исследователи сосредотачиваются на повторяемом тестировании и регрессионных проверках. Проект HELM из Стэнфорда, AILuminate от MLCommons и такие группы по оценке, как METR, внедряют тестовые наборы для измерения поведения моделей в различных условиях.
Microsoft выводит из эксплуатации неудачные инструменты на базе искусственного интеллекта и объединяет приложения Copilot
Два года назад Microsoft охарактеризовала искусственный интеллект как «технологический сдвиг поколения», которым компания намерена руководить. Сегодня корпорация консолидирует свои потребительские и бизнес-приложения под брендом Copilot, одновременно
По сообщениям, Microsoft обучает своих сотрудников по продажам занижать цены по сравнению с конкурентами OpenAI и Anthropic
По сообщениям, Microsoft готовит свои отделы продаж для усиления конкуренции с ключевыми соперниками в сфере искусственного интеллекта.Согласно отчету Bloomberg, во вторник руководители провели внутреннее стратегическое совещание, на котором поручил
Не станет ли это началом кризиса для экономик токенов?
Недавно Microsoft внесла значительные изменения в ценообразование GitHub Copilot — настолько существенные, что один из пользователей Reddit назвал сложившуюся ситуацию в своей компании «Tokenpocalypse».В самом последнем выпуске подкаста TechCrunch’s
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
