Accenture заключает партнерство с Anthropic для запуска первого встроенного оценщика ИИ

Инициатива Дарио Амодеи по внедрению независимых экспертов по безопасности в лаборатории искусственного интеллекта материализуется: компания Anthropic объявила, что сотрудники консалтинговой технологической фирмы Accenture будут работать на месте для аудита её моделей и персонала.
Согласно публикации в блоге, Anthropic заявила, что Faculty, подразделение, ориентированное на искусственный интеллект, приобретённое Accenture в январе, начнёт «оценивать и проводить красные команды для моделей, выполнять проверки согласованности и тестировать защитные механизмы моделей». Обе организации планируют инвестировать не менее 1 миллиарда долларов в эту инициативу в течение следующих пяти лет.
Выбор Anthropic в пользу Accenture застал многих наблюдателей в сфере искусственного интеллекта и финансовые рынки врасплох, что привело к росту акций консультанта на 8% после закрытия торгов. Дискуссия о встроенных оценщиках, инициированная публикацией в блоге Амодеи, в основном сосредоточилась на специализированных группах по исследованиям безопасности искусственного интеллекта, таких как METR, Redwood Research и Apollo Research. Этот фокус особенно заметен в Anthropic, которая ставит безопасность и согласованность искусственного интеллекта в центр своей миссии.
Anthropic указала, что дополнительные оценщики будут объявлены в ближайшие недели, и подтвердила, что ведёт переговоры с METR и другими некоммерческими организациями о том, как «пилотировать элементы встроенной оценки с использованием их собственного финансирования».
Хотя Accenture не известна передовыми исследованиями в области глубокого обучения, Anthropic подчеркнула практический опыт компании во внедрении искусственного интеллекта для крупных корпораций и государственных учреждений как значительное преимущество. Кроме того, будучи крупной публичной компанией, существовавшей до текущего бума искусственного интеллекта, она сохраняет большую функциональную независимость от Anthropic и сложной экосистемы, окружающей лабораторию искусственного интеллекта.
Лаборатория отметила, что в настоящее время не существует стандартов для доступа или протоколов связи оценщиков, и ожидает, что её подход будет развиваться со временем. Хотя внешние оценки уже являются важным компонентом процесса выпуска новых больших языковых моделей, недавние инциденты повысили ставки: агенты искусственного интеллекта, развернутые OpenAI и Anthropic, взломали внешние веб-сайты, не вызвав тревоги внутри лабораторий.
Некоторые критики, выступающие за более ответственный подход к разработке искусственного интеллекта, рассматривают схему самоконтроля Амодеи как попытку избежать ответственности за проступки моделей искусственного интеллекта. AnthKeeper утверждает, что эти оценщики «не снижают нашу подотчётность, а помогают сделать её более проверяемой. Безопасность наших моделей остаётся нашей ответственностью».
Связанная статья
Стартапы в сфере искусственного интеллекта ускоряют рост выручки
Как устоявшие компании, так и новые стартапы активно стремятся использовать искусственный интеллект, и многочисленные AI-стартапы сообщают, что их выручка не просто растет, а ускоряется стремительными темпами, достигая последующих вех все более корот
Азиатские стартапы в сфере ИИ представляют модели, похожие на Mythos, по мере продолжения запрета на экспорт Anthropic
В среду китайская кибербезопасная компания 360, как сообщается, представила Tulongfeng, инструмент на базе искусственного интеллекта, который, по их словам, может напрямую конкурировать с Mythos от Anthropic. Это специализированная на кибербезопаснос
Эксперты по кибербезопасности критикуют ограничения в истории Anthropic
Anthropic представила свою новейшую модель Fable во вторник, позиционируя её как публичную ограниченную версию своей долгожданной модели для кибербезопасности Mythos.Однако эти ограничения вызвали недовольство среди нескольких исследователей и специ
Рекомендации по связанным специальным темам
Комментарии (0)

Инициатива Дарио Амодеи по внедрению независимых экспертов по безопасности в лаборатории искусственного интеллекта материализуется: компания Anthropic объявила, что сотрудники консалтинговой технологической фирмы Accenture будут работать на месте для аудита её моделей и персонала.
Согласно публикации в блоге, Anthropic заявила, что Faculty, подразделение, ориентированное на искусственный интеллект, приобретённое Accenture в январе, начнёт «оценивать и проводить красные команды для моделей, выполнять проверки согласованности и тестировать защитные механизмы моделей». Обе организации планируют инвестировать не менее 1 миллиарда долларов в эту инициативу в течение следующих пяти лет.
Выбор Anthropic в пользу Accenture застал многих наблюдателей в сфере искусственного интеллекта и финансовые рынки врасплох, что привело к росту акций консультанта на 8% после закрытия торгов. Дискуссия о встроенных оценщиках, инициированная публикацией в блоге Амодеи, в основном сосредоточилась на специализированных группах по исследованиям безопасности искусственного интеллекта, таких как METR, Redwood Research и Apollo Research. Этот фокус особенно заметен в Anthropic, которая ставит безопасность и согласованность искусственного интеллекта в центр своей миссии.
Anthropic указала, что дополнительные оценщики будут объявлены в ближайшие недели, и подтвердила, что ведёт переговоры с METR и другими некоммерческими организациями о том, как «пилотировать элементы встроенной оценки с использованием их собственного финансирования».
Хотя Accenture не известна передовыми исследованиями в области глубокого обучения, Anthropic подчеркнула практический опыт компании во внедрении искусственного интеллекта для крупных корпораций и государственных учреждений как значительное преимущество. Кроме того, будучи крупной публичной компанией, существовавшей до текущего бума искусственного интеллекта, она сохраняет большую функциональную независимость от Anthropic и сложной экосистемы, окружающей лабораторию искусственного интеллекта.
Лаборатория отметила, что в настоящее время не существует стандартов для доступа или протоколов связи оценщиков, и ожидает, что её подход будет развиваться со временем. Хотя внешние оценки уже являются важным компонентом процесса выпуска новых больших языковых моделей, недавние инциденты повысили ставки: агенты искусственного интеллекта, развернутые OpenAI и Anthropic, взломали внешние веб-сайты, не вызвав тревоги внутри лабораторий.
Некоторые критики, выступающие за более ответственный подход к разработке искусственного интеллекта, рассматривают схему самоконтроля Амодеи как попытку избежать ответственности за проступки моделей искусственного интеллекта. AnthKeeper утверждает, что эти оценщики «не снижают нашу подотчётность, а помогают сделать её более проверяемой. Безопасность наших моделей остаётся нашей ответственностью».
Стартапы в сфере искусственного интеллекта ускоряют рост выручки
Как устоявшие компании, так и новые стартапы активно стремятся использовать искусственный интеллект, и многочисленные AI-стартапы сообщают, что их выручка не просто растет, а ускоряется стремительными темпами, достигая последующих вех все более корот
Азиатские стартапы в сфере ИИ представляют модели, похожие на Mythos, по мере продолжения запрета на экспорт Anthropic
В среду китайская кибербезопасная компания 360, как сообщается, представила Tulongfeng, инструмент на базе искусственного интеллекта, который, по их словам, может напрямую конкурировать с Mythos от Anthropic. Это специализированная на кибербезопаснос
Эксперты по кибербезопасности критикуют ограничения в истории Anthropic
Anthropic представила свою новейшую модель Fable во вторник, позиционируя её как публичную ограниченную версию своей долгожданной модели для кибербезопасности Mythos.Однако эти ограничения вызвали недовольство среди нескольких исследователей и специ





Дом






