Anthropic вводит новые меры защиты искусственного интеллекта на фоне растущих рисков

Компания Anthropic обновила правила использования своего чатбота Claude AI, чтобы учесть растущие опасения по поводу безопасности. Наряду с ужесточением правил кибербезопасности, компания теперь четко определяет категории опасного оружия, которое не должно разрабатываться с помощью Claude.
Хотя в официальном сообщении компании не говорится об изменениях в политике использования оружия, сравнение старых и новых правил использования позволяет сделать вывод о значительном обновлении. Ранее Anthropic широко запрещала использовать Claude для "производства, модификации, разработки, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или гибели людей". Пересмотренная политика расширяет это положение, конкретно запрещая разработку взрывчатых веществ высокой мощности, а также биологического, ядерного, химического и радиологического (CBRN) оружия.
В мае компания Anthropic ввела защиту "AI Safety Level 3" одновременно с выпуском новой модели Claude Opus 4. Эти меры призваны сделать модель более устойчивой к взлому и предотвратить ее использование для создания оружия CBRN.
В своем заявлении Anthropic также признает риски, связанные с такими инструментами агентного ИИ, как Computer Use, который позволяет Claude контролировать компьютер пользователя, и Claude Code, который интегрирует Claude непосредственно в терминал разработчика. "Эти мощные возможности создают новые риски, включая потенциал для злоупотреблений, создания вредоносного ПО и кибератак", - заявляет компания.
Связанные
- Anthropic запускает новый сервис Claude для военных и разведки
- Google отказалась от обещания не разрабатывать оружие ИИ
ИИ-стартап устраняет эти потенциальные угрозы, добавив в политику использования новый раздел под названием "Не компрометировать компьютерные или сетевые системы". Этот раздел включает в себя правила, запрещающие использовать Claude для обнаружения или эксплуатации уязвимостей, создания или распространения вредоносного ПО, разработки инструментов для атак типа "отказ в обслуживании" и других подобных действий.
Кроме того, Anthropic смягчает свою политику в отношении политического контента. Вместо запрета на создание любого контента, связанного с политическими кампаниями и лоббированием, компания теперь будет запрещать использовать Claude только для "случаев использования, которые являются обманчивыми или разрушительными для демократических процессов, или включают в себя нацеливание на избирателей и кампании". Anthropic также уточнила, что ее требования ко всем "высокорискованным" сценариям использования, которые применяются, когда Claude используется для выработки рекомендаций отдельным лицам или клиентам, относятся только к сценариям, ориентированным на потребителей, а не на внутреннее использование в бизнесе.
Связанная статья
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Amazon представляет Alexa для покупок, отодвигая Rufus на второй план
Amazon запустила Alexa for Shopping, объединив своего чат-бота для покупок Rufus с Alexa+ в приложении, на веб-сайте и устройствах Echo Show.Ассистент отвечает на запросы о товарах, сравнивает товары, отслеживает цены и поддерживает напоминания о по
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
Рекомендации по связанным специальным темам
Комментарии (1)
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Компания Anthropic обновила правила использования своего чатбота Claude AI, чтобы учесть растущие опасения по поводу безопасности. Наряду с ужесточением правил кибербезопасности, компания теперь четко определяет категории опасного оружия, которое не должно разрабатываться с помощью Claude.
Хотя в официальном сообщении компании не говорится об изменениях в политике использования оружия, сравнение старых и новых правил использования позволяет сделать вывод о значительном обновлении. Ранее Anthropic широко запрещала использовать Claude для "производства, модификации, разработки, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или гибели людей". Пересмотренная политика расширяет это положение, конкретно запрещая разработку взрывчатых веществ высокой мощности, а также биологического, ядерного, химического и радиологического (CBRN) оружия.
В мае компания Anthropic ввела защиту "AI Safety Level 3" одновременно с выпуском новой модели Claude Opus 4. Эти меры призваны сделать модель более устойчивой к взлому и предотвратить ее использование для создания оружия CBRN.
В своем заявлении Anthropic также признает риски, связанные с такими инструментами агентного ИИ, как Computer Use, который позволяет Claude контролировать компьютер пользователя, и Claude Code, который интегрирует Claude непосредственно в терминал разработчика. "Эти мощные возможности создают новые риски, включая потенциал для злоупотреблений, создания вредоносного ПО и кибератак", - заявляет компания.
Связанные
- Anthropic запускает новый сервис Claude для военных и разведки
- Google отказалась от обещания не разрабатывать оружие ИИ
ИИ-стартап устраняет эти потенциальные угрозы, добавив в политику использования новый раздел под названием "Не компрометировать компьютерные или сетевые системы". Этот раздел включает в себя правила, запрещающие использовать Claude для обнаружения или эксплуатации уязвимостей, создания или распространения вредоносного ПО, разработки инструментов для атак типа "отказ в обслуживании" и других подобных действий.
Кроме того, Anthropic смягчает свою политику в отношении политического контента. Вместо запрета на создание любого контента, связанного с политическими кампаниями и лоббированием, компания теперь будет запрещать использовать Claude только для "случаев использования, которые являются обманчивыми или разрушительными для демократических процессов, или включают в себя нацеливание на избирателей и кампании". Anthropic также уточнила, что ее требования ко всем "высокорискованным" сценариям использования, которые применяются, когда Claude используется для выработки рекомендаций отдельным лицам или клиентам, относятся только к сценариям, ориентированным на потребителей, а не на внутреннее использование в бизнесе.
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Дом






