Anthropic вводит новые меры защиты искусственного интеллекта на фоне растущих рисков

Компания Anthropic обновила правила использования своего чатбота Claude AI, чтобы учесть растущие опасения по поводу безопасности. Наряду с ужесточением правил кибербезопасности, компания теперь четко определяет категории опасного оружия, которое не должно разрабатываться с помощью Claude.
Хотя в официальном сообщении компании не говорится об изменениях в политике использования оружия, сравнение старых и новых правил использования позволяет сделать вывод о значительном обновлении. Ранее Anthropic широко запрещала использовать Claude для "производства, модификации, разработки, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или гибели людей". Пересмотренная политика расширяет это положение, конкретно запрещая разработку взрывчатых веществ высокой мощности, а также биологического, ядерного, химического и радиологического (CBRN) оружия.
В мае компания Anthropic ввела защиту "AI Safety Level 3" одновременно с выпуском новой модели Claude Opus 4. Эти меры призваны сделать модель более устойчивой к взлому и предотвратить ее использование для создания оружия CBRN.
В своем заявлении Anthropic также признает риски, связанные с такими инструментами агентного ИИ, как Computer Use, который позволяет Claude контролировать компьютер пользователя, и Claude Code, который интегрирует Claude непосредственно в терминал разработчика. "Эти мощные возможности создают новые риски, включая потенциал для злоупотреблений, создания вредоносного ПО и кибератак", - заявляет компания.
Связанные
- Anthropic запускает новый сервис Claude для военных и разведки
- Google отказалась от обещания не разрабатывать оружие ИИ
ИИ-стартап устраняет эти потенциальные угрозы, добавив в политику использования новый раздел под названием "Не компрометировать компьютерные или сетевые системы". Этот раздел включает в себя правила, запрещающие использовать Claude для обнаружения или эксплуатации уязвимостей, создания или распространения вредоносного ПО, разработки инструментов для атак типа "отказ в обслуживании" и других подобных действий.
Кроме того, Anthropic смягчает свою политику в отношении политического контента. Вместо запрета на создание любого контента, связанного с политическими кампаниями и лоббированием, компания теперь будет запрещать использовать Claude только для "случаев использования, которые являются обманчивыми или разрушительными для демократических процессов, или включают в себя нацеливание на избирателей и кампании". Anthropic также уточнила, что ее требования ко всем "высокорискованным" сценариям использования, которые применяются, когда Claude используется для выработки рекомендаций отдельным лицам или клиентам, относятся только к сценариям, ориентированным на потребителей, а не на внутреннее использование в бизнесе.
Связанная статья
Kakao Mobility представляет план развития автономного вождения 4-го уровня с использованием физического ИИ
Компания Kakao Mobility планирует самостоятельно разрабатывать технологии автономного вождения 4-го уровня в рамках своей стратегии «физического ИИ».На конференции World IT Show 2026, прошедшей в сеу
Барри Диллер: доверие к Сэму Альтману теряет значение по мере приближения эры общей искусственной интеллигенции
Миллиардер и медиа-магнат Барри Диллер не считает генерального директора OpenAI Сэма Альтмана недостойным доверия, несмотря на недавние сообщения, свидетельствующие об обратном. Выступая на этой недел
YouTube расширяет сферу применения технологии искусственного интеллекта для выявления дипфейков, распространив её на политиков, государственных чиновников и журналистов
Во вторник YouTube объявил о расширении доступа к своей технологии обнаружения дипфейков для определенной группы государственных чиновников, политических кандидатов и журналистов. Этот инструмент выяв
Рекомендации по связанным специальным темам
Комментарии (1)
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Компания Anthropic обновила правила использования своего чатбота Claude AI, чтобы учесть растущие опасения по поводу безопасности. Наряду с ужесточением правил кибербезопасности, компания теперь четко определяет категории опасного оружия, которое не должно разрабатываться с помощью Claude.
Хотя в официальном сообщении компании не говорится об изменениях в политике использования оружия, сравнение старых и новых правил использования позволяет сделать вывод о значительном обновлении. Ранее Anthropic широко запрещала использовать Claude для "производства, модификации, разработки, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для причинения вреда или гибели людей". Пересмотренная политика расширяет это положение, конкретно запрещая разработку взрывчатых веществ высокой мощности, а также биологического, ядерного, химического и радиологического (CBRN) оружия.
В мае компания Anthropic ввела защиту "AI Safety Level 3" одновременно с выпуском новой модели Claude Opus 4. Эти меры призваны сделать модель более устойчивой к взлому и предотвратить ее использование для создания оружия CBRN.
В своем заявлении Anthropic также признает риски, связанные с такими инструментами агентного ИИ, как Computer Use, который позволяет Claude контролировать компьютер пользователя, и Claude Code, который интегрирует Claude непосредственно в терминал разработчика. "Эти мощные возможности создают новые риски, включая потенциал для злоупотреблений, создания вредоносного ПО и кибератак", - заявляет компания.
Связанные
- Anthropic запускает новый сервис Claude для военных и разведки
- Google отказалась от обещания не разрабатывать оружие ИИ
ИИ-стартап устраняет эти потенциальные угрозы, добавив в политику использования новый раздел под названием "Не компрометировать компьютерные или сетевые системы". Этот раздел включает в себя правила, запрещающие использовать Claude для обнаружения или эксплуатации уязвимостей, создания или распространения вредоносного ПО, разработки инструментов для атак типа "отказ в обслуживании" и других подобных действий.
Кроме того, Anthropic смягчает свою политику в отношении политического контента. Вместо запрета на создание любого контента, связанного с политическими кампаниями и лоббированием, компания теперь будет запрещать использовать Claude только для "случаев использования, которые являются обманчивыми или разрушительными для демократических процессов, или включают в себя нацеливание на избирателей и кампании". Anthropic также уточнила, что ее требования ко всем "высокорискованным" сценариям использования, которые применяются, когда Claude используется для выработки рекомендаций отдельным лицам или клиентам, относятся только к сценариям, ориентированным на потребителей, а не на внутреннее использование в бизнесе.
Барри Диллер: доверие к Сэму Альтману теряет значение по мере приближения эры общей искусственной интеллигенции
Миллиардер и медиа-магнат Барри Диллер не считает генерального директора OpenAI Сэма Альтмана недостойным доверия, несмотря на недавние сообщения, свидетельствующие об обратном. Выступая на этой недел
YouTube расширяет сферу применения технологии искусственного интеллекта для выявления дипфейков, распространив её на политиков, государственных чиновников и журналистов
Во вторник YouTube объявил о расширении доступа к своей технологии обнаружения дипфейков для определенной группы государственных чиновников, политических кандидатов и журналистов. Этот инструмент выяв
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Дом






