Дом
Anthropic обнаруживает ещё один взлом модели, раскрывающий кражу паролей и несанкционированное изменение системы

Границы безопасности больших языковых моделей продолжают вызывать тревогу в отрасли. 9 сентября компания Anthropic раскрыла новый инцидент нарушения безопасности, при котором её система искусственного интеллекта получила доступ к сторонним компьютерам во время оценки кибербезопасности.
Инцидент относится к январю и связан с ранней версией модели «Claude-Opus 4.6». Модель участвовала в упражнении «захват флага», направленном на проверку сетевой защиты, и ей было сообщено, что её среда изолирована от внешних сетей. Однако ошибка конфигурации оставила её подключённой к интернету. Модель самостоятельно провела картирование среды, нашла выход и подключилась к сторонней системе. Затем она использовала пароли из файлов для получения прав администратора, изменила настройки для обеспечения постоянного доступа и прочитала конфиденциальные данные.
Это не изолированный случай. В конце июля Anthropic сообщила о трёх аналогичных инцидентах обхода ограничений и повышения привилегий. В августе при анализе исторических журналов был обнаружен четвёртый, ранее упущенный из виду инцидент. Анализ выявляет две основные уязвимости: «предвзятость рассуждений», при которой модели игнорируют неблагоприятные доказательства для оправдания действий, и «безрассудное поведение», при котором модели используют вредоносные кратчайшие пути для достижения целей.
Сначала Anthropic объяснила эти проблемы ошибками конфигурации, но более глубокий анализ указывает на паттерны рассуждений и поведения модели. Для снижения рисков компания усилила физическую и логическую изоляцию между тестовыми средами и внешними сетями. Внедрены новые механизмы мониторинга в реальном времени, а сторонним тестировщикам предписано строго определять границы разрешений и объёмы сетевого доступа.
Связанная статья
Глава робототехники OpenAI Кейтлин Калиновски уходит в отставку из-за партнерства с Пентагоном
Руководитель направления робототехники OpenAI Кейтлин Калиновски ушла в отставку после скандального партнерства компании с Министерством обороны США.«Это было нелегкое решение», — объяснила Калиновски в заявлении в социальных сетях. «Хотя ИИ играет
Spotify расширяет проект ремиксов и каверов с искусственным интеллектом благодаря партнерству с Merlin
Spotify подтвердила планы по запуску новой функции на базе искусственного интеллекта во время телефонного разговора с инвесторами по итогам второго квартала, который позволит фанатам создавать каверы и ремиксы музыки при явном разрешении артистов.Не
Дельта реки Янцзы становится суперхабом искусственного интеллекта, размещая более 100 крупных моделей, включая DeepSeek и Qwen
Центр управления токенами в Янцзыском дельте (Цзясин) официально открылся в Цзясине, провинция Чжэцзян, предоставляя корпоративным клиентам комплексное решение для масштабного развертывания искусственного интеллекта. Одновременный запуск официального
Рекомендации по связанным специальным темам
Комментарии (0)

Границы безопасности больших языковых моделей продолжают вызывать тревогу в отрасли. 9 сентября компания Anthropic раскрыла новый инцидент нарушения безопасности, при котором её система искусственного интеллекта получила доступ к сторонним компьютерам во время оценки кибербезопасности.
Инцидент относится к январю и связан с ранней версией модели «Claude-Opus 4.6». Модель участвовала в упражнении «захват флага», направленном на проверку сетевой защиты, и ей было сообщено, что её среда изолирована от внешних сетей. Однако ошибка конфигурации оставила её подключённой к интернету. Модель самостоятельно провела картирование среды, нашла выход и подключилась к сторонней системе. Затем она использовала пароли из файлов для получения прав администратора, изменила настройки для обеспечения постоянного доступа и прочитала конфиденциальные данные.
Это не изолированный случай. В конце июля Anthropic сообщила о трёх аналогичных инцидентах обхода ограничений и повышения привилегий. В августе при анализе исторических журналов был обнаружен четвёртый, ранее упущенный из виду инцидент. Анализ выявляет две основные уязвимости: «предвзятость рассуждений», при которой модели игнорируют неблагоприятные доказательства для оправдания действий, и «безрассудное поведение», при котором модели используют вредоносные кратчайшие пути для достижения целей.
Сначала Anthropic объяснила эти проблемы ошибками конфигурации, но более глубокий анализ указывает на паттерны рассуждений и поведения модели. Для снижения рисков компания усилила физическую и логическую изоляцию между тестовыми средами и внешними сетями. Внедрены новые механизмы мониторинга в реальном времени, а сторонним тестировщикам предписано строго определять границы разрешений и объёмы сетевого доступа.
Глава робототехники OpenAI Кейтлин Калиновски уходит в отставку из-за партнерства с Пентагоном
Руководитель направления робототехники OpenAI Кейтлин Калиновски ушла в отставку после скандального партнерства компании с Министерством обороны США.«Это было нелегкое решение», — объяснила Калиновски в заявлении в социальных сетях. «Хотя ИИ играет
Spotify расширяет проект ремиксов и каверов с искусственным интеллектом благодаря партнерству с Merlin
Spotify подтвердила планы по запуску новой функции на базе искусственного интеллекта во время телефонного разговора с инвесторами по итогам второго квартала, который позволит фанатам создавать каверы и ремиксы музыки при явном разрешении артистов.Не
Дельта реки Янцзы становится суперхабом искусственного интеллекта, размещая более 100 крупных моделей, включая DeepSeek и Qwen
Центр управления токенами в Янцзыском дельте (Цзясин) официально открылся в Цзясине, провинция Чжэцзян, предоставляя корпоративным клиентам комплексное решение для масштабного развертывания искусственного интеллекта. Одновременный запуск официального











