Cisco предупреждает: LLMS с тонкой настройкой в ​​22 раза чаще станет мошенничеством

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

Оружие крупные языковые модели изменяют кибератаки

Ландшафт кибератак претерпевает значительную трансформацию, вызванную появлением вооруженных крупных языковых моделей (LLMS). Эти передовые модели, такие как мошенничество, Ghostgpt и DarkGPT, изменяют стратегии киберпреступников и заставляют главных сотрудников информационной безопасности (CISO) переосмыслить свои протоколы безопасности. Благодаря возможности автоматизации разведки, выявления идентичностей и обнаружения уклонения, эти LLM ускоряют атаки социальной инженерии в беспрецедентном масштабе.

Эти модели доступны всего за 75 долларов в месяц, адаптированы для оскорбительного использования, содействия таким задачам, как фишинг, генерация эксплойтов, запутывание кода, сканирование уязвимости и проверка кредитной карты. Группы киберпреступности, синдикаты и даже национальные государства используют эти инструменты, предлагая их в качестве платформ, наборов и лизинговых услуг. Подобно законным приложениям программного обеспечения как услуги (SAAS), вооруженные LLMS поставляются с информационными панелями, API, регулярными обновлениями и иногда даже поддержкой клиентов.

VentureBeat тщательно контролирует быструю эволюцию этих вооруженных сил. По мере роста их изысканности различие между платформами разработчиков и киберпреступностью становится все более размытым. С падением аренды и арендной платы, все больше злоумышленников изучают эти платформы, предвещают новую эру угроз, управляемых искусственным интеллектом.

Законные LLM под угрозой

Распространение вооруженных LLMS достигло точки, когда даже законные LLM подвергаются риску скомпрометирования и интеграции в уголовные наборы. Согласно отчету Cisco о состоянии безопасности AI , тонкие настройки LLMS в 22 раза чаще производят вредные результаты, чем их базовые аналоги. Хотя тонкая настройка имеет решающее значение для повышения контекстуальной значимости, она также ослабляет меры безопасности, что делает модели более восприимчивыми к джейлбрейкам, быстрым инъекциям и инверсии модели.

Исследование Cisco подчеркивает, что чем больше модель уточняется для производства, тем более уязвимым оно становится. Основные процессы, связанные с тонкой настройкой, такие как постоянные корректировки, сторонние интеграции, кодирование, тестирование и агентская оркестровая, создают новые возможности для злоумышленников для эксплуатации. Оказавшись внутри, злоумышленники могут быстро отравить данные, угонять инфраструктуру, изменять поведение агента и извлекать данные обучения в больших масштабах. Без дополнительных слоев безопасности эти тщательно настроенные модели могут быстро стать обязательствами, созревшими для эксплуатации злоумышленниками.

Тонкая настройка LLMS: обоюдоострый меч

Команда безопасности Cisco провела обширные исследования о влиянии точной настройки на несколько моделей, включая Llama-2-7B и Adapt Adapt LLMS Microsoft и Microsoft. Их тесты охватывали различные сектора, включая здравоохранение, финансы и закон. Ключевым выводом было то, что тонкая настройка, даже с чистыми наборами данных, дестабилизирует выравнивание моделей, особенно в высокорегулируемых областях, таких как биомедицина и закон.

Хотя тонкая настройка направлена ​​на повышение производительности задачи, она непреднамеренно подрывает встроенные средства безопасности. Попытки джейлбрейка, которые обычно терпят неудачу против моделей фундамента, добиваются гораздо более высоких показателей против тонких настраиваемых версий, особенно в чувствительных областях со строгими требованиями соответствия. Результаты являются резкими: показатели успеха джейлбрейка утроились, а генерация вредоносной продукции увеличилась на 2200% по сравнению с моделями фундамента. Этот компромисс означает, что, хотя тонкая настройка повышает полезность, он также значительно расширяет поверхность атаки.

Коммодитизация злонамеренных LLMS

Cisco Talos активно отслеживает рост этих LLMS Black-Market, предоставляя представление об их операциях. Такие модели, как Ghostgpt, Darkgpt и Frudgpt, доступны на Telegram и Dark Web всего за 75 долларов в месяц. Эти инструменты предназначены для использования подключаемой игры в фишинге, разработке эксплойтов, проверке кредитных карт и запутывании.

В отличие от основных моделей со встроенными функциями безопасности, эти злонамеренные LLM предварительно сконфигурируются для наступательных операций и поставляются с API, обновлениями и информационными панелями, которые имитируют коммерческие продукты SaaS.

Отравление набором данных: угроза 60 долларов для цепочек поставок искусственного интеллекта

Исследователи Cisco, в сотрудничестве с Google, Eth Zurich и Nvidia, показали, что всего за 60 долларов злоумышленники могут отравить основополагающие наборы данных моделей ИИ без необходимости эксплойтов нулевого дня. Используя срок действия доменов или временных исследований во время архивирования наборов данных, злоумышленники могут загрязнять всего лишь 0,01% наборов данных, таких как Laion-400M или Coyo-700M, что значительно влияет на LLMS.

Такие методы, как отравление разделенным видом и лидерные атаки, используют преимущества неотъемлемого доверия к данным, полным карета. С большинством Enterprise LLM, построенных на открытых данных, эти атаки могут тихо масштабироваться и сохраняться глубоко в трубопроводы по выводу, представляя серьезную угрозу для цепочек поставок искусственного интеллекта.

Атаки разложения: извлечение конфиденциальных данных

Одним из наиболее тревожных результатов исследования Cisco является способность LLMS утекать чувствительные к данным обучения без запуска механизмов безопасности. Используя методику, называемую подсказкой разложения, исследователи реконструировали более 20% избранных статей из New York Times и Wall Street Journal . Этот метод разбивает подсказки на подразделы, которые считаются безопасными ограждениями, а затем собирают выходы для воссоздания платного или авторского права.

Этот тип атаки представляет значительный риск для предприятий, особенно те, которые использовали LLMS, обученные частным или лицензированным наборам данных. Нарушение происходит не на уровне ввода, а через выходы модели, что затрудняет обнаружение, аудит или содержание. Для организаций в регулируемых секторах, таких как здравоохранение, финансы или закон, это не только вызывает обеспокоенность по поводу соответствия GDPR, HIPAA или CCPA, но также вносит новый класс риска, где данные юридически источника могут быть выявлены путем вывода.

Последние мысли: LLMS как новая поверхность атаки

Продолжающиеся исследования Cisco и мониторинг темной веб -сайта Talos подтверждают, что вооруженные LLMS становятся все более сложными, а в темной паутине разворачивается война в цене и упаковке. Результаты подчеркивают, что LLM - это не просто инструменты на краю предприятия; Они являются неотъемлемой частью его ядра. От рисков, связанных с тонкой настройкой, до отравления наборами данных и утечек вывода модели, злоумышленники рассматривают LLMS как критическую инфраструктуру, которая будет использоваться.

Ключевой вывод из отчета Cisco ясен: статических ограждений больше недостаточно. CISO и лидеры безопасности должны получить видимость в режиме реального времени по всему ИТ-имуществом, улучшать состязательные испытания и оптимизировать свой технический стек, чтобы идти в ногу с этими развивающимися угрозами. Они должны признать, что LLM и модели представляют собой динамическую поверхность атаки, которая становится все более уязвимой, поскольку они настраиваются.

Связанная статья

Комментарии (30)