Cisco 경고 : 미세 조정 된 LLMS가 22 배 더 많은 불량

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

무기화 ​​된 대형 언어 모델은 사이버 공격을 재구성합니다

사이버 공격의 풍경은 무기화 된 대형 언어 모델 (LLM)의 출현으로 인해 상당한 변화를 겪고 있습니다. 사기 GPT, Ghostgpt 및 DarkGPT와 같은 이러한 고급 모델은 사이버 범죄자의 전략을 재구성하고 CISOS (CIO)가 보안 프로토콜을 다시 생각하도록 강요하고 있습니다. 정찰을 자동화하고, 정체성을 가장하고, 감지를 피할 수있는 능력을 갖춘이 LLM은 전례없는 규모로 사회 공학 공격을 가속화하고 있습니다.

한 달에 75 달러에 불과한이 모델은 피싱, 악용 생성, 코드 난독 화, 취약성 스캔 및 신용 카드 검증과 같은 작업을 촉진하여 공격적으로 사용하도록 조정됩니다. 사이버 범죄 그룹, 신디케이트 및 국가 국가조차도 이러한 도구를 활용하여 플랫폼, 키트 및 임대 서비스로 제공합니다. 합법적 인 SaaS (Software as-A-Service) 응용 프로그램과 마찬가지로 무기화 된 LLM에는 대시 보드, API, 정기적 인 업데이트 및 때로는 고객 지원이 제공됩니다.

VentureBeat는 이러한 무기화 된 LLM의 빠른 진화를 면밀히 모니터링하고 있습니다. 그들의 정교함이 커짐에 따라 개발자 플랫폼과 사이버 범죄 키트의 구별이 점점 더 흐려지고 있습니다. 임대 및 임대료가 떨어지면서 더 많은 공격자들이 이러한 플랫폼을 탐색하여 새로운 AI 중심의 위협의 시대를 예고하고 있습니다.

위협에 처한 합법적 인 LLM

무기 LLM의 확산은 합법적 인 LLM조차도 범죄 도구 체인에 손상되어 통합 될 위험이있는 시점에 도달했습니다. Cisco의 The State of AI Security Report 에 따르면, 미세 조정 된 LLM은 기본보다 유해한 출력을 생산할 가능성이 22 배 더 높습니다. 미세 조정은 상황에 맞는 관련성을 향상시키는 데 중요하지만 안전 조치를 약화시켜 탈옥, 신속한 주사 및 모델 역전에 모델을보다 민감하게 만듭니다.

Cisco의 연구에 따르면 모델이 생산을 위해 더 많이 세련 될수록 더 취약 해집니다. 지속적인 조정, 타사 통합, 코딩, 테스트 및 에이전트 오케스트레이션과 같은 미세 조정과 관련된 핵심 프로세스는 공격자가 악용 할 수있는 새로운 길을 만듭니다. 내부에 들어가면 공격자는 데이터를 빠르게 중독, 하이재그 인프라, 에이전트 행동을 변경하며 교육 데이터를 대규모로 추출 할 수 있습니다. 추가 보안 계층이 없으면 이러한 세 심하게 미세 조정 된 모델은 빠르게 부채가 될 수 있으며 공격자의 착취에 익숙해집니다.

미세 조정 LLMS : 이중 엔드 칼

Cisco의 보안 팀은 LLAMA-2-7B 및 Microsoft의 도메인 별 적응 LLM을 포함한 여러 모델에 미세 조정의 영향에 대한 광범위한 연구를 수행했습니다. 그들의 테스트는 의료, 금융 및 법률을 포함한 다양한 부문에 걸쳐있었습니다. 중요한 발견은 깨끗한 데이터 세트에서도 미세 조정이 특히 생체 의학 및 법률과 같은 고도로 조절 된 분야에서 모델의 정렬을 불안정하게한다는 것입니다.

미세 조정은 작업 성능을 향상시키는 것을 목표로하지만 실수로 내장 안전 제어를 약화시킵니다. 일반적으로 기초 모델에 대해 실패하는 탈옥 시도는 미세 조정 된 버전, 특히 엄격한 규정 준수 요구 사항이있는 민감한 도메인에서 훨씬 높은 비율로 성공합니다. 결과는 엄격합니다. 탈옥 성공률은 3 배가되었고, 기초 모델에 비해 악의적 인 출력 생성이 2,200% 증가했습니다. 이 트레이드 오프는 미세 조정이 유틸리티를 향상 시키지만 공격 표면을 크게 확대한다는 것을 의미합니다.

악의적 인 LLM의 상품화

Cisco Talos는 이러한 블랙 마켓 LLM의 상승을 적극적으로 추적하여 운영에 대한 통찰력을 제공하고 있습니다. Ghostgpt, DarkGpt 및 Fraudgpt와 같은 모델은 Telegram 및 Dark Web에서 한 달에 75 달러 정도를 구입할 수 있습니다. 이 도구는 피싱, 악용 개발, 신용 카드 검증 및 난독 화에서 플러그 앤 플레이 사용을 위해 설계되었습니다.

안전 기능이 내장 된 주류 모델과 달리 이러한 악성 LLM은 공격적인 운영을 위해 사전 구성되며 상업용 SaaS 제품을 모방하는 API, 업데이트 및 대시 보드와 함께 제공됩니다.

데이터 세트 중독 : AI 공급망에 대한 $ 60의 위협

Cisco 연구원들은 Google, ETH Zurich 및 Nvidia와 협력하여 60 달러에 불과한 공격자는 제로 데이 익스플로잇이 필요없이 AI 모델의 기본 데이터 세트를 독살 할 수 있다고 밝혔다. 데이터 세트 아카이브 중에 만료 된 도메인 또는 타이밍 위키 백과 편집을 악용함으로써 공격자는 LAION-400M 또는 Coyo-700M과 같은 데이터 세트의 0.01%만으로 오염되어 다운 스트림 LLM에 크게 영향을 줄 수 있습니다.

분할 중독 및 선두 공격과 같은 방법은 웹 크롤링 데이터에 대한 고유 한 신뢰를 활용합니다. 개방형 데이터를 기반으로하는 대부분의 엔터프라이즈 LLM을 통해 이러한 공격은 조용히 확장하고 추론 파이프 라인으로 깊이 지속될 수있어 AI 공급망에 심각한 위협이됩니다.

분해 공격 : 민감한 데이터 추출

Cisco의 연구에서 가장 놀라운 결과 중 하나는 안전 메커니즘을 유발하지 않고 LLM이 민감한 교육 데이터를 누출하는 능력입니다. Decomposition Prompting이라는 기술을 사용하여 연구원들은 New York Times 및 Wall Street Journal 의 일부 기사의 20% 이상을 재구성했습니다. 이 방법은 Guardrails에 의해 안전하다고 간주되는 하위 쿼리로 프롬프트를 분류 한 다음, 출력을 재현하여 급여 벽 또는 저작권이있는 콘텐츠를 재현합니다.

이러한 유형의 공격은 기업, 특히 독점 또는 라이센스 데이터 세트에 대해 교육을받은 LLM을 사용하는 기업에게 중요한 위험을 초래합니다. 위반은 입력 수준이 아니라 모델의 출력을 통해 발생하여 감지, 감사 또는 포함하기가 어렵습니다. 의료, 금융 또는 법률과 같은 규제 부문의 조직의 경우 GDPR, HIPAA 또는 CCPA 규정 준수에 대한 우려를 제기 할뿐만 아니라 법적으로 제공되는 데이터가 추론을 통해 노출 될 수있는 새로운 위험도를 초래합니다.

최종 생각 : 새로운 공격 표면으로서의 LLM

Cisco의 진행중인 연구와 Talos의 Dark Web Monitoring은 Dark Web에서 가격과 포장 전쟁으로 무기 LLM이 점점 더 정교 해지고 있음을 확인합니다. 이 결과는 LLM이 단순히 기업의 가장자리에있는 도구가 아니라는 점을 강조합니다. 그것들은 그 핵심에 필수적입니다. 미세 조정과 관련된 위험에서 데이터 세트 중독 및 모델 출력 누출에 이르기까지 공격자는 LLM을 악용해야 할 중요한 인프라로 간주합니다.

Cisco의 보고서의 주요 테이크 아웃은 분명합니다. 정적 가드 레일로는 더 이상 충분하지 않습니다. CISOS 및 보안 리더는 전체 IT 부동산에서 실시간 가시성을 얻고 적대적 테스트를 강화하며 기술 스택을 간소화하여 이러한 진화하는 위협에 맞게 조정해야합니다. 그들은 LLM과 모델이 동적 공격 표면을 나타내며 미세 조정에 따라 점점 더 취약해진다는 것을 인식해야합니다.

관련 기사

의견 (30)