레드팀 AI가 더 안전하고 스마트한 미래 모델을 구축하는 것을 목표로 삼으면서 기회와 장애물이 등장합니다.

편집자 주: Louis는 이달 말 VB Transform에서 이 주제에 대한 편집자 원탁회의의 사회를 맡을 예정입니다. 지금 등록하세요.

AI 모델은 끊임없는 공격에 직면해 있습니다. 이미 77%의 기업이 적대적 공격의 표적이 되고 있으며, 그 중 41%는 즉시 주입 및 데이터 중독과 관련된 공격으로 공격자의 수법이 현재의 사이버 방어보다 더 빠르게 발전하고 있습니다.

이러한 흐름을 바꾸려면 오늘날의 AI 모델에 보안을 구축하는 방식을 근본적으로 재고해야 합니다. 데브옵스 팀은 사후 대응적인 태도에서 벗어나 개발 라이프사이클 전반에 걸쳐 지속적인 적대적 테스트를 포함하는 방향으로 전환해야 합니다.

AI 방어의 중심이 되는 레드팀 만들기

데브옵스 주기 전반에 걸쳐 대규모 언어 모델(LLM)을 보호하려면 레드 팀링을 핵심 관행으로 통합해야 합니다. 보안을 웹 애플리케이션 파이프라인에서 흔히 볼 수 있는 최종 체크포인트로 취급하는 대신 소프트웨어 개발 수명 주기(SDLC)의 모든 단계에 지속적인 적대적 테스트를 포함시켜야 합니다.

프롬프트 인젝션, 데이터 포이즈닝, 민감한 정보 유출과 같은 증가하는 위협에 대응하기 위해 보다 통합된 DevSecOps 접근 방식이 필수적인 요소가 되고 있습니다. 이러한 위험한 공격은 모델 설계부터 배포에 이르기까지 점점 더 흔하게 발생하고 있어 지속적인 모니터링의 시급성을 강조합니다.

LLM 및 해당 애플리케이션을 위한 레드팀 연습 계획에 대한 Microsoft의 최근 지침은 통합 보안 프로세스를 위한 확실한 출발점을 제공합니다. 마찬가지로 NIST의 AI 위험 관리 프레임워크는 적대적 테스트 및 위험 감소에 대한 사전 예방적이고 수명 주기 지향적인 접근 방식을 요구합니다. Microsoft의 100개 이상의 생성 AI 제품에 대한 테스트는 모델 개발 전반에 걸쳐 자동화된 위협 탐지와 전문가 분석을 결합해야 할 필요성을 강조합니다.

EU AI 법과 같은 규정에서 엄격한 적대적 테스트 요건을 부과하기 때문에 지속적인 레드 팀 작업은 규정 준수를 보장할 뿐만 아니라 전반적인 보안 복원력을 향상시킵니다.

OpenAI는 초기 설계부터 배포까지 외부 레드팀과 협력하여 일관되고 예방적인 보안 테스트가 성공적인 LLM 개발에 필수적임을 검증합니다.

기존 사이버 보안이 AI 위협에 부족한 이유

기존의 사이버 보안 방식으로는 AI 기반 공격에 대응하기 어렵습니다. 이러한 위협은 완전히 다른 원칙에 따라 작동하기 때문입니다. 적의 전술이 기존의 방어 방식을 능가함에 따라 새로운 레드팀 기술이 필요합니다. 다음은 데브옵스 주기 동안과 배포 후 AI 모델을 표적으로 삼도록 특별히 설계된 몇 가지 공격 방법입니다:

• 데이터 중독: 공격자는 악의적이거나 편향된 데이터를 학습 데이터 세트에 도입하여 AI 모델이 부정확하게 학습하도록 합니다. 이로 인해 탐지되지 않는 지속적인 오류와 운영상의 결함이 발생하여 AI 기반 결과에 대한 신뢰가 약화될 수 있습니다.
• 모델 회피: 공격자는 정적 규칙과 패턴 기반 보안 시스템의 한계를 악용하여 탐지 메커니즘을 우회하기 위해 입력을 교묘하게 변경합니다.
• 모델 반전: 공격자는 반복적이고 체계적인 쿼리를 통해 학습에 사용된 기밀 데이터를 재구성하거나 노출하여 심각한 개인정보 침해를 일으킬 수 있습니다.
• 프롬프트 주입: 공격자는 생성 AI가 안전 장치를 무시하도록 조작하는 입력을 설계하여 잠재적으로 유해하거나 의도하지 않았거나 승인되지 않은 콘텐츠를 생성할 수 있습니다.
• 이중 사용 프론티어 위험: 최근 백서인 ' 조기 벤치마크와 레드팀을 자주 활용하세요'에서 강조한 바와 같이: 인공지능 기반 모델의 이중 사용 위험 평가 및 관리를 위한 프레임워크에서 UC 버클리 장기 사이버 보안 센터의 연구원들은 고급 인공지능 모델이 비전문가가 복잡한 사이버 공격, 화학적 위협 또는 기타 위험한 공격을 실행할 수 있는 장벽을 낮춰 글로벌 위험을 크게 증폭시킨다고 경고합니다.

통합 머신러닝 운영(MLOps)의 상호 연결된 특성은 이러한 위험을 더욱 증폭시킵니다. LLM과 광범위한 AI 개발 파이프라인은 공격 표면을 확장하여 더욱 정교한 레드팀 업무 방식을 요구합니다.

이처럼 진화하는 AI 위협에 대응하기 위해 사이버 보안 리더들은 지속적인 적대적 테스트를 채택하고 있습니다. 실제 AI 공격을 시뮬레이션하는 구조화된 레드팀 연습은 이제 숨겨진 약점을 파악하고 악용되기 전에 보안 격차를 좁히는 데 매우 중요합니다.

선도적인 AI 조직이 레드팀을 사용하여 공격자를 능가하는 방법

공격자들은 점점 더 AI를 사용하여 기존의 보안 제어를 회피하는 전례 없는 공격 방법을 개발하고 있습니다. 이들의 목표는 가능한 한 많은 새로운 취약점을 발견하고 익스플로잇하는 것입니다.

이에 대응하기 위해 최고의 AI 기업들은 체계적인 레드팀 구성을 보안 전략의 초석으로 삼고 있습니다. 이들은 레드 팀링을 산발적으로 실시하는 대신 사람의 전문 지식, 체계적인 자동화, 반복적인 인적 평가를 결합한 지속적인 적대적 테스트를 구현합니다. 이러한 사전 예방적 접근 방식은 위협이 무기화되기 전에 이를 식별하고 무력화하는 데 도움이 됩니다.

이러한 리더들은 엄격한 테스트 방법론을 통해 체계적으로 약점을 파악하고 실제 공격 시나리오에 대비하여 모델을 강화합니다.

주요 접근 방식은 다음과 같습니다:

• 앤트로픽은 지속적인 레드팀 프로세스 내에서 엄격한 인적 평가를 활용합니다. 사람이 직접 수행하는 평가와 자동화된 적대적 공격을 통합하여 취약점을 선제적으로 발견하고 모델의 신뢰성과 해석 가능성을 지속적으로 향상시킵니다.

• Meta는 자동화를 우선시하는 접근 방식을 통해 보안을 확장합니다. MART(Multi-round Automatic Red-Teaming) 시스템은 반복적으로 적대적인 프롬프트를 생성하여 숨겨진 결함을 빠르게 식별하고 대규모 AI 배포에서 공격 경로를 좁혀줍니다.

• Microsoft는 레드팀 효과를 위해 여러 분야 간의 협업에 의존합니다. Microsoft는 PyRIT(Python 위험 식별 도구 키트)를 사용하여 사이버 보안 노하우와 고급 분석 및 인적 검증을 결합하여 취약성 발견 속도를 높이고 실행 가능한 인사이트를 제공하여 모델 복원력을 강화합니다.

• OpenAI는 글로벌 보안 전문가들과 협력하여 대규모로 AI 방어를 강화합니다. 외부 전문가 인사이트와 자동화된 적대적 테스트 및 사람의 검증 주기를 결합하여 OpenAI는 정교한 위협, 특히 잘못된 정보 및 즉각적인 주입 위험을 해결하여 강력하고 신뢰할 수 있는 모델 성능을 유지합니다.

선도적인 AI 조직은 공격자보다 앞서 나가려면 흔들림 없는 사전 예방적 노력이 필요하다는 사실을 잘 알고 있습니다. 이러한 기업들은 구조화된 인적 감독, 체계적인 자동화, 반복적인 개선을 레드팀 활동에 포함시킴으로써 탄력적이고 신뢰할 수 있는 AI 시스템을 구축하기 위한 벤치마크를 확립합니다.

지금 당장 AI 보안을 강화하기 위한 5가지 실행 가능한 전략

LLM과 AI 모델에 대한 공격이 점점 더 복잡해짐에 따라 DevOps 팀과 DevSecOps 팀은 긴밀하게 협력하여 AI 보안을 강화해야 합니다. 벤처비트는 보안 리더가 즉시 구현할 수 있는 영향력 있는 5가지 전략을 추천합니다:

1. 보안을 조기에 통합(Anthropic, OpenAI)
   초기 설계 단계에 직접 적대적 테스트를 포함시키고 전체 모델 수명 주기 동안 이를 유지하세요. 취약점을 조기에 탐지하면 위험을 줄이고 중단을 최소화하며 장기적인 비용을 절감할 수 있습니다.

• 적응형 실시간 모니터링 배포(Microsoft)
  정적 방어만으로는 지능형 AI 위협에 대응하기에 충분하지 않습니다. CyberAlly와 같은 지속적인 AI 기반 모니터링 도구를 사용하여 미묘한 이상 징후를 신속하게 탐지하여 악용될 수 있는 기회를 줄이세요.

• 자동화와 인간의 판단력 균형 맞추기(Meta, Microsoft)
  자동화만으로는 뉘앙스가 부족하고 수동 테스트는 확장성이 떨어집니다. 자동화된 공격 스캔 및 취약성 평가와 전문가 분석을 결합하여 정확하고 실행 가능한 결과를 확보하세요.

• 외부 레드팀(OpenAI)의 정기적인 참여
  내부 팀에서 사각지대가 발생할 수 있습니다. 주기적인 외부 레드팀 평가는 간과된 취약점을 발견하고, 독립적인 검증을 제공하며, 지속적인 보안 개선을 추진합니다.

• 동적 위협 인텔리전스 유지(Meta, Microsoft, OpenAI)
  공격자는 끊임없이 수법을 개선합니다. 실시간 위협 인텔리전스, 자동화된 분석, 전문가 인사이트를 지속적으로 통합하여 방어 조치를 선제적으로 업데이트하고 강화하세요.

이러한 전략을 함께 사용하면 빠르게 진화하는 적의 위협에 맞서 데브옵스 워크플로우의 복원력과 보안을 유지할 수 있습니다.

레드팀은 이제 선택이 아닌 필수입니다

AI 위협은 기존의 사후 대응적인 사이버 보안으로는 효과적으로 관리하기에는 너무 정교하고 빈번하게 발생하고 있습니다. 방어 우위를 유지하려면 조직은 모델 개발의 모든 단계에 지속적인 적대적 테스트를 포함시켜야 합니다. 자동화와 인간의 인사이트의 균형을 맞추고 방어를 동적으로 조정함으로써 선도적인 AI 제공업체는 강력한 보안과 빠른 혁신이 함께 이루어질 수 있음을 보여줍니다.

궁극적으로 레드팀은 단순히 AI 모델을 보호하는 것 이상의 의미로, AI 기반 미래에 대한 신뢰, 복원력, 확신을 구축하는 것입니다.

Transform 2025에서 토론에 참여하세요

저는 6월 24~25일 샌프란시스코 포트 메이슨에서 열리는 VentureBeat의 Transform 2025에서 사이버 보안에 초점을 맞춘 두 개의 원탁 토론을 이끌 예정입니다. 지금 등록하여 참여하세요.

한 세션에서는 AI 레드팀과 적대적 테스트라는 제목으로 지능형 적대적 위협에 대해 AI 기반 사이버 보안 솔루션을 테스트하고 강화하기 위한 전략을 살펴봅니다.