새로운 ETSI AI 보안 표준 이해하기

ETSI EN 304 223는 조직이 거버넌스 구조에 반영해야 할 인공지능에 대한 기초적인 보안 요구 사항을 규정하고 있습니다.

기업들이 머신러닝을 핵심 워크플로우에 통합함에 따라, 이 유럽 표준은 AI 모델과 시스템을 보호하기 위한 구체적인 조항을 제공합니다. 이는 국가 표준 기구(NSO)의 공식 승인을 받은 세계 최초로 전 세계적으로 적용 가능한 AI 사이버 보안 유럽 표준으로, 국제 시장 전반에서 그 신뢰성을 강화합니다.

EU AI 법(EU AI Act)을 보완하는 기준으로서, 이 표준은 AI 시스템이 데이터 포이즌링, 모델 난독화, 간접 프롬프트 주입 등 기존 소프트웨어 보안 관행에서 종종 간과되는 고유한 위험을 내포하고 있음을 인정합니다. 이 표준은 딥 뉴럴 네트워크, 생성형 AI 및 기본적인 예측 시스템에 적용되며, 순수 학술 연구 목적으로만 사용되는 경우를 명시적으로 제외합니다.

ETSI 표준, AI 보안에 대한 책임 체계를 정의하다

기업 내 AI 도입에서 지속적으로 제기되는 과제 중 하나는 위험 책임의 귀속 문제입니다. ETSI 표준은 개발자(Developers), 시스템 운영자(System Operators), 데이터 관리자(Data Custodians)라는 세 가지 핵심 기술적 역할을 명확히 구분함으로써 이 문제를 해결합니다.

많은 조직에서 이러한 경계가 모호해집니다. 예를 들어, 사기 탐지를 위해 오픈소스 모델을 미세 조정하는 금융 서비스 회사는 개발자이자 시스템 운영자 모두에 해당합니다. 이러한 이중 역할은 엄격한 책임을 수반합니다. 해당 기업은 배포 환경을 보호하는 동시에 훈련 데이터의 출처와 모델 설계 감사 결과를 문서화해야 합니다.

"데이터 관리자(Data Custodians)"를 별도의 이해관계자 그룹으로 명시적으로 포함시킨 것은 최고 데이터 및 분석 책임자(CDAO)에게 직접적인 영향을 미칩니다. 이들은 데이터 권한 및 무결성을 관리하며, 이 역할에는 이제 명확한 보안 의무가 수반됩니다. 관리자는 시스템의 의도된 용도가 훈련 데이터의 민감도와 일치하는지 확인해야 하며, 이는 데이터 관리 프로세스 내에 보안 게이트키퍼를 효과적으로 내재화하는 것을 의미합니다.

ETSI AI 표준은 보안이 배포 단계에서나 추가되는 사후 고려 사항이 되어서는 안 된다고 강조합니다. 설계 단계에서 조직은 멤버십 추론 및 모델 난독화와 같은 AI 특유의 공격을 고려한 위협 모델링을 수행해야 합니다.

한 가지 요구 사항에 따르면, 개발자는 공격 표면을 최소화하기 위해 기능을 제한해야 합니다. 예를 들어, 시스템이 다중 모달 모델을 사용하지만 텍스트만 처리하는 경우, 이미지나 오디오 처리와 같이 사용되지 않는 모달리티는 완화 조치가 필요한 위험 요소가 됩니다. 이는 기술 리더들로 하여금, 더 작고 전문화된 모델로 충분할 때에도 대규모의 범용 파운데이션 모델을 배포하는 일반적인 관행을 재고하도록 만듭니다.

또한 이 표준은 엄격한 자산 관리를 의무화하고 있습니다. 개발자와 시스템 운영자는 상호 의존성과 연결성을 포함하여 자산에 대한 상세한 목록을 유지해야 합니다. 이는 '섀도우 AI(shadow AI)'를 발견하는 데 도움이 됩니다. IT 리더들은 자신이 인지하지 못하는 모델은 보호할 수 없기 때문입니다. 또한, 이 표준은 AI 공격에 특화된 재해 복구 계획을 요구하여, 모델이 침해당했을 경우 "정상 상태(known good state)"를 복원할 수 있도록 보장합니다.

공급망 보안은 제3자 공급업체나 오픈소스 저장소에 의존하는 조직에 직접적인 과제를 제기합니다. ETSI 표준에 따르면, 시스템 운영자가 문서화가 불충분한 AI 모델이나 구성 요소를 사용하기로 결정한 경우, 그 선택에 대한 근거를 제시하고 수반되는 보안 위험을 문서화해야 합니다.

실무적으로 조달 팀은 더 이상 "블랙박스" 솔루션을 수용할 수 없습니다. 개발자는 모델 구성 요소의 진위 여부를 확인하기 위해 암호 해시(cryptographic hash)를 제공해야 합니다. 대규모 언어 모델의 경우 흔히 볼 수 있듯이 공개 소스에서 훈련 데이터를 확보할 때, 개발자는 소스 URL과 수집 타임스탬프를 기록해야 합니다. 이러한 감사 추적 기록은 사고 발생 후 조사, 특히 훈련 과정에서 모델이 데이터 포이즌링(data poisoning)의 영향을 받았는지 여부를 판단하는 데 도움이 됩니다.

외부 고객에게 API를 제공하는 기업은 공격자가 모델을 리버스 엔지니어링하거나 방어 체계를 마비시켜 오염된 데이터를 주입하는 것을 방지하기 위한 속도 제한(rate limiting)과 같은 AI 특화 공격에 대응하는 통제 수단을 구현해야 합니다.

이러한 라이프사이클 접근 방식은 유지보수 단계로 이어지며, 이 표준에서는 새로운 데이터에 대한 재훈련과 같은 주요 업데이트를 새 버전의 배포로 간주합니다. ETSI AI 표준에 따르면, 이러한 업데이트에는 새로운 보안 테스트 및 평가가 필요합니다.

지속적인 모니터링도 체계화됩니다. 시스템 운영자는 가동 시간 확인뿐만 아니라 보안 침해를 시사할 수 있는 "데이터 드리프트(data drift)"나 점진적인 행동 변화를 식별하기 위해 로그를 분석해야 합니다. 이는 AI 모니터링을 단순한 성능 지표에서 보안 기능으로 전환시킵니다.

이 표준은 "수명 종료(End of Life)" 단계도 다룹니다. 모델이 폐기되거나 이전될 때, 조직은 데이터 관리자를 참여시켜 데이터와 구성 세부 정보를 안전하게 폐기해야 합니다. 이 요건은 폐기된 하드웨어나 잊혀진 클라우드 인스턴스를 통해 민감한 지적 재산권이나 훈련 데이터가 유출되는 것을 방지합니다.

경영진의 감독 및 거버넌스 책임

ETSI EN 304 223을 준수하려면 현재의 사이버 보안 교육 프로그램을 재검토해야 합니다. 이 표준은 역할별 교육을 요구하며, 이를 통해 개발자는 AI를 위한 보안 코딩을 숙지하고 일반 직원은 AI 출력을 통한 사회공학(social engineering)과 같은 위협에 대해 경계를 늦추지 않도록 보장합니다.

"ETSI EN 304 223은 AI 시스템 보안을 위한 공유되고 견고한 기반을 마련하는 데 있어 중요한 이정표입니다."라고 ETSI 인공지능 보안 기술 위원회 위원장인 스콧 캐조(Scott Cadzow)는 말했습니다.

"AI가 핵심 서비스와 인프라에 더욱 깊이 통합됨에 따라, 이러한 기술의 복잡성과 실제 배포 현실을 모두 고려한 명확하고 실용적인 지침의 중요성은 아무리 강조해도 지나치지 않습니다. 이 프레임워크를 뒷받침하는 노력은 광범위한 협력을 바탕으로 하며, 이를 통해 조직은 설계 단계부터 복원력 있고 신뢰할 수 있으며 안전한 AI 시스템을 신뢰할 수 있게 됩니다."

ETSI AI 보안 표준에 명시된 기준을 채택하면 더 안전한 혁신을 위한 프레임워크가 마련됩니다. 문서화된 감사 추적, 명확히 정의된 역할, 공급망 투명성을 통해 조직은 AI 도입의 위험을 줄이는 동시에 향후 규제 심사에 대비해 방어 가능한 입지를 구축할 수 있습니다.

곧 발표될 기술 보고서(ETSI TR 104 159)는 이러한 원칙을 생성형 AI에 구체적으로 적용하여 딥페이크 및 허위 정보와 같은 과제를 다룰 예정입니다.

함께 읽어보세요: 성공적인 AI 통합을 위한 인력 불안 해소 방안 – 앨리스터 프로스트

AI 및 빅데이터 전문가들의 통찰력에 관심이 있으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 AI & 빅데이터 엑스포를 확인해 보세요. TechEx의 일환인 이 포괄적인 행사는 다른 주요 기술 컨퍼런스와 함께 개최됩니다. 자세한 내용은 여기를 클릭하세요.

AI 뉴스는 TechForge Media에서 제공합니다. 다가오는 기업 기술 행사 및 웨비나를 여기서 확인해 보세요.