자율형 AI 시스템은 물리적 환경에서 거버넌스의 한계를 시험대에 올리고 있다

자율형 AI 시스템은 소프트웨어 환경을 넘어 창고, 배송 네트워크, 공공 공간으로 그 영역을 넓혀가고 있다. 이러한 변화로 인해 기존의 AI 규제가 물리적 환경에서 작동하는 시스템을 적절히 다루고 있는지에 대한 의문이 제기되고 있다.

현재 대부분의 AI 거버넌스 프레임워크는 편향, 허위 정보, 유해 콘텐츠와 같은 온라인상의 피해와 모델 산출물에 초점을 맞춰 왔다. 반면, 신체화된 AI 시스템은 물리적 환경에서 위험을 초래할 수 있으며, 여기서 발생하는 오류는 인프라, 재산 또는 인명 안전에 영향을 미칠 수 있다.

싱가포르 정보통신미디어개발청(IMDA)은 5월 20일 ‘에이전트형 AI를 위한 모델 AI 거버넌스 프레임워크’ 1.5 버전을 발표했다. 이 프레임워크는 사용자가 정의한 목표를 달성하기 위해 여러 단계에 걸쳐 계획을 수립하고, 의사결정을 내리며, 행동을 취할 수 있는 AI 에이전트를 도입하는 조직을 위한 지침을 제공한다.

이 프레임워크는 에이전트가 데이터베이스를 업데이트하거나, 파일을 작성하거나, 장치를 제어하거나, 트랜잭션을 실행하는 시스템을 포함하여 도구, 외부 시스템 및 다른 에이전트와 상호작용할 수 있음을 명시하고 있다. 또한 배포를 위한 거버넌스 조치로 접근 제어, 모니터링 및 사람의 승인을 제시하고 있다.

AI, 물리적 시스템으로 진출

지난주 싱가포르에서 열린 AI 서밋에서, 로봇 공학 및 체화형 AI에 대한 논의는 기존의 소프트웨어 규제가 아닌 항공, 산업 시스템, 중요 인프라 감독과 더 밀접하게 연관된 운영 안전 문제에 초점을 맞췄다.

연사들은 또한 자율 시스템이 예측 불가능한 실제 환경에서 장기간에 걸쳐 안전하고 안정적으로 작동할 수 있는지 여부에 대해서도 탐구했다.

칭화대학교 AI 산업 연구소 초대 소장인 야친 장(Ya-Qin Zhang) 박사는 신체화된 AI 시스템이 자율 소프트웨어에 이미 존재하는 위험을 증폭시킨다고 지적했다. 그는 시스템 오류가 교통 시스템, 드론, 물류 네트워크 및 중요 인프라에 직접적인 영향을 미칠 수 있다고 말했다.

장 박사는 정상회의 기간 중 MLex와의 인터뷰에서 “디지털 영역의 모든 위험은 물리적 영역에서 증폭될 것이며, 물리적 영역에서는 물리적 결과가 초래될 것”이라고 말했다.

그는 AI 시스템이 물리적 운영에 더욱 깊이 통합됨에 따라 차량, 드론, 스마트 그리드 및 기타 인프라가 취약해질 수 있다고 덧붙였다.

발표자들은 신뢰성, 운영 모니터링, 배포 후 보증을 거버넌스상의 주요 관심사로 꼽았다. 정상회의 논의에서는 일회성 인증에만 의존하기보다는 시뮬레이션, 원격 측정, 반복적 테스트를 기반으로 한 배포 중심 거버넌스 모델을 제시했다.

IMDA의 프레임워크 역시 점진적인 도입, 지속적인 모니터링, 그리고 배포 후 추가 테스트를 권장한다. 이 프레임워크는 에이전트가 환경과 동적으로 상호작용하며, 출시 전에 모든 위험을 예측할 수는 없다고 지적한다.

모니터링은 배포의 핵심 과제가 된다

싱가포르 펭골(Punggol) 지역에서 자율주행 차량과 배송 로봇을 시범 운영 중인 그랩(Grab)은 배포 거버넌스가 시뮬레이션, 테스트, 지속적인 모니터링에 크게 의존한다고 밝혔다.

그랩의 최고기술책임자(CTO)인 수텐 토마스 파라다테스는 정상회의 패널 토론 중 “로봇의 신뢰성을 확보하기 위해 시뮬레이션을 많이 수행하고, 폐쇄형 및 개방형 코스에서 수많은 테스트를 진행합니다”라고 말했다.

그는 “수백 대의 로봇으로 규모를 확대하기 전에, 먼저 시뮬레이션과 소수의 로봇을 통해 문제를 완벽히 해결했는지 확인합니다”라고 덧붙였다.

그랩은 또한 로봇의 성능을 추적하고 배치 후 예기치 못한 고장을 감지하도록 설계된 모니터링 시스템도 언급했다.

“나중에 나타날 수 있는 문제들이 끝없이 이어질 수 있습니다,”라고 파라다테스는 말했습니다.

IMDA 프레임워크에 따르면, 조직은 데이터 접근, 외부 시스템 접근, 자율성, 작업 복잡성을 기준으로 에이전트형 AI 사용 사례를 평가해야 합니다. 또한 에이전트 행동의 범위와 가역성, 제3자 관여, 전반적인 시스템 복잡성도 고려해야 합니다.

또한 에이전트의 도구 및 시스템 접근 권한을 제한하고, 최소 권한 원칙을 적용하며, 에이전트 워크플로우에 대한 표준 운영 절차를 정의할 것을 권장한다. 조직은 또한 에이전트가 오작동할 경우 이를 오프라인 상태로 전환할 수 있는 메커니즘을 마련해야 한다.

책임 소재가 더 많은 주체로 확대된다

MLex는 신체화된 AI 시스템이 개발, 제조, 배포 전 과정에 걸쳐 여러 당사자를 포함할 수 있다고 보고했다. 여기에는 AI 개발자, 로봇 제조업체, 반도체 공급업체, 인프라 운영자가 포함된다.

또한MLex는 시스템이 배포 후에도 소프트웨어 업데이트, 원격 측정, 운영 데이터를 통해 지속적으로 적응할 경우 책임 소재를 규명하기가 더 어려워질 수 있다고 지적했다.

IMDA는 에이전트가 자율적으로 작동하는 경우에도 조직과 인간이 에이전트의 행동에 대해 책임을 져야 한다고 밝혔습니다. 이 프레임워크는 모델 및 플랫폼 제공업체부터 배포자, 툴링 제공업체, 최종 사용자에 이르기까지 에이전트형 AI 가치 사슬 전반에 걸쳐 명확한 책임 분담을 요구합니다.

애플라이드 머티리얼즈(Applied Materials)는 대규모 로봇 시스템 배포가 반도체 경제성과 시스템 통합과도 밀접하게 연관되어 있다고 밝혔다. 이 회사의 최고기술책임자(CTO)인 옴 날라마수(Om Nalamasu)는 로봇 시스템이 더 우수한 센서, 에너지 효율, 첨단 패키징, 컴퓨팅 아키텍처에 의존하게 될 것이라고 말했다.

날라마수 CTO는 로봇 시스템이 모든 환경에 적용되는 단일 솔루션보다는 특정 산업 생태계에 맞춰 설계된 전용 설계가 필요할 것이라고 말했다.

중국 로봇 스타트업 갈봇(Galbot)의 최고전략책임자(CSO) 자오 유리(Zhao Yuli)는 중국 정부가 정부 지원 테스트베드, 산업 파트너십, 장기 자금 지원 이니셔티브를 통해 도입 규모와 산업 상용화를 최우선 과제로 삼고 있다고 말했다.

갈봇은 중국 내 소매, 창고, 제약 운영 분야에 휴머노이드 로봇 시스템을 도입했다. 여기에는 24시간 운영되는 자율 매장도 포함된다. 자오 유리는 제어 가능한 운영 조건을 더 많이 제공하기 때문에 반구조화된 산업 환경이 초기 상용화의 주요 경로가 될 가능성이 높다고 말했다.

일본은 표준 제정, 로봇 데이터셋, 안전 거버넌스에 더 중점을 두고 있다. 도쿄대 공학대학원 마츠오 유타카 교수는 로봇 기초 모델을 지원하기 위해 10만 시간 분량의 로봇 데이터를 수집하는 것을 목표로 하는 “AI 협회” 프로젝트를 언급했다.

마츠오 교수는 또한 싱가포르 및 기타 아시아 국가들과 함께 신체화된 AI 시스템에 대한 거버넌스 표준을 개발하기 위한 광범위한 노력의 일환으로 일본의 ‘AI 안전 연구소’와 ‘히로시마 AI 프로세스’를 언급했다.

싱가포르, 에이전트 통제 방안 제시

싱가포르의 프레임워크는 에이전트형 AI를 위한 네 가지 거버넌스 영역을 제시한다. 여기에는 사전 위험 평가, 인간의 책임, 기술적 통제, 최종 사용자의 책임이 포함된다. 이 프레임워크는 이를 일회성 평가가 아닌 반복적인 과정으로 설명한다.

이 프레임워크는 대규모 환경에서는 모든 워크플로우를 지속적으로 검토하는 것이 비실용적이므로, 에이전트형 시스템에 맞춰 인간 감독 방식을 조정해야 한다고 명시하고 있습니다. 또한 고위험 행동, 되돌릴 수 없는 행동, 이상치 행동 등 중요한 점검 지점에서 인간의 승인을 받을 것을 권고합니다.

IMDA는 또한 인간이 유능한 에이전트를 감독할 때 자동화 편향과 경보 피로도를 위험 요인으로 지적합니다. 이에 따라 인간 개입 비율 및 대응 시간과 같은 지표를 통해 감독을 감사하고, 자동화된 실시간 모니터링을 활용하여 예상치 못한 행동을 감지할 것을 권장합니다.

이 프레임워크는 사용자에게 에이전트가 수행할 수 있는 조치, 접근할 수 있는 데이터, 그리고 사용자에게 남아 있는 책임에 대해 알려야 한다고 명시하고 있다. 또한 인간-에이전트 상호작용, 감독, 그리고 에이전트의 산출물을 평가하는 데 필요한 전문 기술에 대한 직원 교육을 권장한다.

기업들, 규제 대상 업무 흐름에서 AI 테스트 진행

JPMorgan의 아시아 태평양 투자은행 부문 책임자인 폴 우렌(Paul Uren)은 로이터 통신과의 인터뷰에서, 은행이 전 세계 투자은행 사업 부문 전반에 걸쳐 AI 도구를 도입하고 있다고 밝혔다. 은행 측은 이러한 도구가 은행가들이 더 많은 정보에 접근하고 이를 내부 시스템과 통합하는 데 도움이 된다고 설명했다. 또한 콘텐츠 준비 및 고객 관계 관리 지원에도 활용되고 있다.

JP모건의 제이미 다이먼 CEO는 블룸버그 뉴스와의 인터뷰에서 은행이 기존 은행가 채용은 줄이고 AI 전문가 채용을 늘릴 것이라고 밝혔다. 로이터는 글로벌 은행들이 AI 투자를 확대하고, 인력 구조를 재편하며, 직무 역할을 변화시키고 있다고 보도했다.

또한 이 은행은 ‘프로젝트 글래스윙(Project Glasswing)’으로 알려진 통제된 이니셔티브 하에서 앤트로픽(Anthropic)으로부터 자사의 사이버 보안 모델인 ‘마이토스(Mythos)’ 사용 허가를 받은 선별된 기관 중 하나다. 앤트로픽에 따르면, 마이토스는 브라우저, 인프라, 소프트웨어 내의 오래된 취약점을 탐지할 수 있다.

로이터는 소식통과 기업 임원들의 말을 인용해 골드만삭스, 씨티그룹, 뱅크 오브 아메리카, 모건 스탠리도 ‘마이토스’에 접근 권한을 가지고 있거나 테스트 중이라고 보도했다.

IMDA의 프레임워크에는 싱가포르 OCBC 은행의 자산 출처 분석 사례 연구가 포함되어 있다. 이 시스템은 소득 관련 문서를 분석하여 자산 출처 분석 보고서를 작성한다. 다만 신용, 신규 고객 유치 또는 위험 관련 결정을 자율적으로 내리지는 않는다.

이 경우 워크플로는 작업 수준 자율성에 국한되며, 미리 정의된 워크플로에 의해 트리거될 때만 작동한다. 중요한 의사결정 단계에서는 사람의 검토가 필요하며, 최종 검증 권한은 지정된 검토자에게 있다.

로봇, 산업 현장에 진출

5월 1일부터 15일까지 닛케이 리서치가 실시한 로이터 설문조사에 따르면, 일본 기업의 3분의 1이 이미 AI 기반 로봇을 사용 중이거나 도입을 고려하고 있는 것으로 나타났다. 이 설문조사에는 492개 기업이 연락을 받았으며, 220개 기업이 익명을 조건으로 응답했다.

응답자의 약 4%는 이미 AI 로봇을 사용하고 있다고 답했으며, 5%는 도입을 계획 중이고, 25%는 도입을 고려 중이라고 답했다. 나머지 66%는 그러한 계획이 없다고 답했다.

이번 조사에서 운송 장비 제조업체들이 가장 적극적인 모습을 보였으며, 이 중 80%가 이미 AI 로봇을 사용 중이거나 도입을 검토하고 있는 것으로 나타났다. 이에 비해 도매업 부문 응답자의 94%는 AI 로봇 도입 계획이 없다고 답했다.

AI 로봇을 사용 중이거나, 도입을 계획 중이거나, 도입을 고려 중인 기업 중 71%는 제조 분야를 활용 사례로 꼽았다. 또 다른 19%는 위험한 작업을, 11%는 고객 대면 서비스를 선택했다.

일본 정부는 AI 로봇이 일본의 만성적인 노동력 부족 문제를 해결하고 산업용 로봇 분야에서의 입지를 공고히 하는 데 도움이 될 것으로 기대하고 있다. 일본에는 파낙(Fanuc), 야스카와 전기(Yaskawa Electric), 가와사키 중공업(Kawasaki Heavy Industries) 등 로봇 기업들이 있지만, AI 기반 로봇 분야에서는 중국 및 미국과의 경쟁에 직면해 있다.

검색을 넘어선 소매 에이전트

월마트는 쇼핑, 직원, 공급업체, 개발자 워크플로우 전반에 걸쳐 에이전트형 AI를 활용할 계획을 발표했다.

2025년 7월, 이 소매업체는 4가지 AI 기반 ‘슈퍼 에이전트’ 도입 계획을 발표했다. 이 에이전트들은 쇼핑객, 매장 직원, 공급업체 및 판매자, 소프트웨어 개발자를 위해 설계되었다. 월마트는 이러한 에이전트들이 해당 그룹 전반에 걸친 AI 상호작용의 주요 진입점이 될 것이라고 밝혔다.

이 도구 중 하나인 ‘스파키(Sparky)’는 이미 월마트 앱에서 생성형 AI 기반 쇼핑 어시스턴트로 이용 가능하다. 월마트 미국 최고기술책임자(CTO) 하리 바수데브(Hari Vasudev)는 확장된 버전이 상품 재주문 및 이벤트 기획이 가능해질 것이라고 말했다. 또한 컴퓨터 비전 기술을 활용해 고객의 냉장고 내용물을 바탕으로 요리법을 추천할 예정이다.

월마트는 또한 매장 직원과 본사 직원을 위한 ‘어소시에이트(Associate)’ 슈퍼 에이전트를 개발 중이다. 판매자, 공급업체, 광고주를 위한 별도의 ‘마티(Marty)’ 에이전트도 구축되고 있다. 이 소매업체는 향후 AI 도구의 테스트, 구축, 출시를 위한 ‘개발자(Developer)’ 슈퍼 에이전트도 개발 중이다.

회사는 이 에이전트들이 일자리를 대체할지 여부에 대해서는 언급을 피했다. 기업 비즈니스 시스템 부문 수석 부사장인 데이브 글릭(Dave Glick)은 구체적인 세부 사항을 밝히지 않은 채, 이 도구들이 새로운 일자리를 창출할 것이라고 말했다.

관련 기사: IMDA, AI 프레임워크 업데이트… 오픈AI, 싱가포르 AI 연구소 개소

업계 리더들로부터 AI와 빅데이터에 대해 더 자세히 알아보고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 ‘AI & Big Data Expo’를 확인해 보세요. 이 포괄적인 행사는 TechEx의 일환으로, 다른 주요 기술 행사와 함께 개최됩니다. 자세한 정보를 보려면 여기를 클릭하세요.

AI 뉴스는 TechForge Media가 제공합니다. 다가오는 다른 기업 기술 행사 및 웨비나를 여기에서 확인해 보세요.