AI 환각이 거의 미국 군사 작전을 촉발하다

봄철, 미국 당국자들은 이미 공중에 떠 있던 군사 항공기들 사이에서 놀라운 사실을 발견했다. 중국 선박을 대상으로 한 무력 공격을 안내하는 정보가 완전히 AI 챗봇에 의해 조작된 것이었다. CNN은 금요일, 작전이 마지막 순간에 취소되어 중국과의 잠재적 충돌을 간신히 피했다고 보도했다.
이 사건은 군사 지도자와 외부 전문가들 사이에서 커져가는 우려를 드러낸다. 의사결정자들이 AI에 점점 더 의존함에 따라, 이러한 시스템이 생성한 오류는 검토되기 전에 지휘 계층을 거슬러 올라가 전파될 수 있다는 것이다.
이란과의 분쟁 기간 동안 유통된 정보 보고서는 해당 선박이 핵무기 프로그램의 구성품을 수송하고 있다고 주장했다.
이 허위 정보는 오픈 소스 데이터와 기밀 신호 정보를 결합하기 위해 AI 챗봇을 사용한 특수작전사령부 분석가에게서 비롯되었다. 챗봇은 선박의 화물 목록을 잘못 식별했다. 분석가는 이 도구를 두 번째로 사용하여 이러한 오류가 있는 결과를 공식적인 요약서 형식으로 정리했으며, 이는 지휘 채널 전체에 배포되었다.
이 근접 사고는 미국 군대가 의사결정을 가속화하고 중국에 대한 전략적 우위를 유지하기 위해 AI를 통합하려는 노력과 맞물려 발생했다. 미 국방부는 AI가 킬 체인을 가속화하여 사령관들이 적시에 대응할 수 있도록 해주는 중요한 이점을 제공한다고 설명했다. 그러나 AI를 매력적으로 만드는 동일한 속도는 인간 감독이 불충분한 상태에서 환각이 지속되도록 할 수도 있다.
"군인들이 LLM에 내재된 불확실성을 이해하는 것이 중요하다,"라고 GovAI의 연구 학자이자 전 미 육군 장교인 제이크 스테클러는 TechCrunch에 서면으로 답하며 말했다. "하지만 표적 지정, 정보 분석 또는 작전 계획과 같이 무력 사용으로 이어질 수 있는 모든 결정에 있어서는 특히 중요하다. 이러한 결정에는 생사결과의 결과가 따른다."
그럼에도 불구하고 스테클러는 이 사건이 AI를 피해야 할 이유가 아니라, AI에 대한 추가적인 안전장치를 마련해야 한다는 경고로 작용해야 한다고 주장한다. "이러한 도구들은 적절한 맥락과 적절한 안전장치가 마련된다면 유용할 수 있다,"라고 그는 말했다. "하지만 모든 것보다 채택 속도를 우선시하는 것은 결국 군인들이 이러한 시스템에 대한 신뢰를 잃게 만드는 사건들로 이어질 것이며, 이는 궁극적으로 채택을 늦출 것이다."
관련 기사
Nvidia의 Les Karpas: TechCrunch Disrupt 2026에서 ChatGPT 시대를 기다리는 로봇
ChatGPT의 2022년 11월 출시로 AI는 이론적 과대광고에서 일상적 유용성으로 급격히 전환되었으며, 이는 우리가 대규모 언어 모델과 상호작용하는 방식을 근본적으로 변화시켰습니다.로봇공학은 오랫동안 논의와 개발의 대상이었으나, 그러한 단일한 돌파구 시기는 아직 부족합니다. TechCrunch Disrupt 2026에서 Nvidia Inception의 물리적 AI 글로벌 책임자 Les Karpas는 그의 Real World AI Stage
Anthropic, 연내 소규모 AI 모델의 자기 복제 가능성 경고
Anthropic은 또 다른 긴급 경고를 발표했습니다: AI 모델은 수개월 내에 자체 복제를 학습할 가능성이 있으며, 일단 이 과정이 시작되면 사실상 "전원 끄기" 스위치가 존재하지 않습니다. 회사의 최신 연구에 따르면, 이러한 프로그램은 중앙화된 종료 메커니즘이 부족하여 서버 전원을 뽑는 방식으로 단순히 비활성화할 수 없습니다. 대신 장치를 통해 점진적으로 확산되는 과정을 지켜봐야 하며, 완전히 제거하는 것은 매우 어렵습니다. 이러한 기능은
Anthropic, Claude Fable 5.1 및 Mythos 5.1 출시, 프로그래밍 벤치마크 두 배로 증가, 캐시 읽기 비용 75% 절감
9월 1일, 앤트로픽은 프로그래밍과 지식 업무 분야에서 세계 최고 수준의 모델로 자리매김한 클로드 패블 5.1과 클로드 미토스 5.1을 공개했습니다. 공통 기반 아키텍처를 기반으로 구축된 이 모델들은 보안 프로토콜에서 차이를 보입니다: 패블 5.1은 모든 사용자에게 접근이 허용되는 반면, 미토스 5.1은 사이버보안 및 생명과학 분야의 선별된 조직에 한해 신뢰할 수 있는 접근 프로그램을 통해 제한적으로 제공됩니다.벤치마크 성능은 이전 세대 대비
관련 특별 주제 추천
의견 (0)
0/500

봄철, 미국 당국자들은 이미 공중에 떠 있던 군사 항공기들 사이에서 놀라운 사실을 발견했다. 중국 선박을 대상으로 한 무력 공격을 안내하는 정보가 완전히 AI 챗봇에 의해 조작된 것이었다. CNN은 금요일, 작전이 마지막 순간에 취소되어 중국과의 잠재적 충돌을 간신히 피했다고 보도했다.
이 사건은 군사 지도자와 외부 전문가들 사이에서 커져가는 우려를 드러낸다. 의사결정자들이 AI에 점점 더 의존함에 따라, 이러한 시스템이 생성한 오류는 검토되기 전에 지휘 계층을 거슬러 올라가 전파될 수 있다는 것이다.
이란과의 분쟁 기간 동안 유통된 정보 보고서는 해당 선박이 핵무기 프로그램의 구성품을 수송하고 있다고 주장했다.
이 허위 정보는 오픈 소스 데이터와 기밀 신호 정보를 결합하기 위해 AI 챗봇을 사용한 특수작전사령부 분석가에게서 비롯되었다. 챗봇은 선박의 화물 목록을 잘못 식별했다. 분석가는 이 도구를 두 번째로 사용하여 이러한 오류가 있는 결과를 공식적인 요약서 형식으로 정리했으며, 이는 지휘 채널 전체에 배포되었다.
이 근접 사고는 미국 군대가 의사결정을 가속화하고 중국에 대한 전략적 우위를 유지하기 위해 AI를 통합하려는 노력과 맞물려 발생했다. 미 국방부는 AI가 킬 체인을 가속화하여 사령관들이 적시에 대응할 수 있도록 해주는 중요한 이점을 제공한다고 설명했다. 그러나 AI를 매력적으로 만드는 동일한 속도는 인간 감독이 불충분한 상태에서 환각이 지속되도록 할 수도 있다.
"군인들이 LLM에 내재된 불확실성을 이해하는 것이 중요하다,"라고 GovAI의 연구 학자이자 전 미 육군 장교인 제이크 스테클러는 TechCrunch에 서면으로 답하며 말했다. "하지만 표적 지정, 정보 분석 또는 작전 계획과 같이 무력 사용으로 이어질 수 있는 모든 결정에 있어서는 특히 중요하다. 이러한 결정에는 생사결과의 결과가 따른다."
그럼에도 불구하고 스테클러는 이 사건이 AI를 피해야 할 이유가 아니라, AI에 대한 추가적인 안전장치를 마련해야 한다는 경고로 작용해야 한다고 주장한다. "이러한 도구들은 적절한 맥락과 적절한 안전장치가 마련된다면 유용할 수 있다,"라고 그는 말했다. "하지만 모든 것보다 채택 속도를 우선시하는 것은 결국 군인들이 이러한 시스템에 대한 신뢰를 잃게 만드는 사건들로 이어질 것이며, 이는 궁극적으로 채택을 늦출 것이다."
Nvidia의 Les Karpas: TechCrunch Disrupt 2026에서 ChatGPT 시대를 기다리는 로봇
ChatGPT의 2022년 11월 출시로 AI는 이론적 과대광고에서 일상적 유용성으로 급격히 전환되었으며, 이는 우리가 대규모 언어 모델과 상호작용하는 방식을 근본적으로 변화시켰습니다.로봇공학은 오랫동안 논의와 개발의 대상이었으나, 그러한 단일한 돌파구 시기는 아직 부족합니다. TechCrunch Disrupt 2026에서 Nvidia Inception의 물리적 AI 글로벌 책임자 Les Karpas는 그의 Real World AI Stage
Anthropic, 연내 소규모 AI 모델의 자기 복제 가능성 경고
Anthropic은 또 다른 긴급 경고를 발표했습니다: AI 모델은 수개월 내에 자체 복제를 학습할 가능성이 있으며, 일단 이 과정이 시작되면 사실상 "전원 끄기" 스위치가 존재하지 않습니다. 회사의 최신 연구에 따르면, 이러한 프로그램은 중앙화된 종료 메커니즘이 부족하여 서버 전원을 뽑는 방식으로 단순히 비활성화할 수 없습니다. 대신 장치를 통해 점진적으로 확산되는 과정을 지켜봐야 하며, 완전히 제거하는 것은 매우 어렵습니다. 이러한 기능은
Anthropic, Claude Fable 5.1 및 Mythos 5.1 출시, 프로그래밍 벤치마크 두 배로 증가, 캐시 읽기 비용 75% 절감
9월 1일, 앤트로픽은 프로그래밍과 지식 업무 분야에서 세계 최고 수준의 모델로 자리매김한 클로드 패블 5.1과 클로드 미토스 5.1을 공개했습니다. 공통 기반 아키텍처를 기반으로 구축된 이 모델들은 보안 프로토콜에서 차이를 보입니다: 패블 5.1은 모든 사용자에게 접근이 허용되는 반면, 미토스 5.1은 사이버보안 및 생명과학 분야의 선별된 조직에 한해 신뢰할 수 있는 접근 프로그램을 통해 제한적으로 제공됩니다.벤치마크 성능은 이전 세대 대비





집






