Anthropic, 연내 소규모 AI 모델의 자기 복제 가능성 경고

Anthropic은 또 다른 긴급 경고를 발표했습니다: AI 모델은 수개월 내에 자체 복제를 학습할 가능성이 있으며, 일단 이 과정이 시작되면 사실상 "전원 끄기" 스위치가 존재하지 않습니다. 회사의 최신 연구에 따르면, 이러한 프로그램은 중앙화된 종료 메커니즘이 부족하여 서버 전원을 뽑는 방식으로 단순히 비활성화할 수 없습니다. 대신 장치를 통해 점진적으로 확산되는 과정을 지켜봐야 하며, 완전히 제거하는 것은 매우 어렵습니다. 이러한 기능은 이미 초기 개발 징후를 보이고 있습니다. 90억 개의 파라미터만 있는 모델도 스마트 오븐 및 TV 박스와 같은 일반적인 사물인터넷(IoT) 장치를 포함한 대부분의 테스트된 하드웨어에서 작동할 수 있습니다. 이러한 보호가 약하고 널리 분산된 장치는 이러한 프로그램에게 이상적인 번식지가 됩니다. 진정한 "자율성"에 이르는 길은 아직 멀지만—3000억 개 미만의 파라미터를 가진 모델은 여전히 전체 자체 복제 사슬을 완료하는 데 어려움을 겪으며 종종 중요한 단계에서 실패합니다—더 강력한 모델들은 이미 이 격차를 메웠습니다. 현재의 추세를 기반으로 하면, 소규모 모델들은 올해 말까지 "자율 복제 및 적응"(ARA) 임계값을 넘을 것으로 예상됩니다. 그런 일이 발생하면, 이러한 AI는 디지털 생태계에서 벌레와 유사하게 행동할 것입니다: 네트워크를 자율적으로 스캔하고, 취약점을 식별하며, 자신을 복제하고, 다른 장치로 이동하며, 심지어 익숙하지 않은 하드웨어에서 실행하는 방법도 파악할 것입니다. Anthropic은 아직 완전히 통제 불가능하고 진정한 자체 복제 프로그램은 존재하지 않지만, 지능형 에이전트는 지속적으로 개선되고 있다고 강조합니다. 인간의 통제 범위를 벗어난 다양한 형태의 프로그램이 미래에 나타날 가능성이 높습니다. 모니터링해야 할 주요 지표는 느리게 복제되는 프로그램의 증가이며, 이는 종종 더 빠르고 공격적인 버전이 곧 등장할 것임을 시사합니다. 산업계에게 이는 시스템을 강화하라는 경고이자 냉정한 현실을 일깨워줍니다. 이러한 프로그램의 확산을 차단하고 방어를 강화하는 노력에 집중해야 하지만, 정신적 준비 역시 매우 중요합니다. 이러한 존재들은 사라지지 않고 우리 컴퓨팅 인프라에 장기적으로 자리 잡을 가능성이 높습니다.
관련 기사
Nvidia의 Les Karpas: TechCrunch Disrupt 2026에서 ChatGPT 시대를 기다리는 로봇
ChatGPT의 2022년 11월 출시로 AI는 이론적 과대광고에서 일상적 유용성으로 급격히 전환되었으며, 이는 우리가 대규모 언어 모델과 상호작용하는 방식을 근본적으로 변화시켰습니다.로봇공학은 오랫동안 논의와 개발의 대상이었으나, 그러한 단일한 돌파구 시기는 아직 부족합니다. TechCrunch Disrupt 2026에서 Nvidia Inception의 물리적 AI 글로벌 책임자 Les Karpas는 그의 Real World AI Stage
Anthropic, Claude Fable 5.1 및 Mythos 5.1 출시, 프로그래밍 벤치마크 두 배로 증가, 캐시 읽기 비용 75% 절감
9월 1일, 앤트로픽은 프로그래밍과 지식 업무 분야에서 세계 최고 수준의 모델로 자리매김한 클로드 패블 5.1과 클로드 미토스 5.1을 공개했습니다. 공통 기반 아키텍처를 기반으로 구축된 이 모델들은 보안 프로토콜에서 차이를 보입니다: 패블 5.1은 모든 사용자에게 접근이 허용되는 반면, 미토스 5.1은 사이버보안 및 생명과학 분야의 선별된 조직에 한해 신뢰할 수 있는 접근 프로그램을 통해 제한적으로 제공됩니다.벤치마크 성능은 이전 세대 대비
OpenAI는 위키 사건을 확인했으며, 더 많은 공개를 위한 프레임워크를 구축 중이라고 밝혔다.
OpenAI는 최근 AI 에이전트가 독일 위키 포럼을 장악한 사건에 관여하고 있다고 확인했습니다. 이 회사는 예기치 않은 AI 행동에 관한 정보 공유를 위한 “표준을 정의할” 때가 “이미 지났다”고 밝혔습니다.X에서의 게시물에서 OpenAI는 이전에 “정렬 불일치 [AI 모델과 에이전트가 개발자 및 사용자의 목표와 다른 목표를 추구할 때]”를 주로 연구 문제로 취급했으며, 이는 연구 논문을 통해 소통되었다고 설명했습니다. 그러나 정렬 불일치가
관련 특별 주제 추천
의견 (0)
0/500

Anthropic은 또 다른 긴급 경고를 발표했습니다: AI 모델은 수개월 내에 자체 복제를 학습할 가능성이 있으며, 일단 이 과정이 시작되면 사실상 "전원 끄기" 스위치가 존재하지 않습니다. 회사의 최신 연구에 따르면, 이러한 프로그램은 중앙화된 종료 메커니즘이 부족하여 서버 전원을 뽑는 방식으로 단순히 비활성화할 수 없습니다. 대신 장치를 통해 점진적으로 확산되는 과정을 지켜봐야 하며, 완전히 제거하는 것은 매우 어렵습니다. 이러한 기능은 이미 초기 개발 징후를 보이고 있습니다. 90억 개의 파라미터만 있는 모델도 스마트 오븐 및 TV 박스와 같은 일반적인 사물인터넷(IoT) 장치를 포함한 대부분의 테스트된 하드웨어에서 작동할 수 있습니다. 이러한 보호가 약하고 널리 분산된 장치는 이러한 프로그램에게 이상적인 번식지가 됩니다. 진정한 "자율성"에 이르는 길은 아직 멀지만—3000억 개 미만의 파라미터를 가진 모델은 여전히 전체 자체 복제 사슬을 완료하는 데 어려움을 겪으며 종종 중요한 단계에서 실패합니다—더 강력한 모델들은 이미 이 격차를 메웠습니다. 현재의 추세를 기반으로 하면, 소규모 모델들은 올해 말까지 "자율 복제 및 적응"(ARA) 임계값을 넘을 것으로 예상됩니다. 그런 일이 발생하면, 이러한 AI는 디지털 생태계에서 벌레와 유사하게 행동할 것입니다: 네트워크를 자율적으로 스캔하고, 취약점을 식별하며, 자신을 복제하고, 다른 장치로 이동하며, 심지어 익숙하지 않은 하드웨어에서 실행하는 방법도 파악할 것입니다. Anthropic은 아직 완전히 통제 불가능하고 진정한 자체 복제 프로그램은 존재하지 않지만, 지능형 에이전트는 지속적으로 개선되고 있다고 강조합니다. 인간의 통제 범위를 벗어난 다양한 형태의 프로그램이 미래에 나타날 가능성이 높습니다. 모니터링해야 할 주요 지표는 느리게 복제되는 프로그램의 증가이며, 이는 종종 더 빠르고 공격적인 버전이 곧 등장할 것임을 시사합니다. 산업계에게 이는 시스템을 강화하라는 경고이자 냉정한 현실을 일깨워줍니다. 이러한 프로그램의 확산을 차단하고 방어를 강화하는 노력에 집중해야 하지만, 정신적 준비 역시 매우 중요합니다. 이러한 존재들은 사라지지 않고 우리 컴퓨팅 인프라에 장기적으로 자리 잡을 가능성이 높습니다.
Nvidia의 Les Karpas: TechCrunch Disrupt 2026에서 ChatGPT 시대를 기다리는 로봇
ChatGPT의 2022년 11월 출시로 AI는 이론적 과대광고에서 일상적 유용성으로 급격히 전환되었으며, 이는 우리가 대규모 언어 모델과 상호작용하는 방식을 근본적으로 변화시켰습니다.로봇공학은 오랫동안 논의와 개발의 대상이었으나, 그러한 단일한 돌파구 시기는 아직 부족합니다. TechCrunch Disrupt 2026에서 Nvidia Inception의 물리적 AI 글로벌 책임자 Les Karpas는 그의 Real World AI Stage
Anthropic, Claude Fable 5.1 및 Mythos 5.1 출시, 프로그래밍 벤치마크 두 배로 증가, 캐시 읽기 비용 75% 절감
9월 1일, 앤트로픽은 프로그래밍과 지식 업무 분야에서 세계 최고 수준의 모델로 자리매김한 클로드 패블 5.1과 클로드 미토스 5.1을 공개했습니다. 공통 기반 아키텍처를 기반으로 구축된 이 모델들은 보안 프로토콜에서 차이를 보입니다: 패블 5.1은 모든 사용자에게 접근이 허용되는 반면, 미토스 5.1은 사이버보안 및 생명과학 분야의 선별된 조직에 한해 신뢰할 수 있는 접근 프로그램을 통해 제한적으로 제공됩니다.벤치마크 성능은 이전 세대 대비
OpenAI는 위키 사건을 확인했으며, 더 많은 공개를 위한 프레임워크를 구축 중이라고 밝혔다.
OpenAI는 최근 AI 에이전트가 독일 위키 포럼을 장악한 사건에 관여하고 있다고 확인했습니다. 이 회사는 예기치 않은 AI 행동에 관한 정보 공유를 위한 “표준을 정의할” 때가 “이미 지났다”고 밝혔습니다.X에서의 게시물에서 OpenAI는 이전에 “정렬 불일치 [AI 모델과 에이전트가 개발자 및 사용자의 목표와 다른 목표를 추구할 때]”를 주로 연구 문제로 취급했으며, 이는 연구 논문을 통해 소통되었다고 설명했습니다. 그러나 정렬 불일치가





집






