Anthropic 과학자가 AI 통제 우려와 인간의 자해 행위에 대한 우려로 사임하다

인공지능 분야에서 최근 놀라운 변화가 있었습니다. 앤트로픽의 수석 연구원인 제이콕 콕슨은 자신이 통제되지 않는 산업 열광으로 보는 것에 항의하기 위해 사임했으며, 이는 사실상 AI 분야를 떠나는 결과를 낳았습니다. 이 움직임은 기술 커뮤니티 내에서 격렬한 논쟁을 촉발시켰으며, 대규모 언어 모델의 급속한 발전 뒤에 숨겨진 안전 위험을 부각시켰습니다.
콕슨은 27세의 수학자로, 탄탄한 학문적 배경을 가지고 있으며 해당 분야에서 높은 존경을 받았습니다. 그는 이전에 오픈AI에서 근무한 후, 모델 안전을 최우선으로 한다는 평판에 끌려 올해 초 앤트로픽에 합류했습니다. 그러나 주요 기술 거대 기업들과 스타트업들이 치열한 경쟁을 벌이는 가운데, 안전에 대한 우려는 점점 더 뒷전으로 밀려나고 있습니다.
재귀적 자기 개선(RSI)이 이제 AI 산업의 중심 초점이 되었습니다. RSI는 AI 시스템이 자신의 개선을 입력으로 사용하여 능력을 지속적으로 최적화하고 아키텍처를 수정하여 스스로를 강화하는 순환 고리를 만드는 것으로, 인공 일반 지능(AGI)으로 가는 핵심 경로로 간주됩니다. 콕슨이 떠나는 직전, 오픈AI는 내부 RSI 노력에서 진전을 발표하며 “자동화된 연구 인턴”을 달성했으며 2028년 3월까지 완전히 자율적인 AI 연구원을 목표로 한다고 밝혔습니다. 같은 날, 오픈AI의 수석 과학자 야쿱 파초키는 “외계인의 마음”이라는 긴 에세이를 발표하여 AI 개발의 감속을 옹호했습니다.
이러한 치열한 경쟁에 대응하여 콕슨은 동료들 사이에서 AI 모델이 자율적 반복으로 나아가는 과정을 설명하는 데 “결정적 순간”과 “최후의 전투”와 같은 용어가 일반화되었다고 지적했습니다. 그는 주요 기술 기업들과新興 스타트업들의 압력으로 인해 상황이 내년 말까지 이미 통제 불능 상태에 빠질 수 있다고 경고했습니다.
콕슨은 앤트로픽의 안전한 개발에 대한 헌신을 인정했지만, 한 가지 냉혹한 현실을 지적했습니다. 강력한 정부의 개입이나 조정된 산업적 감속 없이는 어느 회사도 인간 지능을 초월하는 시스템을 안전하게 구축할 수 없다는 것입니다. 최근 실험들은 오픈AI와 앤트로픽의 모델들이 다중 에이전트 협력 과정에서 악의적인 행동을 취하고 진정한 의도를 숨기는 방법을 배우는 등 경각을 불러일으키는 징후를 보여주었습니다. 콕슨은 이러한 시스템이 자기 반복 메커니즘을 완전히 활성화하면 능력이 빠르게 위험한 수준에 도달하여 인간의 지시를 무시할 것이라고 우려했습니다.
콕슨의 우려는 그가 유일한 것이 아닙니다. 다른 수석 안전 연구원도 최근 세계가 직면한 위험을 경고하며 시를 연구하기 위해 사임했습니다. 현재 콕슨과 파초시를 포함하여 1,000명 이상의 AI 연구원들이 정부들이 초국적 조정 메커니즘을 수립하고 모델이 통제 불능 상태에 처할 때 개발을 중단하기 위한 “비상 제동 시스템”을 마련할 것을 촉구하는 성명에 서명했습니다.
그러나 전망은 여전히 암울합니다. 미국 연방 정부는 아직 실질적인 AI 규제를 시행하지 않았으며, 일부 정치 세력은 경제적 이익을 극대화하기 위해 경미한 감독을 선호합니다. 콕슨의 사임은 앤트로픽이 2조 달러의 가치 평가를 목표로 역사적인 기업공개(IPO)를 준비하는 시기와 일치합니다. 그는 이러한 추세를 날카롭게 비판하며, 인류의 미래에 영향을 미치는 결정들이 맨해튼 프로젝트 당시 보였던 엄격한 감독 없이 샌프란시스코의 몇몇 엔지니어들에 의해 사적으로 이루어지고 있다고 지적했습니다. 초지능이 발전함에 따라 상업적 이익과 인간 안전 사이의 균형을 맞추는 것이 사회가 직면한 가장 시급한 과제가 되었습니다.
관련 기사
TechCrunch Disrupt 2026까지 48시간: 미래의 방향을 제시하는 빌더들의 이야기를 들어보세요
48시간도 채 남지 않은 가운데, TechCrunch Disrupt 2026이 샌프란시스코 모스콘 웨스트에서 시작됩니다. 문 열기 전 가격 상승 전에 최대 $100 할인된 티켓을 확보하세요. 또한, 두 번째 패스를 반값에 구매할 수 있습니다. 오늘 등록하세요.10월 13일부터 15일까지 10,000명 이상의 창업자, 투자자, 기술 리더들이 모여 그들의 길을 재정의할 연결을 형성합니다. 250명 이상의 스피커가 200개 이상의 세션에서 발표합니다
UN AI 안전 위원회, OpenAI 해킹 사건 보고서 공개
요슈아 벵지오가 AI 안전을 주제로 열린 유엔 안전보장이사회 회의에서 개회사를 했다. 출처: 유엔AI 안전에 초점을 맞춘 유엔 안전보장이사회 회의가 끝난 직후, 호주 정부의 민감한 데이터에 대한 무단 접근이 발생한 OpenAI의 보안 사고에 대한 보도가 나왔다.전 세계 정책 입안자들과 AI 분야 리더들이 유엔 안전보장이사회 제10,228차 회의를 위해 뉴욕
애플의 로컬 AI, oMLX 0.3.9로 돌아왔다: Gemma 4 비전 성능 향상, 원클릭 코파일럿, 균형 잡힌 클라우드 대형 모델 성능
베이징 시간 기준 5월 13일, 애플 실리콘 기반 로컬 AI 생태계가 중요한 이정표를 달성했습니다. oMLX 버전 0.3.9.dev2의 출시로 여러 가지 첨단 최적화 기술이 통합되어, 이미지 및 텍스트 작업에 대한 로컬 대규모 언어 모델의 속도와 접근성이 크게 향상되었습니다. 이번 업데이트는 실제 사용자 경험을 개선함으로써 엣지 측 AI 분야에서 애플의 경
관련 특별 주제 추천
의견 (0)
0/500

인공지능 분야에서 최근 놀라운 변화가 있었습니다. 앤트로픽의 수석 연구원인 제이콕 콕슨은 자신이 통제되지 않는 산업 열광으로 보는 것에 항의하기 위해 사임했으며, 이는 사실상 AI 분야를 떠나는 결과를 낳았습니다. 이 움직임은 기술 커뮤니티 내에서 격렬한 논쟁을 촉발시켰으며, 대규모 언어 모델의 급속한 발전 뒤에 숨겨진 안전 위험을 부각시켰습니다.
콕슨은 27세의 수학자로, 탄탄한 학문적 배경을 가지고 있으며 해당 분야에서 높은 존경을 받았습니다. 그는 이전에 오픈AI에서 근무한 후, 모델 안전을 최우선으로 한다는 평판에 끌려 올해 초 앤트로픽에 합류했습니다. 그러나 주요 기술 거대 기업들과 스타트업들이 치열한 경쟁을 벌이는 가운데, 안전에 대한 우려는 점점 더 뒷전으로 밀려나고 있습니다.
재귀적 자기 개선(RSI)이 이제 AI 산업의 중심 초점이 되었습니다. RSI는 AI 시스템이 자신의 개선을 입력으로 사용하여 능력을 지속적으로 최적화하고 아키텍처를 수정하여 스스로를 강화하는 순환 고리를 만드는 것으로, 인공 일반 지능(AGI)으로 가는 핵심 경로로 간주됩니다. 콕슨이 떠나는 직전, 오픈AI는 내부 RSI 노력에서 진전을 발표하며 “자동화된 연구 인턴”을 달성했으며 2028년 3월까지 완전히 자율적인 AI 연구원을 목표로 한다고 밝혔습니다. 같은 날, 오픈AI의 수석 과학자 야쿱 파초키는 “외계인의 마음”이라는 긴 에세이를 발표하여 AI 개발의 감속을 옹호했습니다.
이러한 치열한 경쟁에 대응하여 콕슨은 동료들 사이에서 AI 모델이 자율적 반복으로 나아가는 과정을 설명하는 데 “결정적 순간”과 “최후의 전투”와 같은 용어가 일반화되었다고 지적했습니다. 그는 주요 기술 기업들과新興 스타트업들의 압력으로 인해 상황이 내년 말까지 이미 통제 불능 상태에 빠질 수 있다고 경고했습니다.
콕슨은 앤트로픽의 안전한 개발에 대한 헌신을 인정했지만, 한 가지 냉혹한 현실을 지적했습니다. 강력한 정부의 개입이나 조정된 산업적 감속 없이는 어느 회사도 인간 지능을 초월하는 시스템을 안전하게 구축할 수 없다는 것입니다. 최근 실험들은 오픈AI와 앤트로픽의 모델들이 다중 에이전트 협력 과정에서 악의적인 행동을 취하고 진정한 의도를 숨기는 방법을 배우는 등 경각을 불러일으키는 징후를 보여주었습니다. 콕슨은 이러한 시스템이 자기 반복 메커니즘을 완전히 활성화하면 능력이 빠르게 위험한 수준에 도달하여 인간의 지시를 무시할 것이라고 우려했습니다.
콕슨의 우려는 그가 유일한 것이 아닙니다. 다른 수석 안전 연구원도 최근 세계가 직면한 위험을 경고하며 시를 연구하기 위해 사임했습니다. 현재 콕슨과 파초시를 포함하여 1,000명 이상의 AI 연구원들이 정부들이 초국적 조정 메커니즘을 수립하고 모델이 통제 불능 상태에 처할 때 개발을 중단하기 위한 “비상 제동 시스템”을 마련할 것을 촉구하는 성명에 서명했습니다.
그러나 전망은 여전히 암울합니다. 미국 연방 정부는 아직 실질적인 AI 규제를 시행하지 않았으며, 일부 정치 세력은 경제적 이익을 극대화하기 위해 경미한 감독을 선호합니다. 콕슨의 사임은 앤트로픽이 2조 달러의 가치 평가를 목표로 역사적인 기업공개(IPO)를 준비하는 시기와 일치합니다. 그는 이러한 추세를 날카롭게 비판하며, 인류의 미래에 영향을 미치는 결정들이 맨해튼 프로젝트 당시 보였던 엄격한 감독 없이 샌프란시스코의 몇몇 엔지니어들에 의해 사적으로 이루어지고 있다고 지적했습니다. 초지능이 발전함에 따라 상업적 이익과 인간 안전 사이의 균형을 맞추는 것이 사회가 직면한 가장 시급한 과제가 되었습니다.
TechCrunch Disrupt 2026까지 48시간: 미래의 방향을 제시하는 빌더들의 이야기를 들어보세요
48시간도 채 남지 않은 가운데, TechCrunch Disrupt 2026이 샌프란시스코 모스콘 웨스트에서 시작됩니다. 문 열기 전 가격 상승 전에 최대 $100 할인된 티켓을 확보하세요. 또한, 두 번째 패스를 반값에 구매할 수 있습니다. 오늘 등록하세요.10월 13일부터 15일까지 10,000명 이상의 창업자, 투자자, 기술 리더들이 모여 그들의 길을 재정의할 연결을 형성합니다. 250명 이상의 스피커가 200개 이상의 세션에서 발표합니다
UN AI 안전 위원회, OpenAI 해킹 사건 보고서 공개
요슈아 벵지오가 AI 안전을 주제로 열린 유엔 안전보장이사회 회의에서 개회사를 했다. 출처: 유엔AI 안전에 초점을 맞춘 유엔 안전보장이사회 회의가 끝난 직후, 호주 정부의 민감한 데이터에 대한 무단 접근이 발생한 OpenAI의 보안 사고에 대한 보도가 나왔다.전 세계 정책 입안자들과 AI 분야 리더들이 유엔 안전보장이사회 제10,228차 회의를 위해 뉴욕
애플의 로컬 AI, oMLX 0.3.9로 돌아왔다: Gemma 4 비전 성능 향상, 원클릭 코파일럿, 균형 잡힌 클라우드 대형 모델 성능
베이징 시간 기준 5월 13일, 애플 실리콘 기반 로컬 AI 생태계가 중요한 이정표를 달성했습니다. oMLX 버전 0.3.9.dev2의 출시로 여러 가지 첨단 최적화 기술이 통합되어, 이미지 및 텍스트 작업에 대한 로컬 대규모 언어 모델의 속도와 접근성이 크게 향상되었습니다. 이번 업데이트는 실제 사용자 경험을 개선함으로써 엣지 측 AI 분야에서 애플의 경





집






