Deepmind의 AGI 안전 논문은 회의론자를 흔들지 못합니다

수요일에 구글 딥마인드는 AGI 안전에 대한 그들의 접근 방식을 깊이 탐구하는 145페이지 분량의 논문을 발표했다. AGI, 즉 인공지능 일반은 인간이 할 수 있는 모든 작업을 수행할 수 있는 AI로, AI 세계에서 뜨거운 주제다. 어떤 사람들은 이를 단순한 환상이라고 생각하지만, Anthropic의 주요 인사들처럼 다른 이들은 AGI가 곧 도달할 수 있으며, 안전 조치가 제대로 마련되지 않으면 심각한 문제를 일으킬 수 있다고 믿는다.
딥마인드의 논문은 공동 창립자 셰인 레그의 도움을 받아 작성되었으며, AGI가 2030년까지 나타날 수 있으며 "심각한 피해"를 초래할 수 있다고 본다. 구체적으로 명시하지는 않았지만, "실존적 위험"과 같이 "인류를 영구히 파괴할 수 있다"는 무서운 표현을 사용한다.
저자들은 "우리는 이 10년이 끝나기 전에 뛰어난 AGI를 볼 것이라고 확신한다"고 언급한다. "뛰어난 AGI는 비물리적 작업에서 상위 1%의 성인 기술을 따라잡을 수 있는 시스템으로, 새로운 기술을 배우는 것과 같은 까다로운 일을 포함한다."
논문은 처음부터 딥마인드의 AGI 위험 관리 방식을 Anthropic과 OpenAI의 방식과 비교한다. Anthropic은 "견고한 훈련, 모니터링, 보안"에 그다지 중점을 두지 않는다고 하며, OpenAI는 정렬 연구라는 AI 안전 연구를 "자동화"하는 데 집중한다고 말한다.
논문은 또한 슈퍼인텔리전트 AI, 즉 인간보다 모든 작업에서 뛰어난 AI라는 개념에 약간의 회의를 표한다. (OpenAI는 최근 AGI에서 슈퍼인텔리전스로 초점을 전환했다고 밝혔다.) 딥마인드의 저자들은 획기적인 돌파구 없이는 슈퍼인텔리전트 시스템이 곧 등장하거나, 어쩌면 절대 등장하지 않을 것이라고 믿는다.
하지만 그들은 현재 방법으로 "재귀적 AI 개선"이 가능할 수 있다고 생각한다. 즉, AI가 스스로 AI 연구를 수행해 더 똑똑한 AI 시스템을 만드는 것이다. 그리고 이는 매우 위험할 수 있다고 경고한다.
전반적으로 논문은 AGI로부터 악의적인 행위자를 차단하고, AI 시스템이 무엇을 하는지 더 잘 이해하며, AI가 작동하는 환경을 더 안전하게 만들 방법을 개발해야 한다고 제안한다. 그들은 이러한 아이디어의 많은 부분이 아직 초기 단계에 있으며 "열린 연구 문제"가 있다고 인정하지만, 다가올 안전 문제를 무시하지 말 것을 촉구한다.
저자들은 "AGI는 놀라운 이익을 가져올 수도 있고 심각한 피해를 줄 수도 있다"고 지적한다. "따라서 AGI를 올바르게 구축하려면, 주요 AI 개발자들이 미리 계획하고 큰 위험을 해결하는 것이 중요하다."
하지만 모두가 이 논문의 아이디어에 동의하는 것은 아니다.
비영리 AI Now Institute의 수석 AI 과학자인 헤이디 클라프는 TechCrunch에 AGI가 "과학적으로 엄격하게 평가되기에는 너무 모호한 개념"이라고 말했다. 앨버타 대학의 또 다른 AI 연구자인 매튜 구즈디얼은 재귀적 AI 개선이 현재 실현 가능하다고 확신하지 않는다고 말했다.
구즈디얼은 TechCrunch에 "재귀적 개선은 지능 싱귤래리티 논쟁의 기반이지만, 그것이 실제로 작동한다는 증거는 본 적이 없다"고 말했다.
옥스포드에서 기술과 규제를 연구하는 산드라 바흐터는 더 시급한 우려를 지적한다: AI가 "부정확한 출력"으로 스스로를 강화하는 것.
그녀는 TechCrunch에 "온라인에 AI 생성 콘텐츠가 점점 많아지고 실제 데이터가 대체되면서, 모델이 부정확하거나 환각이 가득한 자체 출력에서 배우고 있다"고 말했다. "챗봇은 주로 검색과 진실 찾기에 사용되므로, 우리는 항상 매우 그럴듯하게 제시된 잘못된 정보를 받을 위험이 있다."
철저함에도 불구하고, 딥마인드의 논문은 AGI의 가능성과 현재 가장 주목해야 할 AI 안전 문제에 대한 논쟁을 끝내지 못할 것이다.
관련 기사
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
데이터브릭스 공동 창업자, ACM 상 수상 후 AGI 도래 주장
Databricks의 공동 창립자이자 CTO인 마테이 자하리아는 자신이 2026년 ACM 컴퓨팅 상을 수상했다는 소식을 알리는 이메일을 거의 놓칠 뻔했다. 그는 테크크런치와의 인터뷰에서 “정말 뜻밖이었다”고 말했다.2009년, 자하리아가 UC 버클리에서 저명한 이온 스토이카(Ion Stoica) 교수의 지도 아래 박사 과정 중 개발한 기술이 데이터브릭스에
오픈AI의 샘 알트먼, 초지능 시대의 도래 선언
오픈AI의 샘 알트만 최고경영자(CEO)는 인류가 인공 초지능 시대에 진입했으며 되돌릴 수 없다고 선언했다."우리는 되돌릴 수 없는 지점을 넘어섰으며, 상승이 시작됐다"고 알트먼은 말한다. "우리는 디지털 초지능을 창조하는 문턱에 서 있으며, 지금까지는 상상했던 것보다 놀랍게도 덜 낯설다."로봇이 아직 거리에서 흔히 보이지도 않고 질병도 여전히 존재하는 등
관련 특별 주제 추천
의견 (52)
0/500
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔

수요일에 구글 딥마인드는 AGI 안전에 대한 그들의 접근 방식을 깊이 탐구하는 145페이지 분량의 논문을 발표했다. AGI, 즉 인공지능 일반은 인간이 할 수 있는 모든 작업을 수행할 수 있는 AI로, AI 세계에서 뜨거운 주제다. 어떤 사람들은 이를 단순한 환상이라고 생각하지만, Anthropic의 주요 인사들처럼 다른 이들은 AGI가 곧 도달할 수 있으며, 안전 조치가 제대로 마련되지 않으면 심각한 문제를 일으킬 수 있다고 믿는다.
딥마인드의 논문은 공동 창립자 셰인 레그의 도움을 받아 작성되었으며, AGI가 2030년까지 나타날 수 있으며 "심각한 피해"를 초래할 수 있다고 본다. 구체적으로 명시하지는 않았지만, "실존적 위험"과 같이 "인류를 영구히 파괴할 수 있다"는 무서운 표현을 사용한다.
저자들은 "우리는 이 10년이 끝나기 전에 뛰어난 AGI를 볼 것이라고 확신한다"고 언급한다. "뛰어난 AGI는 비물리적 작업에서 상위 1%의 성인 기술을 따라잡을 수 있는 시스템으로, 새로운 기술을 배우는 것과 같은 까다로운 일을 포함한다."
논문은 처음부터 딥마인드의 AGI 위험 관리 방식을 Anthropic과 OpenAI의 방식과 비교한다. Anthropic은 "견고한 훈련, 모니터링, 보안"에 그다지 중점을 두지 않는다고 하며, OpenAI는 정렬 연구라는 AI 안전 연구를 "자동화"하는 데 집중한다고 말한다.
논문은 또한 슈퍼인텔리전트 AI, 즉 인간보다 모든 작업에서 뛰어난 AI라는 개념에 약간의 회의를 표한다. (OpenAI는 최근 AGI에서 슈퍼인텔리전스로 초점을 전환했다고 밝혔다.) 딥마인드의 저자들은 획기적인 돌파구 없이는 슈퍼인텔리전트 시스템이 곧 등장하거나, 어쩌면 절대 등장하지 않을 것이라고 믿는다.
하지만 그들은 현재 방법으로 "재귀적 AI 개선"이 가능할 수 있다고 생각한다. 즉, AI가 스스로 AI 연구를 수행해 더 똑똑한 AI 시스템을 만드는 것이다. 그리고 이는 매우 위험할 수 있다고 경고한다.
전반적으로 논문은 AGI로부터 악의적인 행위자를 차단하고, AI 시스템이 무엇을 하는지 더 잘 이해하며, AI가 작동하는 환경을 더 안전하게 만들 방법을 개발해야 한다고 제안한다. 그들은 이러한 아이디어의 많은 부분이 아직 초기 단계에 있으며 "열린 연구 문제"가 있다고 인정하지만, 다가올 안전 문제를 무시하지 말 것을 촉구한다.
저자들은 "AGI는 놀라운 이익을 가져올 수도 있고 심각한 피해를 줄 수도 있다"고 지적한다. "따라서 AGI를 올바르게 구축하려면, 주요 AI 개발자들이 미리 계획하고 큰 위험을 해결하는 것이 중요하다."
하지만 모두가 이 논문의 아이디어에 동의하는 것은 아니다.
비영리 AI Now Institute의 수석 AI 과학자인 헤이디 클라프는 TechCrunch에 AGI가 "과학적으로 엄격하게 평가되기에는 너무 모호한 개념"이라고 말했다. 앨버타 대학의 또 다른 AI 연구자인 매튜 구즈디얼은 재귀적 AI 개선이 현재 실현 가능하다고 확신하지 않는다고 말했다.
구즈디얼은 TechCrunch에 "재귀적 개선은 지능 싱귤래리티 논쟁의 기반이지만, 그것이 실제로 작동한다는 증거는 본 적이 없다"고 말했다.
옥스포드에서 기술과 규제를 연구하는 산드라 바흐터는 더 시급한 우려를 지적한다: AI가 "부정확한 출력"으로 스스로를 강화하는 것.
그녀는 TechCrunch에 "온라인에 AI 생성 콘텐츠가 점점 많아지고 실제 데이터가 대체되면서, 모델이 부정확하거나 환각이 가득한 자체 출력에서 배우고 있다"고 말했다. "챗봇은 주로 검색과 진실 찾기에 사용되므로, 우리는 항상 매우 그럴듯하게 제시된 잘못된 정보를 받을 위험이 있다."
철저함에도 불구하고, 딥마인드의 논문은 AGI의 가능성과 현재 가장 주목해야 할 AI 안전 문제에 대한 논쟁을 끝내지 못할 것이다.
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
데이터브릭스 공동 창업자, ACM 상 수상 후 AGI 도래 주장
Databricks의 공동 창립자이자 CTO인 마테이 자하리아는 자신이 2026년 ACM 컴퓨팅 상을 수상했다는 소식을 알리는 이메일을 거의 놓칠 뻔했다. 그는 테크크런치와의 인터뷰에서 “정말 뜻밖이었다”고 말했다.2009년, 자하리아가 UC 버클리에서 저명한 이온 스토이카(Ion Stoica) 교수의 지도 아래 박사 과정 중 개발한 기술이 데이터브릭스에
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔





집






