Deepmind의 AGI 안전 논문은 회의론자를 흔들지 못합니다

수요일에 구글 딥마인드는 AGI 안전에 대한 그들의 접근 방식을 깊이 탐구하는 145페이지 분량의 논문을 발표했다. AGI, 즉 인공지능 일반은 인간이 할 수 있는 모든 작업을 수행할 수 있는 AI로, AI 세계에서 뜨거운 주제다. 어떤 사람들은 이를 단순한 환상이라고 생각하지만, Anthropic의 주요 인사들처럼 다른 이들은 AGI가 곧 도달할 수 있으며, 안전 조치가 제대로 마련되지 않으면 심각한 문제를 일으킬 수 있다고 믿는다.

딥마인드의 논문은 공동 창립자 셰인 레그의 도움을 받아 작성되었으며, AGI가 2030년까지 나타날 수 있으며 "심각한 피해"를 초래할 수 있다고 본다. 구체적으로 명시하지는 않았지만, "실존적 위험"과 같이 "인류를 영구히 파괴할 수 있다"는 무서운 표현을 사용한다.

저자들은 "우리는 이 10년이 끝나기 전에 뛰어난 AGI를 볼 것이라고 확신한다"고 언급한다. "뛰어난 AGI는 비물리적 작업에서 상위 1%의 성인 기술을 따라잡을 수 있는 시스템으로, 새로운 기술을 배우는 것과 같은 까다로운 일을 포함한다."

논문은 처음부터 딥마인드의 AGI 위험 관리 방식을 Anthropic과 OpenAI의 방식과 비교한다. Anthropic은 "견고한 훈련, 모니터링, 보안"에 그다지 중점을 두지 않는다고 하며, OpenAI는 정렬 연구라는 AI 안전 연구를 "자동화"하는 데 집중한다고 말한다.

논문은 또한 슈퍼인텔리전트 AI, 즉 인간보다 모든 작업에서 뛰어난 AI라는 개념에 약간의 회의를 표한다. (OpenAI는 최근 AGI에서 슈퍼인텔리전스로 초점을 전환했다고 밝혔다.) 딥마인드의 저자들은 획기적인 돌파구 없이는 슈퍼인텔리전트 시스템이 곧 등장하거나, 어쩌면 절대 등장하지 않을 것이라고 믿는다.

하지만 그들은 현재 방법으로 "재귀적 AI 개선"이 가능할 수 있다고 생각한다. 즉, AI가 스스로 AI 연구를 수행해 더 똑똑한 AI 시스템을 만드는 것이다. 그리고 이는 매우 위험할 수 있다고 경고한다.

전반적으로 논문은 AGI로부터 악의적인 행위자를 차단하고, AI 시스템이 무엇을 하는지 더 잘 이해하며, AI가 작동하는 환경을 더 안전하게 만들 방법을 개발해야 한다고 제안한다. 그들은 이러한 아이디어의 많은 부분이 아직 초기 단계에 있으며 "열린 연구 문제"가 있다고 인정하지만, 다가올 안전 문제를 무시하지 말 것을 촉구한다.

저자들은 "AGI는 놀라운 이익을 가져올 수도 있고 심각한 피해를 줄 수도 있다"고 지적한다. "따라서 AGI를 올바르게 구축하려면, 주요 AI 개발자들이 미리 계획하고 큰 위험을 해결하는 것이 중요하다."

하지만 모두가 이 논문의 아이디어에 동의하는 것은 아니다.

비영리 AI Now Institute의 수석 AI 과학자인 헤이디 클라프는 TechCrunch에 AGI가 "과학적으로 엄격하게 평가되기에는 너무 모호한 개념"이라고 말했다. 앨버타 대학의 또 다른 AI 연구자인 매튜 구즈디얼은 재귀적 AI 개선이 현재 실현 가능하다고 확신하지 않는다고 말했다.

구즈디얼은 TechCrunch에 "재귀적 개선은 지능 싱귤래리티 논쟁의 기반이지만, 그것이 실제로 작동한다는 증거는 본 적이 없다"고 말했다.

옥스포드에서 기술과 규제를 연구하는 산드라 바흐터는 더 시급한 우려를 지적한다: AI가 "부정확한 출력"으로 스스로를 강화하는 것.

그녀는 TechCrunch에 "온라인에 AI 생성 콘텐츠가 점점 많아지고 실제 데이터가 대체되면서, 모델이 부정확하거나 환각이 가득한 자체 출력에서 배우고 있다"고 말했다. "챗봇은 주로 검색과 진실 찾기에 사용되므로, 우리는 항상 매우 그럴듯하게 제시된 잘못된 정보를 받을 위험이 있다."

철저함에도 불구하고, 딥마인드의 논문은 AGI의 가능성과 현재 가장 주목해야 할 AI 안전 문제에 대한 논쟁을 끝내지 못할 것이다.