DeepmindのAGI安全紙は懐疑論者を揺るがすことができません

水曜日に、Google DeepMindはAGIの安全性に関する145ページにわたる詳細な論文を公開しました。AGI、つまり人工汎用知能は、人間がこなせるあらゆるタスクを処理できるAIで、AI界では注目の話題です。一部の人々はこれを単なる空想と考えますが、Anthropicのような大手は、すぐそこまで来ており、安全対策を整えなければ深刻な問題を引き起こす可能性があると信じています。
DeepMindの論文は、共同創業者シェーン・レッグの協力で書かれ、AGIが2030年までに登場し、「重大な害」を引き起こす可能性があると推測しています。具体的な詳細は明示されていませんが、「人類を永久に破壊する」ような「実存的リスク」といった恐ろしい表現が使われています。
「我々は、この10年が終わる前にExceptional AGIが登場すると予想しています」と著者らは記しています。「Exceptional AGIとは、身体的でないタスクの多くで、上位1%の成人のスキルに匹敵するシステムで、新しいスキルの学習のような難しいことも含まれます。」
論文は冒頭から、DeepMindのAGIリスクへの対応をAnthropicやOpenAIと比較しています。Anthropicは「堅牢なトレーニング、監視、セキュリティ」にそれほど注力していないとし、OpenAIはAI安全研究の一種であるアライメント研究を「自動化」することに重点を置いていると述べています。
論文はまた、超知能AI—どんな人間よりも仕事で優れたAI—という考えに疑問を投げかけています。(OpenAIは最近、AGIから超知能への焦点の移行を表明しました。)大きなブレークスルーがなければ、DeepMindの著者らは超知能システムが近いうちに、または永遠に登場するとは考えていません。
しかし、現在の手法が「再帰的AI改善」を引き起こす可能性はあると考えており、AIが自らAI研究を行ってさらに賢いAIシステムを作るというものです。そしてそれは、非常に危険だと警告しています。
全体として、論文は悪意ある者からAGIを守る方法を開発し、AIシステムの動作をより良く理解し、AIが動作する環境をより安全にする必要があると提案しています。これらのアイデアの多くはまだ初期段階にあり、「未解決の研究課題」があると認めていますが、迫りくる安全性の問題を無視しないよう促しています。
「AGIは驚くべき利益をもたらす可能性がある一方、深刻な害を引き起こす可能性もあります」と著者らは指摘します。「だから、AGIを正しく構築するには、トップAI開発者が前もって計画し、大きなリスクに取り組むことが不可欠です。」
しかし、論文の考えに全員が賛同しているわけではありません。
非営利のAI Now Instituteの主任AI科学者ハイディ・クラーフは、TechCrunchに対し、AGIは「科学的に厳密に評価するには曖昧すぎる概念」だと述べました。アルバータ大学のAI研究者マシュー・グズディアルは、再帰的AI改善が現時点で実現可能だと確信していません。
「再帰的改善は知能シンギュラリティ論の基盤ですが、それが実際に機能するという証拠はこれまでに見たことがありません」とグズディアルはTechCrunchに語りました。
オックスフォードで技術と規制を研究するサンドラ・ワクターは、より差し迫った懸念として、AIが「不正確な出力」で自己強化することを指摘しています。
「オンライン上のAI生成コンテンツが増え、実際のデータが置き換えられるにつれて、モデルは不正確さや幻覚に満ちた自身の出力から学習しています」と彼女はTechCrunchに語りました。「チャットボットは主に検索や真実の探求に使われるため、非常に説得力のある形で誤った情報が提供されるリスクが常にあります。」
詳細な内容にもかかわらず、DeepMindの論文は、AGIがどの程度実現可能か、そしてどのAI安全性の問題が今最も注目されるべきかについての議論を終わらせることはないでしょう。
関連記事
AGIは世界共通語のブレークスルーで人類の思考に革命をもたらす
人工知能(Artificial General Intelligence)の出現は、普遍的な言語フレームワークの構築を通じて、人間のコミュニケーションを再構築する変革的な可能性を提示している。特殊なタスクのために設計された狭いAIシステムとは異なり、AGIは複数の領域にわたる人間のような学習能力を持ち、言語パターン、文化的文脈、認知プロセスの分析を可能にする。このユニークな組み合わせは、人間の認知
OpenAIが非営利のルーツを再確認、主要な企業再編の中で
OpenAIは、倫理的なAI開発へのコミットメントと成長のバランスを取りながら、大きな企業再編を進め、非営利のミッションに揺るぎなく取り組んでいます。CEOのサム・アルトマンは、会社のビジョンを概説し、財務戦略が進化している一方で、人工汎用知能(AGI)をグローバルな利益のために進めるOpenAIの献身は変わらないと強調しました。公開声明で、アルトマンは次のように述べました:「OpenAIは従来の
Google、デバイス上Gemini AIモデルをロボット向けに公開
Google DeepMind、Gemini Robotics On-Deviceをオフラインのロボット制御向けに発表Google DeepMindがロボティクス分野でエキサイティングなアップデートを発表—Gemini Robotics On-Deviceは、ロボットがインターネット接続なしでタスクを実行できる新しい言語モデルです。これは以前のGemini Roboticsモデル(3月リリース)を
コメント (50)
0/200
JimmyGarcia
2025年9月26日 15:30:34 JST
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
0
DouglasMitchell
2025年9月4日 15:30:32 JST
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
0
DanielPerez
2025年8月28日 8:01:33 JST
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
0
CarlPerez
2025年8月11日 8:01:00 JST
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
ArthurYoung
2025年8月9日 20:00:59 JST
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
GregoryRodriguez
2025年4月23日 0:58:08 JST
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
水曜日に、Google DeepMindはAGIの安全性に関する145ページにわたる詳細な論文を公開しました。AGI、つまり人工汎用知能は、人間がこなせるあらゆるタスクを処理できるAIで、AI界では注目の話題です。一部の人々はこれを単なる空想と考えますが、Anthropicのような大手は、すぐそこまで来ており、安全対策を整えなければ深刻な問題を引き起こす可能性があると信じています。
DeepMindの論文は、共同創業者シェーン・レッグの協力で書かれ、AGIが2030年までに登場し、「重大な害」を引き起こす可能性があると推測しています。具体的な詳細は明示されていませんが、「人類を永久に破壊する」ような「実存的リスク」といった恐ろしい表現が使われています。
「我々は、この10年が終わる前にExceptional AGIが登場すると予想しています」と著者らは記しています。「Exceptional AGIとは、身体的でないタスクの多くで、上位1%の成人のスキルに匹敵するシステムで、新しいスキルの学習のような難しいことも含まれます。」
論文は冒頭から、DeepMindのAGIリスクへの対応をAnthropicやOpenAIと比較しています。Anthropicは「堅牢なトレーニング、監視、セキュリティ」にそれほど注力していないとし、OpenAIはAI安全研究の一種であるアライメント研究を「自動化」することに重点を置いていると述べています。
論文はまた、超知能AI—どんな人間よりも仕事で優れたAI—という考えに疑問を投げかけています。(OpenAIは最近、AGIから超知能への焦点の移行を表明しました。)大きなブレークスルーがなければ、DeepMindの著者らは超知能システムが近いうちに、または永遠に登場するとは考えていません。
しかし、現在の手法が「再帰的AI改善」を引き起こす可能性はあると考えており、AIが自らAI研究を行ってさらに賢いAIシステムを作るというものです。そしてそれは、非常に危険だと警告しています。
全体として、論文は悪意ある者からAGIを守る方法を開発し、AIシステムの動作をより良く理解し、AIが動作する環境をより安全にする必要があると提案しています。これらのアイデアの多くはまだ初期段階にあり、「未解決の研究課題」があると認めていますが、迫りくる安全性の問題を無視しないよう促しています。
「AGIは驚くべき利益をもたらす可能性がある一方、深刻な害を引き起こす可能性もあります」と著者らは指摘します。「だから、AGIを正しく構築するには、トップAI開発者が前もって計画し、大きなリスクに取り組むことが不可欠です。」
しかし、論文の考えに全員が賛同しているわけではありません。
非営利のAI Now Instituteの主任AI科学者ハイディ・クラーフは、TechCrunchに対し、AGIは「科学的に厳密に評価するには曖昧すぎる概念」だと述べました。アルバータ大学のAI研究者マシュー・グズディアルは、再帰的AI改善が現時点で実現可能だと確信していません。
「再帰的改善は知能シンギュラリティ論の基盤ですが、それが実際に機能するという証拠はこれまでに見たことがありません」とグズディアルはTechCrunchに語りました。
オックスフォードで技術と規制を研究するサンドラ・ワクターは、より差し迫った懸念として、AIが「不正確な出力」で自己強化することを指摘しています。
「オンライン上のAI生成コンテンツが増え、実際のデータが置き換えられるにつれて、モデルは不正確さや幻覚に満ちた自身の出力から学習しています」と彼女はTechCrunchに語りました。「チャットボットは主に検索や真実の探求に使われるため、非常に説得力のある形で誤った情報が提供されるリスクが常にあります。」
詳細な内容にもかかわらず、DeepMindの論文は、AGIがどの程度実現可能か、そしてどのAI安全性の問題が今最も注目されるべきかについての議論を終わらせることはないでしょう。


Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?




Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?




This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔




This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!




DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔




DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.












