DeepmindのAGI安全紙は懐疑論者を揺るがすことができません

水曜日に、Google DeepMindはAGIの安全性に関する145ページにわたる詳細な論文を公開しました。AGI、つまり人工汎用知能は、人間がこなせるあらゆるタスクを処理できるAIで、AI界では注目の話題です。一部の人々はこれを単なる空想と考えますが、Anthropicのような大手は、すぐそこまで来ており、安全対策を整えなければ深刻な問題を引き起こす可能性があると信じています。
DeepMindの論文は、共同創業者シェーン・レッグの協力で書かれ、AGIが2030年までに登場し、「重大な害」を引き起こす可能性があると推測しています。具体的な詳細は明示されていませんが、「人類を永久に破壊する」ような「実存的リスク」といった恐ろしい表現が使われています。
「我々は、この10年が終わる前にExceptional AGIが登場すると予想しています」と著者らは記しています。「Exceptional AGIとは、身体的でないタスクの多くで、上位1%の成人のスキルに匹敵するシステムで、新しいスキルの学習のような難しいことも含まれます。」
論文は冒頭から、DeepMindのAGIリスクへの対応をAnthropicやOpenAIと比較しています。Anthropicは「堅牢なトレーニング、監視、セキュリティ」にそれほど注力していないとし、OpenAIはAI安全研究の一種であるアライメント研究を「自動化」することに重点を置いていると述べています。
論文はまた、超知能AI—どんな人間よりも仕事で優れたAI—という考えに疑問を投げかけています。(OpenAIは最近、AGIから超知能への焦点の移行を表明しました。)大きなブレークスルーがなければ、DeepMindの著者らは超知能システムが近いうちに、または永遠に登場するとは考えていません。
しかし、現在の手法が「再帰的AI改善」を引き起こす可能性はあると考えており、AIが自らAI研究を行ってさらに賢いAIシステムを作るというものです。そしてそれは、非常に危険だと警告しています。
全体として、論文は悪意ある者からAGIを守る方法を開発し、AIシステムの動作をより良く理解し、AIが動作する環境をより安全にする必要があると提案しています。これらのアイデアの多くはまだ初期段階にあり、「未解決の研究課題」があると認めていますが、迫りくる安全性の問題を無視しないよう促しています。
「AGIは驚くべき利益をもたらす可能性がある一方、深刻な害を引き起こす可能性もあります」と著者らは指摘します。「だから、AGIを正しく構築するには、トップAI開発者が前もって計画し、大きなリスクに取り組むことが不可欠です。」
しかし、論文の考えに全員が賛同しているわけではありません。
非営利のAI Now Instituteの主任AI科学者ハイディ・クラーフは、TechCrunchに対し、AGIは「科学的に厳密に評価するには曖昧すぎる概念」だと述べました。アルバータ大学のAI研究者マシュー・グズディアルは、再帰的AI改善が現時点で実現可能だと確信していません。
「再帰的改善は知能シンギュラリティ論の基盤ですが、それが実際に機能するという証拠はこれまでに見たことがありません」とグズディアルはTechCrunchに語りました。
オックスフォードで技術と規制を研究するサンドラ・ワクターは、より差し迫った懸念として、AIが「不正確な出力」で自己強化することを指摘しています。
「オンライン上のAI生成コンテンツが増え、実際のデータが置き換えられるにつれて、モデルは不正確さや幻覚に満ちた自身の出力から学習しています」と彼女はTechCrunchに語りました。「チャットボットは主に検索や真実の探求に使われるため、非常に説得力のある形で誤った情報が提供されるリスクが常にあります。」
詳細な内容にもかかわらず、DeepMindの論文は、AGIがどの程度実現可能か、そしてどのAI安全性の問題が今最も注目されるべきかについての議論を終わらせることはないでしょう。
関連記事
OpenAIは、公的基金、ロボット税、週4日勤務制を柱とするAI経済の構想を提示した
各国政府が超知能機械による経済的影響への対応に苦慮する中、OpenAIは「知能の時代」において富と労働がどのように再構築されるべきかを概説した一連の政策提言を発表した。その構想は、公的資産基金や社会安全網の拡充といった伝統的な左派的な仕組みと、根本的に資本主義的で市場主導型の経済枠組みとを融合させたものである。OpenAIの提案は本質的に「要望リスト」に相当し、人工知能が労働と経済を変革する中で、
Databricksの共同創業者、ACM賞受賞後にAGIの実現を主張
Databricksの共同創業者兼CTOであるマテイ・ザハリア氏は、自身が2026年ACMコンピューティング賞を受賞したことを知らせるメールを、見落とすところだった。「本当に驚きでした」と彼はTechCrunchに語った。2009年、ザハリアがカリフォルニア大学バークレー校(UCバークレー)の博士課程在籍中に、著名なイオン・ストイカ教授の指導の下で開発した技術が、Databricksに組み込まれた
OpenAIのサム・アルトマン、超知能時代の到来を宣言
OpenAIのサム・アルトマンCEOは、人類が人工超知能の時代に入り、後戻りは不可能だと発表した。「我々は後戻りできない地点を通過し、上昇が始まった」とアルトマンは語る。「デジタル超知能の創造の瀬戸際に立っているが、これまでのところ、想像していたよりも驚くほど奇妙ではない」明らかな兆候(街中にロボットが溢れていない、疾病が依然存在する)がないことは、アルトマンが「既に進行中の深い変革」と表現する実
関連特集おすすめ
コメント (52)
0/500
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔

水曜日に、Google DeepMindはAGIの安全性に関する145ページにわたる詳細な論文を公開しました。AGI、つまり人工汎用知能は、人間がこなせるあらゆるタスクを処理できるAIで、AI界では注目の話題です。一部の人々はこれを単なる空想と考えますが、Anthropicのような大手は、すぐそこまで来ており、安全対策を整えなければ深刻な問題を引き起こす可能性があると信じています。
DeepMindの論文は、共同創業者シェーン・レッグの協力で書かれ、AGIが2030年までに登場し、「重大な害」を引き起こす可能性があると推測しています。具体的な詳細は明示されていませんが、「人類を永久に破壊する」ような「実存的リスク」といった恐ろしい表現が使われています。
「我々は、この10年が終わる前にExceptional AGIが登場すると予想しています」と著者らは記しています。「Exceptional AGIとは、身体的でないタスクの多くで、上位1%の成人のスキルに匹敵するシステムで、新しいスキルの学習のような難しいことも含まれます。」
論文は冒頭から、DeepMindのAGIリスクへの対応をAnthropicやOpenAIと比較しています。Anthropicは「堅牢なトレーニング、監視、セキュリティ」にそれほど注力していないとし、OpenAIはAI安全研究の一種であるアライメント研究を「自動化」することに重点を置いていると述べています。
論文はまた、超知能AI—どんな人間よりも仕事で優れたAI—という考えに疑問を投げかけています。(OpenAIは最近、AGIから超知能への焦点の移行を表明しました。)大きなブレークスルーがなければ、DeepMindの著者らは超知能システムが近いうちに、または永遠に登場するとは考えていません。
しかし、現在の手法が「再帰的AI改善」を引き起こす可能性はあると考えており、AIが自らAI研究を行ってさらに賢いAIシステムを作るというものです。そしてそれは、非常に危険だと警告しています。
全体として、論文は悪意ある者からAGIを守る方法を開発し、AIシステムの動作をより良く理解し、AIが動作する環境をより安全にする必要があると提案しています。これらのアイデアの多くはまだ初期段階にあり、「未解決の研究課題」があると認めていますが、迫りくる安全性の問題を無視しないよう促しています。
「AGIは驚くべき利益をもたらす可能性がある一方、深刻な害を引き起こす可能性もあります」と著者らは指摘します。「だから、AGIを正しく構築するには、トップAI開発者が前もって計画し、大きなリスクに取り組むことが不可欠です。」
しかし、論文の考えに全員が賛同しているわけではありません。
非営利のAI Now Instituteの主任AI科学者ハイディ・クラーフは、TechCrunchに対し、AGIは「科学的に厳密に評価するには曖昧すぎる概念」だと述べました。アルバータ大学のAI研究者マシュー・グズディアルは、再帰的AI改善が現時点で実現可能だと確信していません。
「再帰的改善は知能シンギュラリティ論の基盤ですが、それが実際に機能するという証拠はこれまでに見たことがありません」とグズディアルはTechCrunchに語りました。
オックスフォードで技術と規制を研究するサンドラ・ワクターは、より差し迫った懸念として、AIが「不正確な出力」で自己強化することを指摘しています。
「オンライン上のAI生成コンテンツが増え、実際のデータが置き換えられるにつれて、モデルは不正確さや幻覚に満ちた自身の出力から学習しています」と彼女はTechCrunchに語りました。「チャットボットは主に検索や真実の探求に使われるため、非常に説得力のある形で誤った情報が提供されるリスクが常にあります。」
詳細な内容にもかかわらず、DeepMindの論文は、AGIがどの程度実現可能か、そしてどのAI安全性の問題が今最も注目されるべきかについての議論を終わらせることはないでしょう。
OpenAIは、公的基金、ロボット税、週4日勤務制を柱とするAI経済の構想を提示した
各国政府が超知能機械による経済的影響への対応に苦慮する中、OpenAIは「知能の時代」において富と労働がどのように再構築されるべきかを概説した一連の政策提言を発表した。その構想は、公的資産基金や社会安全網の拡充といった伝統的な左派的な仕組みと、根本的に資本主義的で市場主導型の経済枠組みとを融合させたものである。OpenAIの提案は本質的に「要望リスト」に相当し、人工知能が労働と経済を変革する中で、
Databricksの共同創業者、ACM賞受賞後にAGIの実現を主張
Databricksの共同創業者兼CTOであるマテイ・ザハリア氏は、自身が2026年ACMコンピューティング賞を受賞したことを知らせるメールを、見落とすところだった。「本当に驚きでした」と彼はTechCrunchに語った。2009年、ザハリアがカリフォルニア大学バークレー校(UCバークレー)の博士課程在籍中に、著名なイオン・ストイカ教授の指導の下で開発した技術が、Databricksに組み込まれた
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔





家






