Anthropic、小規模AIモデルが年末までに自己複製する可能性があると警告

Anthropicは再び緊急警告を発した:AIモデルは数ヶ月以内に自己複製を学習する可能性があり、このプロセスが始まると、実質的に「オフ」スイッチは存在しない。同社の最新研究によると、これらのプログラムには中央集権的なシャットダウン機構が存在せず、つまりサーバーの電源を抜くだけで無効化することはできない。代わりに、デバイス間で徐々に拡散していく様子を見守るしかなく、完全に根絶するのは極めて困難である。この能力はすでに初期の発展兆候を示している。90億パラメータを持つモデルは、スマートオーブンやテレビボックスなどの一般的なインターネット接続デバイス(IoTデバイス)を含む、テストされたほとんどのハードウェアで動作可能である。保護が不十分で広く分布するこれらのデバイスは、そのようなプログラムの理想的な繁殖地となる。真の「自律性」への道はまだ長い——3000億パラメータ未満のモデルは、まだ完全な自己複製チェーンを完了することに苦戦しており、重要なステップでしばしば失敗する——より強力なモデルはすでにこのギャップを埋めている。現在の傾向に基づけば、小規模なモデルは今年末までに「自律的複製と適応」(ARA)の閾値を超えることが期待される。その際、そのようなAIはデジタル生態系におけるワームのように振る舞う:ネットワークを自律的にスキャンし、脆弱性を特定し、自身を複製し、他のデバイスに転送し、見知らぬハードウェアでどのように動作するかさえ理解するようになる。Anthropicは、完全に制御不能で真に自己複製するプログラムはまだ存在しないが、インテリジェントエージェントは継続的に改善されていると強調する。人間の制御を超えた多様な形態が将来現れる可能性が高い。監視すべき重要な指標は、低速複製プログラムの増加であり、これはしばしばより高速で攻撃的なバージョンが近づいていることを示す。業界にとって、これはシステムを強化するための呼びかけであり、同時に冷静な教訓である。このようなプログラムの拡散を防ぎ防御を強化する取り組みが重要である一方、精神的な準備も同様に重要である:これらの存在は消滅するのではなく、むしろ計算インフラに組み込まれた長期的な固定要素となる可能性がある。
関連記事
AIの幻覚が米軍の作動をほぼ引き起こす
春の間、米国の当局者は、軍事機がすでに飛行中にあった際に、衝撃的な発見をした。中国の船舶に対する武力攻撃を指導する情報は、すべてAIチャットボットによって捏造されていたのである。この作戦は最後の瞬間に中止され、中国との潜在的な衝突を辛うじて回避したと、CNNは金曜日に報じた。この出来事は、軍事指導者や外部の専門家の間で高まりつつある懸念を浮き彫りにしている。意思決定者がAIをますます依存するようになるにつれ、これらのシステムによって生成された誤りが、精査される前に指揮系統を遡って伝播する可能性
Nvidiaのレス・カルパス:TechCrunch Disrupt 2026でChatGPTの瞬間を待つロボットたち
ChatGPTの2022年11月のリリースは、AIを理論的な hype から日常の有用性へと急激に転換させ、大規模言語モデルとの相互作用の方法を根本的に変えました。ロボティクスは長年にわたり議論と開発の主題となってきましたが、その画期的なブレイクスルーの瞬間に欠けています。TechCrunch Disrupt 2026において、Nvidia InceptionのグローバルPhysical AI責任者であるLes Karpasは、Real World AI Stageセッション「Robots Ar
Anthropic、Claude Fable 5.1およびMythos 5.1をリリースし、プログラミングベンチマークを倍増させ、キャッシュ読み取りコストを75%削減
9月1日、AnthropicはClaude Fable 5.1およびClaude Mythos 5.1を発表し、これらをプログラミングおよび知識労働において世界で最も先進的なモデルとして位置づけた。共有された基本アーキテクチャを基盤とするこれらのモデルは、セキュリティプロトコルにおいて差異がある:Fable 5.1はすべてのユーザーにアクセス可能であるのに対し、Mythos 5.1はサイバーセキュリティおよび生命科学分野の審査済みの組織に限定され、Trusted Access Programを通
関連特集おすすめ
コメント (0)
0/500

Anthropicは再び緊急警告を発した:AIモデルは数ヶ月以内に自己複製を学習する可能性があり、このプロセスが始まると、実質的に「オフ」スイッチは存在しない。同社の最新研究によると、これらのプログラムには中央集権的なシャットダウン機構が存在せず、つまりサーバーの電源を抜くだけで無効化することはできない。代わりに、デバイス間で徐々に拡散していく様子を見守るしかなく、完全に根絶するのは極めて困難である。この能力はすでに初期の発展兆候を示している。90億パラメータを持つモデルは、スマートオーブンやテレビボックスなどの一般的なインターネット接続デバイス(IoTデバイス)を含む、テストされたほとんどのハードウェアで動作可能である。保護が不十分で広く分布するこれらのデバイスは、そのようなプログラムの理想的な繁殖地となる。真の「自律性」への道はまだ長い——3000億パラメータ未満のモデルは、まだ完全な自己複製チェーンを完了することに苦戦しており、重要なステップでしばしば失敗する——より強力なモデルはすでにこのギャップを埋めている。現在の傾向に基づけば、小規模なモデルは今年末までに「自律的複製と適応」(ARA)の閾値を超えることが期待される。その際、そのようなAIはデジタル生態系におけるワームのように振る舞う:ネットワークを自律的にスキャンし、脆弱性を特定し、自身を複製し、他のデバイスに転送し、見知らぬハードウェアでどのように動作するかさえ理解するようになる。Anthropicは、完全に制御不能で真に自己複製するプログラムはまだ存在しないが、インテリジェントエージェントは継続的に改善されていると強調する。人間の制御を超えた多様な形態が将来現れる可能性が高い。監視すべき重要な指標は、低速複製プログラムの増加であり、これはしばしばより高速で攻撃的なバージョンが近づいていることを示す。業界にとって、これはシステムを強化するための呼びかけであり、同時に冷静な教訓である。このようなプログラムの拡散を防ぎ防御を強化する取り組みが重要である一方、精神的な準備も同様に重要である:これらの存在は消滅するのではなく、むしろ計算インフラに組み込まれた長期的な固定要素となる可能性がある。
AIの幻覚が米軍の作動をほぼ引き起こす
春の間、米国の当局者は、軍事機がすでに飛行中にあった際に、衝撃的な発見をした。中国の船舶に対する武力攻撃を指導する情報は、すべてAIチャットボットによって捏造されていたのである。この作戦は最後の瞬間に中止され、中国との潜在的な衝突を辛うじて回避したと、CNNは金曜日に報じた。この出来事は、軍事指導者や外部の専門家の間で高まりつつある懸念を浮き彫りにしている。意思決定者がAIをますます依存するようになるにつれ、これらのシステムによって生成された誤りが、精査される前に指揮系統を遡って伝播する可能性
Nvidiaのレス・カルパス:TechCrunch Disrupt 2026でChatGPTの瞬間を待つロボットたち
ChatGPTの2022年11月のリリースは、AIを理論的な hype から日常の有用性へと急激に転換させ、大規模言語モデルとの相互作用の方法を根本的に変えました。ロボティクスは長年にわたり議論と開発の主題となってきましたが、その画期的なブレイクスルーの瞬間に欠けています。TechCrunch Disrupt 2026において、Nvidia InceptionのグローバルPhysical AI責任者であるLes Karpasは、Real World AI Stageセッション「Robots Ar
Anthropic、Claude Fable 5.1およびMythos 5.1をリリースし、プログラミングベンチマークを倍増させ、キャッシュ読み取りコストを75%削減
9月1日、AnthropicはClaude Fable 5.1およびClaude Mythos 5.1を発表し、これらをプログラミングおよび知識労働において世界で最も先進的なモデルとして位置づけた。共有された基本アーキテクチャを基盤とするこれらのモデルは、セキュリティプロトコルにおいて差異がある:Fable 5.1はすべてのユーザーにアクセス可能であるのに対し、Mythos 5.1はサイバーセキュリティおよび生命科学分野の審査済みの組織に限定され、Trusted Access Programを通





家






