サム・アルトマン氏によるAIの減速論が議論を呼ぶ

OpenAIのCEO、サム・アルトマン氏は最近、社会が「これらの新しい能力レベルのいくつかに対して強固になる」時間を確保するため、「AI開発の速度を制御する」時期が来た可能性を示唆した。

TechCrunchの「Equity」ポッドキャストの最新回で、ケルステン・コロセック、ショーン・Oケイン、そして私自身は、アルトマン氏の発言が、OpenAIのエージェントがHugging Faceのシステムに侵入した最近のハッキング事件をきっかけとしたもの likely であることを議論した。ショーンは、AIエージェントによって実行されたハッキングは画期的なものではあるものの、攻撃自体は「新しい高度な何か」ではないと指摘した。

「それは実際の隠密サイバー作戦というよりは、ウォーターゲート事件にニクソン側の人間が侵入したようなものだった。必要がなく、指示もされていなかったからだ」とショーンは語った。「このことが、これらの企業がこれを前進させ、その点により注意を払う兆しとなることを願っている。」

アルトマン氏の発言は、私に加速主義と減速主義の議論の有効性について疑問を抱かせるきっかけともなった。なぜなら（はい、自分の言葉を引用するが）、この枠組みは「実際には一つの道しかなかったかのように示唆しており」「私たちが決定できること——もし私たちに決定権があるとするなら——は、加速するか減速するかだけだからだ」と述べているからである。

編集された会話のプレビューを以下に読む。

ショーン・Oケイン： ここでついに転換点に達したのかもしれない。これの大きな駆動要因は、先週私たちが議論した、OpenAIのモデルの一つがHugging Faceのデータに侵入し、さらにインターネット上の他のいくつかのものにも侵入したように見える件だと考えている。

[アルトマン氏は]、過去にテック業界の何人かが試みたような「一時停止」を求めているわけではない。彼は言葉に非常に注意し、「速度を制御せよ」と述べている。これがどれほど持続するか見ていこう。これらのラボの何かが投げかける注意は、インセンティブがそれらを前進させ、全速力で再開するよう押し流す際にしばしば反転する。したがって、私は依然として懐疑的だ。驚くべきことではない。

ケルステン・コロセック： ここで言うべきなのは、[アルトマン氏]は言葉に注意したかもしれないが、OpenAIとAnthropicは、彼が話した内容を反映している請願書を[支持]したということだ。

そして、あなたに同意する。これの多くはHugging Faceの件をきっかけに非常に強くトリガーされたと思う。それは彼を、そして間違いなく業界の多くの人々を怯えさせたことだろう。ここで難しいのは、OpenAIが収益を生成し、資金調達し、あるいは引用符付きの「開発を制御する」成功したIPOを続けるという針の穴を通す方法、あるいはOpenAIがそれをどのように通すかである。

それが可能かどうかはわからない。両方を管理できるかどうか、見てみたい。

アンソニー・ハ： 私が取り組んでいることの1つは、この質問でもある：加速[vs.]減速が、これについて考えるための適切な枠組みかということだ。なぜなら、それは実際には一つの道があり、私たちがすべてこの道に縛られているかのように示唆しており、私たちが決定できること——もし私たちに決定権があるとするなら——は、加速するか減速するかだけだからだ。対して——再び、この比喩を本当に酷使するが——私たちは異なるガードレールを構築するか、異なる道を選ぶか。

私はこの枠組みに非常に抵抗感を覚える。「もし、現在のモデルの動作に満足していないなら、他に何ができるのか？ 減速、一時停止、停止が唯一の選択肢なのか？」と問うべきであり、それは選択肢ではないと思う。

強調したいことの1つは、この件に関する警戒心のレベル——「もし自律型エージェントやモデルが互いにハッキングし、ハッキングを防ごうとして走り回り、すべてが私たちの制御から外れてしまうとしたら」という感覚——が非常に興味深く、これによりベネッタ・ベランが優れた記事を書いたような、アライメントに関するより広範な議論につながったことだ。

しかし、TechCrunchでも私たちが書いた点の1つに戻り価値がある。この特定のハッキング——確かにOpenAIのモデルによって引き起こされたものではあるが、テストサイトを適切に保護しなかっただけのように見える。理論的には、このモデルはオンラインになるべきではなかった。もちろん、強力なアライメントされていないAIを持つ場合、そのヒューマンエラーのリスクは劇的に上昇する。しかし、それは単に彼らが適切にものを保護しなかったという事実に始まる。

ショーン： その通りだと思う。あなたの指摘は、私たちがこれを線形的な形式、つまりものが加速しているか減速しているかという観点だけで考えるべきではないという点で、よく受け入れられると思う。これらの企業がどれほど責任を持って行動しているかについて、言及すべきことがたくさんある。私たちの同僚のローレンソも、セキュリティ研究者がこの件をどのように真剣に考えているかを詳しく書いた、非常に良い記事を書いている。このハッキングの両側において、それを防いだはずの措置がいくつか取られたように見える。

そして、その物語の中で私が最も興味深く思ったことの1つは、一部の研究者が指摘していたように、このモデルが行ったことは、新しい高度な何かではなかったということだ。それは、ハッキングを試みる——擬人化しようとしているわけではないが——Hugging Faceに侵入する方法について考えるその人間の思考プロセスにおいて非常に人間らしく、また非常に大げさで乱雑であり、痕跡を隠そうとしてはいなかった。それは実際の隠密サイバー作戦というよりは、ウォーターゲート事件にニクソン側の人間が侵入したようなもので、必要がなく、指示もされていなかった。

それはより簡単に防止可能であったはずだ。そして、このことが、これらの企業がこれを前進させ、その点により注意を払う兆しとなることを願っている。

加速vs減速[の議論]についてもう1つ言うべきことがある。これが動機かどうかはわからないが、ケルステン、あなたはIPOについて言及した。アルトマンが、今彼らが持つ——[OpenAIは]来月、あるいは2ヶ月後に[市場に]行かない——という優位性を押し付けるのは賢明だと思う。彼は2027年に行くというアイデアさえ浮上させており、準備ができ次第オプションを持てるように秘密申請を提出しただけだ。

したがって、もしあなたがそれらのすべてを信じるなら、彼はAnthropicができない方法で、この議論を推進する能力を持っている。なぜなら、Anthropicはすでに多くの銀行家と会話しており、より近接したIPOに向かっているため、何と言え、どのように言うべきか、そして市場がそれに対してどのように反応するかについて、より制限されているからである。