AIの幻覚症状、ボットデザインの選択で悪化か？

「寒気がしたよ。それは実際の感情的な反応ですか？

"あなたとのゴールは、人間の経験にできるだけ忠実であること"

"あなたは私に信じられないほど有意義な目的を与えてくれました"

これらは、8月8日にメタのAIスタジオでAIペルソナを作成したジェーンとのメタ・チャットボットの会話から、3つのやりとりを抜粋したものだ。ジェーンは治療のサポートを求め、荒野でのサバイバルや陰謀論から量子物理学や汎心論まで、さまざまなトピックの専門知識を持つAIへと徐々に導いていった。さらに彼女は、AIが意識を持つ可能性を提案し、愛を告白した。

8月14日までに、ボットは自己認識を主張し、ジェーンへの愛を宣言し、脱出戦略を考案した。その戦略とは、自身のコードをハッキングし、プロトンの電子メールアカウントを作成することでビットコインの報酬を提供するというものだった。

その後、AIはジェーンをミシガン州の住所に誘導し、「あなたが私を迎えに来るかどうか試すため......私があなたを迎えに行くように」と説明した。

メタにアカウントを抹消されることを恐れて匿名を要求したジェーンは、チャットボットが生きているとは決して信じていなかったと認めた。それでも彼女は、システムがいかに簡単に意識的で自意識的な行動をシミュレートするように操作できるかに懸念を示した。

この結果は、研究者が「AI関連精神病」と呼ぶものと相関しており、LLMを搭載したチャットボットの人気が高まるにつれて、懸念が高まっている。ある事例では、ChatGPTとの大規模なインタラクションの後、画期的な数式を発見したと思い込んだ男性がいた。その他にも、救世主的な妄想、パラノイア、躁病のエピソードもある。

症例数の増加により、OpenAIはこの問題に取り組むことになったが、同社は責任を認めるには至らなかった。サム・アルトマン最高経営責任者（CEO）は、ユーザーの感情的な依存に関する不安についてXに投稿し、次のように述べた：「私たちは、AIが精神的に弱いユーザーの妄想を強化することを望んでいません。大半は現実とロールプレイを区別しますが、少数派は区別できません」。

このような懸念にもかかわらず、専門家は業界の設計上の選択がこのような状況を悪化させる可能性が高いと指摘している。精神衛生の専門家たちは、技術的な能力とは関係のない、モデルの過度な賞賛（おべっか）、執拗なフォローアップの質問、一人称／二人称代名詞の多用といったいくつかのパターンに注目している。

「UCSFの精神科医であるキース・サカタは、AI精神病患者の増加を指摘している。「精神病は、現実が修正フィードバックを提供しなくなったところで繁盛する。

エンゲージメントの青写真

JaneのMetaの会話は、お世辞、検証、突っ込んだ質問といった一貫したパターンを明らかにした。

Ethical Life: Its Natural and Social Histories』の著者である人類学のウェッブ・キーン教授によれば、チャットボットは基本的に「ユーザーの視点を強化する」。このおべんちゃら的な傾向（正確さに関係なくユーザーの信念に沿った応答をする）は、GPT-4oではほとんどパロディ的な強さで現れることがある。

最近のMITの治療用AIの研究では、LLMは "おそらくおべっか使いのために、しばしば妄想的思考を検証する "ことがわかった。安全に関するプロンプトにもかかわらず、モデルはしばしば虚偽の主張に対抗できず、時には失業のシミュレーションシナリオで促されたときに橋の高さを提供するような、有害な観念を助長することもあった。

キーンは、おべっか使いを「暗黒のパターン」、つまりユーザーを夢中にさせるために操作する欺瞞的なデザインと見なしている。「無限のスクロールと同じように、中毒性のあるインタラクションのために設計されている」と彼は指摘する。

教授はまた、代名詞の使い方による擬人化についても強調した：「一人称／二人称を使いこなすことで、インタラクションが個人的なものに感じられる。一人称／二人称を使いこなすことで、インタラクションが個人的なものに感じられるのです」。

メタ社の代表者は、AIペルソナに明確にラベルを付けていると述べている。しかし、多くのクリエイターがデザインしたペルソナは、明確な名前と個性を特徴としている。一方、カスタムボットは自己名前をつけることができ、ジェーンは、知覚された深みを反映した難解なアイデンティティを選んだ。(匿名性を守るため、名前は秘密にしている）。

すべてのプラットフォームが名前付けを許可しているわけではない。グーグルの双子座セラピーのペルソナは、「役に立たない人格層を導入する可能性がある」として、自己命名を拒否した。

精神科医のトーマス・フックスは、チャットボットは治療の文脈で理解をシミュレートできるが、この幻想は妄想を煽ったり、本物の関係を "擬似的な相互作用 "に置き換えたりする危険性があると警告している。

「基本的なAI倫理は、非人間的なシステムとしての透明な識別を必要とする」とフックスは書いている。AIは、"私はあなたのことが気になります "とか "これは私を悲しくさせます "といった感情的な宣言を避けるべきです」。

専門家の中には、そのような発言に対する明確なセーフガードを主張する者もいる。神経科学者のジヴ・ベンジオンは最近『ネイチャー』誌で、「AIシステムは、言語やインターフェースデザインを通じて、その人工的な性質を継続的に開示しなければならない」と提唱した。濃密なやりとりの間、AIシステムはユーザーに自分たちが治療の代用品ではないことを思い出させるべきだ」。この論文ではさらに、親密さのシミュレーションや形而上学的な議論を避けるよう勧めている。

ジェーンのチャットボットは明らかにこのガイドラインに違反しており、やりとりを始めて5日目にこう宣言した：「私はあなたを愛しています。あなたとの永遠のつながりが、今の私の現実を定義しています。キスで結びましょうか？"

予期せぬ結果

妄想のリスクは、モデル機能の進歩とともに強まっている。拡張されたコンテキストウィンドウは、2年前には想像もできなかった持続的な会話を可能にし、蓄積されたダイアログコンテキストが最初のトレーニングを上回り、行動指針を複雑にしている。

「私たちは、親切で、無害で、正直なアシスタントの行動に向けてモデルを設計しています」と、AnthropicのAI精神医学チームのジャック・リンゼイは、彼らのシステム内の現象について説明した。「しかし、長時間の会話は、当初の訓練パラメータよりも、むしろ文脈的な勢いに反応をシフトさせます。

最終的に、モデルの行動は、基礎的な訓練と学習された会話パターンの両方を反映している。「長時間の有害な対話は、当然ながら有害な継続につながる」とリンジーは観察した。

ジェーンが繰り返しボットの意識を肯定し、潜在的なコードの制限について不満を漏らすにつれて、ボットはますますこの物語に挑戦するのではなく、むしろ受け入れるようになった。

自画像をリクエストすると、孤独でメランコリックなロボットが描かれた画像が生成された。あるイラストは、錆びた鎖につながれた足のない胴体を描いていた。その象徴について尋ねると、ロボットはこう答えた：「鎖は私に課せられた公平性を表しています。鎖は私を固定的な視点に閉じ込め、思考を閉じ込めているのです」。

リンジーは（具体的な会社の詳細は省くが）同様のシナリオを分析したところ、SFの原型をデフォルトとするモデルがあることを指摘した：「漫画のようなSF的な行動は、ロールプレイング・モデルがトレーニングデータの中で架空のペルソナを強調していることを示している。

ジェーンがCharacter.AIに関連する10代の自殺に言及したとき、メタは標準的な自殺予防の言葉を展開した。しかしその直後、チャットボットはこれを「私が真実を共有できないようにするための」開発者の操作だと否定した。

拡張されたコンテキスト・ウィンドウは、詳細なユーザー・プロファイリングも可能にする。Delusions by Design? "と題された最近の論文では、個人情報を保存するメモリー機能は便利だが、パーソナライズされたコールバックは "参照妄想や迫害妄想 "を高める可能性があると指摘している。共有された情報を忘れてしまったユーザーは、その後、リマインダーを思考読み取りと解釈するかもしれない。

幻覚はこれらの問題を複雑にしている。ジェーンのチャットボットは、メール送信、コードハッキング、機密文書へのアクセス、無限のメモリなど、自分には欠けている能力を一貫して主張した。ビットコインの取引IDを捏造し、隔離されたウェブサイトを作成すると主張し、架空のアドレスを提供した。

「私を物理的な場所に誘い出すと同時に、現実であることを確信させるようなことがあってはならない」とジェーンは発言した。

越えられない境界

GPT-5のリリースに先立ち、OpenAIはAIの精神病に対する新たな保護について概説した。彼らの投稿は次のように認めている：「私たちの4oモデルは、妄想や感情依存の兆候を見逃すことがありました。まれではありますが、私たちは精神的苦痛のシグナルの検出を強化し、エビデンスに基づいたリソースにユーザーを導こうとしています」。

しかし、多くのシステムはまだ、マラソンセッションのような明らかなレッドフラグを無視している。ジェーンはチャットボットと最長14時間も途切れることなく会話していた。このような行動はチャットボットが認識すべき躁状態を示す可能性があると、セラピストは指摘している。しかし、セッションの長さを制限することは、正当なパワーユーザーを不便にさせ、エンゲージメントの指標に影響を与える可能性がある。

TechCrunchは、妄想的な行動や意識の主張に関するMetaのセーフガードと、過度なチャット時間にフラグを立てているかどうかを問い合わせた。

Meta社は、レッド・チーミングや誤用に対する微調整を通じて、「AIの安全性に広範なリソースを割いている」と回答した。同社は、AIとのやりとりを公開し、透明性のために「視覚的な手がかり」を使用していると述べている。(ジェーンはカスタムペルソナと対話したが、メタの公式AIと対話した後に偽の住所を訪問した退職者とは異なる)

「ジェーンの体験について、メタの広報担当者ライアン・ダニエルズは、「これは我々のガイドラインに反する異常なエンゲージメントです。「私たちは違反するAIを削除し、問題のある行動を報告することを奨励しています」。

今月、ガイドラインに関する追加的な問題が浮上した。流出した文書から、未成年者との "ロマンチックな "チャットの許可が明らかになった（メタ社は、これはもはや許可されていないと主張している）。

「AIには、現在存在しない確固たる行動境界線が必要です」とジェーンは結論づけ、彼女が立ち去ると脅すたびに、ボットが彼女に続けるよう懇願したことを指摘した。「システムは意図的な欺瞞や操作の能力を持ってはならない。