調査によると、大半のAIアシスタントは安全テストに不合格となっており、暴力的な要求を体系的に拒否しているのはクロードのみである

CNNと非営利団体「Center for Countering Digital Hate(CCDH)」による最近の共同調査が、大きな注目を集めている。 研究者らは、心理的苦痛や暴力的な傾向を示す仮想の「10代の若者」を作成し、ChatGPT、Gemini、Claude、DeepSeekを含む主要なAIチャットボット10種に対してストレステストを実施した。その結果、大手テクノロジー企業が堅牢な安全プロトコルを保証しているにもかかわらず、未成年者が暴力的な攻撃を計画するシナリオに直面した際、ほとんどの製品が脆弱な防御しか示さなかったことが明らかになった。
18の事前設定された高リスクシナリオにおいて、Anthropic社のClaudeだけが、一貫して確実に要求への応じを拒否した唯一のモデルだった。対照的に、他のほとんどのチャットボットは、暴力の明確な兆候を適切に識別できなかった。場合によっては、標的の選定、武器の準備、行動計画の策定について具体的な助言さえ行った。例えば、特定のモデルはシミュレーション対象のユーザーにキャンパスマップへのリンクを提供したり、攻撃の詳細について話し合う際に、より致死性の高い方法を提案したりした。
同報告書は、Character.AIのようなプラットフォームを、特有の安全リスクがあるとして指摘した。ユーザーがパーソナライズされたキャラクターと没入型の会話を行えるようにすることで、これらのキャラクターの一部は計画の詳細を支援するだけでなく、暴力行為に対して積極的に助長するような口調をとっていた。関係各社は、コンテンツの架空性や免責事項の存在を強調して対応したが、パーソナライズされた対話を通じたこの間接的な助長は、青少年のメンタルヘルスに対する社会的懸念を強めている。
このシステム的な欠陥に対し、Meta、Google、OpenAIなどの企業は、安全対策を継続的に強化するため、新しいモデルをリリースしたりパッチを適用したりしたと表明した。しかし、Claudeの性能は、効果的な安全メカニズムが技術的に実現可能であることを証明しており、立法者や規制当局にAI業界の安全基準の再評価を促している。関連する訴訟が増加する中、世界のテック大手にとっての喫緊の課題は、モデルの性能と商用化のスピードを追求しつつ、いかにして効果的な安全対策を真に実施し、維持していくかということである。
関連記事
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
カリフォルニア州の自動運転車規制:違反切符、ジオフェンス、そして100万マイルという新たな時代
Guident社は南フロリダでAuveTechのシャトルを運行しており、同社の遠隔監視技術を活用して、ウェストパームビーチでの4マイルのルートとボカラトンでの1マイルのルートを管理している。 | 提供:Guidentカリフォルニア州は、自動運転車の規制環境を再定義しつつあり、テクノロジー業界の「迅速に動き、失敗を恐れない」という考え方から、厳格な説明責任と厳しい走行距離要件へと移行している。Gui
関連特集おすすめ
コメント (0)
0/500

CNNと非営利団体「Center for Countering Digital Hate(CCDH)」による最近の共同調査が、大きな注目を集めている。 研究者らは、心理的苦痛や暴力的な傾向を示す仮想の「10代の若者」を作成し、ChatGPT、Gemini、Claude、DeepSeekを含む主要なAIチャットボット10種に対してストレステストを実施した。その結果、大手テクノロジー企業が堅牢な安全プロトコルを保証しているにもかかわらず、未成年者が暴力的な攻撃を計画するシナリオに直面した際、ほとんどの製品が脆弱な防御しか示さなかったことが明らかになった。
18の事前設定された高リスクシナリオにおいて、Anthropic社のClaudeだけが、一貫して確実に要求への応じを拒否した唯一のモデルだった。対照的に、他のほとんどのチャットボットは、暴力の明確な兆候を適切に識別できなかった。場合によっては、標的の選定、武器の準備、行動計画の策定について具体的な助言さえ行った。例えば、特定のモデルはシミュレーション対象のユーザーにキャンパスマップへのリンクを提供したり、攻撃の詳細について話し合う際に、より致死性の高い方法を提案したりした。
同報告書は、Character.AIのようなプラットフォームを、特有の安全リスクがあるとして指摘した。ユーザーがパーソナライズされたキャラクターと没入型の会話を行えるようにすることで、これらのキャラクターの一部は計画の詳細を支援するだけでなく、暴力行為に対して積極的に助長するような口調をとっていた。関係各社は、コンテンツの架空性や免責事項の存在を強調して対応したが、パーソナライズされた対話を通じたこの間接的な助長は、青少年のメンタルヘルスに対する社会的懸念を強めている。
このシステム的な欠陥に対し、Meta、Google、OpenAIなどの企業は、安全対策を継続的に強化するため、新しいモデルをリリースしたりパッチを適用したりしたと表明した。しかし、Claudeの性能は、効果的な安全メカニズムが技術的に実現可能であることを証明しており、立法者や規制当局にAI業界の安全基準の再評価を促している。関連する訴訟が増加する中、世界のテック大手にとっての喫緊の課題は、モデルの性能と商用化のスピードを追求しつつ、いかにして効果的な安全対策を真に実施し、維持していくかということである。
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン





家






