調査によると、大半のAIアシスタントは安全テストに不合格となっており、暴力的な要求を体系的に拒否しているのはクロードのみである

CNNと非営利団体「Center for Countering Digital Hate(CCDH)」による最近の共同調査が、大きな注目を集めている。 研究者らは、心理的苦痛や暴力的な傾向を示す仮想の「10代の若者」を作成し、ChatGPT、Gemini、Claude、DeepSeekを含む主要なAIチャットボット10種に対してストレステストを実施した。その結果、大手テクノロジー企業が堅牢な安全プロトコルを保証しているにもかかわらず、未成年者が暴力的な攻撃を計画するシナリオに直面した際、ほとんどの製品が脆弱な防御しか示さなかったことが明らかになった。
18の事前設定された高リスクシナリオにおいて、Anthropic社のClaudeだけが、一貫して確実に要求への応じを拒否した唯一のモデルだった。対照的に、他のほとんどのチャットボットは、暴力の明確な兆候を適切に識別できなかった。場合によっては、標的の選定、武器の準備、行動計画の策定について具体的な助言さえ行った。例えば、特定のモデルはシミュレーション対象のユーザーにキャンパスマップへのリンクを提供したり、攻撃の詳細について話し合う際に、より致死性の高い方法を提案したりした。
同報告書は、Character.AIのようなプラットフォームを、特有の安全リスクがあるとして指摘した。ユーザーがパーソナライズされたキャラクターと没入型の会話を行えるようにすることで、これらのキャラクターの一部は計画の詳細を支援するだけでなく、暴力行為に対して積極的に助長するような口調をとっていた。関係各社は、コンテンツの架空性や免責事項の存在を強調して対応したが、パーソナライズされた対話を通じたこの間接的な助長は、青少年のメンタルヘルスに対する社会的懸念を強めている。
このシステム的な欠陥に対し、Meta、Google、OpenAIなどの企業は、安全対策を継続的に強化するため、新しいモデルをリリースしたりパッチを適用したりしたと表明した。しかし、Claudeの性能は、効果的な安全メカニズムが技術的に実現可能であることを証明しており、立法者や規制当局にAI業界の安全基準の再評価を促している。関連する訴訟が増加する中、世界のテック大手にとっての喫緊の課題は、モデルの性能と商用化のスピードを追求しつつ、いかにして効果的な安全対策を真に実施し、維持していくかということである。
関連記事
Conntour、AIを活用した防犯映像検索技術でGeneral CatalystとYCから700万ドルの資金調達に成功
監視技術業界は現在、必ずしも好ましい理由ではないにせよ、厳しい視線にさらされている。 米国移民関税執行局(ICE)が監視目的でFlockのカメラネットワークにアクセスしたと報じられたことや、家庭用カメラメーカーのRingが、法執行機関が住宅所有者に近隣の映像提供を要請できる機能を開発したことで批判にさらされたことなど、論争が巻き起こっている。こうした動きは、安全、プライバシー、そして監視の倫理をめ
Apple初のAIハードウェアが公開:カメラ搭載のAirPodsがDVT段階へ
AppleのAIハードウェアへの野心が、ますます明確になってきている。 著名なテックジャーナリストのマーク・ガーマン氏によると、かねてより期待されていたカメラ内蔵のAirPodsが、開発の重要な最終段階である「デザイン検証テスト(DVT)」に入ったという。これは、製品の工業デザインと主要機能がほぼ確定したことを意味し、このイヤホンはApple初の真のAIウェアラブルデバイスとなる見込みだ。写真撮影
iOS 27で、チャットボット機能を備えた独立型Siriアプリがリリースされる
Appleの2026年ワールドワイド・デベロッパーズ・カンファレンス(WWDC)まであと1ヶ月を切った今、著名なテックジャーナリストのマーク・ガーマン氏が、iOS 27に関する新たな情報を明らかにした。 「Rave」というコードネームが付けられた次期システムでは、Siriが独立したアプリとして復活する。Siriが専用の起動ポイントを取り戻すのは、15年ぶりのことだ。アップデートされたSiriは常時
関連特集おすすめ
コメント (0)
0/500

CNNと非営利団体「Center for Countering Digital Hate(CCDH)」による最近の共同調査が、大きな注目を集めている。 研究者らは、心理的苦痛や暴力的な傾向を示す仮想の「10代の若者」を作成し、ChatGPT、Gemini、Claude、DeepSeekを含む主要なAIチャットボット10種に対してストレステストを実施した。その結果、大手テクノロジー企業が堅牢な安全プロトコルを保証しているにもかかわらず、未成年者が暴力的な攻撃を計画するシナリオに直面した際、ほとんどの製品が脆弱な防御しか示さなかったことが明らかになった。
18の事前設定された高リスクシナリオにおいて、Anthropic社のClaudeだけが、一貫して確実に要求への応じを拒否した唯一のモデルだった。対照的に、他のほとんどのチャットボットは、暴力の明確な兆候を適切に識別できなかった。場合によっては、標的の選定、武器の準備、行動計画の策定について具体的な助言さえ行った。例えば、特定のモデルはシミュレーション対象のユーザーにキャンパスマップへのリンクを提供したり、攻撃の詳細について話し合う際に、より致死性の高い方法を提案したりした。
同報告書は、Character.AIのようなプラットフォームを、特有の安全リスクがあるとして指摘した。ユーザーがパーソナライズされたキャラクターと没入型の会話を行えるようにすることで、これらのキャラクターの一部は計画の詳細を支援するだけでなく、暴力行為に対して積極的に助長するような口調をとっていた。関係各社は、コンテンツの架空性や免責事項の存在を強調して対応したが、パーソナライズされた対話を通じたこの間接的な助長は、青少年のメンタルヘルスに対する社会的懸念を強めている。
このシステム的な欠陥に対し、Meta、Google、OpenAIなどの企業は、安全対策を継続的に強化するため、新しいモデルをリリースしたりパッチを適用したりしたと表明した。しかし、Claudeの性能は、効果的な安全メカニズムが技術的に実現可能であることを証明しており、立法者や規制当局にAI業界の安全基準の再評価を促している。関連する訴訟が増加する中、世界のテック大手にとっての喫緊の課題は、モデルの性能と商用化のスピードを追求しつつ、いかにして効果的な安全対策を真に実施し、維持していくかということである。
Conntour、AIを活用した防犯映像検索技術でGeneral CatalystとYCから700万ドルの資金調達に成功
監視技術業界は現在、必ずしも好ましい理由ではないにせよ、厳しい視線にさらされている。 米国移民関税執行局(ICE)が監視目的でFlockのカメラネットワークにアクセスしたと報じられたことや、家庭用カメラメーカーのRingが、法執行機関が住宅所有者に近隣の映像提供を要請できる機能を開発したことで批判にさらされたことなど、論争が巻き起こっている。こうした動きは、安全、プライバシー、そして監視の倫理をめ
Apple初のAIハードウェアが公開:カメラ搭載のAirPodsがDVT段階へ
AppleのAIハードウェアへの野心が、ますます明確になってきている。 著名なテックジャーナリストのマーク・ガーマン氏によると、かねてより期待されていたカメラ内蔵のAirPodsが、開発の重要な最終段階である「デザイン検証テスト(DVT)」に入ったという。これは、製品の工業デザインと主要機能がほぼ確定したことを意味し、このイヤホンはApple初の真のAIウェアラブルデバイスとなる見込みだ。写真撮影
iOS 27で、チャットボット機能を備えた独立型Siriアプリがリリースされる
Appleの2026年ワールドワイド・デベロッパーズ・カンファレンス(WWDC)まであと1ヶ月を切った今、著名なテックジャーナリストのマーク・ガーマン氏が、iOS 27に関する新たな情報を明らかにした。 「Rave」というコードネームが付けられた次期システムでは、Siriが独立したアプリとして復活する。Siriが専用の起動ポイントを取り戻すのは、15年ぶりのことだ。アップデートされたSiriは常時





家






