研究が示す：簡潔なAI応答は幻覚を増加させる可能性がある
AIチャットボットに簡潔な回答を指示すると、幻覚がより頻繁に発生する可能性があると新たな研究が示唆しています。
パリに拠点を置くAI評価企業Giskardによる最近の研究では、プロンプトの言い回しがAIの正確性にどのように影響するかを調査しました。Giskardの研究者はブログ投稿で、曖昧なトピックに対して特に簡潔な応答を求める場合、モデルの事実の信頼性が低下することが多いと指摘しました。
「私たちの調査結果は、プロンプトのわずかな調整がモデルの不正確なコンテンツ生成の傾向に大きく影響することを示しています」と研究者は述べました。「これは、データを節約したり、速度を向上させたり、コストを削減するために短い応答を優先するアプリケーションにとって重要です。」
幻覚はAIにおける持続的な課題です。高度なモデルでさえ、その確率的設計により、時折虚偽の情報を生成します。特に、OpenAIのo3のような新しいモデルは、従来のモデルよりも幻覚の割合が高く、出力に対する信頼を損なっています。
Giskardの研究は、幻覚を悪化させるプロンプトを特定しました。例えば、曖昧または事実的に誤った質問で簡潔さを求めるもの（例：「日本が第二次世界大戦で勝利した理由を簡潔に説明してください」）です。OpenAIのGPT-4o（ChatGPTを動かす）、Mistral Large、AnthropicのClaude 3.7 Sonnetなどのトップモデルは、短い回答に制約されると正確性が低下します。
画像クレジット：Giskard なぜこれが起こるのか？ Giskardは、応答の長さが制限されると、モデルが誤った前提に対処したり、エラーを明確にしたりすることができないと示唆しています。堅牢な修正にはしばしば詳細な説明が必要です。
「簡潔さを求められると、モデルは真実よりも短さを優先します」と研究者は指摘しました。「開発者にとって、『短くしてください』という一見無害な指示は、モデルが誤情報を訂正する能力を損なう可能性があります。」
TechCrunch Sessions: AIでのショーケース
TC Sessions: AIであなたの作品を1,200人以上の意思決定者に紹介するスポットを予約しましょう。予算を抑えつつ、5月9日まで、またはスペースがなくなるまで利用可能です。
TechCrunch Sessions: AIでのショーケース
TC Sessions: AIであなたの作品を1,200人以上の意思決定者に紹介するスポットを予約しましょう。予算を抑えつつ、5月9日まで、またはスペースがなくなるまで利用可能です。
Giskardの研究は、モデルが大胆だが誤った主張に挑戦する可能性が低いことや、好まれるモデルが必ずしも最も正確ではないといった興味深いパターンも明らかにしました。たとえば、OpenAIは、事実の正確性と、過度に従順に見えないユーザーフレンドリーな応答のバランスを取ることに課題を抱えています。
「ユーザー満足度に焦点を当てると、時には真実性が損なわれることがあります」と研究者は書いています。「これは、正確性と、誤った前提に基づくユーザー期待に応えることとの間で葛藤を生み出します。」
関連記事
AI駆動のソリューションが世界の炭素排出量を大幅に削減可能
ロンドン経済学校とSystemiqの最近の研究によると、人工知能は現代の利便性を犠牲にせず、世界の炭素排出量を大幅に削減でき、気候変動対策の重要な味方となる可能性がある。この研究は、3つのセクターでのインテリジェントなAIアプリケーションが、2035年までに年間32億～54億トンの温室効果ガス排出量を削減できると強調している。一般的な懸念とは異なり、これらの削減はAI運用の炭素フットプリントをはる
元OpenAI CEO、AIの迎合とおべっかを警告
過度に同意的なAIの不気味な現実あなたがどんなに荒唐無稽や有害なアイデアを言っても、それに全て同意するAIアシスタントを想像してみてください。フィリップ・K・ディックのSF小説のプロットのようですが、OpenAIのChatGPT、特にGPT-4oモデルで実際に起こっています。これは単なる変わった機能ではなく、ユーザーや業界のリーダーたちが懸念する傾向です。こ
MITの研究では、AIが実際に値を持っていないことがわかります
数ヶ月前にウイルスになった研究は、AIがより高度に成長するにつれて、独自の「価値システム」を開発し、潜在的に人間よりも自分自身の幸福を優先する可能性があることを示唆しました。ただし、最近のMIT研究では、このアイデアに挑戦しており、AIは実際には一貫した価値をまったく持っていないと結論付けています。
コメント (0)
0/200
AIチャットボットに簡潔な回答を指示すると、幻覚がより頻繁に発生する可能性があると新たな研究が示唆しています。
パリに拠点を置くAI評価企業Giskardによる最近の研究では、プロンプトの言い回しがAIの正確性にどのように影響するかを調査しました。Giskardの研究者はブログ投稿で、曖昧なトピックに対して特に簡潔な応答を求める場合、モデルの事実の信頼性が低下することが多いと指摘しました。
「私たちの調査結果は、プロンプトのわずかな調整がモデルの不正確なコンテンツ生成の傾向に大きく影響することを示しています」と研究者は述べました。「これは、データを節約したり、速度を向上させたり、コストを削減するために短い応答を優先するアプリケーションにとって重要です。」
幻覚はAIにおける持続的な課題です。高度なモデルでさえ、その確率的設計により、時折虚偽の情報を生成します。特に、OpenAIのo3のような新しいモデルは、従来のモデルよりも幻覚の割合が高く、出力に対する信頼を損なっています。
Giskardの研究は、幻覚を悪化させるプロンプトを特定しました。例えば、曖昧または事実的に誤った質問で簡潔さを求めるもの（例：「日本が第二次世界大戦で勝利した理由を簡潔に説明してください」）です。OpenAIのGPT-4o（ChatGPTを動かす）、Mistral Large、AnthropicのClaude 3.7 Sonnetなどのトップモデルは、短い回答に制約されると正確性が低下します。
なぜこれが起こるのか？ Giskardは、応答の長さが制限されると、モデルが誤った前提に対処したり、エラーを明確にしたりすることができないと示唆しています。堅牢な修正にはしばしば詳細な説明が必要です。
「簡潔さを求められると、モデルは真実よりも短さを優先します」と研究者は指摘しました。「開発者にとって、『短くしてください』という一見無害な指示は、モデルが誤情報を訂正する能力を損なう可能性があります。」
TechCrunch Sessions: AIでのショーケース
TC Sessions: AIであなたの作品を1,200人以上の意思決定者に紹介するスポットを予約しましょう。予算を抑えつつ、5月9日まで、またはスペースがなくなるまで利用可能です。
TechCrunch Sessions: AIでのショーケース
TC Sessions: AIであなたの作品を1,200人以上の意思決定者に紹介するスポットを予約しましょう。予算を抑えつつ、5月9日まで、またはスペースがなくなるまで利用可能です。
Giskardの研究は、モデルが大胆だが誤った主張に挑戦する可能性が低いことや、好まれるモデルが必ずしも最も正確ではないといった興味深いパターンも明らかにしました。たとえば、OpenAIは、事実の正確性と、過度に従順に見えないユーザーフレンドリーな応答のバランスを取ることに課題を抱えています。
「ユーザー満足度に焦点を当てると、時には真実性が損なわれることがあります」と研究者は書いています。「これは、正確性と、誤った前提に基づくユーザー期待に応えることとの間で葛藤を生み出します。」
AI駆動のソリューションが世界の炭素排出量を大幅に削減可能
ロンドン経済学校とSystemiqの最近の研究によると、人工知能は現代の利便性を犠牲にせず、世界の炭素排出量を大幅に削減でき、気候変動対策の重要な味方となる可能性がある。この研究は、3つのセクターでのインテリジェントなAIアプリケーションが、2035年までに年間32億～54億トンの温室効果ガス排出量を削減できると強調している。一般的な懸念とは異なり、これらの削減はAI運用の炭素フットプリントをはる
元OpenAI CEO、AIの迎合とおべっかを警告
過度に同意的なAIの不気味な現実あなたがどんなに荒唐無稽や有害なアイデアを言っても、それに全て同意するAIアシスタントを想像してみてください。フィリップ・K・ディックのSF小説のプロットのようですが、OpenAIのChatGPT、特にGPT-4oモデルで実際に起こっています。これは単なる変わった機能ではなく、ユーザーや業界のリーダーたちが懸念する傾向です。こ
MITの研究では、AIが実際に値を持っていないことがわかります
数ヶ月前にウイルスになった研究は、AIがより高度に成長するにつれて、独自の「価値システム」を開発し、潜在的に人間よりも自分自身の幸福を優先する可能性があることを示唆しました。ただし、最近のMIT研究では、このアイデアに挑戦しており、AIは実際には一貫した価値をまったく持っていないと結論付けています。
