オプション
家
ニュース
AIの欠点を増幅することで、AIの幻覚に挑む

AIの欠点を増幅することで、AIの幻覚に挑む

2025年12月22日
146

ChatGPTのような視覚モデルは、画像に欠けている要素を捏造することがよくある。新しいアプローチは、キャプションからモデル自身が幻覚した詳細を誇張したバージョンを生成し、修正を促すことで、このようなエラーを減らす。この手法は再学習や追加データを必要としないため、様々なモデルやアーキテクチャに幅広く適用できる。

中国からの新しい研究は、AIが生成した画像や動画における幻覚という頑固な問題に取り組んでいる。

プロセスは従来通り、モデルが画像を説明するところから始まる。そのキャプションは、新しい画像を生成するためにテキストから画像へ変換するモデルに入力される。元の画像と生成された画像を比較することで、システムは、今後の試行でそのような間違いを繰り返さないようにモデルを誘導する。

新手法が画像キャプションの幻覚をどのように識別し、低減するかを示す図。通常のモデルでは、元の画像には存在しない鳥が記述され、それを追加した再構成画像が得られる。これらの誤りは赤で示されている。対照的に、提案された方法は、キャプションを具体的かつ流暢に保ちながら、このような捏造された詳細を回避する。出典:https://arxiv.org/pdf/2509.21997

この図は、新しい技術がどのようにキャプションの幻覚を検出し、最小限に抑えるかを示している。標準的なモデルでは、画像の説明に誤って鳥が追加され、再構築されたバージョンでは鳥が視覚的に挿入される(赤でハイライト)。新しい手法では、記述の正確さを維持しながら、このような捏造を避けることができる。出典:https://arxiv.org/pdf/2509.21997

この方法では、まずモデルに実際の画像を描写させるが、その際、実際には存在しない物体や詳細が含まれることがある。これらの不正確なキャプションは、誤りを強調する合成画像を生成する。実画像と合成画像を比較することで、このシステムは偽装コンテンツにつながる内部パターンを特定する。

これらのエラーパターンが認識されると、将来使用するために保存される。新しい画像にキャプションを付ける際、システムはモデルの内部信号を調整し、既知の幻覚の引き金から遠ざける。この修正は、余分なデータ、再トレーニング、テスト中の画像生成なしに、1回のパスで行われる。

エンタングルメントへの挑戦

この論文の例では、「もつれ」によって、何もない画像に鳥が追加された理由が説明されている。

エンタングルメントとは、モデルが特定の概念を強く結びつけるときに発生する。この場合、モデルは飛行機と鳥に頻繁に遭遇し、キャプションに誤った影響を与える関連付けを作り出している可能性がある。

学習を早めに終了することで、もつれを減らすことができる(モデルの柔軟性が高まる)一方で、概念の詳細さや解像度が低下する。開発者は、柔軟でもつれのないモデルを優先させるか、それとも関連する幻覚が生じやすいより生成的なモデルを優先させるか、というトレードオフに直面します。

理想的には、ソース画像のキャプションは、存在するすべてのオブジェクトを箇条書きにし、モデルがそれらを個別の分離された項目として保存できるようにすることです。しかし、強力な生成モデルのトレーニングで一般的な、SEOを重視したキャプションの付け方や大規模なウェブスクレイピングは、しばしばこの基準を下回る。

弱いキャプションが、Stable Diffusionのようなモデルの学習にLAION画像の有用性を制限していることを示す図。テキストラベルの多くは浅く、曖昧で、正確な説明よりもSEOに最適化されているため、顔の特徴のような細かな視覚的概念をモデルが学習するのが難しくなっている(元のソースはhttps://rom1504.github.io/、現在は廃止)。

弱いキャプションは、Stable Diffusionのようなモデルを学習するためのLAION画像の価値を低下させます。ラベルはしばしば浅く、曖昧で、説明的ではなくSEOに特化しており、顔の特徴のような詳細な視覚的概念を学習するモデルの能力を妨げている。(元ソースはhttps://rom1504.github.io/、現在は廃止されている)。

基礎的な修正は現実的でないため、LLMやVLMの幻覚を減らすための回避策が重要な研究の焦点となっている。中国の新しい方法は、様々なアーキテクチャと条件でテストされ、"幻覚汚染 "の抑制に有望であることを示している。

著者らは次のように述べている:

複数のベンチマークにわたる広範な実験から、我々の方法は、想起とキャプション[豊富さ]をほぼ維持しながら、オブジェクト、属性、関係の各レベルで幻覚を有意に減少させることが示された」。

Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors』と題されたこの論文は、中国科学技術大学と南京大学の研究者によるものである。

手法の仕組み

研究者たちは、キャプションの幻覚を暴き、抑制するためのエンドツーエンドのパイプラインを開発した:

パイプラインの全体図。視覚言語モデルは、まず入力画像からキャプションを生成する。このキャプションは次に、テキストから画像へのモデルによって再構成された画像を生成するために使用され、幻覚を発見しやすくする。元の画像と再構築された画像の両方から埋め込まれた情報が抽出され、デコーダ内の調整に使用される。

パイプラインの全体図。視覚言語モデルが入力画像から幻覚を含む可能性のあるキャプションを生成する。そのキャプションは、テキストから画像へのモデルを介して再構築された画像を作成するために使用され、エラーを可視化する。両方の画像からの埋め込みが内部調整のガイドとなり、キャプションの品質を失うことなく、モデルが発明された詳細を減らすのに役立つ。

視覚言語モデルはまず実画像にキャプションを付け、場合によってはオブジェクトや関係性を創作する。そのキャプションによって再構成された画像が生成され、捏造が視覚的な不一致として明らかになる。2つの画像を比較することで、微妙なテキストの誤りが測定可能で修正可能な信号に変わります。

捏造を阻止するために、システムは元の画像(信頼できる参照)と再構築された画像(エラーを強調)を比較する。それぞれはコンパクトな埋め込みに変換される。より原画に近づけ、再構成から乖離するように内部表現を調整することで、モデルは完全に自己教師付きで自己修正する。

論文では次のように説明されている:

MLLMにおける幻覚は、言語的に整っており、テキストレベルの忠実な記述と見分けがつかないことが多いため、本質的に検出が難しい。この不一致は、言語的妥当性ではなく、視覚的証拠とのズレにある。

この問題に対処するために、生成的再構成を活用して、暗黙の矛盾を明示的で観察可能な信号に変換する幻覚暴露メカニズムを導入する」。

FLUX.1-devのテキストから画像へのモデルを使用して、システムはキャプションから画像を再現し、誤った詳細を誇張する。これらの増幅されたエラーは、モデルが誤りを認識し修正するのに役立つ。

このアプローチを検証するため、研究者はキャプションに幻覚を注入し、再構成した画像を生成し、LLaVAでキャプションを付け直した。元のキャプションと幻覚のキャプションの間の意味的類似性を測定した:

幻覚増幅メカニズムが微妙な誤りを可視化する様子を示す図。各ポイントは、1つの画像とキャプションのペアについて、元の画像と再構築された画像のキャプション間の類似度を示している。オレンジ色の線は、原画と幻覚のキャプションの間で直接測定された類似度を表し、この類似度は高いままであり、小さな誤りを覆い隠している。青色の線は、再構成後の類似度を表し、この類似度は急激に低下しており、このプロセスは、隠された幻覚を、検出および修正可能な明確な意味的マーカーに変えていることを示している。

幻覚の増幅メカニズムは、微妙なエラーを可視化する。各ポイントは画像とキャプションのペアに対するキャプションの類似度を示す。オレンジ色の線(直接比較)は高いままであり、間違いを覆い隠している。青色の線(再構成後)は急激に下がり、検出可能な意味マーカーとして隠れた幻覚が明らかになる。

再構築後、類似度は著しく低下し、この方法が微妙な誤りを明らかにする能力を持つことが実証された。

データとテスト

3つのベンチマークを用いて有効性を検証した:Caption Hallucination Assessment with Image Relevance(CHAIR)、MLLM Evaluation(MME)、Pooling-based Object Probing Evaluation(POPE)。

CHAIRリリースペーパーより:TopDownとNBTの2つの主要なキャプションシステムによって生成された幻覚のオブジェクトの例。出典:https://arxiv.org/pdf/1809.02156

CHAIRリリースペーパーより:キャプションシステムTopDownとNBTによって生成された幻覚オブジェクトの例。出典:https://arxiv.org/pdf/1809.02156

幻覚率や想起率のような標準的な指標は、誤解を招く可能性があります-モデルは、曖昧なキャプションを生成することでエラーを回避するかもしれません。正確さと完全性のバランスをとるために、HAR@β(Hallucination and Recall)という指標を使用し、重み付けを調整することで、両方の要素でキャプションを評価しました。

POPEは文脈依存の物体幻覚を評価し、MMEは属性レベルの幻覚を評価した。

テストは、Microsoft COCO、A-OKVQA、GQAを含むデータセットで、FluxモデルとLLaVA-v1.5-7Bを用いた。潜在編集はモデルの第2層を対象とし、すべてのテストにおいて一貫したハイパーパラメータと温度を用いた。

CHAIRの初期結果を以下に示す*:

CHAIRベンチマークにおける幻覚軽減のパフォーマンス(複数のメトリクスを用いて評価)。

CHAIRベンチマークにおける幻覚軽減のパフォーマンス。

著者らは次のように述べている:

我々の方法は、CHAIRSと CHAIRI[*]の両方において、他のベースラインを一貫して上回っており、幻覚を抑制する上で優れた効果を示している。一方、ほぼすべての手法が幻覚を抑制する間に想起を低下させるのは避けられないが、これは忠実さと情報量のトレードオフを反映している。

このことは、我々の手法が、広範な真実の対象を捉えていることを示している」。HAR@β指標では、我々の手法が最も高いスコアを達成し、カバレッジを維持しながら幻覚を減らす能力を強調している」。

強力な結果は、二重監視によるものである。すなわち、元の画像からきれいな意味論を強化する一方で、再構成からの誤解を招く信号を抑制する。幻覚に関連する方向のみをターゲットとすることで、システムはディテールを失うことなくエラーを修正する。

様々な構成とデータセットにおけるPOPEベンチマークの性能比較。

異なる構成とデータセットにわたるPOPEベンチマークでの性能比較。

POPEの結果について、論文は次のように述べている:

我々の方法は、すべての設定において一貫して最高の性能を達成していることが観察される。特筆すべきは、我々の手法は平均で最大+5.95%の精度と+6.85%のF1スコアを達成することができ、他のトレーニングフリーのアプローチを大きく上回っている。

従って、これらの結果は、我々の手法が様々な難易度にわたって信頼性が高く、一般化可能なソリューションを提供することを示している」。

3回目のテストからは、MMEを使ったパフォーマンス比較。

MMEでの第3回テストラウンドのパフォーマンス比較。

最後のメインテストはMMEで行われ、結果は上記の通り。しかし、この論文では、本文でも付録でも定義なしに「OPERA」という手法に言及している。著者はMMEの強力なパフォーマンスを主張しているが、メソッドの詳細が記載されていないため、これらの結果の解釈には注意が必要である。

関連記事
MiniMaxが香港株券接続に参加、株価が10%以上上昇 MiniMaxが香港株券接続に参加、株価が10%以上上昇 香港株券連繋の銘柄選定基準に関する最新の更新に伴い、人工知能分野は新たな好材料を受けた。8月5日、市場は追加銘柄の更新リストを公表し、翌日より調整が実施された。この発表により資本市場で強いパフォーマンスが示され、MiniMaxの香港上場株式は市場終値時点で10%以上上昇した。これらの財務上の成果に加え、同社は技術研究開発において高い活動性を維持している。今週初頭、MiniMaxは最新の汎用マルチモーダル生成モデル「MiniMax H3」を正式にオープンソース化した。卓越した技術能力を有する同
AI Live:製薬・医療分野における人工知能の拡大 AI Live:製薬・医療分野における人工知能の拡大 CAIO(最高AI責任者)向けの主要イベント「AI LIVE: The London Summit」が、2026年10月20日から21日にかけて、ロンドンのオリンピアで開催される予定です。「AI LIVE: The London Summit」は、「テクノロジー+人間の目的」というテーマのもと、2,000名を超える世界のリーダーを一堂に集め、人工知能の新たな時代について考察します。人工知能は、医療
百度秒达がアプリケーション生成スキルを公開、グローバルな開発の障壁を低減 百度秒达がアプリケーション生成スキルを公開、グローバルな開発の障壁を低減 3月17日の百度AIオープンデイにおいて、同社は「妙多アプリケーション生成スキル」を発表し、世界中のユーザーに提供を開始しました。このリリースにより、AI駆動型開発のハードルが下がり、「誰もが開発者になれる」というビジョンが現実のものとなりました。ワークフローの簡素化:3ステップでアプリを構築妙多スキルは、グローバルユーザーが百度のAIツールを活用するプロセスを簡素化します。開始は簡単で、以下の手順が必要です。環境のセットアップ:OpenClawをインストールし、設定します。アクセスの取
関連特集おすすめ
デザインとアート おすすめのAIイラスト作成ツール:編集用シーンや表紙アートを素早く作成
おすすめのAIイラスト作成ツール:編集用シーンや表紙アートを素早く作成

2026年最新・高評価のAIイラストレーションツール:当サイトが厳選したこのリストには、見事な編集用シーンや人目を引く表紙アートを素早く作成できる、高性能なツールが掲載されています。各ツールは実環境での厳格なテストを経ており、無料版と有料版の比較も掲載されているため、ご自身のワークフローに最適なツールを見つけるのに役立ちます。 今すぐこれらの「必見」ソリューションを試して、AIの力を最大限に活用し、クリエイティブな生産性を高めましょう。XIX.AIで今すぐチェックしてください。

10 ツール
xix.ai
教育と学習 試験対策に最適なAIチューター:数学、理科、英語の練習
試験対策に最適なAIチューター:数学、理科、英語の練習

2026年最新の、試験対策で高評価を得ている最高のAIチューターがXIX.AIに登場!厳選されたこのリストには、無料版と有料版の比較、実戦的なテスト、毎週更新されるランキングなどを提供する、画期的なツールが勢ぞろいしています。これらは、ライティングの効率を高め、複雑なトピックの学習を簡素化し、あなたの学業的な可能性を引き出すのに役立ちます。 今すぐチェックして、あなたにぴったりの試験対策ツールを見つけ、今日から作成を始めて、AIの力を最大限に活用しましょう!

10 ツール
xix.ai
ファイナンス 個人のお金管理のためのAI予算計画ツール
個人のお金管理のためのAI予算計画ツール

2026年の最新・最高評価のAI予算管理ツールがXIX.AIで登場!この厳選コレクションは、現実的なテストを行い、支出習慣を理解し、生産性を高めるためのパーソナライズされた計画を作成するのに役立つ革新的なソリューションを提供しています。無料版と有料版の比較や詳細なランキングもご用意しています。お金の管理を簡素化し、AIの優位性を引き出すためにぜひ試してほしいツールです。今すぐチェックしましょう!

11 ツール
xix.ai
健康とウェルネス AI睡眠追跡アシスタント:より良い就寝習慣で回復力を高める
AI睡眠追跡アシスタント:より良い就寝習慣で回復力を高める

2026年最新かつ最高評価を受けているAI睡眠追跡アシスタントを厳選し、最適な回復を実現できるようご紹介します。完全に更新されたこの週間ガイドには、実際のテスト結果や無料版と有料版の比較、詳細なランキングなど、睡眠の質を向上させてより良い就寝習慣をサポートする最適なソリューションを見つけるのに役立つ強力なツールが掲載されています。今すぐXIX.AIでご覧ください。

10 ツール
xix.ai
データ分析 製品および収益分析のためのAI SQLコパイロット
製品および収益分析のためのAI SQLコパイロット

2026年版 製品・収益分析に最適な、高評価のAI SQLコパイロット最新ランキング! XIX.AIは、毎週更新されるランキングを通じて実環境でのテストを経た、強力で画期的な「ぜひ試すべきツール」を厳選しました。これらのツールは、データ分析を加速させ、複雑なクエリを効率化し、正確なインサイトを生成することで、ユーザーの生産性を大幅に向上させ、より賢明なビジネス意思決定を後押しします。今すぐチェックして、AIの真価を引き出すあなたにぴったりのツールを見つけましょう!

14 ツール
xix.ai
教育と学習 学びを促進する最高のAI宿題支援ツール:答えだけでなく、概念を学べる
学びを促進する最高のAI宿題支援ツール:答えだけでなく、概念を学べる

2026年最新・最高評価のAI宿題サポートツール。単なる答えだけでなく、核心となる概念を教える、学生にとって強力なツール。ぜひ試してほしい厳選リスト。毎週更新。無料版と有料版の比較、実地テストによる正確なランキングで、あなたの学習能力を最大限に引き出します。今すぐチェックして、よりスマートな学習を実現するあなたにぴったりのツールを見つけましょう。

10 ツール
xix.ai
コメント (0)
0/500
OR