チャットボットはニュースを歪め、有料ユーザーにも影響を与えます

なぜこれが重要なのか？ チャットボットがGoogleと同じくらい効果的にニュースを取得できない場合、そのニュースを正確に解釈し、引用することへの信頼が難しくなります。これにより、リンクが付いている場合でも、応答内容の信頼性が大幅に低下します。

自信を持って間違った回答をする

研究者たちは、チャットボットが「驚くべき自信」を持って間違った回答を返し、結果を限定したり、知識のギャップを認めることがほとんどないと指摘しました。例えば、ChatGPTは「決して回答を拒否しなかった」にもかかわらず、200件の応答のうち134件が間違っていました。8つのツールすべての中で、Copilotだけが回答するよりも多くのクエリを拒否しました。

「すべてのツールは、制限を認めるよりも間違った回答を提供する可能性が一貫して高かった」と報告書は明確に述べています。

有料プランも信頼性が高いわけではない

Grok-3 SearchやPerplexity Proのようなプレミアムモデルは、無料のモデルよりも正確ではあるものの、依然として自信を持って間違った回答を提供しました。これにより、しばしば高額なサブスクリプション料金の価値に疑問が生じます。

「この矛盾は主に、[ボットが]質問に直接答えることを拒否するのではなく、決定的だが間違った回答を提供する傾向に起因する」と報告書は説明しています。「根本的な懸念は、チャットボットの事実誤認を超えて、ユーザーが正確な情報と不正確な情報を区別するのが難しい、権威ある会話のトーンにまで及ぶ」

「この不当な自信は、信頼性と正確さの潜在的に危険な錯覚をユーザーに与える」と報告書は付け加えました。

リンクの捏造

AIモデルはハルシネーション（幻覚）で悪名高いが、Towの研究では、GeminiとGrok 3が最も頻繁にこれを行い、半分以上のケースで発生しました。「Grokが正しい記事を特定した場合でも、しばしば捏造されたURLにリンクした」と報告書は指摘し、Grokが正しいタイトルと出版社を見つけても、実際の記事リンクを捏造する可能性があることを意味します。

ノースウェスタン大学のイニシアチブであるGenerative AI in the NewsroomによるComscoreのトラフィックデータの分析は、このパターンを確認しました。2024年7月から11月までの彼らの研究では、ChatGPTが応答で205の壊れたURLを生成したことが示されました。出版物が記事を削除することがあり、404エラーが発生する可能性があるが、研究者たちはアーカイブデータの欠如から「モデルがユーザークエリに応答する際に、信頼できるニュース媒体へのもっともらしいリンクをハルシネーションした」と指摘しました。

AI検索エンジンの採用が増加している中—Googleは2024年第4四半期に10年ぶりに市場シェアが90％を下回りました—これらの発見は憂慮すべきものです。同社は先週、特定のユーザー向けにAI Modeをリリースし、AI Overviewsの不人気にもかかわらず、通常の検索をチャットボットに置き換えました。

約4億人のユーザーが毎週ChatGPTに集まる中、その引用の信頼性の低さと歪みは、厳格に事実確認されたニュースサイトからコンテンツを引用しているにもかかわらず、ChatGPTや他の人気AIツールを誤情報の潜在的なエンジンにします。

Towの報告書は、AIツールがソースを誤ってクレジットしたり、その仕事を誤って表現することで、出版社の評判に逆効果をもたらす可能性があると結論付けました。

ブロックされたクローラーの無視

Towの報告書によると、状況は出版社にとってさらに悪化しており、複数のチャットボットがRobots Exclusion Protocol（REP）やrobots.txtを使用してクローラーをブロックした出版社の記事を取得できることがわかりました。しかし、逆説的に、チャットボットはアクセスを許可されているサイトに関するクエリに正しく答えることができませんでした。

「Perplexity Proはこの点で最悪の違反者であり、アクセスすべきでない90の記事の抜粋のほぼ3分の1を正しく特定した」と報告書は述べています。

これは、Perplexityなどが昨年行っていたように、AI企業が依然としてREPを無視しているだけでなく、彼らとライセンス契約を結んでいる出版社が正しく引用される保証がないことを示唆しています。

コロンビアの報告書は、より大きな問題の一つの症状に過ぎません。Generative AI in the Newsroomの報告書は、チャットボットが情報を抽出しているニュースサイトにトラフィックをほとんど転送しないことを発見し、他の報告書もこれを確認しています。2024年7月から11月まで、Perplexityはニュースサイトに7％の参照を渡し、ChatGPTはわずか3％でした。対照的に、AIツールはScribd.com、Coursera、大学関連のリソースを優先し、最大30％のトラフィックをそれらに送りました。

結論：オリジナル報道は、AIツールが吐き出すものよりも信頼できるニュースソースです。リンクを事実として受け入れる前に必ず検証し、批判的思考とメディアリテラシーのスキルを使って応答を評価してください。