AIが何を伝えるかを決めるのは誰か？　元Metaニュース責任者のキャンベル・ブラウン氏が見解を述べる。

キャンベル・ブラウンは、そのキャリアを通じて常に正確な情報を追求してきた。最初は著名なテレビジャーナリストとして、その後はFacebook初にして唯一の専任ニュース責任者としてだ。今、AIが人々の情報消費のあり方を一変させようとしている中、彼女は歴史が繰り返されようとしていると見ている。しかし今回は、誰かが問題を解決してくれるのを待つつもりはない。

彼女がサンフランシスコで開催された「StrictlyVC」のイベントで、TechCrunchのティム・ファーンホルツと最近語った自身の会社「Forum AI」は、彼女が「ハイステークスなトピック」と呼ぶ分野――地政学、メンタルヘルス、金融、採用――において、基盤モデルがどのように機能するかを評価している。これらは「明確な『はい』か『いいえ』の答えがなく、曖昧で、微妙なニュアンスがあり、複雑な」テーマである。

そのアプローチとは、世界有数の専門家を見つけ出し、彼らにベンチマークを設計してもらい、その後、AI審査員を訓練してモデルを大規模に評価させるというものだ。 Forum AIの地政学に関する取り組みにおいて、ブラウン氏はナイアル・ファーガソン氏、ファリード・ザカリア氏、トニー・ブリンケン前国務長官、ケビン・マッカーシー前下院議長、そしてオバマ政権下でサイバーセキュリティを統括したアン・ノイバーガー氏を招聘した。目標は、AI審査員とこれらの人間の専門家との間で約90％の合意率を達成することであり、彼女はForum AIがすでにこの閾値に達していると述べている。

ブラウン氏は、17ヶ月前にニューヨークで設立されたForum AIの起源を、ある特定の瞬間に遡る。「ChatGPTが初めて一般公開された時、私はMetaにいました」と彼女は振り返る。「その直後、これがすべての情報が流れる『漏斗』になるのだと気づいたのを覚えています。そして、その出来栄えはあまり良くなかったのです」。自身の子供たちへの影響を考えた時、その瞬間はまるで存在そのものを問われるような重みを感じさせた。 「これをどう修正するか見つけ出さなければ、私の子供たちは本当に愚かな人間になってしまう」と彼女は当時思ったと振り返る。

彼女を最も苛立たせたのは、正確性が誰の優先事項にもなっていないように見えたことだった。彼女は、基盤モデル（ファウンデーションモデル）を手掛ける企業は「コーディングや数学に極めて重点を置いている」一方で、ニュースや情報はより扱いが難しいと述べた。しかし、難しいからといって、無視してよいわけではないと彼女は主張した。

実際、Forum AIが主要なモデルの評価を始めた際、その結果は決して心強いものではなかった。彼女は、Geminiが「中国とは全く関係のない記事」のために中国共産党のウェブサイトから情報を引用していることを挙げ、ほぼすべてのモデルに左寄りの政治的バイアスが見られると指摘した。また、文脈の欠如、視点の欠如、あるいは無断で論点を歪曲するといった、より微妙な失敗も数多く見られると彼女は述べた。 「まだ道のりは長い」と彼女は語った。「しかし、成果を飛躍的に向上させる、非常に簡単な改善策もいくつかあると思う」

ブラウン氏はFacebookで長年、プラットフォームが誤った指標を最適化した場合に何が起こるかを観察してきた。「私たちが試みたことの多くは失敗に終わった」と彼女はファーンホルツ氏に語った。彼女が構築したファクトチェックプログラムは、もはや存在しない。ソーシャルメディアがそれに目をつぶってきたとしても、エンゲージメントを最適化することは社会にとって有害であり、多くの人々の情報リテラシーを低下させてきたという教訓がある。

彼女の希望は、AIがその悪循環を断ち切れるということだ。「現時点ではどちらに転ぶか分からない」と彼女は語った。企業はユーザーが望むものを提供するかもしれないし、あるいは「人々に、現実であり、誠実であり、真実であるものを提供する」かもしれない。彼女は、理想論的なシナリオ――真実を最適化するAI――が、素朴に聞こえるかもしれないと認めた。しかし、この点において企業は意外な味方になるかもしれないと考えている。 与信判断、融資、保険、採用にAIを活用する企業は法的責任を重視しており、「正確さを追求するよう最適化することを求めるだろう」と彼女は言う。

Forum AIは、まさにその企業の需要にビジネスを賭けている。とはいえ、コンプライアンスへの関心を安定した収益に結びつけることは依然として課題だ。特に、現在の市場の多くが、ブラウン氏が不十分だと考える「チェックリスト式の監査」や「標準化されたベンチマーク」で満足している現状ではなおさらである。

コンプライアンスの状況について、彼女は「笑止千万だ」と述べた。ニューヨーク市がAI監査を義務付ける初の採用バイアス法を可決した際、州監査官は半数以上に未検出の違反があることを発見した。真の評価には、既知のシナリオだけでなく、「誰も考えないようなトラブルに巻き込まれる可能性のある」エッジケースに対処するための専門知識が必要だと彼女は語った。 そして、その作業には時間がかかる。「賢いジェネラリストでは不十分だ」

昨年秋、Lerer Hippeauをリード投資家として300万ドルの資金調達を行ったブラウン氏は、AI業界の自己像と大多数のユーザーにとっての現実との乖離を説明する上で、他に類を見ない立場にある。「大手テック企業のリーダーたちは、『この技術は世界を変えるだろう』、『あなたを職から追い出すだろう』、『がんを治すだろう』と語っている」と彼女は述べた。 「しかし、チャットボットを使って基本的な質問をしているだけの一般の人々にとっては、依然として曖昧で間違った回答ばかりが返ってくるのが現状です。」

AIへの信頼度は極めて低い水準にあり、彼女は、その懐疑的な見方は多くの場合、正当化されると考えている。「シリコンバレーではある一点を巡って議論が交わされている一方で、消費者間では全く異なる議論が繰り広げられているのです。」