LLMの中には何がありますか？ AI2 Olmotraceはソースを「追跡」します

大規模言語モデル（LLM）の出力とそのトレーニングデータとの関連性を理解することは、企業ITにとって常にちょっとしたパズルでした。今週、Allen Institute for AI（Ai2）が、OLMoTraceというエキサイティングな新しいオープンソースイニシアチブを立ち上げ、この関係性を解明することを目指しています。ユーザーがLLMの出力を元のトレーニングデータに遡って追跡できるようにすることで、OLMoTraceは企業でのAI導入における最大の障壁の一つ、つまりAIの意思決定プロセスの透明性の欠如に取り組んでいます。

OLMoは、Open Language Modelの略で、Ai2のオープンソースLLMファミリーの名前です。OLMoTraceは、Ai2のPlaygroundサイトで最新のOLMo 2 32Bモデルを使って試すことができます。さらに、オープンソースコードはGitHubで公開されており、誰でも自由に使用できます。

OLMoTraceを他の手法（例えば、信頼度スコアや検索拡張生成に焦点を当てたもの）と区別するのは、モデル出力がそれらを形成した膨大なトレーニングデータセットとどのように関連しているかを明確に示す点です。Ai2の研究者であるJiacheng Liuは、VentureBeatに対し、「私たちの目標は、ユーザーが言語モデルが生成する応答の理由を理解するのを助けることです」と語りました。

OLMoTraceの仕組み：単なる引用以上のもの

PerplexityやChatGPT SearchのようなLLMはソース引用を提供できますが、OLMoTraceとは異なる動作をします。Liuによると、これらのモデルは検索拡張生成（RAG）を使用して、トレーニングデータ以外の追加ソースを取り込むことでモデルの出力品質を向上させようとします。一方、OLMoTraceは、RAGや外部ドキュメントに依存せず、モデルの出力を直接トレーニングコーパスに遡って追跡します。

このツールは、モデル出力内のユニークなテキストシーケンスを特定し、トレーニングデータの特定のドキュメントと一致させます。一致が見つかると、OLMoTraceは関連するテキストをハイライトするだけでなく、元のソース素材へのリンクも提供します。これにより、ユーザーはモデルが使用する情報をどこで、どのように学んだかを正確に確認できます。

信頼度スコアを超えて：AIの意思決定の具体的な証拠

LLMは通常、モデルの重みに基づいて出力を生成し、これを使って信頼度スコアを計算します。スコアが高いほど、出力はより正確であるとされています。しかし、Liuはこれらのスコアが誤解を招く可能性があると考えています。「モデルは生成する内容に対して過剰に自信を持つことがあり、スコアを生成するように求めると、通常はそれが誇張されています」と彼は説明しました。「これが学術的にいうキャリブレーションエラーです。モデルが出力する信頼度が、実際の応答の正確さを常に反映しているわけではありません。」

潜在的に誤解を招くスコアに頼る代わりに、OLMoTraceはモデルの学習ソースの直接的な証拠を提供し、ユーザーが情報に基づいた判断を下せるようにします。「OLMoTraceがすることは、モデル出力とトレーニングドキュメントの一致を示すことです」とLiuは述べました。「インターフェースを通じて、一致するポイントやモデル出力がトレーニングドキュメントとどのように一致しているかを直接確認できます。」

OLMoTraceと他の透明性アプローチの比較

Ai2は、LLMの出力をより良く理解しようとしている唯一の組織ではありません。Anthropicも研究を行っていますが、彼らの焦点はモデルの内部動作にあり、データではありません。Liuは違いを強調しました：「私たちは彼らとは異なるアプローチを取っています。私たちはモデルの動作やトレーニングデータに直接追跡します。モデル内のニューロンや内部回路といったものに追跡するのとは対照的です。」

このアプローチにより、OLMoTraceはニューラルネットワークアーキテクチャの深い知識を必要とせずに結果を理解できるため、企業アプリケーションにとってより実際的です。

企業AIアプリケーション：規制遵守からモデルデバッグまで

ヘルスケア、金融、法律サービスなどの規制された分野でAIを展開する企業にとって、OLMoTraceは従来のブラックボックスシステムに比べて大きな利点を提供します。「OLMoTraceは、企業やビジネスユーザーがモデルのトレーニングに使用されたものをより良く理解するのに役立ち、モデルを基盤に構築する際に自信を持てるようにします」とLiuは述べました。「これにより、モデルやその動作に対する顧客の透明性と信頼を高めることができます。」

この技術は、企業AIチームに以下の主要な機能を提供します：

• 元のソースに対するモデル出力の事実確認
• ハルシネーションの起源の理解
• 問題のあるパターンを特定することでモデルデバッグを改善
• データのトレーサビリティを通じて規制遵守を強化
• 透明性を高めることでステークホルダーとの信頼を構築

Ai2チームはすでにOLMoTraceを有効に活用しています。「私たちはすでにトレーニングデータの改善に使用しています」とLiuは明かしました。「OLMo 2を構築し、トレーニングを開始したとき、OLMoTraceを通じて、実際にはポストトレーニングデータの一部が良くないことがわかりました。」

企業AI導入にとっての意味

AI導入の最前線を目指す企業にとって、OLMoTraceはより説明責任のあるAIシステムに向けた重要な進歩を意味します。このツールはApache 2.0オープンソースライセンスの下で提供されており、モデルのトレーニングデータにアクセスできる組織なら誰でも同様の追跡機能を実装できます。

「OLMoTraceは、モデルのトレーニングデータがあればどのモデルでも動作します」とLiuは述べました。「トレーニングデータに誰もがアクセスできる完全なオープンソースモデルでは、誰でもそのモデルにOLMoTraceを設定できます。プロプライエタリモデルでは、データを公開したくないプロバイダも、内部でOLMoTraceを行うことができます。」

グローバルなAIガバナンスフレームワークが進化する中、検証と監査可能性を可能にするOLMoTraceのようなツールは、特に透明性がますます求められる規制産業において、企業AIスタックの重要なコンポーネントになる可能性があります。AI導入のメリットとデメリットを検討する技術的決定者にとって、OLMoTraceは、大規模言語モデルのパワーを損なうことなく、より信頼性が高く説明可能なAIシステムを実装する実際的な方法を提供します。