LLMの中には何がありますか？ AI2 Olmotraceはソースを「追跡」します

大規模な言語モデル（LLM）の出力とそのトレーニングデータの間の接続を理解することは、常にエンタープライズITにとって少しパズルです。今週、アレンInstitute for AI（AI2）は、この関係を分かりやすくすることを目的としたオルモトレースと呼ばれるエキサイティングな新しいオープンソースイニシアチブを開始しました。ユーザーがLLM出力を元のトレーニングデータに追跡できるようにすることで、OlmoTraceはエンタープライズAIの採用に対する最大のハードルの1つであるAIの意思決定プロセスの透明性の欠如に取り組みます。

オープン言語モデルの略であるOlmoは、AI2のオープンソースLLMSファミリーの名前です。 AI2のPlaygroundサイトにある最新のOlmo 2 32Bモデルで、OlmoTraceを試してみることができます。さらに、オープンソースコードはGitHubでグラブ用に使用できるため、誰でも自由に使用できます。

OlmoTraceを他の方法と区別しているのは、信頼性スコアや検索された生成に焦点を当てている方法と同様に、モデル出力がそれらを形成した広大なトレーニングデータセットにどのように関連するかについて明確なビューを提供することです。 AI2の研究者であるJiacheng LiuはVentureBeatに、「私たちの目標は、言語モデルが彼らが行う応答を生成する理由をユーザーに理解できるようにすることです」と語った。

Olmotraceの仕組み：単なる引用以上のもの

PerplexityやChatGPT検索のようなLLMはソースの引用を提供できますが、Olmotraceとは異なる動作をしています。 Liuによると、これらのモデルは、トレーニングデータを超えて追加のソースを組み込むことにより、モデル出力品質を向上させることを目的とした検索された生成（RAG）を使用しています。一方、OlmoTraceは、RAGや外部ドキュメントに依存せずに、モデルの出力をトレーニングコーパスに直接追跡します。

このツールは、モデル出力の一意のテキストシーケンスを識別し、トレーニングデータの特定のドキュメントに一致させます。一致が見つかると、Olmotraceは関連するテキストを強調するだけでなく、元のソース素材へのリンクも提供します。これにより、ユーザーはモデルが使用する情報をどこでどのように学習したかを正確に確認できます。

自信のスコアを超えて：AIの意思決定の有形の証拠

LLMは通常、信頼性スコアの計算に使用されるモデルの重みに基づいて出力を生成します。スコアが高いほど、出力はおそらく正確です。しかし、Liuは、これらのスコアは誤解を招く可能性があると考えています。 「モデルは、生成するものに自信を持っている可能性があります。スコアを生成するように頼むと、通常は膨らんでいます」と彼は説明しました。 「それが学者がキャリブレーションエラーと呼ぶものです。モデル出力が、彼らの応答が実際にどれほど正確であるかを常に反映するとは限りません。」

OlmoTraceは、誤解を招く可能性のあるスコアに依存する代わりに、モデルの学習ソースの直接的な証拠を提供し、ユーザーが情報に基づいた判断を下すことができます。 「OlmoTraceが行うことは、モデル出力とトレーニング文書の一致を示すことです」とLiu氏は述べています。 「インターフェイスを通じて、一致点がどこにあるか、モデル出力がトレーニングドキュメントとどのように一致するかを直接確認できます。」

OlmoTraceが他の透明性アプローチと比較する方法

AI2は、LLMの出力をよりよく理解するために取り組んでいる唯一の組織ではありません。人類は研究を実施していますが、彼らの焦点はデータではなくモデルの内部操作にあります。 Liuは違いを強調しました。「私たちは彼らとは異なるアプローチをとっています。モデルニューロン、内部回路、そのようなことをトレースするのではなく、モデルの動作、トレーニングデータに直接追跡しています。」

このアプローチは、結果を理解するためにニューラルネットワークアーキテクチャの詳細な知識を必要としないため、OlmoTraceをエンタープライズアプリケーションでより実用的にします。

エンタープライズAIアプリケーション：規制のコンプライアンスからデバッグのモデルまで

Healthcare、Finance、またはLegal Servicesなどの規制セクターにAIを展開する企業の場合、OlmoTraceは従来のブラックボックスシステムに大きなメリットを提供します。 「Olmotraceは、モデルのトレーニングで使用されているものをよりよく理解して、自分の上に構築したいときに自信を持つことができるようになると考えています」とLiu氏は述べています。 「これは、モデルの間の透明性と信頼を高めるのに役立ちます。また、モデルの行動の顧客にとっても役立ちます。」

このテクノロジーは、エンタープライズAIチームにとっていくつかの重要な機能を可能にします。

• ファクトチェックモデルは、元のソースに対して出力されます
• 幻覚の起源を理解する
• 問題のあるパターンを特定することにより、モデルのデバッグを改善します
• データトレーサビリティを介した規制コンプライアンスの強化
• 透明性の向上により、利害関係者との信頼を構築します

AI2チームはすでにOlmoTraceを有効に活用しています。 「私たちはすでにトレーニングデータを改善するためにそれを使用しています」とLiuは明らかにしました。 「Olmo 2を構築し、OlmoTraceを通じてトレーニングを開始したとき、実際にトレーニング後のデータの一部が良くないことがわかりました。」

これがエンタープライズAIの採用にとって何を意味するのか

AIの採用の最前線にいることを目指している企業にとって、Olmotraceは、より説明責任のあるAIシステムに対する大きな進歩を示しています。このツールは、Apache 2.0オープンソースライセンスの下で利用できます。つまり、モデルのトレーニングデータにアクセスできる組織は、同様のトレース機能を実装できることを意味します。

「Olmotraceは、モデルのトレーニングデータがある限り、あらゆるモデルで動作することができます」とLiu氏は述べています。 「誰もがモデルのトレーニングデータにアクセスできる完全に開いたモデルの場合、誰でもそのモデルと独自モデルのためにOlmoTraceを設定できます。一部のプロバイダーはデータをリリースしたくない場合もあります。

グローバルAIガバナンスフレームワークが進化するにつれて、検証と監査可能性を可能にするOlmoTraceのようなツールは、特に透明性がますます必要とされる規制業界で、企業AIスタックの重要なコンポーネントになる可能性があります。 AI採用の長所と短所を考慮した技術的な意思決定者には、OlmoTraceは、大規模な言語モデルの力を損なうことなく、より信頼できる説明可能なAIシステムを実装する実用的な方法を提供します。