よく耳にするAI用語の謎を解き明かす

人工知能は私たちの世界を一新しつつあり、その過程で、その仕組みを説明するためのまったく新しい用語群を生み出しています。 AIに関する記事にほんの数分目を通すだけでも、LLM、RAG、RLHFといった用語や、その他数十もの専門用語に出くわし、経験豊富な技術者でさえも理解に苦しむことがあります。この用語集は、そうした専門用語の謎を解き明かすための私たちの取り組みです。この分野の進歩に合わせて定期的に更新していくため、ここで解説するAIシステムと同様に、常に進化し続ける「生きた文書」としてご活用ください。

AGI

汎用人工知能（Artificial General Intelligence、AGI）は、やや曖昧な概念です。大まかに言えば、ほとんどのタスクではないにせよ、幅広いタスクにおいて平均的な人間よりも優れた能力を持つAIを指します。OpenAIのCEOであるサム・アルトマンはかつて、AGIを「同僚として雇える平均的な人間と同等の存在」と表現しました。 一方、OpenAIの設立憲章では、AGIを「経済的に価値のある仕事のほとんどにおいて、人間を上回る性能を持つ高度に自律的なシステム」と定義しています。Google DeepMindの見解は少し異なり、AGIを「ほとんどの認知タスクにおいて、少なくとも人間と同等の能力を持つAI」と捉えています。混乱しましたか？ 心配しないでください。AI研究の最前線にいる専門家たちでさえ、しばしば混乱しているのです。

AIエージェント

AIエージェントとは、AIを活用して、ユーザーに代わって一連のタスクを自律的に実行するツールです。これは基本的なチャットボットの能力を超え、経費精算、旅行やレストランの予約、さらにはコードの記述やメンテナンスといった処理をこなします。しかし、前述したように、これは多くの要素が流動的に変化している新興分野であるため、「AIエージェント」という用語の意味は人によって異なる場合があります。 その構想された機能を完全に実現するために必要なインフラは、現在も開発の途上にある。その核心となる概念は、複数のAIモデルを活用して多段階のタスクを実行する自律システムを意味している。

APIエンドポイント

APIエンドポイントは、ソフトウェアアプリケーションの背面にあり、他のプログラムが押すことで特定のアクションをトリガーする「ボタン」のようなものだと考えてください。開発者はこれらのインターフェースを利用して統合機能を構築します。例えば、あるアプリが別のアプリからデータを取得できるようにしたり、AIエージェントが人間の操作なしにサードパーティのサービスを直接制御できるようにしたりします。ほとんどのスマートホームデバイスや接続プラットフォームには、一般ユーザーが目にしたり操作したりすることはないものの、こうした隠れたボタンが用意されています。 AIエージェントが高度化するにつれ、これらのエンドポイントを自律的に発見・利用する能力が高まり、自動化において強力で、時に驚くべき可能性を切り拓いています。

思考の連鎖

単純な質問であれば、人間の脳は意識的に深く考えなくても答えられることがよくあります。「キリンと猫、どちらが背が高いか？」といった質問です。しかし、より複雑な問題となると、中間ステップを整理するために紙とペンが必要になるかもしれません。 例えば、農家が鶏と牛を合わせて40頭、脚が120本いる場合、答え（鶏20羽、牛20頭）を見つけるために、簡単な式を書き出すでしょう。

AIにおいて、大規模言語モデル（LLM）の「思考の連鎖」による推論とは、問題をより小さな中間ステップに分解し、最終出力の精度を高めることを指します。このアプローチでは通常、答えを出すまでに時間がかかりますが、特に論理やコーディングの文脈においては、結果が正しい可能性が高くなります。推論モデルは従来のLLMから発展したものであり、強化学習などの技術を通じて、この段階的な思考プロセスに最適化されています。

（参照：大規模言語モデル）

これは、一般的な「AIエージェント」よりも具体的な概念です。コーディングエージェントとは、ソフトウェア開発の目標を達成するために、段階的なアクションを自律的に実行できる特殊なプログラムのことです。単に人間が確認して挿入するためのコードを提案するだけでなく、コーディングエージェントはコードを独自に記述、テスト、デバッグすることができ、通常は開発者の日々の業務を占める反復的な試行錯誤の作業を処理します。 これらのエージェントはコードベース全体を横断して動作し、最小限の人為的監督の下でバグの特定、テストの実行、修正のデプロイを行うことができます。まるで、決して眠らず、集中力を切らさない、信じられないほど速いインターンを雇ったようなものだと考えてください。ただし、他のインターンと同様に、最終的な成果物のレビューは依然として人間が行う必要があります。

コンピュート

「コンピュート」という言葉には複数の意味がありますが、一般的にはAIモデルが機能するために不可欠な計算能力を指します。この処理能力はAI業界を支え、強力なモデルのトレーニングとデプロイを可能にします。この用語は、この能力を提供するハードウェア（GPU、CPU、TPUなどのコンポーネントや、現代のAIエコシステムの基盤を形成するその他のインフラストラクチャ）の略称として使われることがよくあります。

ディープラーニング

自己学習型機械学習の一分野であり、AIアルゴリズムが多層構造の人工ニューラルネットワーク（ANN）を用いて構築されるものです。これにより、線形モデルや決定木といった単純な機械学習システムよりも、より複雑なパターンや関係性を識別することが可能になります。ディープラーニングアルゴリズムの設計は、人間の脳内のニューロンが相互に接続されたネットワークに着想を得ています。

ディープラーニングモデルは、人間のエンジニアが事前に特徴を定義する必要なく、データ内の重要な特徴を自ら識別することができます。この構造は、失敗から学び、反復と調整を通じて時間の経過とともに出力を向上させるアルゴリズムもサポートします。しかし、ディープラーニングシステムが良好な結果を出すには、膨大な量のデータ（数百万件以上）が必要です。また、通常、単純な機械学習アルゴリズムよりも学習に時間がかかるため、開発コストが高くなります。

（参照：ニューラルネットワーク）

ディフュージョン

ディフュージョンは、アート、音楽、テキストを生成する多くのAIモデルの基盤となる技術です。物理学に着想を得たディフュージョンシステムは、写真や楽曲などのデータの構造にノイズを加え、認識可能なものが何も残らなくなるまで徐々に「破壊」していきます。 物理学において、拡散は自発的かつ不可逆的な現象です（コーヒーに溶けた砂糖が再び角砂糖の状態に戻ることはありません）。しかし、AIの拡散システムは、ノイズから元のデータを再構築するための「逆拡散」プロセスを学習することを目指しており、それによってゼロから新しいデータを生成する能力を獲得します。

蒸留

蒸留（ディスティレーション）とは、大規模なAIモデル（「教師」）から小規模なモデル（「生徒」）へ知識を転送する技術です。開発者は教師モデルにクエリを送信し、その出力を記録します。場合によっては、データセットと比較して精度を評価することもあります。その後、これらの出力を用いて生徒モデルを訓練し、教師の挙動を近似させます。

蒸留により、大規模なモデルを基盤として、性能の低下を最小限に抑えつつ、より小型で効率的なモデルを作成できます。OpenAIがGPT-4の高速版であるGPT-4 Turboを開発した際も、おそらくこの手法を用いたと考えられます。

すべてのAI企業が社内でディスティレーションを利用している一方で、一部の企業は、最先端のモデルに追いつくためにこれを利用している可能性もあります。しかし、競合他社のモデルから知識を抽出することは、通常、AI APIやチャットアシスタントの利用規約に違反します。

ファインチューニング

これは、AIモデルを元の学習対象を超えて特定のタスクや分野向けに最適化するための追加トレーニングを指します。通常、対象領域に関連する新しい専門的なデータをモデルに学習させることで行われます。

多くのAIスタートアップは、商用製品の基盤として大規模言語モデル（LLM）を採用して事業を開始します。その後、自社のドメイン固有の知識や専門性を用いてモデルを微調整し、初期の学習サイクルを補完することで、特定の分野やタスクにおける有用性の向上を目指します。

（参照：大規模言語モデル [LLM]）

GAN

生成対立ネットワーク（GAN）は、生成AI、特にディープフェイク用のツールを含む現実的なデータの生成において、大きな進歩をもたらした機械学習フレームワークの一種です。GANでは、互いに対立する2つのニューラルネットワークが関与します。一方（ジェネレータ）は学習データに基づいて出力を生成し、もう一方（ディスクリミネータ）はその出力を評価します。

この2つのモデルは、本質的に競争関係にある。ジェネレーターは、ディスクリミネーターを欺くほど説得力のある出力を生成しようと試み、一方、ディスクリミネーターは人工的に生成されたデータを見抜こうとする。この敵対的プロセスにより、人間の介入なしにAIの出力をより現実的なものに最適化できる。GANは、汎用AIというよりは、現実的な写真や動画の生成といった特定の用途において最も効果的である。

幻覚

「幻覚（Hallucination）」とは、モデルが誤った情報や捏造された情報を生成してしまう現象を指すAI業界の用語です。これは、AIの品質と信頼性にとって重大な課題となっています。

幻覚は、健康に関する質問に対して有害な医療アドバイスを提供するなど、現実世界でのリスクを伴う誤解を招く生成AIの出力を生み出す可能性があります。

このAIによる虚偽生成の問題は、トレーニングデータの不備に起因すると考えられています。幻覚現象の蔓延により、知識のギャップを埋め、誤情報のリスクを最小限に抑える手段として、より専門的で垂直的なAIモデル（より狭い専門知識を持つドメイン特化型システム）への移行が進んでいます。

推論

推論とは、学習済みのAIモデルを実行し、新しいデータから予測を行ったり結論を導き出したりするプロセスです。重要な点は、事前の学習なしには推論は行えないということです。モデルは、その知識から効果的に外挿を行う前に、まずデータセットからパターンを学習しなければなりません。

スマートフォン用プロセッサから高性能GPU、カスタムAIアクセラレータに至るまで、多くの種類のハードウェアが推論を実行できます。しかし、すべてのハードウェアが同等の能力を持つわけではありません。非常に大規模なモデルの場合、ハイエンドのAIチップを搭載したクラウドサーバーと比較すると、標準的なノートPC上で実行するには非現実的なほど長い時間がかかってしまいます。

[参照：トレーニング]

大規模言語モデル（LLM）

大規模言語モデル（LLM）は、ChatGPT、Claude、GoogleのGemini、MetaのLlama、Microsoft Copilot、MistralのLe Chatといった人気のあるAIアシスタントを支えるAIモデルです。AIアシスタントとやり取りする際、ユーザーはLLMと対話していることになります。LLMは、ウェブブラウジングやコードインタプリタなどの様々なツールを直接、あるいはそれらを介して利用し、ユーザーの要求を処理します。

LLMは、数十億もの数値パラメータ（重み）から構成される深層ニューラルネットワークであり、単語やフレーズ間の関係を学習することで、言語の多次元的な表現、つまり一種の言語マップを構築します。

これらのモデルは、数十億冊の書籍、記事、記録文書のパターンを分析することで学習されます。LLMにプロンプトを送ると、入力内容に最も適合する言語パターンを生成します。

（参照：ニューラルネットワーク）

メモリキャッシュ

メモリキャッシュとは、推論（AIによる応答生成）を強化するプロセスを指します。本質的に、キャッシュは推論をより効率的にするための最適化技術です。AIは膨大な数学的計算に依存しており、その一つひとつが電力を消費します。キャッシュは、将来のクエリで再利用するために特定の計算結果を保存することで、モデルが実行しなければならない計算の数を減らします。 メモリキャッシュには様々な種類がありますが、トランスフォーマーベースのモデルでは、KV（キーバリュー）キャッシュがよく知られた例です。KVキャッシュは、回答を生成するために必要な時間と計算負荷を削減することで、効率を高め、応答を高速化します。

（参照：推論）

ニューラルネットワーク

ニューラルネットワークとは、ディープラーニングの基盤となる多層的なアルゴリズム構造であり、より広くは、大規模言語モデルの台頭に続く生成AIブームの基盤でもあります。

データ処理アルゴリズムにおいて、人間の脳の相互接続されたニューロンから着想を得るという考え方は1940年代にまで遡りますが、この理論の可能性を真に解き放ったのは、ビデオゲーム業界に牽引されたグラフィックス処理ユニット（GPU）の近年の普及でした。 これらのチップは、従来可能だったよりもはるかに多くの層を持つアルゴリズムの学習に極めて適していることが判明し、音声認識、自律走行、創薬などの分野において、ニューラルネットワークベースのAIシステムが優れた性能を発揮することを可能にしました。

（参照：大規模言語モデル [LLM]）

オープンソース

オープンソースとは、その基盤となるコードが誰でも利用、検証、または修正できるよう公開されているソフトウェア、あるいは近年ではAIモデルを指します。AI分野ではMetaのLlamaモデル群が代表的な例であり、OS分野ではLinuxが歴史的な先例として挙げられます。オープンソースのアプローチにより、世界中の研究者、開発者、企業が互いの成果を基盤として構築することが可能となり、進歩が加速されるだけでなく、クローズドなシステムでは容易に実現できない独立した安全性監査も可能になります。 クローズドソースとは、コードが非公開であることを意味します。OpenAIのGPTモデルのように、製品は使用できますが、その仕組みを確認することはできません。この違いは、AI業界における中心的な議論となっています。

並列化

並列化とは、多くの演算を順次ではなく同時に実行することを意味します。これは、1人の人間がすべてを段階的に行うのではなく、10人の従業員がプロジェクトの異なる部分を同時に担当するようなものです。AIにおいて、並列化はトレーニングと推論の両方にとって不可欠な要素です。 最新のGPUは、数千もの計算を並列に実行するように特別に設計されており、これが業界のハードウェアの基幹となった主な理由です。AIシステムがより複雑になり、モデルが巨大化するにつれ、多くのチップやマシンにまたがって作業を並列化する能力は、モデルをどれほど迅速かつコスト効率良く構築・展開できるかを決定する重要な要素となっています。より優れた並列化戦略に関する研究は、今やそれ自体が独立した研究分野となっています。

RAMageddon

「RAMageddon（ラマゲドン）」とは、テクノロジー業界を席巻する深刻なトレンドを表す、遊び心のある新造語だ。それは、私たちが日常的に使用するほぼすべてのテクノロジー製品を支えるランダムアクセスメモリ（RAM）チップの不足が深刻化しているという現象を指す。AI業界が爆発的に成長する中、最も強力で効率的なAIの構築を競い合う大手テクノロジー企業やAI研究所が、データセンター向けに膨大な量のRAMを購入しているため、他社に回ってくる分がほとんど残っていない。この供給のボトルネックにより、残りの在庫価格は高騰している。

その影響は、ゲーム業界（メモリチップの不足により企業がゲーム機の価格を引き上げている）、家電業界（不足によりスマートフォン出荷台数が過去10年以上で最大の下落を記録する恐れがある）、そして一般的な企業向けコンピューティング（各社が自社のデータセンター用に十分なRAMを確保するのに苦戦している）といった業界に及んでいる。価格の高騰は不足が解消されるまで続くと予想されるが、残念ながら、それが近いうちに起こる兆しはほとんど見られない。

強化学習

強化学習とは、AIシステムが試行錯誤を通じて学習し、正しい行動に対して報酬を得るトレーニング手法である。これは、おやつを使ってペットを訓練するのと似ているが、「ペット」はニューラルネットワークであり、「おやつ」は成功を示す数学的なシグナルである点が異なる。ラベル付き例題の固定データセットを用いてモデルを訓練する教師あり学習とは異なり、強化学習では、モデルが環境を探索し、行動を起こし、フィードバックに基づいてその振る舞いを継続的に更新することができる。 このアプローチは、ゲームのプレイやロボットの制御、そして最近では大規模言語モデルの推論能力を向上させるためのAIトレーニングにおいて、特に有効であることが実証されています。「人間からのフィードバックを用いた強化学習（RLHF）」のような技術は、現在、主要なAI研究所がモデルをより有用で正確かつ安全なものに微調整する上で中心的な役割を果たしています。

トークン

人間と機械のコミュニケーションには明らかな課題があります。人間は自然言語を使用しますが、AIプログラムはデータに基づいた複雑なアルゴリズム処理を通じてタスクを実行するからです。トークンはこのギャップを埋める役割を果たします。トークンは人間とAIのコミュニケーションにおける基本的な構成要素であり、LLMによって処理または生成されるデータの個別のセグメントを表します。トークンは「トークナライゼーション」を通じて生成されます。これは、コンパイラが人間の言語をコンピュータ用のバイナリコードに変換するのと同様に、生のテキストを言語モデルが理解できる消化しやすい単位に分解するプロセスです。 企業環境において、トークンはコストの決定要因ともなります。多くのAI企業はLLMの利用料をトークン単位で課金しており、企業が使用すればするほど、支払額も増加します。

トークン・スループット

繰り返しになりますが、トークンとは、AI言語モデルが処理のために言語を分割した、テキストの小さな断片（多くの場合、単語の一部）のことです。AIのワークロードを理解する上で、これらは「単語」にほぼ相当します。スループットとは、所定の時間内に処理できる量を指すため、トークンスループットは本質的に、システムが同時に処理できるAIワークの量を測定する指標となります。 高いトークンスループットは、AIインフラチームにとって重要な目標です。なぜなら、モデルが同時に何人のユーザーに対応できるか、そして各ユーザーがどれほど迅速にレスポンスを受け取れるかを決定づけるからです。AI研究者のアンドレイ・カーパシーは、自身のAIサブスクリプションが遊休状態にあると不安を感じると述べています。これは、大学院時代に高価なハードウェアが十分に活用されていないことへの懸念を彷彿とさせるものであり、この感情こそが、なぜトークンスループットの最大化がこの分野における執念となっているのかを如実に表しています。

トレーニング

機械学習AIの開発には、「トレーニング」と呼ばれるプロセスが伴います。簡単に言えば、これはモデルにデータを投入し、パターン学習を行わせて有用な出力を生成させることです。これは、システムがデータの特徴に反応し、その出力を望ましい目標（猫の画像の識別であれ、要求に応じて俳句を作ることであれ）に向けて適応させるプロセスです。

トレーニングには膨大な量のデータが必要であり、その必要量は増加の一途をたどっているため、コストがかさむことがあります。そのため、ルールベースのAIをターゲットデータで微調整するといったハイブリッドなアプローチは、一から始めることなくコスト管理に役立ちます。

[参照：推論]

転移学習

事前学習済みのAIモデルを起点として、異なる（ただし通常は関連性のある）タスク向けの新しいモデルを開発する手法です。これにより、過去の学習サイクルで得られた知識を再活用することが可能になります。

転移学習は、モデル開発のプロセスを短縮することで効率化を図ることができます。また、新しいタスクのためのデータが限られている場合にも有用です。しかし、このアプローチには限界もあります。汎用的な能力を得るために転移学習に依存するモデルは、特定の領域で良好なパフォーマンスを発揮するために、その領域固有のデータを用いた追加のトレーニングが必要になる可能性が高いです。

（参照：微調整）

重み

重みはAIの学習において中心的な役割を果たします。なぜなら、重みは学習データ内の異なる特徴（または入力変数）に割り当てられる重要度（すなわち「重み」）を決定し、それによってモデルの出力を形成するからです。

言い換えれば、重みは、特定の学習タスクにおいてデータセット内の何が最も重要かを定義する数値パラメータです。重みは入力値に掛け算されることで機能します。モデルの学習は通常、ランダムに割り当てられた重みから始まり、モデルが反復処理を行うにつれて、目標値により近い出力を生成できるよう重みが調整されていきます。

例えば、住宅価格を予測するために過去の不動産データで学習されたAIモデルには、寝室や浴室の数、物件タイプ（一戸建てまたは半独立型）、駐車場の有無、ガレージの有無などの特徴に対する重みが設定されている可能性があります。モデルが各入力に割り当てる重みは、データセットに基づいて、それらの要素が物件価値に与える影響を反映しています。

検証損失

検証損失は、AIモデルがトレーニング中にどれだけうまく学習しているかを示す指標であり、数値が低いほど良好です。 研究者はこれをリアルタイムの成績表として注意深く監視し、トレーニングを終了するタイミングの決定、ハイパーパラメータの調整、あるいは潜在的な問題の調査に活用します。この指標が特定するのに役立つ重要な懸念事項の一つが「過学習」です。これは、モデルが一般化可能なパターンを学習するのではなく、トレーニングデータを丸暗記してしまう状態を指します。これは、教材を真に理解している学生と、単に昨年の試験問題を暗記しただけの学生との違いに例えることができます。検証損失は、モデルがどちらの道をたどっているかを明らかにするのに役立ちます。

この記事は、新しい情報が入り次第、定期的に更新されます。