AIモデルの実行は、メモリの課題となる

AIインフラのコストに関する議論は、往々にしてNvidiaやGPUに焦点が当てられがちですが、メモリもまた不可欠な要素となりつつあります。ハイパースケーラー各社が新たなデータセンターに数十億ドルを投資する中、DRAMチップの価格は過去1年間でおよそ7倍に急騰しました。

同時に、適切なデータを適切なタイミングで適切なAIエージェントに届けるために、このメモリを最適に運用することに焦点を当てた分野が台頭している。この分野に長けた企業は、より少ないトークンで同じクエリを実行できる。この差こそが、競争の激しい市場での生き残りを左右する要因となり得る。

半導体アナリストのダン・オラフリン氏は、自身のSubstackで、Wekaの最高AI責任者であるヴァル・バーコヴィチ氏との対談を掲載し、メモリチップの重要性について説得力のある見解を示している。両者とも半導体業界出身であるため、議論はハードウェア寄りの内容となっているが、AIソフトウェアへの影響も同様に重大である。

特に印象に残ったのは、Anthropicのプロンプトキャッシュに関するドキュメントがますます複雑化していることについて、バーコヴィッチが言及した一節だ。

ヒントはAnthropicのプロンプトキャッシュの価格ページにあります。6、7ヶ月前、特にClaude Codeのリリース当初は、ごくシンプルなページで、「キャッシュを使えば安くなる」とだけ書かれていました。しかし今では、キャッシュ書き込みをどれだけ前払いすべきかについてのアドバイスが百科事典のように並んでいます。 業界で一般的な5分や1時間の時間枠はありますが、それより長いものは存在しません。これは示唆に富む詳細です。そしてもちろん、事前に購入したキャッシュ書き込み回数に基づいたキャッシュ読み取り料金を巡り、様々な裁定取引の機会が存在します。

核心となる疑問は、Claudeがプロンプトをキャッシュメモリにどれくらい保持するかという点だ。5分間のウィンドウを購入することも、より高額な1時間のウィンドウを購入することも可能だ。キャッシュに残っているデータへのアクセスははるかに安価であるため、効果的な管理によって大幅なコスト削減につながる。しかし、落とし穴がある。クエリに追加される新しいデータ1つごとに、キャッシュ内の別のデータが追い出されてしまう可能性があるのだ。

詳細は複雑ですが、結論は単純明快です。AIモデル内のメモリ管理は、AIの未来において主要な要素となるでしょう。これを習得した企業は、大きな競争優位性を獲得することになります。

この新興分野には、まだ大きな発展の余地があります。昨年10月、私は「TensorMesh」というスタートアップについて記事を書きましたが、同社は「キャッシュ最適化」と呼ばれるスタックのレイヤーに取り組んでいます。

TechCrunch Founder Summit 2026：チケット販売開始

6月23日、ボストンで開催される「TechCrunch Founder Summit 2026」には、1,100名以上の創業者が一堂に会し、成長、実行、実世界でのスケーリングに焦点を当てた充実した1日を過ごします。業界を牽引してきた創業者や投資家から学びましょう。同様の成長段階にある仲間と交流を深め、すぐに実践できる具体的な戦術を持ち帰ってください

パスを最大300ドル割引、または4名以上のチーム向けグループチケットで最大30%割引。

TechCrunch Founder Summit：チケット販売中

6月23日、ボストンで開催される「TechCrunch Founder Summit 2026」には、1,100名以上の創業者が一堂に会し、成長、実行、そして実社会でのスケールアップに焦点を当てた充実した1日を過ごします。業界を牽引してきた創業者や投資家から学び、同じような成長段階にある仲間とつながり、すぐに実践できる戦術を持ち帰ってください

パス代金を最大300ドル割引、または4名以上のチームでグループチケットを利用すると最大30%割引になります。

スタックの他の部分にも機会は存在します。例えば、さらに下層では、データセンターがさまざまな種類のメモリをどのように活用するかという課題があります。（インタビューには、DRAMチップとHBMのどちらをいつ使用すべきかについての洞察に富んだ議論が含まれていますが、かなり技術的な内容になります。）スタックの上層では、エンドユーザーが共有キャッシュを効果的に活用するために、モデル群の構成方法を学んでいます。

企業がメモリのオーケストレーション技術を向上させるにつれ、消費するトークン数は減少し、推論コストは低下するでしょう。同時に、各トークンの処理効率が向上するにつれ、コストはさらに低下します。サーバー費用が減少するにつれ、現在採算が取れないと見なされている多くのアプリケーションも、黒字化に近づき始めるでしょう。