Moonshot AIと清華大学、データセンター向けのPrfaaSアーキテクチャを提案
大規模言語モデル(LLM)は推論処理においてより多くの計算能力を必要とするため、従来のサービスアーキテクチャではボトルネックが生じている。 Moonshot AIは、清華大学の研究チームと共同で、LLMサービスにおけるデータセンターや計算リソースの制約を克服することを目的とした、「Pre-filling as a Service(PrfaaS)」と呼ばれる新しいアーキテクチャを発表した。

大規模言語モデルの推論プロセスは、一般的に「プリフィリング」と「デコーディング」の 2 つの段階に分けられます。プリフィリングは計算負荷が高く、モデルが入力を処理してキーバリューキャッシュ(KVCache)を作成する段階です。一方、デコーディングはメモリ帯域幅を大量に消費し、出力を順次生成する段階です。 従来の構成では、これら両方の段階を同一のデータセンター内で実行する必要があり、計算能力や帯域幅の制約が生じていた。
PrfaaSは、プリフィリングタスクを専用の高演算クラスターにオフロードし、生成されたKVCacheを標準のイーサネットネットワークを介してローカルのデコーディングクラスターに転送することで、データセンター間を跨いだ効率的なサービスを実現します。研究によると、このアーキテクチャは処理性能を向上させ、従来のモデルと比較してサービススループットを54%向上させることが示されています。 実環境でのケーススタディでも、レイテンシの低減と効率の向上が確認されています。
PrfaaSアーキテクチャは、コンピューティング、ネットワーク、ストレージという3つの主要なサブシステムを分離し、それぞれを独立して管理します。精密なルーティングメカニズムにより、長尺のリクエストの効率的な伝送が保証され、従来のアプローチで見られるリソース配分の不均衡による輻輳が防止されます。さらに、デュアルタイムスケールスケジューリングメカニズムが変動するトラフィックパターンに適応し、リソース使用率をさらに最適化します。
データセンター間での推論に対する需要が高まり、新しいハードウェアが登場し続ける中、PrfaaSは将来のAIアプリケーションに向けた有望なソリューションを提供します。
関連記事
アリビデオ、Wan3.0を発表:超長編動画の生成と多次元の一貫性を実現
8月24日、アリババは最新の動画生成大規模モデル「Wan3.0」を発表しました。このリリースはアリババの動画技術における大きな飛躍を表しており、動画の長さ、汎用的な作成能力、参照画像の扱い、そして現実的な世界シミュレーションにおいて顕著な改善をもたらしました。Wan3.0は、単一の動画生成を最大30秒まで延長し、1つのショット内でより豊かな物語の可能性を提供します。また、doc、xls、ppt、pdf、mdなど主要なファイル形式のサポートを導入し、テキスト、表、スライドを動的な視覚コンテンツに直
MiniMaxの大型モデルが名前を誤って発音 - 西宇テクノロジー:特定のトークン後のトレーニング不足
MiniMaxは最近、M2シリーズのモデルが「馬嘉琪」のような特定の人名を正確に生成できなかった理由を詳述した技術レポートを公開しました。この明らかなエラーは、現在の大規模言語モデルのトレーニングにおける体系的な欠陥を浮き彫りにしています。トークンオフセット:圧縮されたベクトル空間根本的な原因はテキスト処理の基本単位であるトークナイザーにあります。例えば、「馬嘉琪」という名前は「Ma」と「Jiaqi」の2つのトークンに分割されます。モデルは事前トレーニング中にこれらのトークンを学習しましたが、そ
NvidiaのH200に関する中国との契約は、トランプ・習近平首脳会談を乗り切ったものの、予想通りにはいかなかった
トランプ大統領は、ジェンセン・フアン氏が土壇場で代表団に加わった状態で北京を訪問し、2日後に半導体輸出に関する今後の展開について曖昧な発言を残して帰国した。合意は成立しなかった。トランプ大統領が2025年12月に初めて販売を承認して以来、NvidiaのH200は1台も中国に届いていない。 ジェイミソン・グリア米通商代表はブルームバーグに対し、半導体規制については二国間協議の議題にすら上らなかったこ
関連特集おすすめ
コメント (10)
0/500
Интересная архитектура PrfaS от Moonshot и Цинхуа для решения проблем с вычислительной мощностью LLM. Надеюсь, это поможет оптимизировать центры обработки данных! 🚀
A arquitetura PrfaS proposta por Moonshot e Tsinghua é um passo interessante para resolver gargalos de computação em LLMs. Será que isso viabiliza data centers mais eficientes? 🤔
La arquitectura PrfaS de Moonshot y Tsinghua parece una gran solución para los cuellos de botella en centros de datos con LLMs. ¡Esperamos ver resultados concretos pronto! 📈
Moonshot AI und Tsinghua zeigen mit PrfaS einen vielversprechenden Ansatz gegen Rechenengpässe bei LLMs. Spannend zu sehen, wie diese Kooperation die Datenzukunft gestaltet! 🌐
大規模言語モデル(LLM)は推論処理においてより多くの計算能力を必要とするため、従来のサービスアーキテクチャではボトルネックが生じている。 Moonshot AIは、清華大学の研究チームと共同で、LLMサービスにおけるデータセンターや計算リソースの制約を克服することを目的とした、「Pre-filling as a Service(PrfaaS)」と呼ばれる新しいアーキテクチャを発表した。

大規模言語モデルの推論プロセスは、一般的に「プリフィリング」と「デコーディング」の 2 つの段階に分けられます。プリフィリングは計算負荷が高く、モデルが入力を処理してキーバリューキャッシュ(KVCache)を作成する段階です。一方、デコーディングはメモリ帯域幅を大量に消費し、出力を順次生成する段階です。 従来の構成では、これら両方の段階を同一のデータセンター内で実行する必要があり、計算能力や帯域幅の制約が生じていた。
PrfaaSは、プリフィリングタスクを専用の高演算クラスターにオフロードし、生成されたKVCacheを標準のイーサネットネットワークを介してローカルのデコーディングクラスターに転送することで、データセンター間を跨いだ効率的なサービスを実現します。研究によると、このアーキテクチャは処理性能を向上させ、従来のモデルと比較してサービススループットを54%向上させることが示されています。 実環境でのケーススタディでも、レイテンシの低減と効率の向上が確認されています。
PrfaaSアーキテクチャは、コンピューティング、ネットワーク、ストレージという3つの主要なサブシステムを分離し、それぞれを独立して管理します。精密なルーティングメカニズムにより、長尺のリクエストの効率的な伝送が保証され、従来のアプローチで見られるリソース配分の不均衡による輻輳が防止されます。さらに、デュアルタイムスケールスケジューリングメカニズムが変動するトラフィックパターンに適応し、リソース使用率をさらに最適化します。
データセンター間での推論に対する需要が高まり、新しいハードウェアが登場し続ける中、PrfaaSは将来のAIアプリケーションに向けた有望なソリューションを提供します。
アリビデオ、Wan3.0を発表:超長編動画の生成と多次元の一貫性を実現
8月24日、アリババは最新の動画生成大規模モデル「Wan3.0」を発表しました。このリリースはアリババの動画技術における大きな飛躍を表しており、動画の長さ、汎用的な作成能力、参照画像の扱い、そして現実的な世界シミュレーションにおいて顕著な改善をもたらしました。Wan3.0は、単一の動画生成を最大30秒まで延長し、1つのショット内でより豊かな物語の可能性を提供します。また、doc、xls、ppt、pdf、mdなど主要なファイル形式のサポートを導入し、テキスト、表、スライドを動的な視覚コンテンツに直
MiniMaxの大型モデルが名前を誤って発音 - 西宇テクノロジー:特定のトークン後のトレーニング不足
MiniMaxは最近、M2シリーズのモデルが「馬嘉琪」のような特定の人名を正確に生成できなかった理由を詳述した技術レポートを公開しました。この明らかなエラーは、現在の大規模言語モデルのトレーニングにおける体系的な欠陥を浮き彫りにしています。トークンオフセット:圧縮されたベクトル空間根本的な原因はテキスト処理の基本単位であるトークナイザーにあります。例えば、「馬嘉琪」という名前は「Ma」と「Jiaqi」の2つのトークンに分割されます。モデルは事前トレーニング中にこれらのトークンを学習しましたが、そ
NvidiaのH200に関する中国との契約は、トランプ・習近平首脳会談を乗り切ったものの、予想通りにはいかなかった
トランプ大統領は、ジェンセン・フアン氏が土壇場で代表団に加わった状態で北京を訪問し、2日後に半導体輸出に関する今後の展開について曖昧な発言を残して帰国した。合意は成立しなかった。トランプ大統領が2025年12月に初めて販売を承認して以来、NvidiaのH200は1台も中国に届いていない。 ジェイミソン・グリア米通商代表はブルームバーグに対し、半導体規制については二国間協議の議題にすら上らなかったこ
Интересная архитектура PrfaS от Moonshot и Цинхуа для решения проблем с вычислительной мощностью LLM. Надеюсь, это поможет оптимизировать центры обработки данных! 🚀
A arquitetura PrfaS proposta por Moonshot e Tsinghua é um passo interessante para resolver gargalos de computação em LLMs. Será que isso viabiliza data centers mais eficientes? 🤔
La arquitectura PrfaS de Moonshot y Tsinghua parece una gran solución para los cuellos de botella en centros de datos con LLMs. ¡Esperamos ver resultados concretos pronto! 📈
Moonshot AI und Tsinghua zeigen mit PrfaS einen vielversprechenden Ansatz gegen Rechenengpässe bei LLMs. Spannend zu sehen, wie diese Kooperation die Datenzukunft gestaltet! 🌐





家






