オプション
家
速報
コンテンツ
DouglasScott
DouglasScott
2026年10月9日

ByteDanceのSeedチームは、ブロック単位でのKVキャッシュ圧縮における位相感度が、超長文を処理する大規模言語モデルのパフォーマンス変動の原因であることを特定した。このメカニズムは検索精度に大きな影響を与える位置座標を導入し、一部のエントリーモデルでは最大40パーセントポイントもの差が生じる。この発見は、平均ベンチマークで隠蔽されていた周期的な弱点を明らかにし、モデルアーキテクチャの最適化と長期コンテキスト推論の安定性向上のための理論的根拠を提供する。

ByteDanceのSeedチームは、ブロック単位でのKVキャッシュ圧縮における位相感度が、超長文を処理する大規模言語モデルのパフォーマンス変動の原因であることを特定した。このメカニズムは検索精度に大きな影響を与える位置座標を導入し、一部のエントリーモデルでは最大40パーセントポイントもの差が生じる。この発見は、平均ベンチマークで隠蔽されていた周期的な弱点を明らかにし、モデルアーキテクチャの最適化と長期コンテキスト推論の安定性向上のための理論的根拠を提供する。
コメント (0)
0/300
OR