【geek-terminalニュース】極限のKVキャッシュ圧縮競争！TurboQuant vs 噂のOSCARとEpiCache

以前、4月16日にお届けした「llama.cppにおけるTurboQuant統合」のニュース。あの熱狂から2ヶ月が経過し、ローカルLLM界隈の情勢はさらなる激化を見せている。今回はその続報として、TurboQuantに迫る強力な対抗馬たちとの比較検証、そしてVRAM消費という最大ボトルネックを削り取るための、極限の圧縮手法たちがしのぎを削る血みどろの技術競争の最前線をお届けする。

【事象の全貌と背景】
ローカル環境で大規模言語モデル（LLM）を実用レベルで稼働させようと試みるギークたちにとって、永遠かつ最大の障壁となってきたのが「VRAM（ビデオメモリ）の枯渇」だ。特にエージェント的な動作や長文脈（ロングコンテキスト）の推論を行う際、モデルの重み（ウェイト）データそのものよりも、テキスト生成中の各レイヤーでトークンごとに保持しなければならない「KV（キー・値）キャッシュ」がメモリを猛烈な勢いで食いつぶす現象が問題の根幹である。
歴史を紐解けば、AIの進化は常に「メモリの壁」との戦いだった。2017年のトランスフォーマー・アーキテクチャの登場以降、1つのトークンコンテキストを保存するのに必要なメモリ量は、先人たちの血のにじむような最適化により約100分の1（100x）にまで激減している。その一方で、同じ期間におけるデータセンター向けの最高峰GPUのメモリ容量は、V100の16GBから最新世代の288GBへと約18倍にしか成長していない。つまり、AIが直面してきたボトルネックの大部分は、ハードウェアの物理的な容量増加ではなく、アルゴリズムという名の「数学」によってハックされ、強引に突破されてきたのだ。
2019年には全クエリでKVヘッドを共有するMQAが登場し、2023年には品質を保ちつつメモリを削るGQA（Grouped-Query Attention）がオープンモデルの標準となった。さらに2024年にはDeepSeekのMLAがKVキャッシュを潜在ベクトルに圧縮して93%もの削減を達成した。そして2026年現在、戦場は「非均一なキャッシュ管理」と「極限までビット幅を切り詰める量子化」へと移行し、まさに血で血を洗う生存競争の様相を呈しているのである。

【技術的ディープダイブ】
現在のKVキャッシュ圧縮技術において、公式な学術研究でも裏付けられている最重要の事実が「非均一（Non-Uniform）KV圧縮」の実用化と、ベクトル量子化が到達しつつある「情報理論の物理的限界」である。
従来、すべてのアテンションヘッドに一律のメモリを割り当てる手法が一般的だったが、ヘッドごとに重要度が異なることに着目し、予算を傾斜配分する「非均一圧縮」が理論的に優れていることは知られていた。しかし、vLLMなどの既存のサービングエンジンにこれを組み込むと、メモリのページ断片化（Page Fragmentation）が多発し、散らばったページを再整理するためのガベージコレクション的なオーバーヘッドが事前計算（Prefill）プロセスの最大25%を奪ってしまう。さらにはGPUの並列ワークロードに偏りが生じ、デコード遅延が最大1.7倍に悪化するという致命的な物理的障壁が存在していた。
これを根本から解決したのが、新たに発表されたフレームワーク「Tangram」だ。Tangramの研究チームは、アテンションヘッドの重要度に「テキスト内容に依存しない構造的規則性」があることを発見。わずか50サンプルの事前データでヘッドの予算を固定化する「予算予約（Budget Reservation）」、類似予算のヘッドをまとめて断片化を防ぐ「ラゲッドページング（Ragged Paging）」、そして実行時の動的調整を全廃する「事前ロードバランシング（Ahead-of-Time Load Balancing）」を実装した。これにより、動的なオーバーヘッドを完全に根絶し、フルKVキャッシュ比で最大2.6倍のエンドツーエンド・スループット向上という驚異的な数値を叩き出している。
さらに、Googleの「TurboQuant」に代表される最新の量子化アルゴリズムは、ついにシャノンエントロピーの限界（物理的なデータ圧縮の理論的限界）に肉薄している。KVキャッシュのデータは単なるランダムな数値の羅列ではなく、モデルが訓練された「形式言語」からのサンプリング結果である。モデルがほぼ最適な予測器（Near-Optimal Predictor）として機能するため、データの予測可能性（偏り）を逆手に取ることで、残差エラーに対するQJL（量子化ジョンソン・リンデンシュトラーシュ）変換などを駆使し、わずか3〜4ビットへの極小量子化でも情報損失をほぼゼロ（Near-Lossless）に抑え込むことに成功している。
なお、コミュニティ内や一部の技術メディアでは、さらに過激なアプローチも取り沙汰されている。真偽のほどは定かではないが、トークン間のノルム不均衡に着目してINT2（2ビット）に特化した極小量子化フレームワーク「OSCAR」や、Appleが提案したとされる、会話履歴をエピソード単位でクラスタリングし不要な文脈をまるごと破棄（Eviction）する「EpiCache」などが、有望な対抗馬としてコミュニティで噂されている。特にこれらはTurboQuantのような量子化手法と併用が可能とされており、もし実用化されればさらなる限界突破が期待できるだろう。

【コミュニティの生々しい熱量と議論】
こうした学術的・技術的ブレイクスルーに対する、現場のギークたちの反応はすさまじい。Redditのr/LocalLLaMAなどのコミュニティでは、TurboQuantの実用性を検証するための生々しいレポートや魔改造パッチが連日投下されている。
ある開発者（gladkos氏）は、「M4チップ搭載のMacBook Air（ユニファイドメモリ16GB）という一番安いモデルで、Qwen 3.5-9Bモデルを使い、なんと20,000トークンのコンテキストを処理することに成功した」と報告。「以前なら完全にクラッシュしていた処理が、たった1GBのメモリ消費で動いている。古いQ4量子化ではモデルの応答（コヒーレンス）が崩壊して使い物にならなかったが、3ビットのTurboQuantは奇跡的に精度を維持している」と驚嘆の声を上げた。これに対し、他のユーザーからも「自分の8GB VRAMのグラボが、まるで最新型に生まれ変わったようだ」と称賛のコメントが殺到している。
しかし、ローカルLLM界隈特有の「泥臭いドラマ」も同時に巻き起こっている。この盛り上がりに乗じて、「TurboQuantを搭載した革新的な新GUIアプリ」と銘打つオープンソースプロジェクトが公開されたが、コード監査を行った猛者（M5_Maxxx氏）によって即座に実態が暴かれたのだ。その正体は、既存の人気ローカルLLMアプリ「Jan.ai」のソースコードをフォークし、アプリ名（Atomic Chat）やアイコン、一部のUIを書き換えた上で、TurboQuant対応版のllama.cppをバンドルしただけの「ガワだけのアプリ」だった。
MITライセンス上は適法であるものの、コミュニティからは「オリジナルであるJanへのリスペクトやReadmeでの謝辞すら一切ないのは、オープンソースの倫理としてどうなのか」「単なるリポジトリのロンダリングではないか」と激しい非難が殺到した。技術の進化スピードが常軌を逸しているからこそ、最新技術をいち早く取り込んで注目を集めようとするハックと、コミュニティの自治・倫理観が激しく衝突する、極めてリアルで生々しい議論が展開されている。

【今後の展望とエコシステムへの影響】
TurboQuantの台頭や、Tangramによる非均一KV圧縮の物理的制約の突破は、AI開発のエコシステムにおけるゲームのルールを根底から書き換えようとしている。「数百万トークンを超える超巨大なコンテキストやマルチターン対話を処理するには、一台数百万円のハイエンドGPUを何枚も並べるしかない」というクラウド偏重の常識は、終わりを告げようとしている。
今後は、単一の静的なプロンプト処理から、自律的に思考し行動する「LLMエージェント」へと主戦場が移っていく。実際に、最新の研究では「EvoArena」や「WeaveBench」といった、動的環境下でのエージェントのメモリ進化プロセスや、長期間にわたるコンピュータ操作タスクの処理能力を評価する実世界ベンチマークの整備が急速に進められている。また、「FORT-Searcher」のように、限られたリソース内でエージェントの空間推論やアクションインターフェースを最適化する試みも始まっている。
我々は今、アルゴリズムがハードウェアの物理的制約を凌駕する「極北」を目撃している。24GBのVRAMを持つコンシューマー向けGPU、あるいは数万円のMacBookすらもが、エンタープライズ級の推論能力と「無限の記憶」をローカル環境で自在に操る未来。力技のハードウェアに、ギークの執念と数学が打ち勝つパラダイムシフトの瞬間を、我々はまさに今、リアルタイムで体験しているのである。