【geek-terminalニュース】家庭用RAMで巨大推論、Strata「開始20倍」報告の中身

【事象の全貌と背景】
家庭用RAMで巨大モデルを動かし、待ち時間まで削る。Redditのr/LocalLLaMAに、DeepSeek V4.1を個人のPCで使う二つの報告が登場した。ただし、公式発表や大手メディアによる性能の裏付けは提示されておらず、独立検証されていない投稿者の申告として読む必要がある。

まず「エージェントのセッション開始を20倍高速化」と掲げた投稿。申告構成はRX 9070 XTのVRAM 16GB、Ryzen 7 5800X3D、DDR4 RAM 64GB、PCIe 3.0 NVMe。DeepSeek V4.1 FlashのIST-DAS 1.75 bpwをStrataで動かし、生成は約7 tok/sだったという。問題は生成前。OpenCodeがシステム指示とツール定義の約3.7万トークンを読み直し、初回応答まで約100秒待つ状況だったそうだ。[改修報告](https://www.reddit.com/r/LocalLLaMA/comments/1xljdnj/sorry_sam_my_quite_terrible_home_dram_is_at_100/)

もう一方の約35 tok/s報告は、RTX 3090 TiのVRAM 24GBとDDR4 RAM 128GB、Threadripper 3990X、4TB NVMeを使った別環境だ。こちらはStrata派生のXolotlでDeepSeek-V4.1-Flash-1017を動かし、MTP／DSpark有効時のデコード速度だと説明している。家庭に置ける構成でも、CPUは64コアのThreadripper。GPUの型番とRAM容量だけで一般的な自作PCへ横展開するのは早い。[単一GPU報告](https://www.reddit.com/r/LocalLLaMA/comments/1xlec67/getting_incredible_results_with_a_single_rtx/)

【技術的ディープダイブ】
改修の第一弾は「KV splice」。提案者によれば、作業ディレクトリ、日付、プロジェクト指示、ランダムなID入りのスキルパスがプロンプト前方で変わり、共通の先頭部分を再利用するキャッシュが外れていたという。そこで保存済み会話と新しい入力を照合し、古い行をキャッシュから除去。残りの状態を再利用して、変更行などだけを追加処理する仕組みを試したそうだ。

Issue #4921の申告値では、通常版の37,452トークン処理が100.3秒。splice使用時は36,097トークンを再利用し、1,385トークンを読み、26.0秒だったという。ただし近似処理で、削除後に残る状態は削除前の文章を参照して計算済み。行を消すだけで、その影響まで厳密に巻き戻せるわけではないと提案者も認めている。[KV splice提案](https://github.com/Niko1221/Strata/issues/4921)

第二弾は「resident-only routing」。MoEの専門家をVRAM、RAM、SSDへ分散した環境で、入力処理中だけメモリ常駐の専門家を選ぶ案だ。提案者は、通常処理では1,239トークンの入力でもNVMeから58GBを読み、22.8秒かかったと報告。入力は短くても、多くの専門家へアクセスするとストレージ転送が膨らむという説明である。

spliceとの併用では、別プロジェクトの新規セッションで36,949トークンを再利用し、追加513トークンの処理が5.1秒だったそうだ。100.3÷5.1は約19.7。見出しの「20倍」は、この種の入力処理時間の比較と読める。ただし入力は完全同一ではなく、再利用できる会話も必要。モデルのディスク読み込み全体や、生成速度が一律20倍になったという測定ではない。[常駐専門家へのルーティング提案](https://github.com/Niko1221/Strata/issues/4936)

【コミュニティの生々しい熱量と議論】
反応は「古いGPUにも未来がある」という興奮だけではない。3090 Ti投稿でu/PcChipは、24GB GPUを4枚、RAM 512GBで同じ約35 tok/sだと驚きつつ、自分は3.5 bpwの量子化を使っていると補足した。別の利用者の「These quants are so low」という声も含め、速度を語るなら量子化条件と品質を揃えてほしい、という温度感が見える。

u/FullOf_Bad_Ideasは、MTP／DSparkが得意なコードや反復に偏った速度ではないか、思考過程の生成ではどうかと質問。投稿者は用途がコーディングだと答えている。さらに「GPU unlock」が速さの理由だという当初の説明についても、投稿者自身が無効化して再測定し、トークン生成は変わらず、影響は入力処理側だったと訂正した。派手なハック名から因果関係を決めつけない、この修正過程こそ現場の面白さだ。[測定条件を問うコメント欄](https://www.reddit.com/r/LocalLLaMA/comments/1xlec67/getting_incredible_results_with_a_single_rtx/)

Strata改修側も課題を抱える。提案者の難問コード評価は通常・改修とも12/13成功だったというが、各1回で、失敗した課題は入れ替わっている。同じ合計点でも同じ挙動とは限らない。入力時の専門家変更が回答へ影響しうる点、spliceの正式な品質評価がない点は、速度と同じ重さで受け止めたい。[品質評価の申告](https://github.com/Niko1221/Strata/issues/4936)

【今後の展望とエコシステムへの影響】
この実験から見えてくるのは、ローカル推論の実用性をVRAM容量やデコード速度だけでは判断できない、という論点だ。仮に生成が快適でも、新しい作業を始めるたびに長く待つなら用途は限られる。逆に共通指示の再利用で待ち時間を減らせれば、同じGPUでも使い勝手が変わる可能性がある。

一方、改修者が試したのはHIPのgfx1201環境で、CUDA、SYCL、Metalは未検証だという。RTX 3090 Ti側の数字は、その移植成功例にはできない。設定上の1Mコンテキストも、100万トークンを実際に埋めた際の速度や品質を保証する材料にはならない。

今後注目したいのは、同じ入力・量子化・キャッシュ条件での反復測定と、長文や複数分野での品質評価だ。これらが揃えば、家庭のRAMを積極的に使う設計が、巨大モデルを個人で扱う選択肢を広げるかもしれない。「データセンターが不要になった」と結論づける段階ではないが、買い替える前に入力処理とメモリ配置を見直す価値を感じさせるコミュニティ実験である。