【geek-terminalニュース】階層型疎Attention「ZHA」──長文LLMの探索コストを削る新設計

【事象の全貌と背景】
長文LLMの難所は、「どこを読むか」を決める処理にもある。Zyphraが11月2日に公式発表したZyphra Hierarchical Attention（ZHA）は、その探索を階層化する疎Attentionの提案だ。提供資料では確認できなかった公式記事と論文を追加照合した。狙うのは、参照先を選ぶインデクサーが全文を走査し、Attentionを疎にしても計算量の壁が残る問題である。[Zyphra公式](https://www.zyphra.com/our-work/zyphra-hierarchical-attention)

最初に大切な訂正がある。指定Redditで扱われているのは、別研究のLatent Sparse Attentionだった。そこで飛び交う高速化倍率をZHAの成果として紹介することはできない。似た問題を解こうとする研究でも、手法、評価条件、実装の成熟度は別々に読む必要がある。[対象Reddit](https://www.reddit.com/r/LocalLLaMA/comments/1xmbj0v/new_sparse_attention_method_for_ultralong_context/)

ZHAの論文は、木の深さを増やしながら探索することで、ルーティングと最後のAttentionを含めた計算量を劣二次にする設計を示す。劣二次は「系列長に比例」や「一定時間」を意味しない。論文自身も超線形と区別している。計算量の増え方を変える提案と、特定条件で何倍速かったという結果を分けることが出発点だ。[ZHA論文要旨](https://arxiv.org/abs/2610.42112)

【技術的ディープダイブ】
提供された論文抜粋が説明する骨格は、KVキャッシュのキーをまとめ、その要約を再帰的にまとめる木だ。クエリは上位の要約から有望な領域をたどり、末端で選んだ元のキーにAttentionを計算する。参照対象だけでなく、索引を探す仕事まで疎にする狙いである。[ZHA論文](https://arxiv.org/abs/2610.42112)

追加確認した公式説明によれば、要約には学習した参照クエリを使う。枝の選択は個数固定のtop-kではなく、推定Attention確率の一定割合を満たすtop-p方式。必要な情報が散っている質問では複数の枝を広げられる。チャンク幅4なら6階層で4,096トークン分を覆う例が示されている。木構造と聞いて一本の枝だけを追う検索を想像すると、設計を読み違える。

評価値も条件付きで読もう。公式記事はQwen3.6-35B-A3Bについて、256KのRULER-13でDenseが96.0%、6階層ZHAが93.3%と報告する。この評価を「精度劣化なし」と一括りにはできない。学習済み本体を凍結し、索引をKL蒸留で適応させるという説明もあり、設定の切り替えだけで全モデルに載る汎用スイッチではない。[公式の構造・評価説明](https://www.zyphra.com/our-work/zyphra-hierarchical-attention)

さらに重要なのが速度だ。論文は、この研究では最適化GPUカーネルを公開せず、rooflineモデルでレイテンシーを予測すると明記する。速度分析の対象はAttentionサブシステムであり、製品全体の実測待ち時間とは異なる。品質ベンチマークを実施したことと、最適化実装による高速化を実証したことは別の到達点だ。[論文本文・速度分析](https://arxiv.org/html/2610.42112v2)

【コミュニティの生々しい熱量と議論】
追加取得したReddit本文で案内される論文は「Latent Sparse Attention」。ZHAへの直接の賛否として引用できるコメントは、今回の資料からは確認できない。以下は関連する疎Attention研究への反応であり、ZHAの実績を裏付けるものではない。

スレッドではMixtureOfAmateurs氏が「72x faster prefil with qwen??? Fr???」と驚く一方、投稿者は1,000万文脈での数字だと条件を補足する。oxygen_addiction氏は「give some actual numbers for local usage?」と、ローカル環境の実数を要求。export_tank_harmful氏はllama.cppのforkで試したいと応じた。大きな倍率に沸きつつ、自分の環境で再現できるかを問う。この温度差が現場のリアルだ。[実際のコメント](https://www.reddit.com/r/LocalLLaMA/comments/1xmbj0v/new_sparse_attention_method_for_ultralong_context/)

skeole氏はVRAM使用量にも切り込む。関連研究の投稿者は完全なKVキャッシュが必要だと回答している。ZHAの公式説明も元のKVを保持する設計だが、両研究のメモリ使用量を同じ値として扱うことはできない。「読む量が減る」と「保存量が減る」を分けて問う姿勢は、ZHAを検証するときにも役立つ。[Redditの質疑](https://www.reddit.com/r/LocalLLaMA/comments/1xmbj0v/new_sparse_attention_method_for_ultralong_context/)／[ZHA公式](https://www.zyphra.com/our-work/zyphra-hierarchical-attention)

【今後の展望とエコシステムへの影響】
実装上の突破口を探すなら、筆者は木の構築・更新、階層ごとの選択、選ばれたKVの読み出しを個別に計測したい。演算回数を減らせても、小さな処理の連続や不規則なメモリアクセスが時間を食えば利点は薄れる。これは既に測定されたZHAの欠点という断定ではなく、予測を実機性能に変えるための検証項目だ。

精度評価では、一つの事実を拾う質問に加え、離れた複数箇所の統合や途中で参照先が変わるコード修正を試したい。上位で落とした枝は、その探索では下まで読めない。文脈を延ばしたとき、読み残しを抑えるために探索がどこまで膨らむかが争点になる。公式も劣二次のスケーリングには閾値の適切な制御とデータ分布が関わると説明している。[公式の限界分析](https://www.zyphra.com/our-work/zyphra-hierarchical-attention)

現段階で既存の推論基盤やKV圧縮がオワコンになったとは言えない。今回の主役は、保存した過去へ到達する索引の設計だ。CRISPのprefill高速化や別方式の倍率を足し合わせる根拠もない。もし実装と再現評価が予測を支えれば、超長文脈の競争では「何トークン入るか」に加え、「必要な場所をいくらで探せるか」が重要になるだろう。ZHAの面白さは、その探索コストをAttentionの構造から問い直した点にある。