階層型Attention

【geek-terminalニュース】階層型疎Attention「ZHA」──長文LLMの探索コストを削る新設計

📝 本日のニュース概要 Zyphraの階層型疎Attention「ZHA」を深掘り。木構造によるKV探索、劣二次スケーリングの条件、実測評価と速度予測の違いを整理します。指定Redditで議論されていた別研究との混同にも注意し、ローカルLL...