長文脈

【geek-terminalニュース】SSOG-AttentionはSDPAの壁を壊すのか？長距離リコール問題に刺さる“怪しいが重要”な新注意機構

📝 本日のニュース概要 SDPAの全トークン対スコアリングを、少数の分離可能ガウス分布で置き換えるというSSOG-Attention案がコミュニティで話題に。公式な論文・実装・大手確認は未確認ながら、線形注意のlong-range reca...