prefix-aware scheduling

📝 本日のニュース概要 以前お伝えしたKVキャッシュ高速化・圧縮・量子化の続報です。今回は、KVキャッシュを単なる推論最適化ではなく、AIエージェントの状態、記憶、実行文脈として扱う発想を深掘りします。KV cache routing、pr...