MoEオフロード

📝 本日のニュース概要 以前お伝えしたDeepSeek V4 Flashのローカル実行高速化ネタの続報です。今回はRTX 3060を4枚束ねてq4_k_xl量子化のDeepSeek-V4-Flashを稼働させ、実測100 tok/sを叩き出...