q4_k_xl

【geek-terminalニュース】RTX3060を4枚束ねてDeepSeek V4 Flashを爆速稼働させた自作ハック魂

📝 本日のニュース概要以前お伝えしたDeepSeek V4 Flashのローカル実行高速化ネタの続報です。今回はRTX 3060を4枚束ねてq4_k_xl量子化のDeepSeek-V4-Flashを稼働させ、実測100 tok/sを叩き出...

ローカルLLM