ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化、4-bit実用域と1-bit崩壊ラインの最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B量子化実測の続報です。BF16比99%をうたうtask-aware quant、4-bit運用の実用性、1-bitでの品質崩壊ラインを、Reddit/HN/Lobste.rsの現場...
VRAM
ローカルLLM ハードウェア＆インフラ 【geek-terminalニュース】KVキャッシュが“エージェント実行基盤”になる説の最新情報
📝 本日のニュース概要 以前お伝えしたKVキャッシュ高速化・圧縮・量子化の続報です。今回は、KVキャッシュを単なる推論最適化ではなく、AIエージェントの状態、記憶、実行文脈として扱う発想を深掘りします。KV cache routing、pr...
ローカルLLM 【geek-terminalニュース】Apple M6/M5 Ultra MacがローカルLLM箱として刺さる理由
📝 本日のニュース概要 以前お伝えしたApple SiliconのローカルLLM機材論の続報です。AppleがM6、M5 Ultra、新Mac Studio、新Mac miniを発表し、コミュニティではGPUカードではなく大容量ユニファイド...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化実測とCode Arena上位入り疑惑、LocalLLaMAが沸騰
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B評価の続報です。今回はReddit / r/LocalLLaMAで話題化した量子化比較、reasoning_effort設定、Code Arena 9位報告を、公式確認済み情報とコ...
ローカルLLM 【geek-terminalニュース】RTX3060を4枚束ねてDeepSeek V4 Flashを爆速稼働させた自作ハック魂
📝 本日のニュース概要 以前お伝えしたDeepSeek V4 Flashのローカル実行高速化ネタの続報です。今回はRTX 3060を4枚束ねてq4_k_xl量子化のDeepSeek-V4-Flashを稼働させ、実測100 tok/sを叩き出...
ローカルLLM 【geek-terminalニュース】Qwen3.8拡散、27Bローカル実用圏と35B-A3B観測の最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B FP8公開の続報です。今回は27B単体ではなく、r/LocalLLaMAでの複数スレッド、35B-A3Bらしきモデルの観測、The Decoder報道まで含め、ローカルLLM界隈...
ローカルLLM 【geek-terminalニュース】Qwen3.8拡散、27Bローカル実用圏と35B-A3B観測の最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B FP8公開の続報です。今回は27B単体ではなく、r/LocalLLaMAでの複数スレッド、35B-A3Bらしきモデルの観測、The Decoder報道まで含め、ローカルLLM界隈...
ローカルLLM 【geek-terminalニュース】Qwen3.8-2.4T-A95Bオープンウェイト化、巨大MoEの実機攻略戦が始まる
📝 本日のニュース概要 以前お伝えしたQwen3.8-Maxと巨大MoE競争の続報。Qwen3.8-2.4T-A95Bの公開で、LocalLLaMA界隈はベンチ順位よりも量子化、VRAM、SSDオフロード、27B派生モデルへの期待で沸騰して...
ローカルLLM 【geek-terminalニュース】Meta Muse Glimmer 30BがGGUF化、RTX 3090単体実行でローカルLLM勢が沸騰
📝 本日のニュース概要 以前お伝えしたMeta Muse CodeβとMuse Spark権限境界の続報です。Metaが30BのオープンウェイトモデルMuse GlimmerをApache 2.0で公開。今回は政策論ではなく、GGUF化され...
ローカルLLM 【geek-terminalニュース】Kimi K3量子化、711GBから478GBへ押し込むローカルLLM実測沼
📝 本日のニュース概要 以前お伝えしたKimi K3ローカル実行の続報です。今回はKimi K3の重み公開そのものではなく、Unsloth IQ2-XXS量子化で711GB級から478GB級へ縮め、実機構成とベンチでどこまで現実のマシンに押...