ローカルLLM 【geek-terminalニュース】Le Chonk重み公開の続報、1兆パラメータを自前運用するメモリの壁
📝 本日のニュース概要 以前お伝えしたMistral Large 4「Le Chonk」の続報です。公式モデルカードとSGLang文書を追加確認し、活性52Bと総数1Tの違い、FP8・NVFP4・GGUFの配布、検証済みGPU構成を掘り下げ...
VRAM
ローカルLLM ローカルLLM 【geek-terminalニュース】Nanbeige4.3-33B登場！Qwenとの比較、量子化品質とVRAMの現実
📝 本日のニュース概要 Nanbeige4.3-33Bの公式情報を追加確認。Qwen3.8-27Bとの開発元ベンチ比較、量子化配布者による品質測定、長文推論のKVキャッシュ容量を掘り下げます。Redditの期待と使用報告も紹介し、公式仕様・...
ローカルLLM 【geek-terminalニュース】NVMeで125B推論？Lean-QwenFlashが16GB VRAMで約20 tok/sを報告
📝 本日のニュース概要 以前お伝えしたQwen3.8 Flash Nextの続報です。Lean-QwenFlashの開発者が、NVMeへの直接オフロードにより、VRAM 16GB・割り当てRAM 8GBで約20 tok/sを報告。量子化、S...
ローカルLLM 【geek-terminalニュース】FP4互換問題でローカルLLM量子化がフォーマット戦争に突入
📝 本日のニュース概要 以前お伝えした量子化・ローカル推論高速化の続報。今回はFP4そのものの速さではなく、NVFP4、MXFP4、GGUF、GPTQ、AWQ、EXL2/EXL3、TensorRT-LLM、vLLM、SGLang、llama...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化、4-bit実用域と1-bit崩壊ラインの最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B量子化実測の続報です。BF16比99%をうたうtask-aware quant、4-bit運用の実用性、1-bitでの品質崩壊ラインを、Reddit/HN/Lobste.rsの現場...
ハードウェア＆インフラ 【geek-terminalニュース】KVキャッシュが“エージェント実行基盤”になる説の最新情報
📝 本日のニュース概要 以前お伝えしたKVキャッシュ高速化・圧縮・量子化の続報です。今回は、KVキャッシュを単なる推論最適化ではなく、AIエージェントの状態、記憶、実行文脈として扱う発想を深掘りします。KV cache routing、pr...
ローカルLLM 【geek-terminalニュース】Apple M6/M5 Ultra MacがローカルLLM箱として刺さる理由
📝 本日のニュース概要 以前お伝えしたApple SiliconのローカルLLM機材論の続報です。AppleがM6、M5 Ultra、新Mac Studio、新Mac miniを発表し、コミュニティではGPUカードではなく大容量ユニファイド...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化実測とCode Arena上位入り疑惑、LocalLLaMAが沸騰
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B評価の続報です。今回はReddit / r/LocalLLaMAで話題化した量子化比較、reasoning_effort設定、Code Arena 9位報告を、公式確認済み情報とコ...
ローカルLLM 【geek-terminalニュース】RTX3060を4枚束ねてDeepSeek V4 Flashを爆速稼働させた自作ハック魂
📝 本日のニュース概要 以前お伝えしたDeepSeek V4 Flashのローカル実行高速化ネタの続報です。今回はRTX 3060を4枚束ねてq4_k_xl量子化のDeepSeek-V4-Flashを稼働させ、実測100 tok/sを叩き出...
ローカルLLM 【geek-terminalニュース】Qwen3.8拡散、27Bローカル実用圏と35B-A3B観測の最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B FP8公開の続報です。今回は27B単体ではなく、r/LocalLLaMAでの複数スレッド、35B-A3Bらしきモデルの観測、The Decoder報道まで含め、ローカルLLM界隈...