ローカルLLM 【geek-terminalニュース】Le Chonk重み公開の続報、1兆パラメータを自前運用するメモリの壁
📝 本日のニュース概要 以前お伝えしたMistral Large 4「Le Chonk」の続報です。公式モデルカードとSGLang文書を追加確認し、活性52Bと総数1Tの違い、FP8・NVFP4・GGUFの配布、検証済みGPU構成を掘り下げ...
SGLang
ローカルLLM ローカルLLM 【geek-terminalニュース】Ling重み公開の報告、ベースモデルで「自分流の事後学習」へ
📝 本日のニュース概要 Ling-3.1-flash-1019の重みと、追加学習向けベースモデルが公開されたとの報告。560B総パラメータ・25Bアクティブという規模の読み方、チャットモデルとの違い、READMEの落とし穴を掘り下げます。R...
ローカルLLM 【geek-terminalニュース】DeepSeek V4.1 Flash 1017の最新情報
📝 本日のニュース概要 以前お伝えしたDeepSeek V4.1 Flashの続報です。10月17日に登場したとされる「1017」版について、DeepSWE 77.0での首位、タスク単価の削減、Search API開放といった話題を取り上げ...
ローカルLLM 【geek-terminalニュース】FP4互換問題でローカルLLM量子化がフォーマット戦争に突入
📝 本日のニュース概要 以前お伝えした量子化・ローカル推論高速化の続報。今回はFP4そのものの速さではなく、NVFP4、MXFP4、GGUF、GPTQ、AWQ、EXL2/EXL3、TensorRT-LLM、vLLM、SGLang、llama...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化、4-bit実用域と1-bit崩壊ラインの最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B量子化実測の続報です。BF16比99%をうたうtask-aware quant、4-bit運用の実用性、1-bitでの品質崩壊ラインを、Reddit/HN/Lobste.rsの現場...
ローカルLLM 【geek-terminalニュース】Z.ai GLM-5.3本体がHugging Faceで公開、ローカルLLM勢のモデル選定表がまた揺れる
📝 本日のニュース概要 以前お伝えしたGLM-5.3-Flash公開の続報です。今回はZ.ai公式Hugging Faceに登場したGLM-5.3本体のオープンウェイト化を、Flashとの違い、753B規模、vLLM/SGLang/Tran...
ローカルLLM 【geek-terminalニュース】Ox Alpha=GLM-5.3-Flash確認騒動と低単価フロンティア推論の最新情報
📝 本日のニュース概要 以前お伝えした低価格Flash戦略の続報です。OpenRouter上の謎モデルOx AlphaとZ.aiのGLM-5.3-Flashをめぐる確認・同定騒動、Hugging Face公開、320B総パラメータ・18Bア...
ローカルLLM 【geek-terminalニュース】LFM2.5-DSpark、最大3.18倍高速デコードの最新情報
📝 本日のニュース概要 Liquid AIのLFM2.5向けDSpark draft modelが、投機的デコードで最大3.18倍の高速化をうたっています。モデルの賢さを上げる話ではなく、出力品質を維持したままレイテンシと推論コストを削る、...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B FP8公開、ローカルLLM勢がテンプレ修正と旧版同一疑惑まで即検証
📝 本日のニュース概要 以前お伝えしたQwen3.8-2.4T-A95B公開の続報です。今回は巨大MoEではなく、実際にローカル勢が触れる27B級denseモデル、Qwen3.8-27B FP8に焦点を当てます。Apache 2.0、FP8...
ローカルLLM 【geek-terminalニュース】NVIDIA Puzzle-75B-A9B、75B級MoEをローカルGPU圏内へ押し込む最新情報
📝 本日のニュース概要 NVIDIAのNemotron-Labs-3-Puzzle-75B-A9Bを深掘り。Nemotron-3-Super由来の圧縮ハイブリッドMoE、Iterative Puzzle、NVFP4、そしてRedditで話題...