GGUF

ローカルLLM

【geek-terminalニュース】Le Chonk重み公開の続報、1兆パラメータを自前運用するメモリの壁

📝 本日のニュース概要 以前お伝えしたMistral Large 4「Le Chonk」の続報です。公式モデルカードとSGLang文書を追加確認し、活性52Bと総数1Tの違い、FP8・NVFP4・GGUFの配布、検証済みGPU構成を掘り下げ...
ローカルLLM

【geek-terminalニュース】Nanbeige4.3-33B登場!Qwenとの比較、量子化品質とVRAMの現実

📝 本日のニュース概要 Nanbeige4.3-33Bの公式情報を追加確認。Qwen3.8-27Bとの開発元ベンチ比較、量子化配布者による品質測定、長文推論のKVキャッシュ容量を掘り下げます。Redditの期待と使用報告も紹介し、公式仕様・...
ローカルLLM

【geek-terminalニュース】4Bで3Dシーン生成?Qwen系の個人開発モデルとGGUF公開を追う

📝 本日のニュース概要 4Bの小型モデルをコードと3Dシーン生成に特化させる個人開発が、r/LocalLLaMAに登場。開発者が紹介するQwen3.5-4B-3D-Coderの生成方式、GGUF配布、実際のコメントを掘り下げます。性能は独立...
ローカルLLM

【geek-terminalニュース】DeepSeek V4.1 Flash 1017続報:552B MoEが単一RTX 4090で約27tok/sという狂気

📝 本日のニュース概要 以前お伝えしたDeepSeek V4.1 Flashの続報です。2026年10月17日に公開された「1017」版について、公式で確認できる提供形態(Web・アプリ・API、Hugging FaceとModelScop...
ローカルLLM

【geek-terminalニュース】Qwen 27B級の知能密度、なぜ小型モデルが旧フロンティア級を食い始めたのか

📝 本日のニュース概要 以前お伝えしたQwen系ローカルLLMの続報です。今回はQwen 27B級がなぜローカル環境でここまで強く見えるのかを、量子化、KVキャッシュ、エージェント用ファインチューニング、Redditの実運用報告から深掘りし...
ローカルLLM

【geek-terminalニュース】Qwen3.8 Flash-NextはQwen4先取りなのか、単体3090ローカル推論の夢と現実

📝 本日のニュース概要 以前お伝えしたQwen3.8 Flash-Nextの続報です。Qwen4系アーキテクチャの技術プレビュー疑惑、n-gramオフロード、MoE圧縮、そしてRTX 3090級ローカル運用のリアルな期待と限界を整理します。...
ローカルLLM

【geek-terminalニュース】FP4互換問題でローカルLLM量子化がフォーマット戦争に突入

📝 本日のニュース概要 以前お伝えした量子化・ローカル推論高速化の続報。今回はFP4そのものの速さではなく、NVFP4、MXFP4、GGUF、GPTQ、AWQ、EXL2/EXL3、TensorRT-LLM、vLLM、SGLang、llama...
ローカルLLM

【geek-terminalニュース】Qwen3.8-27B量子化、4-bit実用域と1-bit崩壊ラインの最新情報

📝 本日のニュース概要 以前お伝えしたQwen3.8-27B量子化実測の続報です。BF16比99%をうたうtask-aware quant、4-bit運用の実用性、1-bitでの品質崩壊ラインを、Reddit/HN/Lobste.rsの現場...
ローカルLLM

【geek-terminalニュース】CADローカルLLMの最新情報

📝 本日のニュース概要 以前お伝えした3D自動設計ハックの続報。llama.cppとFreeCADをつなぎ、ローカルLLMで3Dプリント可能な機械部品生成へ向かう個人設計自動化パイプラインを深掘りします。 以前お伝えしたRhinoMCP系3...
ローカルLLM

【geek-terminalニュース】Qwen3.8-Flash-Next実測祭り、Mac最適化とGLM比較の最新情報

📝 本日のニュース概要 以前お伝えしたQwen3.8-Flash-Next疑惑の続報です。今回は公式ベンチではなく、LocalLLaMA周辺で共有されているMac実測、大容量RAM、N-gramオフロード、GLM-5.3-Flash比較、そ...