ローカルLLM 【geek-terminalニュース】Le Chonk重み公開の続報、1兆パラメータを自前運用するメモリの壁
📝 本日のニュース概要 以前お伝えしたMistral Large 4「Le Chonk」の続報です。公式モデルカードとSGLang文書を追加確認し、活性52Bと総数1Tの違い、FP8・NVFP4・GGUFの配布、検証済みGPU構成を掘り下げ...
llama.cpp
ローカルLLM ローカルLLM 【geek-terminalニュース】NVIDIA Nemotron 3.5ファミリー公開、Super VL 120B-A12BとBolt 74B-A9Bが推論スタック込みで登場
📝 本日のニュース概要 NVIDIAが2026年10月15日にNemotron 3.5ファミリーを公開。1200億パラメータのマルチモーダルモデルSuper VLと、24GBまで圧縮されたローカル向けBolt 74B-A9Bを軸に、MTPに...
ローカルLLM 【geek-terminalニュース】決定モデル波の最新情報：llama.cpp、Cloudflare Clef、Strands Deciderがエージェントの心臓を置き換え始めた
📝 本日のニュース概要 以前お伝えしたJev/OpenJev系の続報です。生成AIを文章生成器ではなく、選択肢・Yes/No・尺度を確率付きで返す制御部品として使う流れが、llama.cpp、Cloudflare Clef、AWS Stra...
ローカルLLM 【geek-terminalニュース】FP4互換問題でローカルLLM量子化がフォーマット戦争に突入
📝 本日のニュース概要 以前お伝えした量子化・ローカル推論高速化の続報。今回はFP4そのものの速さではなく、NVFP4、MXFP4、GGUF、GPTQ、AWQ、EXL2/EXL3、TensorRT-LLM、vLLM、SGLang、llama...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化、4-bit実用域と1-bit崩壊ラインの最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B量子化実測の続報です。BF16比99%をうたうtask-aware quant、4-bit運用の実用性、1-bitでの品質崩壊ラインを、Reddit/HN/Lobste.rsの現場...
ローカルLLM 【geek-terminalニュース】CADローカルLLMの最新情報
📝 本日のニュース概要 以前お伝えした3D自動設計ハックの続報。llama.cppとFreeCADをつなぎ、ローカルLLMで3Dプリント可能な機械部品生成へ向かう個人設計自動化パイプラインを深掘りします。 以前お伝えしたRhinoMCP系3...
ローカルLLM 【geek-terminalニュース】Qwen3.8-Flash-Next実測祭り、Mac最適化とGLM比較の最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-Flash-Next疑惑の続報です。今回は公式ベンチではなく、LocalLLaMA周辺で共有されているMac実測、大容量RAM、N-gramオフロード、GLM-5.3-Flash比較、そ...
ローカルLLM 【geek-terminalニュース】Kimi K3重み公開でローカルLLM勢がVRAM戦争へ突入
📝 本日のニュース概要 以前お伝えしたKimi K3と中国オープンウェイトAI論争の続報です。今回は政策論ではなく、Kimi K3のweights公開を受けて、実際に手元で動くのか、A100/H200級GPUが何枚必要なのか、Hugging...
ローカルLLM 【geek-terminalニュース】llama.cpp MCP対応でローカルLLMが実行主体へ近づく最新情報
📝 本日のニュース概要 llama.cppのfull MCP supportがコミュニティで話題化。ローカルLLMが単なるチャットから、MCP経由で手元のツールを叩くエージェント基盤へ変わる可能性を、権限境界、WebUI/CLI、Reddi...
ローカルLLM 【geek-terminalニュース】Thinking Machines初のオープンウェイトモデルInkling公開の最新情報
📝 本日のニュース概要 Thinking Machines Labが初のオープンウェイト基盤モデルInklingを公開。975B total/41B activeのMoE、1Mトークン文脈、マルチモーダル対応、Tinkerでの微調整、そして...