ローカルLLM 【geek-terminalニュース】Le Chonk重み公開の続報、1兆パラメータを自前運用するメモリの壁
📝 本日のニュース概要 以前お伝えしたMistral Large 4「Le Chonk」の続報です。公式モデルカードとSGLang文書を追加確認し、活性52Bと総数1Tの違い、FP8・NVFP4・GGUFの配布、検証済みGPU構成を掘り下げ...
量子化
ローカルLLM ローカルLLM 【geek-terminalニュース】Nanbeige4.3-33B登場！Qwenとの比較、量子化品質とVRAMの現実
📝 本日のニュース概要 Nanbeige4.3-33Bの公式情報を追加確認。Qwen3.8-27Bとの開発元ベンチ比較、量子化配布者による品質測定、長文推論のKVキャッシュ容量を掘り下げます。Redditの期待と使用報告も紹介し、公式仕様・...
ローカルLLM 【geek-terminalニュース】NVMeで125B推論？Lean-QwenFlashが16GB VRAMで約20 tok/sを報告
📝 本日のニュース概要 以前お伝えしたQwen3.8 Flash Nextの続報です。Lean-QwenFlashの開発者が、NVMeへの直接オフロードにより、VRAM 16GB・割り当てRAM 8GBで約20 tok/sを報告。量子化、S...
ローカルLLM 【geek-terminalニュース】Qwen 27B級の知能密度、なぜ小型モデルが旧フロンティア級を食い始めたのか
📝 本日のニュース概要 以前お伝えしたQwen系ローカルLLMの続報です。今回はQwen 27B級がなぜローカル環境でここまで強く見えるのかを、量子化、KVキャッシュ、エージェント用ファインチューニング、Redditの実運用報告から深掘りし...
ローカルLLM 【geek-terminalニュース】中古マイニングFPGAでQwen3.5級INT4推論を狙う地下工作室ルート
📝 本日のニュース概要 以前お伝えしたMicroGPT/TALOS-V2系FPGA実装の続報です。r/LocalLLaMAでQwen3.5アーキテクチャをFPGA fabricへ実装する投稿が浮上。実機性能は未確認ながら、GPU一強のローカ...
ローカルLLM 【geek-terminalニュース】Qwen3.8 Flash-NextはQwen4先取りなのか、単体3090ローカル推論の夢と現実
📝 本日のニュース概要 以前お伝えしたQwen3.8 Flash-Nextの続報です。Qwen4系アーキテクチャの技術プレビュー疑惑、n-gramオフロード、MoE圧縮、そしてRTX 3090級ローカル運用のリアルな期待と限界を整理します。...
ローカルLLM 【geek-terminalニュース】FP4互換問題でローカルLLM量子化がフォーマット戦争に突入
📝 本日のニュース概要 以前お伝えした量子化・ローカル推論高速化の続報。今回はFP4そのものの速さではなく、NVFP4、MXFP4、GGUF、GPTQ、AWQ、EXL2/EXL3、TensorRT-LLM、vLLM、SGLang、llama...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化、4-bit実用域と1-bit崩壊ラインの最新情報
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B量子化実測の続報です。BF16比99%をうたうtask-aware quant、4-bit運用の実用性、1-bitでの品質崩壊ラインを、Reddit/HN/Lobste.rsの現場...
ローカルLLM 【geek-terminalニュース】CADローカルLLMの最新情報
📝 本日のニュース概要 以前お伝えした3D自動設計ハックの続報。llama.cppとFreeCADをつなぎ、ローカルLLMで3Dプリント可能な機械部品生成へ向かう個人設計自動化パイプラインを深掘りします。 以前お伝えしたRhinoMCP系3...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27B量子化実測とCode Arena上位入り疑惑、LocalLLaMAが沸騰
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B評価の続報です。今回はReddit / r/LocalLLaMAで話題化した量子化比較、reasoning_effort設定、Code Arena 9位報告を、公式確認済み情報とコ...