量子化

ローカルLLM

【geek-terminalニュース】Qwen3.8拡散、27Bローカル実用圏と35B-A3B観測の最新情報

📝 本日のニュース概要 以前お伝えしたQwen3.8-27B FP8公開の続報です。今回は27B単体ではなく、r/LocalLLaMAでの複数スレッド、35B-A3Bらしきモデルの観測、The Decoder報道まで含め、ローカルLLM界隈...
ローカルLLM

【geek-terminalニュース】Qwen3.8-27B FP8公開、ローカルLLM勢がテンプレ修正と旧版同一疑惑まで即検証

📝 本日のニュース概要 以前お伝えしたQwen3.8-2.4T-A95B公開の続報です。今回は巨大MoEではなく、実際にローカル勢が触れる27B級denseモデル、Qwen3.8-27B FP8に焦点を当てます。Apache 2.0、FP8...
ローカルLLM

【geek-terminalニュース】Qwen3.8-2.4T-A95Bオープンウェイト化、巨大MoEの実機攻略戦が始まる

📝 本日のニュース概要 以前お伝えしたQwen3.8-Maxと巨大MoE競争の続報。Qwen3.8-2.4T-A95Bの公開で、LocalLLaMA界隈はベンチ順位よりも量子化、VRAM、SSDオフロード、27B派生モデルへの期待で沸騰して...
ローカルLLM

【geek-terminalニュース】Meta Muse Glimmer 30BがGGUF化、RTX 3090単体実行でローカルLLM勢が沸騰

📝 本日のニュース概要 以前お伝えしたMeta Muse CodeβとMuse Spark権限境界の続報です。Metaが30BのオープンウェイトモデルMuse GlimmerをApache 2.0で公開。今回は政策論ではなく、GGUF化され...
ローカルLLM

【geek-terminalニュース】Kimi K3量子化、711GBから478GBへ押し込むローカルLLM実測沼

📝 本日のニュース概要 以前お伝えしたKimi K3ローカル実行の続報です。今回はKimi K3の重み公開そのものではなく、Unsloth IQ2-XXS量子化で711GB級から478GB級へ縮め、実機構成とベンチでどこまで現実のマシンに押...
ローカルLLM

【geek-terminalニュース】DeepSeek V4 Flash 0731の癖評価、ARC-AGI高得点と実運用の不安定さが同時に燃える

📝 本日のニュース概要 以前お伝えしたDeepSeek V4 Flash低価格推論・ローカル実行の続報です。今回はベンチ順位ではなく、ARC-AGI、コーディング、非コーディング、ツール呼び出し、KV cache量子化、キャッシュ設計で挙動...
ローカルLLM

【geek-terminalニュース】Qwen3.8追加サイズ展開でローカルLLM勢が再燃

📝 本日のニュース概要 以前お伝えしたQwen3.8-Max本体発表の続報です。今回は2.4兆パラメータ級の看板モデルではなく、ローカル勢が実際に触れる可能性のある追加サイズ展開、27B級モデル、オープンウェイト予定、MoE巨大化競争が手元...
ローカルLLM

【geek-terminalニュース】Qwen3.8-Maxと27Bローカル期待の最新情報

📝 本日のニュース概要 AlibabaのQwen3.8-Max発表と、Qwen3.8-27BをめぐるローカルLLM勢の熱狂を整理。2.4兆パラメータMoE、100万トークン文脈、オープンウェイト予定、VRAM見積もり、量子化待ちの現場感まで...
ローカルLLM

【geek-terminalニュース】Kimi K3を29GB RAMで動かすWASTE疑惑、LocalLLaMAがまた限界突破へ

📝 本日のニュース概要 以前お伝えしたKimi K3重み公開・分散推論の続報です。今回は2.8T級MoEを29GB RAMで動かすとされるWeight-Aware Streaming Tensor Engine、通称WASTEを深掘りします...
ローカルLLM

【geek-terminalニュース】Bonsai 27Bの最新情報:27B推論モデルを1-bit/Ternaryでスマホ級へ押し込むローカルLLM圧縮実験

📝 本日のニュース概要 以前お伝えしたBonsai 1-bit系の続報です。PrismMLが発表したBonsai 27Bは、Qwen3.6-27B由来の27B級オープンウェイト推論モデルを1-bit binary版と1.58-bit ter...