量子化

ローカルLLM

【geek-terminalニュース】Meta Muse Glimmer 30BがGGUF化、RTX 3090単体実行でローカルLLM勢が沸騰

📝 本日のニュース概要 以前お伝えしたMeta Muse CodeβとMuse Spark権限境界の続報です。Metaが30BのオープンウェイトモデルMuse GlimmerをApache 2.0で公開。今回は政策論ではなく、GGUF化され...
ローカルLLM

【geek-terminalニュース】Kimi K3量子化、711GBから478GBへ押し込むローカルLLM実測沼

📝 本日のニュース概要 以前お伝えしたKimi K3ローカル実行の続報です。今回はKimi K3の重み公開そのものではなく、Unsloth IQ2-XXS量子化で711GB級から478GB級へ縮め、実機構成とベンチでどこまで現実のマシンに押...
ローカルLLM

【geek-terminalニュース】DeepSeek V4 Flash 0731の癖評価、ARC-AGI高得点と実運用の不安定さが同時に燃える

📝 本日のニュース概要 以前お伝えしたDeepSeek V4 Flash低価格推論・ローカル実行の続報です。今回はベンチ順位ではなく、ARC-AGI、コーディング、非コーディング、ツール呼び出し、KV cache量子化、キャッシュ設計で挙動...
ローカルLLM

【geek-terminalニュース】Qwen3.8追加サイズ展開でローカルLLM勢が再燃

📝 本日のニュース概要 以前お伝えしたQwen3.8-Max本体発表の続報です。今回は2.4兆パラメータ級の看板モデルではなく、ローカル勢が実際に触れる可能性のある追加サイズ展開、27B級モデル、オープンウェイト予定、MoE巨大化競争が手元...
ローカルLLM

【geek-terminalニュース】Qwen3.8-Maxと27Bローカル期待の最新情報

📝 本日のニュース概要 AlibabaのQwen3.8-Max発表と、Qwen3.8-27BをめぐるローカルLLM勢の熱狂を整理。2.4兆パラメータMoE、100万トークン文脈、オープンウェイト予定、VRAM見積もり、量子化待ちの現場感まで...
ローカルLLM

【geek-terminalニュース】Kimi K3を29GB RAMで動かすWASTE疑惑、LocalLLaMAがまた限界突破へ

📝 本日のニュース概要 以前お伝えしたKimi K3重み公開・分散推論の続報です。今回は2.8T級MoEを29GB RAMで動かすとされるWeight-Aware Streaming Tensor Engine、通称WASTEを深掘りします...
ローカルLLM

【geek-terminalニュース】Bonsai 27Bの最新情報:27B推論モデルを1-bit/Ternaryでスマホ級へ押し込むローカルLLM圧縮実験

📝 本日のニュース概要 以前お伝えしたBonsai 1-bit系の続報です。PrismMLが発表したBonsai 27Bは、Qwen3.6-27B由来の27B級オープンウェイト推論モデルを1-bit binary版と1.58-bit ter...
ハードウェア&インフラ

【geek-terminalニュース】Apple M7 Ultra 1.5TB統一メモリ噂の最新情報

📝 本日のニュース概要 以前お伝えしたApple Siliconの統一メモリ問題の続報です。Apple M7 Ultraが最大1.5TBのRAMをサポートする可能性が報じられ、ローカルLLM界隈ではGPU枚数ではなく巨大ユニファイドメモリ箱...
ローカルLLM

【geek-terminalニュース】744B MoEを25GB RAMで動かす?ローカルLLM省メモリ限界突破ログ

📝 本日のニュース概要 以前お伝えしたPuzzle-75BやMiniMax巨大MoEの続報です。今回はGLM-5.2 744B MoEを消費者環境で動かす省メモリ実装、Qwen3.6 NVFP4/Unsloth量子化、speculative...
ローカルLLM

【geek-terminalニュース】MiniMax 2.7兆パラメータ級オープンモデル計画の最新情報

📝 本日のニュース概要 MiniMaxが2.7兆パラメータ規模のLLMを開発中で、2026年後半にもオープンウェイト/オープンソース公開を計画していると報じられました。MoE、active params、量子化、配布、ローカル推論の限界まで...