ローカルLLM 【geek-terminalニュース】Bonsai 27Bの最新情報：27B推論モデルを1-bit/Ternaryでスマホ級へ押し込むローカルLLM圧縮実験
📝 本日のニュース概要 以前お伝えしたBonsai 1-bit系の続報です。PrismMLが発表したBonsai 27Bは、Qwen3.6-27B由来の27B級オープンウェイト推論モデルを1-bit binary版と1.58-bit ter...
Qwen3.6
ローカルLLM ローカルLLM 【geek-terminalニュース】744B MoEを25GB RAMで動かす？ローカルLLM省メモリ限界突破ログ
📝 本日のニュース概要 以前お伝えしたPuzzle-75BやMiniMax巨大MoEの続報です。今回はGLM-5.2 744B MoEを消費者環境で動かす省メモリ実装、Qwen3.6 NVFP4/Unsloth量子化、speculative...
未分類 【ローカルLLM】400ドルでQwen3.6-27Bを爆速駆動！中古RTX 3060を2枚並べる変態コスパDIYハックの全貌
📝 本日のニュース概要 数千ドルの最新GPUはもう不要？RedditのLocalLLaMAコミュニティで、中古のGeForce RTX 3060 12GBを2枚並べた「約400ドル（約6万円）環境」の検証報告が熱狂を呼んでいます。中規模実用...
未分類 【ローカルLLM】QwenMTP完全保存版！785個のMTP完全保持＆検閲排除の「35B-A3B Heretic」がローカルLLM界を震撼させる噂を徹底解剖
📝 本日のニュース概要 2026年5月22日、ik_llama.cppの最適化によってQwen3.6 35Bが12GB VRAMで110 tok/sという驚異的な爆速駆動を記録したニュースをお伝えしましたが、今回はその系譜におけるさらなる「...
ローカルLLM 【geek-terminalニュース】旧世代V100で27Bモデルが秒間1000トークン!? 投機デコーディングを極限まで研ぎ澄ました「MTP並列最適化」の変態的ハックがRedditで話題に
📝 本日のニュース概要 2026/05/22にお伝えした「Qwen3.6 35Bが110 tps」という驚異の記録からわずか数日。今度は、骨董品とも言われかねない旧世代のエンタープライズGPU「NVIDIA V100」を使い、27Bクラスの...
ローカルLLM 【衝撃】12GB VRAMで35Bモデルが110 tok/s！？ik_llama.cppが物理限界を突破した「思考の速度」超えベンチマークを徹底解説
📝 本日のニュース概要 2026年5月17日に報じたllama.cppへのMTP統合。その「理論上の爆速」が、ついに実ハードウェアでの検証結果として結実しました。ミドルレンジの代名詞12GB VRAM環境（RTX 3060/4070等）で、...
ローカルLLM 【geek-terminalニュース】Qwen3.6「検閲除外」の狂気。85時間の重み鑑識が暴いた脳外科手術の真実
📝 本日のニュース概要 2026年5月、ローカルLLM界隈を震撼させている「検閲解除（Abliteration）」の真偽。以前お伝えしたHeretic公開以降、乱立するアンセンサードモデルに対し、有志が85GPU時間を投じて「重みレベルの鑑...
ローカルLLM 【VRAM 12GBの奇跡】Qwen3.6異端版が80tok/sec到達！19個のMTPを完全保持した変態的最適化の正体
📝 本日のニュース概要 2026年5月8日に第一報をお伝えしたQwen3.6の検閲切除版「heretic v2」が、ついに実用極限のパフォーマンスに到達しました。12GB VRAMという、ミドルレンジGPU（RTX 4070/5060クラス...
ローカルLLM 【衝撃】Qwen3.6 27B検閲解除v2降臨！MTP構造を維持したまま「知性の物理切除」に成功。KLD 0.0021の驚異を徹底解説
📝 本日のニュース概要 2026年5月8日、Local LLM界隈に激震が走りました。昨日お伝えしたQwen3.6へのMTP（複数トークン予測）移植というニュースに続き、本日、検閲を完全に排除しつつMTP構造と知性を極限まで維持した「Qwe...
ローカルLLM 【衝撃】Qwen3.6がMTPで2.5倍速へ！RTX 3090で262k文脈を維持する「ローカル自律コーディング」の夜明け
📝 本日のニュース概要 Google Gemma 4の専売特許だったMTP（Multi-Token Prediction）が、ギークたちの手によってQwen 3.6へ電撃移植！シングルRTX 3090で256Kコンテキストを回しつつ、コーデ...