未分類 【ローカルLLM】QwenMTP完全保存版！785個のMTP完全保持＆検閲排除の「35B-A3B Heretic」がローカルLLM界を震撼させる噂を徹底解剖
📝 本日のニュース概要 2026年5月22日、ik_llama.cppの最適化によってQwen3.6 35Bが12GB VRAMで110 tok/sという驚異的な爆速駆動を記録したニュースをお伝えしましたが、今回はその系譜におけるさらなる「...
llama.cpp
未分類 ローカルLLM 【geek-terminalニュース】旧世代V100で27Bモデルが秒間1000トークン!? 投機デコーディングを極限まで研ぎ澄ました「MTP並列最適化」の変態的ハックがRedditで話題に
📝 本日のニュース概要 2026/05/22にお伝えした「Qwen3.6 35Bが110 tps」という驚異の記録からわずか数日。今度は、骨董品とも言われかねない旧世代のエンタープライズGPU「NVIDIA V100」を使い、27Bクラスの...
ローカルLLM 【衝撃】llama.cppに「シェル実行」がネイティブ内蔵されるとの噂！ミドルウェア不要論とインジェクションの恐怖【LocalLLaMA大激論】
📝 本日のニュース概要 ローカルLLM推論エンジンの王者「llama.cpp」のサーバー自体に、『シェル実行（exec_shell）』や『ファイル編集（edit_file）』といったOS操作APIが直接ビルトインされるという、極めて破壊的な...
ローカルLLM 【衝撃】12GB VRAMで35Bモデルが110 tok/s！？ik_llama.cppが物理限界を突破した「思考の速度」超えベンチマークを徹底解説
📝 本日のニュース概要 2026年5月17日に報じたllama.cppへのMTP統合。その「理論上の爆速」が、ついに実ハードウェアでの検証結果として結実しました。ミドルレンジの代名詞12GB VRAM環境（RTX 3060/4070等）で、...
ローカルLLM 【geek-terminal】MoEオフロードの「呪い」が解けた！Prefill加速で巨大LLM常用時代へ
📝 本日のニュース概要 2026年4月19日、ローカルLLM界隈を震撼させた「--n-cpu-moe」フラグの発見。VRAM容量を超えた巨大なMoEモデルを動作させる魔法の杖でしたが、そこには「プロンプト処理（Prefill）が地獄のように...
ローカルLLM 【geek-terminal】128K長文を数秒で処理？llama.cppを10倍速める「PFlash」の衝撃
📝 本日のニュース概要 2026年5月2日、Local LLM界隈に激震。4月に登場した推論加速技術「DFlash」の正統進化、あるいは対となる新技術「PFlash」の噂がReddit（r/LocalLLaMA）を中心に急浮上しています。1...
ローカルLLM 【衝撃】VRAM不足は過去の遺物へ。ついに降臨した「1-Bit LLM」の実稼働コードを徹底解剖【Bonsai / GGUF】
📝 本日のニュース概要 ついに「量子化の最終回答」が、研究論文の枠を飛び越えて僕らのGPUに降臨しました。重みわずか1ビット。理論上の極限と言われたBitNet系アーキテクチャが、PrismMLの手によって『Bonsai』としてGGUF実装...
ローカルLLM 【Geek Terminal】RTX 5070 Tiで79t/sを叩き出す変態技術！Qwen3.6 MoEの「VRAM不足」を力技で解決する新フラグの衝撃
📝 本日のニュース概要 2026年4月19日、ローカルLLM界隈に激震。Qwen3.6-35B-A3Bという巨大なMoE（Mixture of Experts）モデルを、ミドルレンジGPUであるRTX 5070 Tiで「爆速」駆動させる禁断...
ローカルLLM 【衝撃】Qwen3.6-35B-A3Bがリリース！RTX 4090で「25万トークン」を飲み込むローカルエージェントの怪物を徹底解剖
📝 本日のニュース概要 2026年4月、Qwenチームから最新モデル「Qwen3.6-35B-A3B」が突如リリースされました。総パラメータ35Bに対し、アクティブパラメータをわずか3Bに抑えたMoE（Mixture of Experts）...
ローカルLLM 【1.125ビットの衝撃】8Bモデルが1GBで動く？超軽量LLM「Ternary Bonsai」の実力と、Redditで噴出する賛否両論を徹底解説
📝 本日のニュース概要 2026年4月、ローカルLLM界に激震が走りました。PrismMLが発表した「Ternary Bonsai」は、実質1.125ビットという驚異的な量子化を実現した新しいLLMファミリーです。80億パラメータのモデルが...