ローカルLLM

ローカルLLM

【衝撃】12GB VRAMで35Bモデルが110 tok/s!?ik_llama.cppが物理限界を突破した「思考の速度」超えベンチマークを徹底解説

📝 本日のニュース概要 2026年5月17日に報じたllama.cppへのMTP統合。その「理論上の爆速」が、ついに実ハードウェアでの検証結果として結実しました。ミドルレンジの代名詞12GB VRAM環境(RTX 3060/4070等)で、...
ローカルLLM

【geek-terminalニュース】Qwen3.6「検閲除外」の狂気。85時間の重み鑑識が暴いた脳外科手術の真実

📝 本日のニュース概要 2026年5月、ローカルLLM界隈を震撼させている「検閲解除(Abliteration)」の真偽。以前お伝えしたHeretic公開以降、乱立するアンセンサードモデルに対し、有志が85GPU時間を投じて「重みレベルの鑑...
ローカルLLM

【衝撃】10年前のGTX 1080が最新30B MoEで24 tok/sを記録!?富豪ハードへの「最適化」という名の反逆

📝 本日のニュース概要 2026年、ローカルLLM界隈に激震が走っています。かつての名機、8GB VRAMのGTX 1080が、最新の30BクラスMoEモデルを24 tokens per secondという実用速度で回したという報告が相次い...
ローカルLLM

【geek-terminal】MoEオフロードの「呪い」が解けた!Prefill加速で巨大LLM常用時代へ

📝 本日のニュース概要 2026年4月19日、ローカルLLM界隈を震撼させた「--n-cpu-moe」フラグの発見。VRAM容量を超えた巨大なMoEモデルを動作させる魔法の杖でしたが、そこには「プロンプト処理(Prefill)が地獄のように...
ローカルLLM

【VRAM 12GBの奇跡】Qwen3.6異端版が80tok/sec到達!19個のMTPを完全保持した変態的最適化の正体

📝 本日のニュース概要 2026年5月8日に第一報をお伝えしたQwen3.6の検閲切除版「heretic v2」が、ついに実用極限のパフォーマンスに到達しました。12GB VRAMという、ミドルレンジGPU(RTX 4070/5060クラス...
ローカルLLM

【衝撃】Qwen3.6 27B検閲解除v2降臨!MTP構造を維持したまま「知性の物理切除」に成功。KLD 0.0021の驚異を徹底解説

📝 本日のニュース概要 2026年5月8日、Local LLM界隈に激震が走りました。昨日お伝えしたQwen3.6へのMTP(複数トークン予測)移植というニュースに続き、本日、検閲を完全に排除しつつMTP構造と知性を極限まで維持した「Qwe...
ローカルLLM

【geek-terminalニュース】Redisの父antirezが放つ、DeepSeek 4 Flash専用「極小・爆速」Metal推論エンジンが革命を起こす

📝 本日のニュース概要 2026年4月26日のDeepSeek-V4衝撃発表からわずか数週間。Redisの生みの親、antirez氏が「既存の重厚なフレームワークを捨て、CとMetalでゼロから書き上げた」DeepSeek 4 Flash専...
ローカルLLM

【衝撃】Qwen3.6がMTPで2.5倍速へ!RTX 3090で262k文脈を維持する「ローカル自律コーディング」の夜明け

📝 本日のニュース概要 Google Gemma 4の専売特許だったMTP(Multi-Token Prediction)が、ギークたちの手によってQwen 3.6へ電撃移植!シングルRTX 3090で256Kコンテキストを回しつつ、コーデ...
ローカルLLM

【衝撃】LLMの「拒絶」を物理切除!Heretic 1.3が盗作疑惑を技術力で粉砕か?Abliteration技術の到達点

📝 本日のニュース概要 2026年4月末に報じたコード盗作疑惑。その渦中にあったAbliteration(拒絶切除)ツール「Heretic」が、大幅なアップデートとなるバージョン1.3を正式公開しました。公式の検閲や「AIとしての倫理的回答...
ローカルLLM

【衝撃】3090一枚でGPT-5超え?Qwen3.6+Agentic Searchが巨大モデル信仰を粉砕する

📝 本日のニュース概要 2026年5月3日、Local AI界隈に激震。以前お伝えしたQwen3.6性能議論の続報です。最新のarXiv論文『Adaptation of Agentic AI』で提唱された「エージェント型検索(Agentic...