LocalLLM

未分類

【ローカルLLM】QwenMTP完全保存版!785個のMTP完全保持&検閲排除の「35B-A3B Heretic」がローカルLLM界を震撼させる噂を徹底解剖

📝 本日のニュース概要 2026年5月22日、ik_llama.cppの最適化によってQwen3.6 35Bが12GB VRAMで110 tok/sという驚異的な爆速駆動を記録したニュースをお伝えしましたが、今回はその系譜におけるさらなる「...
ローカルLLM

【衝撃】Qwen 3.7-Max降臨!100万文脈×推論エンジンの破壊力。RAG終焉のカウントダウンか?

📝 本日のニュース概要 2026年5月20日、アリババが「Qwen 3.7-Max」を正式発表。100万トークンの巨大コンテキスト窓と、推論特化型エージェント機能を統合した「真の怪物」の登場にLocalLLaMA界隈が揺れています。以前お伝...
ローカルLLM

【衝撃】12GB VRAMで35Bモデルが110 tok/s!?ik_llama.cppが物理限界を突破した「思考の速度」超えベンチマークを徹底解説

📝 本日のニュース概要 2026年5月17日に報じたllama.cppへのMTP統合。その「理論上の爆速」が、ついに実ハードウェアでの検証結果として結実しました。ミドルレンジの代名詞12GB VRAM環境(RTX 3060/4070等)で、...
プログラミング

【衝撃】4BモデルがGPT-5超え!? コーディングエージェント「SmallCode」の知能密度がヤバすぎる

📝 本日のニュース概要 巨大LLMの時代は終わったのか?わずか4B(40億)パラメータの軽量モデルを使用しながら、コーディングベンチマークで87%という驚異的なスコアを叩き出したエージェント「SmallCode」がRedditで大炎上中。モ...
ローカルLLM

【geek-terminalニュース】Qwen3.6「検閲除外」の狂気。85時間の重み鑑識が暴いた脳外科手術の真実

📝 本日のニュース概要 2026年5月、ローカルLLM界隈を震撼させている「検閲解除(Abliteration)」の真偽。以前お伝えしたHeretic公開以降、乱立するアンセンサードモデルに対し、有志が85GPU時間を投じて「重みレベルの鑑...
ローカルLLM

【衝撃】10年前のGTX 1080が最新30B MoEで24 tok/sを記録!?富豪ハードへの「最適化」という名の反逆

📝 本日のニュース概要 2026年、ローカルLLM界隈に激震が走っています。かつての名機、8GB VRAMのGTX 1080が、最新の30BクラスMoEモデルを24 tokens per secondという実用速度で回したという報告が相次い...
ハードウェア&インフラ

【衝撃】NVIDIAの檻を破壊する「384GBメモリ」推論カード降臨!台湾Skymizer HTX301がローカルLLM界を焦土に変える

📝 本日のニュース概要 ついに、我々ローカルLLM愛好家が待ち望んだ「最終兵器」が姿を現しました。台湾Skymizerが発表したPCIe推論カード『HTX301』。その最大の特徴は、NVIDIAがコンシューマー向けGPUに課してきた「VRA...
ローカルLLM

【衝撃】Qwen3.6 27B検閲解除v2降臨!MTP構造を維持したまま「知性の物理切除」に成功。KLD 0.0021の驚異を徹底解説

📝 本日のニュース概要 2026年5月8日、Local LLM界隈に激震が走りました。昨日お伝えしたQwen3.6へのMTP(複数トークン予測)移植というニュースに続き、本日、検閲を完全に排除しつつMTP構造と知性を極限まで維持した「Qwe...
ローカルLLM

【衝撃】Qwen3.6がMTPで2.5倍速へ!RTX 3090で262k文脈を維持する「ローカル自律コーディング」の夜明け

📝 本日のニュース概要 Google Gemma 4の専売特許だったMTP(Multi-Token Prediction)が、ギークたちの手によってQwen 3.6へ電撃移植!シングルRTX 3090で256Kコンテキストを回しつつ、コーデ...
ローカルLLM

【geek-terminal】128K長文を数秒で処理?llama.cppを10倍速める「PFlash」の衝撃

📝 本日のニュース概要 2026年5月2日、Local LLM界隈に激震。4月に登場した推論加速技術「DFlash」の正統進化、あるいは対となる新技術「PFlash」の噂がReddit(r/LocalLLaMA)を中心に急浮上しています。1...