llama.cpp

ローカルLLM

【衝撃】Qwen3.6-35B-A3Bがリリース!RTX 4090で「25万トークン」を飲み込むローカルエージェントの怪物を徹底解剖

📝 本日のニュース概要 2026年4月、Qwenチームから最新モデル「Qwen3.6-35B-A3B」が突如リリースされました。総パラメータ35Bに対し、アクティブパラメータをわずか3Bに抑えたMoE(Mixture of Experts)...
ローカルLLM

【1.125ビットの衝撃】8Bモデルが1GBで動く?超軽量LLM「Ternary Bonsai」の実力と、Redditで噴出する賛否両論を徹底解説

📝 本日のニュース概要 2026年4月、ローカルLLM界に激震が走りました。PrismMLが発表した「Ternary Bonsai」は、実質1.125ビットという驚異的な量子化を実現した新しいLLMファミリーです。80億パラメータのモデルが...
ハードウェア&インフラ

【Geek Terminal】RTX 5090 Blackwell真価発揮!Gemma 4 × NVFP4が叩き出す「爆速」の衝撃と、露呈した4bitの壁

📝 本日のニュース概要 2026年4月、ローカルLLM界隈はRTX 50シリーズ(Blackwell)のネイティブ4bit演算「NVFP4」の実装で沸騰しています。Gemma 4 26BをvLLMやllama.cppで動かした際の圧倒的なス...
ローカルLLM

【llama.cpp神アプデ】AIが自身を最速化する『–ai-tune』実装!Qwen3.5-27Bが54%爆速化&128KコンテキストがVRAM数GBで動く時代へ

📝 本日のニュース概要 2026年4月、Local LLM界隈に激震。llama.cppに導入された新フラグ『--ai-tune』は、実行環境に合わせてAI自らが推論設定を自動最適化し、Qwen3.5-27Bで54%もの速度向上を叩き出しま...