GGUF

ローカルLLM

【geek-terminalニュース】Qwen3.8-27B量子化実測とCode Arena上位入り疑惑、LocalLLaMAが沸騰

📝 本日のニュース概要 以前お伝えしたQwen3.8-27B評価の続報です。今回はReddit / r/LocalLLaMAで話題化した量子化比較、reasoning_effort設定、Code Arena 9位報告を、公式確認済み情報とコ...
ローカルLLM

【geek-terminalニュース】LFM2.5-DSpark、最大3.18倍高速デコードの最新情報

📝 本日のニュース概要 Liquid AIのLFM2.5向けDSpark draft modelが、投機的デコードで最大3.18倍の高速化をうたっています。モデルの賢さを上げる話ではなく、出力品質を維持したままレイテンシと推論コストを削る、...
ローカルLLM

【geek-terminalニュース】Qwen3.8 35B-A3B、開発者コメントで待望論が再燃

📝 本日のニュース概要 以前お伝えしたQwen3.8-27B FP8公開・ローカル実行評価の続報です。今回はまだ正式リリースされていないMoE構成モデル『Qwen3.8 35B-A3B』を巡る動きに焦点を当てます。r/LocalLLaMAで...
ローカルLLM

【geek-terminalニュース】RTX3060を4枚束ねてDeepSeek V4 Flashを爆速稼働させた自作ハック魂

📝 本日のニュース概要 以前お伝えしたDeepSeek V4 Flashのローカル実行高速化ネタの続報です。今回はRTX 3060を4枚束ねてq4_k_xl量子化のDeepSeek-V4-Flashを稼働させ、実測100 tok/sを叩き出...
ローカルLLM

【geek-terminalニュース】3B級オンデバイス画面理解VLM「LFM2.5-VL-3B」の最新情報

📝 本日のニュース概要 Liquid AIが公開したLFM2.5-VL-3Bを深掘り。3.1B規模で画面理解、OCR、物体グラウンディング、複数画像推論、関数呼び出しまで統合し、GUI自動化をクラウドVLM依存から剥がす部品になり得るのかを...
ローカルLLM

【geek-terminalニュース】Meta Muse Glimmer 30BがGGUF化、RTX 3090単体実行でローカルLLM勢が沸騰

📝 本日のニュース概要 以前お伝えしたMeta Muse CodeβとMuse Spark権限境界の続報です。Metaが30BのオープンウェイトモデルMuse GlimmerをApache 2.0で公開。今回は政策論ではなく、GGUF化され...
ローカルLLM

【geek-terminalニュース】Kimi K3量子化、711GBから478GBへ押し込むローカルLLM実測沼

📝 本日のニュース概要 以前お伝えしたKimi K3ローカル実行の続報です。今回はKimi K3の重み公開そのものではなく、Unsloth IQ2-XXS量子化で711GB級から478GB級へ縮め、実機構成とベンチでどこまで現実のマシンに押...
ローカルLLM

【geek-terminalニュース】Kimi K3重み公開でローカルLLM勢がVRAM戦争へ突入

📝 本日のニュース概要 以前お伝えしたKimi K3と中国オープンウェイトAI論争の続報です。今回は政策論ではなく、Kimi K3のweights公開を受けて、実際に手元で動くのか、A100/H200級GPUが何枚必要なのか、Hugging...
ローカルLLM

【geek-terminalニュース】llama.cpp MCP対応でローカルLLMが実行主体へ近づく最新情報

📝 本日のニュース概要 llama.cppのfull MCP supportがコミュニティで話題化。ローカルLLMが単なるチャットから、MCP経由で手元のツールを叩くエージェント基盤へ変わる可能性を、権限境界、WebUI/CLI、Reddi...
ローカルLLM

【geek-terminalニュース】Thinking Machines初のオープンウェイトモデルInkling公開の最新情報

📝 本日のニュース概要 Thinking Machines Labが初のオープンウェイト基盤モデルInklingを公開。975B total/41B activeのMoE、1Mトークン文脈、マルチモーダル対応、Tinkerでの微調整、そして...