オンデバイスAI

ローカルLLM

【geek-terminalニュース】Bonsai 27Bの最新情報:27B推論モデルを1-bit/Ternaryでスマホ級へ押し込むローカルLLM圧縮実験

📝 本日のニュース概要 以前お伝えしたBonsai 1-bit系の続報です。PrismMLが発表したBonsai 27Bは、Qwen3.6-27B由来の27B級オープンウェイト推論モデルを1-bit binary版と1.58-bit ter...
ハードウェア&インフラ

【geek-terminalニュース】Apple M7 Ultra 1.5TB統一メモリ噂の最新情報

📝 本日のニュース概要 以前お伝えしたApple Siliconの統一メモリ問題の続報です。Apple M7 Ultraが最大1.5TBのRAMをサポートする可能性が報じられ、ローカルLLM界隈ではGPU枚数ではなく巨大ユニファイドメモリ箱...
ローカルLLM

【geek-terminalニュース】画像to3DがiPhone内で20秒?端末内3D生成の最新情報

📝 本日のニュース概要 Redditで話題になった「local image to 3D」「2GB RAM」「20s」「Apple Silicon」「iPhone」という投稿を起点に、画像から3Dを端末内で生成する流れを深掘り。公式裏付けのな...
未分類

【量子化の聖杯】Google Gemma 4 QAT公開!学習段階から4ビット化を織り込み、精度低下を「完全克服」したオンデバイスLLMの破壊的インパクトを解説

📝 本日のニュース概要 前日のGemma 4 12Bに続き、Google DeepMindがとんでもない爆弾を投下しました。事後量子化(PTQ)による精度低下に終止符を打つ、学習段階から4ビット化を織り込んだ「QAT(Quantizatio...