投機デコーディング

📝 本日のニュース概要 データセンターを占有するはずの「1兆パラメータ（1T）」超巨大AIモデルを、一般向けGPU（コモディティハードウェア）上で「秒間1000トークン」でぶん回すという、物理法則を疑うレベルの極限最適化ハックが浮上！並列投...