【geek-terminalニュース】中古マイニングFPGAでQwen3.5級INT4推論を狙う地下工作室ルート

以前お伝えしたMicroGPT/TALOS-V2のFPGA実装の続報です。今回の主役は、r/LocalLLaMAに浮上した「Qwen3.5 Arch Implementation in FPGA Fabric」という投稿です。ただし最初に釘を刺しておくと、現時点で確認できる一次情報は投稿URLとタイトルの存在までで、使用ボード、RTL、メモリ構成、tokens/s、消費電力、精度劣化、9Bや27B相当モデルの完走実績までは裏取りできていません。つまりこれは、完成品レビューではなく、コミュニティで火がつきかけている噂先行のハードウェアDIY案件です。

【事象の全貌と背景】
ローカルLLM界隈では、長らくGPU、特にNVIDIA GPUとVRAM容量が支配的な制約でした。量子化でINT4やQ4を使い、GGUFやllama.cppで省メモリ化しても、結局はVRAM帯域、KV cache、PCIe、CPUオフロードのどこかに詰まる。そこへ出てきたのが、中古マイニング機材やFPGA fabricをLLM推論に転用するという、いかにも地下工作室めいた別ルートです。編集長の言う通り、熱いのは「GPUが高いなら諦める」ではなく、「採掘時代のハードを推論時代の計算布に縫い直す」という発想そのものです。

ただし、今回のReddit投稿が示す「Qwen3.5級アーキテクチャをFPGA fabricへ実装する」という話は、公式発表として確認されたものではありません。検索結果上では、投稿本文や回路構成が取得できず、ファクトチェック可能な情報は限られています。一方で、周辺状況としては、Qwen系モデルを16GB級GPUやローカル実行環境で動かす試行が増えています。たとえばQwen3.6-35B-A3Bを16GB VRAMのNVIDIA GPU上でOpenCode coding agentと組み合わせる構成や、Qwen 3.8 27B Q4 XSを16GB AMD RX 7800 XTで100kコンテキスト、q8/q5 KV cache、MTPなし、約30 token/s decodeで動かしたという関連情報が出ています。ここから見えるのは、巨大モデルをクラウド専用にせず、手元の制約ある機材へ押し込む文化がさらに過激化しているという流れです。

【技術的ディープダイブ】
公式寄りに断定できる情報として重要なのは、RLXというRust製の統合マルチバックエンドTensorコンパイラ兼分散ランタイムの存在です。arXiv情報によれば、RLXはLLM、状態空間モデル、ビジョン、拡散、埋め込み、ASR、TTSなどを含む100以上のモデルファミリーcrateを対象にし、例としてQwen3、LLaMA 3.2、Gemma、Phi、GLM、Mamba、LFM、SAM、DINOv2、BioCLIP-2、FLUX.2、BERT、NomicBERT、Whisperなどを挙げています。Qwen3についてはsafetensorsおよびGGUF形式でHugging Face参照実装に対して100% top-1 parityを持つと説明されています。

FPGAとの接点もここにあります。RLXの説明では、rlx-fpgaがIRをVerilogとbitstreamへloweringし、integer-only Q0.31 requantを使うとされています。これは、LLMをFPGAで動かすために各モデルごとに完全手書きRTLを書く、というより、共通IRからGPUやカスタムロジックへ落とす方向性です。同じIRがサーバーGPUとカスタムロジックの両方を駆動するという設計思想は、Qwen系をFPGA fabricへ運ぶ話とかなり相性がいい。MNIST訓練表という限定的な指標ではありますが、graph-fused MLPが946,487 img/sでNumPyBLASの787,349 img/sを上回るトップスループットとして示されている点も、グラフ融合と専用化の旨味を示す材料です。

ただし、ここから「Qwen3.5 INT4が中古マイニングFPGAで実用速度に達した」と断定してはいけません。確認できていない項目が多すぎます。Transformer推論では、行列積だけでなく、RoPE、attention、KV cache、量子化復元、メモリアクセス、バッチサイズ、コンテキスト長が絡みます。FPGAはDSPやLUTを使ってINT4演算器を詰め込める一方、LLMでは重みとKV cacheを食わせ続けるメモリ帯域が支配的になりやすい。特に27B級を考えるなら、INT4でも単純計算で重みだけで十数GB規模になり、DDR帯域、外部メモリ構成、ストリーミング設計がボトルネックになります。9B級ならまだ現実味は増しますが、それでもGPUのcuBLAS系最適化と比べて、制御、配置配線、クロック、データ搬送の泥臭い最適化が必要です。

【コミュニティの生々しい熱量と議論】
ここは少し特殊です。今回渡されたコミュニティ反応データには、FPGA推論DIY、INT4、Qwen、LocalLLaMA、マイニングハード流用に関する具体的なReddit/HN/lobste.rs発言は含まれていません。したがって、実際のユーザー発言を引用して「称賛されている」「炎上している」と書くことはできません。確認できるのは、r/LocalLLaMAに該当投稿が存在するという事実と、その周辺で巨大Qwen系モデルのローカル実行、低VRAM実行、省メモリ推論への関心が高まっているという文脈までです。

それでも、このネタがLocalLLaMAに刺さる理由は明確です。LocalLLaMA文化は、単にモデルを使う場所ではなく、VRAMの端数、量子化形式、KV cacheの型、ドライバの癖、古いGPU、ワークステーション、ミニPCまで総動員して「手元でどこまで行けるか」を競う場所です。そこに中古マイニングハードとFPGA fabricが入ってくると、話は一気にソフトウェア最適化から電子工作寄りになります。これは、GPUを買い足すよりも、過去の暗号資産ブームが残した計算資産をAI推論に転生させるという、ローカルAIらしい反骨ルートです。

賛否が出るとすれば、論点はだいたい見えています。肯定派は、INT4推論なら固定小数点・専用データパス・パイプライン化でFPGAに勝ち筋があると見るはずです。特にバッチ1、低レイテンシ、固定モデル、電力制約のあるエッジ推論では、汎用GPUより専用回路が刺さる場面があります。一方で懐疑派は、開発工数、ツールチェーン、メモリ帯域、配置配線、モデル更新への追従、そして価格性能比を突くでしょう。LLM界隈ではモデル更新が速く、Qwen3.5、Qwen3.6、Qwen3.8級へ次々に関心が移ります。FPGA実装がやっと最適化できた頃には、対象モデルが世代遅れになる可能性もあります。

【今後の展望とエコシステムへの影響】
今回の話が本当に面白いのは、GPUが直ちにオワコンになるからではありません。むしろ当面、ローカルLLMの本命はGPUです。CUDA、ROCm、Metal、MLX、llama.cpp、GGUF、vLLM系の厚い実装資産があり、開発者体験も圧倒的に強い。FPGA DIYがそこを一撃で倒す可能性は低いです。

しかし、オワコン化しうるものはあります。それは「ローカル推論イコールGPUだけ」という思考停止です。RLXのように共通IRからGPUにもFPGAにもloweringする流れが育つなら、モデル実行基盤は単一アクセラレータ前提から、CPU、GPU、Metal、wgpu、FPGA、将来的にはASICやNPUまでを横断するコンパイル問題へ寄っていきます。ローカルLLMの競争軸も、単にVRAM容量を積むことから、量子化、メモリ配置、演算精度、コンパイラ、実行ランタイム、ハードウェア再利用を束ねる方向へ広がります。

中古マイニング機材の転用という観点では、さらに匂いが濃い。暗号資産ブームの副産物として余った計算資産が、今度はLLM推論ノード、家庭内AIサーバー、エッジ推論箱、研究用アクセラレータとして再評価される可能性があります。ただし、読者が今すぐ飛びつくべき実用品と見るには早いです。必要なのは、実機ボード名、LUT/DSP/BRAM使用率、外部メモリ帯域、対応コンテキスト長、9B/27B別のtokens/s、1 tokenあたり消費電力、量子化後の品質評価、再現可能なビルド手順です。

結論として、今回のFPGA推論DIYは、確定ニュースというより「ローカルLLMの地下ルートがまた一本掘られ始めた」という観測です。Qwen3.5級INT4を中古マイニング機材で動かすという夢は、現時点ではまだ伝聞と未検証領域を多く含みます。しかし、RLXのような共通IRからVerilog/bitstreamへ落とす実装方針が公式寄りの研究情報として確認できる以上、この方向性そのものは単なる妄想ではありません。GPUの外側に、再構成可能ロジックでLLMを走らせる細い道が見え始めています。広い高速道路ではない。でも、ギークが夜中にライトを持って入り込むには十分すぎるほど怪しく、面白い道です。