【geek-terminal】LEB128を葬るか？Ink & Switchが放つ新エンコード「Bijou64」の破壊力

システムプログラミング、ネットワークプロトコル、そしてシリアライズフォーマットの最深部に生息する低レイヤーの「ビット狂い」たちに、激震が走っています。ローカルファースト（Local-First）や分散データストア、CRDT（競合解消型レプリケートデータタイプ）の研究で世界的な名声を誇る独立系リサーチ組織「Ink & Switch」が、独自の実験的検証シリーズ「Tangents」において、極めて野心的な新しい可変長整数（varint）エンコーディング仕様「Bijou64」のドラフト提案を公開したことが明らかになりました。公式な標準化プロセスにあるわけではないものの、この「極小の宝石（Bijou）」と名付けられた仕様は、すでにGitHubやRedditなどのギークコミュニティを巻き込み、熱狂的なベンチマーク対決と設計議論を巻き起こしています。

【事象の全貌と背景】なぜ今、可変長整数の再設計が必要なのか

現代の分散システムやローカルファーストアプリケーション、さらにはAI推論エンジンにおけるアテンションマップの転送などにおいて、データ同期のパフォーマンスは「シリアライズ・デシリアライズ（SerDe）の速度」に完全に支配されています。その中で最も頻繁に、かつ大量に出現するデータが「整数（Integer）」です。これらをいかに小さく圧縮し、いかに速く復元するかという課題に対し、これまではProtocol Buffers（Protobuf）やgRPC、WebAssemblyのバイナリフォーマットなどが採用する「LEB128（Little Endian Base 128）」という可変長整数エンコーディングがデファクトスタンダードとして君臨してきました。

LEB128の仕組みは非常にシンプルです。各バイトの最上位ビット（MSB: Most Significant Bit）を「次のバイトへ継続するかどうか」を示すフラグビット（継続ビット）として扱い、残りの7ビットに実際の数値データを詰め込みます。これにより、小さな数値（例えば「42」）はわずか1バイトで表現でき、大きな数値（64ビットフルに使う値など）は最大10バイトで表現されるため、ネットワーク帯域やストレージ容量を劇的に節約できます。

しかし、このLEB128は現代のCPUアーキテクチャから見ると「最悪のボトルネック」となっています。デコーダーはデータを1バイトずつロードし、MSBが立っているかどうかを判定するループ処理を行う必要があります。この「1バイトごとの判定」が、CPUの高度な「分岐予測（Branch Prediction）」を完全に破壊し、パイプラインハザードを頻繁に引き起こすのです。さらに、ループ内でバイトごとに異なるシフト幅のビットシフト演算を繰り返す必要があり、これがデコードの処理速度（スループット）を致命的に低下させていました。「データサイズは縮んだが、CPUが窒息している」――これが、既存の可変長整数エンコーディングが直面している限界でした。この限界を突破するために提案されたのが、Bijou64です。

【技術的ディープダイブ】ブランチレスとハードウェア協調を極めた「Bijou64」のアーキテクチャ

Ink & Switchが提案しているとされる「Bijou64」の核心は、LEB128のように「データの各バイトにメタデータを分散させる（MSB方式）」設計を完全に廃止し、「長さメタデータを整数の先頭（プレフィックス）に完全集約する」というプレフィックスベース（Prefix-based Varint）の設計思想にあります。

具体的には、シリアライズされたデータの最初の1バイト（または数ビット）に、その整数全体が「何バイト（1バイト〜9バイト）を消費しているか」の情報がエンコードされます。このヘッダー（プレフィックス）情報をパースする際、Bijou64は条件分岐（if文）を一切使用しない「ブランチレス（Branchless）設計」を徹底しています。例えば、プレフィックスビットに対してビットマスクを適用し、CPUの組み込みハードウェア命令（CLZ: Count Leading Zeros、またはx86のLZCNT命令）を1サイクルで実行させることで、即座に整数のバイト長を特定します。長さが判明すれば、判定ループを回すことなく、メモリから対象バイト数を一括ロードし、事前に定義されたシフト幅テーブルやビット演算トリックを適用するだけで、一瞬にして64ビット整数を復元します。

さらに、Bijou64の仕様案では「SIMD（Single Instruction Multiple Data）命令を用いた並列デコード」への適合性も極めて高いと噂されています。分岐予測を狂わせる条件分岐が存在しないため、コンパイラはコードを容易にベクトル化でき、AVX-512やARM Neonといった最新のSIMDユニットを活用して、複数の可変長整数を同時に、ミリ秒以下のレイテンシで超高速パースすることが理論上可能になります。アライメント（メモリ境界）への配慮と、不要なメモリコピーを徹底的に排除したゼロコピー読み出しを前提とした、まさに「ベアメタルで走らせるための魔術的コード」と言える仕様が、このBijou64なのです。

【コミュニティの生々しい熱量と議論】「LEB128の呪いからの解放」か「車輪の再発明」か

この仕様がコミュニティに共有されると、r/rustやr/cppなどのシステムプログラミング界隈は一気に過熱しました。特にRustaceous（Rust開発者）たちの動きは素早く、仕様案が公開されてからわずか数時間のうちに、RustによるBijou64の非公式実装や、既存のProtobuf-varintとのガチンコベンチマーク比較がGitHubに多数コミットされています。初期のベンチマーク結果によれば、デコード速度が従来のLEB128比で「2倍から最大4倍」に跳ね上がったという報告もあり、「ついにLEB128の呪いから解放される、これぞ俺たちが待ち望んだ低レイヤーの進化だ」と絶賛する声が上がっています。

しかし、百戦錬磨のシニアシステムアーキテクトたちからは、冷ややかな指摘や懐疑論も噴出しています。「プレフィックスベースのvarint自体は、GoogleのGroup VarintやSQLiteのVarint、あるいはUTF-8の設計思想と本質的に同じであり、完全な『車輪の再発明』ではないか」というツッコミがその代表です。さらに、「どれだけビット演算をハックしようとも、結局のところ、本当に速度を追求するならFlatBuffersやCap’n Protoのように、アライメントが揃った固定長データをそのまま読み込む『シリアライズ不要』の設計にすべきだ。可変長整数という古いパラダイムにしがみつくこと自体がナンセンスである」という過激な批判も展開されています。

これに対し、Ink & Switchが主導する「ローカルファースト」の支持者たちは猛反論しています。モバイルデバイスやWebAssembly（Wasm）環境など、ネットワーク帯域が貧弱であり、かつメモリリソースにも厳しい制限がある環境では、固定長データによるペイロードの肥大化は許容できません。「転送サイズを極限まで小さく抑えつつ、CPUのデコード負荷を固定長並みに引き下げる」という矛盾した要件をクリアするためには、Bijou64のような「超効率的varint」こそが、パズルの最後のピースなのだと熱弁されています。

【今後の展望とエコシステムへの影響】旧時代のプロトコルを過去にするパラダイムシフト

Bijou64が実験的プロジェクトの枠を超え、Ink & Switchの開発するCRDTエンジン「Automerge」の次世代コアや、Wasmベースのデータベース、あるいはローカルファースト同期ツール（ElectricSQLやRxDB等）に本格採用された場合、データ同期のエコシステムに決定的な地殻変動が起きる可能性があります。

特に、モバイルアプリやブラウザ上で動作するアプリケーションにおいて、数万件の競合解消ログやドキュメント履歴をバックグラウンドでマージする際、これまでUIをプチフリーズ（Jank）させていた「SerDe（シリアライズ/デシリアライズ）に起因するメインスレッドの占有」が劇的に改善されるでしょう。スマホのバッテリー消費を大幅に抑えながら、P2Pでミリ秒単位の完全同期を行うリアルタイム協調編集システムが現実のものとなります。

ネットワーク帯域の制約だけを考慮して設計された1990年代〜2000年代の「LEB128」的なレガシー技術は、今や「CPU性能とハードウェア分岐予測の効率を阻害するオワコン技術」として淘汰されつつあります。マルチコア、SIMD、高速メモリ帯域が当たり前となった現代のハードウェア性能を100%引き出すための「ブランチレス・ビットパッキング」へのパラダイムシフトは、この小さな「Bijou64」の提案を契機に、不可逆的な流れとして加速していくに違いありません。