【geek-terminalニュース】109Mが72B超え？画像・テキスト整合評価の最新情報

【事象の全貌と背景】
「109Mが72Bに勝ち、学習データも42分の1」。小型モデル好きには強烈な見出しだが、勝負の種目を読み飛ばすと話が変わる。対象のReddit投稿は画像とテキストの整合評価を扱っている。提供された検索結果では研究内容も反応も未確認だったため、追加で投稿と対応する一次論文を確認した。検索結果3による裏付けはないため、以下の性能値は独立検証済みの事実ではなく、研究著者の報告として紹介する。

対応するのはBalestrieroとLeCunによる「Proving and Improving the Platonic Representation Hypothesis with JEPAs」。著者らの問いは、別々に学んだ画像モデルと文章モデルが、世界の似た構造を内部表現として獲得できるか、というものだ。今回の「整合」はこの表現間の対応を指す。安全性や人間の価値観への整合、会話能力の総合順位に置き換えてはいけない。注目点は、小さいモデルでも学習の組み方次第で特定の評価を攻略できる、という研究上の主張にある。[一次論文](https://arxiv.org/abs/2610.39302)

【技術的ディープダイブ】
著者公開リポジトリによると、主役は109M、約1億900万パラメータのテキストJEPAだ。同じ世界の状態を表す異なる観測を「good views」として組にする。例えば同じ画像の別々の説明文である。一つの観測をマスクしただけの組などは「bad views」と区別される。狙いは、言い回し固有の特徴より、観測同士に共通する意味を表現へ押し出すことだ。著者らは一定の条件下で、別々に学習した表現が一つの回転変換で対応するという理論を提示している。[著者の実装・説明](https://github.com/galilai-group/prh-proof)

同リポジトリの報告では、WIT-1024でDINOv2-Bとの整合スコアが小型JEPAは0.184、Qwen2.5-72Bは0.154、Llama-3-70Bは0.151。指標はmutual 10-NNで、画像側と文章側の近傍関係がどれだけ一致するかを見る。0.184を「画像理解の正解率18.4％」と読むのは誤りだ。109Mはテキスト側の規模なので、画像処理まで含めたシステム全体が109Mという意味にもならない。ここで問われるのは、内部の意味の地図がどれだけ似ているかである。[比較結果](https://github.com/galilai-group/prh-proof)

「42倍」の中身はさらに重要だ。論文では、同じ109Mエンコーダーと同一コーパス由来の文章で、good viewsは2160万学習サンプルで0.109、次トークン予測は9億サンプルで0.111に達したと報告する。約42倍はこのサンプル数の比で、トークン数では14倍という説明だ。学習率やバッチサイズも異なり、次トークン側のより早いチェックポイントは評価していないという。したがって、同等性能に必要な最小データ量が厳密に42倍違うと確定したわけではない。また、72B超えのモデルは9億サンプルで学習した別の比較であり、二つの見出しを一つの実験に合体させてはいけない。[論文4.2〜4.3節](https://arxiv.org/html/2610.39302v1#S4.SS2)

データの出自にも条件がある。著者によれば、大規模学習で各画像に対応する三つの文章のうち二つはLLaVAによる再キャプションだ。小型エンコーダー自身が画像を見なくても、視覚言語モデルの情報が文章経由で入る。さらに正則化の設定を変えた追加実行では0.121に下がったと開示する。評価データとの重複も調べ、43件のWITキャプションの一致を報告している。これは結果を即座に否定する材料ではないが、データ生成の費用、設定への感度、重複除去後の評価まで一緒に読むべき理由になる。[実験上の留保](https://arxiv.org/html/2610.39302v1#S4.SS3)

【コミュニティの生々しい熱量と議論】
追加確認できたRedditの反応は2件。NandaVegg氏は、比較相手の72Bがこの論文ではQwen2.5-72Bだと指摘した。これは「72B」というサイズ表示を、具体的なモデル名へ引き戻すコメントだ。最新モデル全般を倒したという読み方を避けるうえで効く。取り消し線付きの揶揄もあるが、それだけで研究不正への告発やコミュニティ全体の評価には広げられない。[対象投稿のコメント](https://www.reddit.com/r/LocalLLaMA/comments/1xkzony/new_research_a_tiny_109mparameter_model/)

一方、Any_Bus9205氏は「All that’s left is the gguf and the real benchmarks done by random people」と投稿した。「あとはGGUFと、有志による実ベンチ」という待ちの姿勢だ。論文の数字を喜びつつ、自分たちの環境で確かめたいというローカル勢らしい反応に読める。ただし、これは配布形式と追試を求める声で、GGUF公開や動作確認の報告ではない。今回確認した範囲に、具体的な改造手順、速度測定、再現成功例はなかった。熱量を盛るなら、この「触れるものをくれ」という期待までが引用できる範囲だ。[コメント原文](https://www.reddit.com/r/LocalLLaMA/comments/1xkzony/new_research_a_tiny_109mparameter_model/)

【今後の展望とエコシステムへの影響】
編集上の見立てとして、面白いのは「どの巨大モデルを呼ぶか」の前に、「欲しい表現をどう学ばせるか」を設計できる可能性だ。画像検索や説明文との対応付けで結果が再現されれば、小型の専用エンコーダーを選ぶ余地が広がる。ただし、整合スコアの改善から、そのまま検索品質、消費電力、運用費用の改善までは飛べない。否定表現、数の違い、専門画像、学習分布から外れた文章でも役立つかは、用途ごとの追試で確かめたい。

現時点で巨大LLMの退場を宣言する根拠はない。揺さぶられるのは、パラメータ数だけで用途への適性を判断する発想だ。次に見るべきは、同じ予算での比較、データ作成費込みの効率、複数設定での再現性、そして実際の検索や分類への転移である。109M対72Bという派手な数字の奥には、「何を同じものとして学ばせるか」という、サイズ競争とは別の設計変数がある。そこを現場で使える差に変えられるかが、この研究の本当の勝負になる。