【geek-terminalニュース】重み0.016%編集で数学6倍？LLMの直接修理、追試と批判の最新情報

【事象の全貌と背景】
「AIに重みを渡せば、別のAIを修理してくれるのか」。Redditで注目されているのは、研究ブログ「Sparks of Weight-Space Programming」の実験だ。紹介投稿によると、GPT-6 AstraがQwen3.5-0.8Bの重み約0.016%を直接変更し、MATH-500を7.9%から48.1%へ引き上げたという。約6倍という数字は強烈だが、複数スレッドは同じ研究を紹介しており、独立した成功例の山ではない。[研究紹介](https://www.reddit.com/r/singularity/comments/1xm89o3/mit_researchers_say_gpt6_astra_improved_a_small/)

本稿では研究者や利用者の報告として扱う。提示された公式・大手メディアの照合資料には、この性能差を確認済みと断定できる裏付けがない。追加で読めた研究ブログや個人の検証記事も、報告者と検証範囲を明記する必要がある。焦点は「数学を新たに教えた」のか、「答えを出せないループを解消した」のか。スコアの急上昇だけでは、この二つを判別できない。

【技術的ディープダイブ】
研究側の説明では、Pythonで重みを調査し、練習問題への順伝播を最大50回使う設定だったという。勾配降下による追加学習は禁止されているが、「モデルを一度も動かさず、数値を眺めただけ」という条件ではない。順伝播は入力から出力を計算する処理で、重み更新用の勾配計算とは別だ。

修正内容も具体的だ。研究側は、層15と19のMLPが書き込む一つの方向をループに関連づけ、各64出力列からその成分を取り除いたと説明している。変更は131,072重み。MATH-500で出力上限に達する割合も93.0%から33.1%へ減ったという。これなら「解ける途中式はあったのに、最終回答へ進めなかった」という解釈が重要になる。同ブログは、ループの少ないGemma 3 270Mでは明確な改善を得られなかったとも報告している。[研究側の実験説明](https://rikiyat.github.io/blog/weight-space-programming/)

ここに鋭く切り込むのがMatthew Honnibalだ。彼は、重みをテキストとして読む小規模実験と、Pythonや実行結果を使ってQwenを編集する実験を、一つの能力として受け取らせる説明が誤解を招くと批判している。これは結果の捏造を立証したという話ではない。「何を見せ、何を実行させたか」を分けて評価すべきだという指摘だ。[Honnibalの批判](https://honnibal.dev/blog/astra-read-write-misleading)

【コミュニティの生々しい熱量と議論】
Redditの期待は早くも自己改善へ飛ぶ。trolledwolfは「人間にも存在しなかった技能では」と問い、ChanceDevelopment813は再帰的自己改善の第一歩だと期待を寄せる。一方、StarFox122は、強いモデルが弱いモデルを編集する話と、弱いモデルが次世代モデルを理解できる話では向きが逆だと釘を刺している。いずれも将来像への意見で、自己改善の実証ではない。[期待と反論のスレッド](https://www.reddit.com/r/singularity/comments/1xm89o3/mit_researchers_say_gpt6_astra_improved_a_small/)

現場のハックはもっと泥臭い。LocalLLaMAの-dysangel-は、GLM 5.3を使い、Qwenの重み0.041%を変更したと自己報告している。内容は空白だけの語彙302個の埋め込み行を0.60倍、思考終了を示すの行を1.25倍にする調整。貪欲デコードのMATH-50で正答率0%→22%、終了した回答7/50→16/50だったという。元研究のMATH-500とは問題数も生成条件も編集箇所も異なるため、48.1%の再現成功とは数えられない。

投稿者自身の表現は「unbricking, not teaching」、意訳すれば「教えるより、動かなくなったモデルの復旧」だ。コード生成への悪影響も懸念している。同スレッドのclaythearcも、Python環境で仮説を立て、調査し、編集して評価する研究者的な働きとして評価すべきだと論じる。魔法らしさを削っても、故障診断を任せられる可能性には十分な面白さが残る。[追試の自己報告と批判](https://www.reddit.com/r/LocalLLaMA/comments/1xm6jow/sparks_of_weightspace_programming_llms_can/)

さらにSimon Willisonは、ノートPC上のQwen 3.8 27Bで、小さなゲーム用ネットワークの重みからゲーム名を推定する実験を試したと報告している。Pac-Man、Pong、Breakoutを当て、Freewayは外したという。これは「読む」側のローカル検証で、Qwenの数学性能を改善する「書く」側の追試とは区別したい。[Willisonの検証](https://simonwillison.net/2026/Nov/3/qwen-can-interpret-model-weights/)

【今後の展望とエコシステムへの影響】
仮にこの方向が再現性を伴って育つなら、ローカルLLMの保守に「症状を自然言語で説明し、重みの修正案を作らせる」工程が加わるかもしれない。追加学習の前に局所的な障害を診断する選択肢は魅力的だ。ただし今回の報告から、学習やソースコードがオワコンになったとは言えない。重みの変更率が小さくても、他の能力への影響まで小さいとは限らない。

次に欲しいのは、同じ評価条件での第三者検証、通常の生成設定調整との比較、コード生成や他言語への副作用、そして失敗例だ。数学の正答率と回答終了率を別々に追えば、能力獲得と障害除去を見分けやすくなる。ギークとして熱くなるべき問いは、自己進化が始まったかだけではない。重みへの小さなパッチを、根拠と差し戻し手順付きでレビューできるようになるか。その検証過程こそ、今回いちばん追う価値がある。