【geek-terminalニュース】Real-SWE再燃とSWE-2低コスト評価の最新情報

【事象の全貌と背景】
以前お伝えしたSWE-Bench系評価の続報です。今回の焦点は、単なる“コードが書けるAI”ではなく、“実企業の非公開コードベースで、どれだけ安く、どれだけ確実に仕事を終えられるか”へ移っています。ただし最初に釘を刺すと、今回渡された公式・大手メディア確認欄には独立確認済みの記述がありません。したがって本稿では、Real-SWEの設計、Fable 5.1の38.8%、CognitionのSWE-2、Kimi K3ポストトレーニング、FrontierCodeでの50.0%、64%低コストといった数字は、あくまで掲載記事とコミュニティ上で語られている確度Bの情報として扱います。

Real-SWEは、WorldProgramming掲載文などで、公開GitHubリポジトリ由来ではなく、企業からライセンスされた非公開の本番コードベースを使うベンチマークとして紹介されています。ここがギーク的に刺さるポイントです。公開ベンチでは、モデルが訓練中に似たコードや解答パターンを見ている可能性、いわゆるデータ汚染を完全には排除しづらい。一方、非公開の実務コードなら、請求、税計算、顧客移行、社内固有ルール、複数サービス横断といった“現場の面倒くささ”がそのまま出ます。r/LocalLLaMAでもReal-SWE新ベンチの話題が立ち上がり、Hacker News側ではさらに、ベンチマークの新旧差、飽和、benchmaxxing、企業の宣伝臭まで含めた議論に火がついています。

【技術的ディープダイブ】
Real-SWEについては、8つのモデル/ハーネス構成、10タスク、640件の採点済みロールアウトで構成されると紹介されています。Fable 5.1が38.8%、GPT-6 Astraが33.8%、Gemini 3.8 Flashが31.2%、Kimi K3が18.8%、GPT-5.6 Solが16.2%といった解決率も掲載されていますが、繰り返す通り公式・大手メディア確認済みのFactではなく、掲載文上の主張です。とはいえ、この数字の意味は強烈です。上位モデルでも4割に届かないなら、“AIがエンジニアを置き換える”という雑な物語より、“既存コードの文脈、業務ルール、テスト、外部サービス接続をどこまで探索できるか”という実務能力の話になります。

タスクの中身も、単発アルゴリズム問題とはかなり違うと説明されています。典型例として、各事業者ごとの税率、免税顧客、TaxJar風の外部税計算、請求書、VAT番号、台帳連携を含む請求修正タスクが挙げられています。さらに、AWSエミュレータ、Docker、Kubernetes、GitHub、Linear MCP、PostgreSQL、MySQL、MongoDB、Redis、Slack、Intercom、Google Drive、Email、ClickUpなどが環境に絡むとされています。Real-SWEの指示文中央値は1,742文字、参照解の編集ファイル中央値は11ファイルと紹介され、FrontierCodeやDeepSWEの6ファイルより重いという比較も示されています。つまり、モデルは“正しいコード片”ではなく、“会社の既存システム内で壊さず変更する能力”を問われるわけです。

一方のSWE-2は、MarkTechPostで、CognitionがMoonshot AIの2.8Tパラメータ級Kimi K3を強化学習でポストトレーニングしたコーディングモデルとして報じられています。同記事では、FrontierCode 1.1 MainでSWE-2が50.0%、Kimi K3が44.2%、Fable 5.1が50.9%、GPT-6 Astraが53.3%とされ、SWE-2はFable 5.1に1ポイント以内で迫りつつ64%低コストだと説明されています。また、Terminal-Bench 2.1では92.8%なのに、Terminal-Bench 4では27.3%という落差も掲載されています。ここが今回の核心です。強さは単なるスコアではなく、“新しい問題に一般化するか”“推論コストを含めたParetoフロンティアが動いたか”で見られ始めています。

【コミュニティの生々しい熱量と議論】
Hacker Newsの反応はかなり辛口です。ある投稿者は、Terminal-Bench 2.1の92.8%とTerminal-Bench 4の27.3%の差を見て、これは新問題への一般化能力を示す差ではないか、もっと乱暴に言えば“how benchmaxxed is this model?”だと疑っています。つまり、古いベンチだけ高いなら、モデルが本当に賢いのか、それとも評価に合わせて盛られているのか、という疑念です。

これに対して別のユーザーは、“This is a groundless criticism.”と反論しています。Terminal-Bench 2.1はすでに飽和しており、Terminal-Bench 4は未飽和なので、単純に新旧差だけで訓練汚染やbenchmaxxingを断じるのは雑だ、という見方です。さらに別のユーザーは、数カ月前のSol xhighがTB4でSWE-2より高いなら、むしろSolに感心する、と述べています。ここには、AIベンチを見る側の成熟が出ています。もう“1位です”“90%です”では誰も納得しない。どのベンチが飽和しているか、いつ公開されたか、どのハーネスで走ったか、コスト込みか、モデル単体かエージェント製品込みかまで突っ込まれます。

Cognitionへの不信もあります。あるコメントは、過去に自律コーディングBotのデモで期待を煽った企業だとして、性能改善の主張は“take with a grain of salt”で見るべきだと警戒しています。一方で、SWE-2がKimi K3のポストトレーニングだと聞き、“完全新規モデルではなかったのは意外だが、RLでK3をFable 5級へ近づけられるなら面白い”という前向きな反応もあります。VCマネーやSF広告への皮肉、企業規模や計算資源差を考慮すべきかという議論もあり、現場の空気は単純な称賛ではなく、“数字は見たい、でも売り文句は信用しすぎない”という温度です。

【今後の展望とエコシステムへの影響】
今回の再燃が示しているのは、コードAIの評価軸が“デモでTodoアプリを作れるか”から、“汚染しにくい実務タスクで、低コストに、何度も安定して直せるか”へ移っていることです。オワコン化しそうなのは、飽和した公開ベンチだけを並べるランキング芸です。特にTerminal-Bench 2.1のように高得点が当たり前になった評価は、単体では説得力を失い、TB4やReal-SWEのような新しさ、非公開性、業務複雑性を持つ評価とのセットで読まれるようになります。

開発者のモデル選定にも直撃します。もしSWE-2のようなポストトレーニング済みモデルが、本当にFrontierCode級の性能を64%低コストで出せるなら、企業は“最高スコアの巨大モデルを常時使う”より、“タスク難度と予算に応じてeffort levelを切り替える”方向へ進みます。ただし、SWE-2はMarkTechPostではDevin内でのみ利用可能、オープンウェイトも単体APIもないと説明されており、ローカルLLM勢がすぐ自前運用できる話ではありません。ここも重要です。オープンなKimi K3を土台にしたとされるモデルが、最終的には閉じたエージェント製品内で使われる。この構図は、オープンモデルの改良レシピ、商用エージェントの囲い込み、ベンチマークの透明性をめぐる次の火種になります。

結論として、Real-SWE再燃は“AIコーディングが進化したか”だけの話ではありません。評価セットを誰が作り、タスクは汚染されていないのか、ハーネス込みの成績をどう読むのか、ポストトレーニングでどれだけコスト性能曲線を押し上げられるのか。ここまで含めて、コードAI選定はベンチ表の暗記から、かなり実務寄りの鑑識眼ゲームへ変わりつつあります。真偽の独立確認はまだ不足していますが、この論点そのものは、これからの開発現場にかなり深く刺さります。