【geek-terminalニュース】AA指数v5は何を測る？非公開評価と「実用性」のズレ

【事象の全貌と背景】
「モデルが弱くなった」のか、それとも物差しが変わったのか。Artificial Analysis（AA）のIntelligence Index v5を巡り、Redditで評価の妥当性を問う議論が起きている。AAは10月27日付の公式発表で、評価を２件追加し３件更新、指数の60％を非公開テストや正解を留保した評価で構成すると説明している。提供された事実検索には裏付けがなかったため、本稿の刷新内容は追加取得した公式説明に帰属させる。[AA公式発表](https://artificialanalysis.ai/es/articles/artificial-analysis-intelligence-index-v5)

背景としてAAが掲げるのは、既存試験の飽和と、公開問題への過剰適応への対策だ。９月のv4.3でも難しい課題と非公開評価を増やしており、変更は今回だけの突然の方針ではないという。ただし、刷新する理由が合理的でも、新しい配点が自分の仕事を代表するとは限らない。今回掘るべきは個別モデルの順位より、「何ができれば賢いと数えるのか」という採点設計だ。[v4.3の説明](https://artificialanalysis.ai/ja/articles/artificial-analysis-intelligence-index-v4-3)

【技術的ディープダイブ】
AAの方法論では、v5は９評価を、知識労働・コーディング・科学・一般能力の４分野にまとめ、各25％で加重平均するという。コーディングはFrontierCode 2.0が15％、Terminal-Bench 4.0が10％。科学はTerminal-Bench-Scienceが15％、CritPt v2の難問部分が10％とされる。この配分なら、科学研究を依頼しない利用者にも、科学分野の成績が総合点の４分の１として効く。

FrontierCode 2.0についてAAは、実在するリポジトリの132課題を各３回実行し、テストと評価基準で採点、必須チェックに落ちる試行は０点と説明する。エージェント実行基盤はStirrupだという。ここで測る対象には、文章でコードを答える力だけでなく、環境を操作して変更を完成させる力も含まれる。したがって実務に当てはめる際は、モデル名に加えてツール、実行時間、推論設定を照合する必要がある。[AA方法論](https://artificialanalysis.ai/methodology/intelligence-benchmarking)

公式の変更履歴によると、HLEは推論と知識を半数ずつ含む1,000問のHLE-Diamondへ置き換えられ、CritPtは非公開の40問の難問部分を採用。AA-Omniscienceも曖昧な設問などを改訂したという。「難しくする」と「欠陥を直す」は別の作業で、どちらも順位を動かし得る。非公開化は既知問題への対策になる一方、外部から設問の欠陥を点検する経路を狭める。この緊張関係が刷新の核心だ。[公式変更履歴](https://artificialanalysis.ai/changelog)

【コミュニティの生々しい熱量と議論】
提供された反応抜粋では、r/LocalLLaMAのResearchCrafty1804が「60％」の非公開評価を挙げ、再現できないと批判する。alex-zrythmの「Kimiが最前線に近づきすぎたからルールを変えた」という趣旨の発言もある。ただし後者は動機を推測した皮肉で、不正の証拠ではない。今回取得できた本文では両者の提供文面すべてを照合できておらず、抜粋の発言と確認済みの仕様を混同すべきではない。

一方、取得できた同スレッドにはMiddle_Bullfrog_6173による、非公開化は再現を難しくするがベンチマークへの学習を減らすためには価値がある、という擁護もある。議論は、汚染への耐性と外部監査のしやすさのどちらを重く見るかで割れている。[LocalLLaMAの議論](https://www.reddit.com/r/LocalLLaMA/comments/1xhdmlk/artificial_analysis_intelligence_index_v5_major/)

r/singularityについて提供された抜粋では、PerformanceRound7913がKimiの実用性を酷評し、用途を問われて「ANSI CのシミュレーションエンジンをRustへ移植する」と説明している。これは有用な条件だが、コード、プロンプト、比較手順がなければ再現評価にはならない。benjaminovichの「定性的なデータにも価値がある」という擁護と、mertatsの「用途を書かなければ伝わらない」という反論は両立する。なお、この一連の文面は今回取得した本文では再確認できず、提供抜粋として紹介する。複数コミュニティも情報源としてはReddit１サイトであり、独立した複数媒体の検証ではない。

【今後の展望とエコシステムへの影響】
AA公式は、先頭とオープン重み系の差が旧版の３点から12点へ広がったと説明している。ただし比較対象のKimi K3.1 Proには「重み未公開」と注記がある。公開済み重みで手元に導入できるモデルと、公開予定を含む分類は、調達上の意味が違う。また、物差しの変更前後の差から、モデル自体が退化したとも、特定陣営への妨害があったとも結論できない。

ここからは用途への含意だ。日本語対話、短い修正、機密データの処理を主に行うなら、総合点だけで乗り換える根拠は弱い。AA自身も方法論で、指数は主に英語とテキストを対象にし、多言語などは別評価と説明している。手元では、既存テスト付きの移植、長文資料からの抽出、曖昧な依頼への確認など、実際の失敗が痛い課題を固定したい。

比較時には成功率だけでなく、完了までの費用、待ち時間、人間の修正量を記録する。同じツールと予算を与えたとき、順位が逆転するかを見るのだ。今後価値が下がり得るのは、「総合点が高いから自分にも最適」という選び方だろう。評価側には変更理由と条件の開示、利用側には用途に合わせた追試が求められる。v5の騒動は、ランキングを読む行為そのものを技術選定の仕事へ引き戻している。