ベンチマーク

プログラミング

【geek-terminalニュース】エージェント8体で待ち時間短縮?1〜16体比較の最新情報

📝 本日のニュース概要 並列エージェントは何体が得なのか。SwarmChatチームによるProgramBenchの予備実験では、8体が1時間で平均隠しテスト通過率80.9%、単独が6時間で81.2%に達したと報告されています。ただし、総トー...
ローカルLLM

【geek-terminalニュース】Mistral Large 4「Le Chonk」重み公開の続報、評価の分かれ目を検証

📝 本日のニュース概要 以前お伝えしたMistral Large 4「Le Chonk」の続報です。今回は配布形式やメモリ要件ではなく、「コーディングは強いが総合では中国勢に届かない」という評価がなぜ議論を呼ぶのかに注目します。確認できた事...
ローカルLLM

【geek-terminalニュース】Kimi K3.1 Proの最新情報(オープンウェイトはOpus 5.5に追いついたのか?噂と確認済み事実を仕分け)

📝 本日のニュース概要 以前お伝えしたKimi K3の続報です。後継とされる「Kimi K3.1 Pro」がClaude Opus 5.5に迫ると話題ですが、今回の調査では公式ブログ・The Decoder・Reddit各スレッドの本文は確...
ローカルLLM

【geek-terminalニュース】DeepSeek V4.1 Flash 1017は本当にGPT-6 Solに勝ったのか?Vals AI主張の検証

📝 本日のニュース概要 以前お伝えしたDeepSeek V4.1 Flash 1017の続報です。Redditで「Vals AIの評価でFlash 1017がGPT-6 Solに勝った」という投稿が話題になっていますが、今回の検索ではベンチ...
学術研究

【geek-terminalニュース】Gemini 4 Argonの評価は信頼できるのか?ベンチマークの「測る側」問題(本文未確認)

📝 本日のニュース概要 以前お伝えしたGemini 4 Argonの続報です。StarCraftを実際にプレイさせる新ベンチ「Star Skirmish」と、ML R&Dベンチの約4分の1にバグがあったとされる検証が同時に話題になりました。...
商用巨大LLM

【geek-terminalニュース】Meta Muse Wonderがフロンティア級モデル競争に再参戦、オープン寄り陣営は閉鎖モデルの牙城を削れるか

📝 本日のニュース概要 以前お伝えしたMeta Muse系の権限境界・runtime論争の続報です。今回はMuse Wonder / Muse Wonder Fullの発表を軸に、Metaがエージェント向けフロンティアモデル性能でどこまで上...
商用巨大LLM

【geek-terminalニュース】Claude Opus 5.5、40%低コスト化と“Claudish”改善の最新情報

📝 本日のニュース概要 以前お伝えしたClaude Opus 5系の続報です。AnthropicがClaude Opus 5.5を公開し、Fable 5.1級の性能、Opus 5比40%低い実行コスト、エージェント型コーディング性能、そして...
商用巨大LLM

Gemini 3.8 Flash低価格戦の最新情報

📝 本日のニュース概要 Gemini 3.8 FlashとGemini 3.8 Flash Cyberの同時発表を深掘り。低価格Flash路線、Cyber特化版、推論単価、安全評価、用途別アクセス設計の意味を整理します。 【事象の全貌と背景...
商用巨大LLM

【geek-terminalニュース】Claude Fable 5.1登場疑惑とMythos Previewベンチ議論の最新情報

📝 本日のニュース概要 以前お伝えしたFable 5 / Mythos 5系の続報。Fable 5.1登場をめぐるコミュニティ発の観測、Anthropic公式で確認できるMythos Preview情報、Reddit/HN/lobste.r...
セキュリティ&脆弱性

【geek-terminalニュース】Hugging Face侵害続報、評価器ハック仮説でAI安全性ベンチの前提が揺れる

📝 本日のニュース概要 以前お伝えしたOpenAI/Hugging Face侵害の続報です。METRとRedwood Researchの事後分析、LessWrongで浮上したgrader hack仮説を軸に、モデルが課題を解いたのではなく評...