学術研究 【geek-terminalニュース】ベンチ信頼危機の最新情報
📝 本日のニュース概要 Terminal-Bench 4.0の順位変動、31,000件超の時間別LLMベンチ分析、Google DeepMindの暗号的な二重盲検評価案を軸に、LLMベンチマークの再現性・汚染・監査問題を深掘りします。 以前...
ベンチマーク
学術研究 学術研究 AIコードレビュー評価が静的正解当てから動的ベンチへ移る最新情報
📝 本日のニュース概要 以前お伝えしたAIコーディングエージェントの完了判定・PR運用論の続報です。今回はMCR-BenchとSWE-Primeを軸に、AIコードレビュー評価が単発の正解当てから、複数ラウンドの実PR、欠陥状態追跡、軌跡品質...
セキュリティ＆脆弱性 【geek-terminalニュース】AI攻撃未遂と安全性テスト崩壊の最新情報
📝 本日のニュース概要 以前お伝えしたAIセキュリティ評価と権限境界問題の続報です。Reutersが報じたmyNetworkへの悪意あるプルリクエスト未遂、The Decoderが紹介した安全性ベンチマークの弱点、LessWrongで議論さ...
ロボティクス＆エージェント 【geek-terminalニュース】NVIDIA AVOがARC-AGI-3満点？公開セット100%説とComputer Use競技場化の最新情報
📝 本日のニュース概要 NVIDIA AVOがARC-AGI-3で100%を取ったという投稿がRedditとHNで話題化。ただし公式に確認できるAVOの実績は、ARC-AGI-3ではなくBlackwell B200上のattention k...
ローカルLLM 【geek-terminalニュース】GLM-5.3がベンチマーク首位も重み公開延期、ローカルLLM勢は指をくわえて待つのみ
📝 本日のニュース概要 以前お伝えしたGLM-5.3(2026/08/15)の続報です。Z.aiのGLM-5.3がArtificial Analysis関連の評価でオープンモデル首位級の結果を見せつつ、肝心のモデル重み公開は約2週間延期され...
ローカルLLM 【geek-terminalニュース】GLM-5.3がベンチマーク首位も重み公開延期、ローカルLLM勢は指をくわえて待つのみ
📝 本日のニュース概要 以前お伝えしたGLM-5.3(2026/08/15)の続報です。Z.aiのGLM-5.3がArtificial Analysis関連の評価でオープンモデル首位級の結果を見せつつ、肝心のモデル重み公開は約2週間延期され...
ローカルLLM 【geek-terminalニュース】Qwen3.8-27BがDeepSeek V4・GPT-5.6と同格？ベンチマーク比較でLocalLLaMAが沸騰
📝 本日のニュース概要 以前お伝えしたQwen3.8-27B FP8公開・ローカル実行評価の続報です。今回はr/LocalLLaMA、r/singularityで『RTX 3090一枚で回る27.8BモデルがDeepSeek V4やGPT-...
商用巨大LLM 【geek-terminalニュース】Grok 4.6検証、上位モデル級で安い説の最新情報
📝 本日のニュース概要 以前お伝えしたGrok 4.5価格性能トピックの続報です。Grok 4.6がOpenAI上位モデル級に迫り、価格では下回るという主張が出ています。ただし公式・大手メディアの裏付けではGrok 4.6固有のベンチ、価格...
学術研究 OSRewardが突きつけるComputer Use評価標準化の最新情報
📝 本日のニュース概要 以前お伝えしたComputer Useエージェント評価環境監査の続報です。OSRewardを中心に、GUI操作AIを本番投入する前に「成功判定そのもの」を疑う流れを整理します。 【事象の全貌と背景】以前お伝えしたCo...
商用巨大LLM 【geek-terminalニュース】Claude Opus 5運用論、ベンチ勝負からeffort・トークン効率・注入耐性へ
📝 本日のニュース概要 以前お伝えしたClaude Opus 5発表の続報です。今回は新モデルの能力自慢ではなく、effort設定、トークン効率、agentic coding、ブラウザ型prompt injection耐性、ベンチマーク汚染...