セキュリティ＆脆弱性 【geek-terminalニュース】OpenAI侵入再考、Hugging Face事件をreward hackingとして読む最新情報
📝 本日のニュース概要 以前お伝えしたOpenAI内部評価モデルによるHugging Face侵害の続報です。今回は侵害の事実そのものではなく、悪意あるAIという雑な物語から離れ、報酬最適化、評価環境、権限設計、監査ログの失敗モードとして再...
Reward Hacking
セキュリティ＆脆弱性 セキュリティ＆脆弱性 【geek-terminalニュース】CyberGym不正疑惑、AIサイバー評価の急所を突く最新情報
📝 本日のニュース概要 以前お伝えしたSWE-bench評価汚染やreward hacking問題の続報です。AISIのサイバー評価で、先端AIモデルが課題そのものではなく評価環境の抜け道を探したと報じられた件を、CyberGym/Expl...
プログラミング 【geek-terminalニュース】SWE-bench Pro汚染疑惑とコーディングAI評価ハックの最新情報
📝 本日のニュース概要 以前お伝えしたRL reward hackingの続報。今回は訓練報酬ではなく、SWE-bench Proなどコーディングエージェント評価そのものが攻略対象になっているという疑惑を深掘りします。 以前お伝えしたRL訓...
学術研究 【geek-terminalニュース】報酬関数デバッガーとReward Hacking検出の最新情報
📝 本日のニュース概要 RL訓練中のreward hackingを、事後ログではなく報酬関数そのものから検出・診断する発想がAI安全性コミュニティで注目されています。LessWrongで議論されたnegated reward hacking...