学術研究 【geek-terminalニュース】長時間業務評価GDPx「最上位12%」の最新情報
📝 本日のニュース概要 Redditで「GDPval後継」と紹介されたGDPx。公表元の評価仕様と原本コメントを追加確認し、「最上位12%」の分母、領域別の重み、部分点、実行基盤、失敗条件を掘り下げます。評価値は公表元の報告として扱い、独立...
エージェント評価
学術研究 ロボティクス＆エージェント 【geek-terminalニュース】自己改善を実験に変える「Gear」、“RSI版scikit-learn”の狙い
📝 本日のニュース概要 エージェントのプロンプト・ツール・手順を、実行ログと評価から改善する構想「Gear」を深掘り。開発側が報告する仕組みと性能値、公開100問を最適化にも使った評価の限界、目標達成率とタスク合格率の違いまで整理します。性...
ロボティクス＆エージェント 【geek-terminalニュース】27体のAIエージェントを3体へ削る設計論の最新情報
📝 本日のニュース概要 以前お伝えしたAgentOpsやHarness設計の続報です。今回は、AIエージェントを増やすのではなく、27体から3体へ削り、残りをtool化・評価・権限管理・外部ガードレールへ寄せる本番運用の設計論を深掘りします...
ロボティクス＆エージェント 【geek-terminalニュース】Strands Harnessの最新情報：成功デモではなく“失敗する端っこ”を鍛えるAgentOpsへ
📝 本日のニュース概要 以前お伝えしたAIエージェント評価運用の続報です。AWS Strands Agentsチーム発のStrands harnessを軸に、ツール呼び出しエージェントをプロダクト投入する現場でなぜハーネス、評価、サンドボッ...