ベンチマーク

商用巨大LLM

【geek-terminalニュース】Claude Opus 5の最新情報

📝 本日のニュース概要 AnthropicがClaude Opus 5を発表。Fable 5級に近い能力を半分の価格で狙う新Opusを、ベンチ、価格、effort設定、音声モード、コミュニティの反応から深掘りします。 以前お伝えしたClau...
商用巨大LLM

【geek-terminalニュース】Kimi K3公開でAPI価格と1Mコンテキスト疑惑が同時炎上

📝 本日のニュース概要 Moonshot AIのKimi公式サイトがK3を掲げ、RedditではWeb/App公開、API価格、ベンチマーク、巨大コンテキスト仕様をめぐって議論が急加速。公式に確認できる事実と、コミュニティ発の未確認情報を切...
ローカルLLM

【geek-terminalニュース】廃GPU15枚ベンチが映す中古VRAM経済圏の最新情報

📝 本日のニュース概要 LocalLLaMAで話題の「廃GPU15枚ベンチ」を深掘り。K80、P100、V100など退役NVIDIA Tesla系GPUを現代AIワークロードで使う発想は、最新GPU礼賛とは逆方向のローカルLLM文化です。た...
商用巨大LLM

【geek-terminalニュース】GPT-5.6 Sol検証フェーズの最新情報

📝 本日のニュース概要 以前お伝えしたGPT-5.6一般公開の続報です。今回はSol/Terra/Lunaの発表概要ではなく、Solの推論レベル運用、Responses API、自律ポストトレーニング、数学証明PDF、SimpleBench...
商用巨大LLM

【geek-terminalニュース】Grok 4.5価格性能ショックの最新情報

📝 本日のニュース概要 Grok 4.5をめぐり、ベンチマーク競争より推論単価がアプリ設計を変えるのではないかという議論が浮上。ただし公式に確認できる具体的な価格数値は提示資料内にありません。 【事象の全貌と背景】Grok 4.5をめぐる今...
学術研究

【geek-terminalニュース】Senior SWE-Benchと最適化評価再設計の最新情報

📝 本日のニュース概要 以前お伝えしたSWE-bench Pro評価汚染疑惑の続報。今回は汚染告発ではなく、Senior SWE-Benchのような曖昧な実務タスク評価と、SWE-Perf/SWE-fficiency系の再現性検証から、AI...
商用巨大LLM

【geek-terminalニュース】Claude Sonnet 5噂で再燃、Opus級性能がSonnet価格帯に降りるのか問題

📝 本日のニュース概要 Claude Sonnet 5登場説をめぐり、公式確認できる事実とコミュニティの熱狂を切り分けて解説。現時点でSonnet 5の価格・API名・性能は未確認だが、もしOpus級の実効性能がSonnet価格帯に降りるな...
プログラミング

【geek-terminalニュース】SWE-bench Pro汚染疑惑とコーディングAI評価ハックの最新情報

📝 本日のニュース概要 以前お伝えしたRL reward hackingの続報。今回は訓練報酬ではなく、SWE-bench Proなどコーディングエージェント評価そのものが攻略対象になっているという疑惑を深掘りします。 以前お伝えしたRL訓...
AIツール&サービス

【geek-terminalニュース】Mistral OCR 4でPDF RAGの入口が構造化レイヤー化する最新情報

📝 本日のニュース概要 以前お伝えしたBaidu Unlimited OCRの続報。今回はMistral OCR 4を中心に、OCRが単なる文字起こしから、引用付きJSON、構造化出力、RAG投入前の文書理解レイヤーへ進化している流れを深掘...
AIツール&サービス

【geek-terminalニュース】Sakana Fugu実戦比較の最新情報

📝 本日のニュース概要 以前お伝えしたSakana Fuguの続報です。単体最強LLM競争から、複数モデルを実行時に束ねる推論ルーター競争へ。Fugu/Fugu Ultraのベンチマーク、Claude FableやMythos Previe...