Devin（Cognition）のスコット・ウー
・エージェンティックなコーディングベンチマーク上では、o1や4oと比べて大きな改善
・GPT-4.5とClaude 3.7 Sonnetはベンチマークでは似たスコアだが特徴が違う
---
（訳）GPT-4.5は使っていて素晴らしいですね。私たちのエージェンティックなコーディングベンチマーク上では、すでにo1や4oと比べて大きな改善が見られます。コードにおけるモデルの継続的な進化を見るのが楽しみです！
興味深いデータの一点として、GPT-4.5とClaude 3.7 Sonnetは私たちの全体的なベンチマークでは似たようなスコアを示していますが、GPT-4.5はアーキテクチャやシステム間の相互作用に関わるタスクで大きく伸びるのに対し、Claude 3.7 Sonnetは生のコーディングやコード編集で大きく伸びる傾向があります。AIがますます複雑なタスクを引き受けるようになる中で、それぞれのモデルの独自の強みを組み込むマルチモデルエージェントが最も高いパフォーマンスを発揮すると私たちは考えています。