SWE-benchの精度をまとめてみた（25年2月時点）

SWE-benchとは

SWE-benchは、GitHubから収集した実際のソフトウェアのIssueに対する大規模言語モデル(LLM)の評価のためのベンチマークです。

データセットは、有名なPythonの12のリポジトリからIssueとPRのペアを2,294件集めているようです（引用元）。そして、LLMにコードベースとIssueが与えられ、LLMはIssueを解決するパッチを作成することが求められます。

https://www.swebench.com/ では、Leaderboardとして正答率のランキングを見ることができます。

25年2月時点のSWE-bench Verified の精度

主要モデルで比較すると次のようになっています。現時点で公開中のモデルでは50%前後と均衡しています。

o3だけ群をぬいていますが、今は非公開なので残念ながら利用はできないです。数ヶ月以内にGPT-5に含まれるという話もあるので期待しています。

ちなみに、企業でのコーディングでは Claudeが精度が良いという話があったりします。