swe-bench

Snippet pencarian bilang 96%, papan resmi bilang 79,2%. Empat aturan verifikasi benchmark yang lahir dari insiden itu.

TL;DR: Snippet Google mengklaim skor SWE-bench Verified 95–96%, padahal papan resmi swebench.com mencatat puncak 79,2% per Desember 2025. Penulis menelusuri JSON langsung, membuang klaim tanpa sumber primer, dan mengoreksi kesalahan sendiri soal entri non-Claude tertinggi (TRAE, 78,8%). Hasilnya empat aturan riset: catat tanggal akses, verifikasi sumber primer, utamakan papan resmi di atas snippet, dan laporkan skor ganda apa adanya.