benchmark
Catatan teknis seputar web development, DevOps, dan integrasi AI.
2 artikel
- 21.06ai
Model Terbanyak Dipakai Bukan yang Terpintar di Benchmark
Leaderboard pemakaian OpenCode dipimpin model murah terbuka, bukan raja benchmark. Cara baca usage, retention, dan harga sebelum ganti model.
TL;DR: Peringkat satu pemakaian di OpenCode ditempati deepseek-v4-flash, bukan model benchmark terbaik seperti GPT-5.6, karena pemakaian agregat mencerminkan voting dompet: harga, kecepatan, dan retensi pengguna. Sebelum pindah model, cek tiga sinyal: volume plus momentum, retensi mingguan, dan benchmark sebagai filter kualitas minimal. Daftar rekomendasi resmi hanya titik mulai; validasi dengan data pemakaian dan uji kecil di repo sendiri.
#llm#benchmark#deepseek - 22.51ai
Snippet Bilang 96%, Papan Resmi Bilang 79,2%
Snippet pencarian bilang 96%, papan resmi bilang 79,2%. Empat aturan verifikasi benchmark yang lahir dari insiden itu.
TL;DR: Snippet Google mengklaim skor SWE-bench Verified 95–96%, padahal papan resmi swebench.com mencatat puncak 79,2% per Desember 2025. Penulis menelusuri JSON langsung, membuang klaim tanpa sumber primer, dan mengoreksi kesalahan sendiri soal entri non-Claude tertinggi (TRAE, 78,8%). Hasilnya empat aturan riset: catat tanggal akses, verifikasi sumber primer, utamakan papan resmi di atas snippet, dan laporkan skor ganda apa adanya.
#ai-agents#swe-bench#benchmark