open-data

Probe sembilan host registri publik: dua terbuka, satu captcha, dua WAF. Kenali tiga pola gerbang akses sebelum menulis satu baris scraper.

TL;DR: Asumsi semua portal SIPP strukturnya sama ternyata keliru, soalnya aplikasinya dibikin per pengadilan, jadi beda-beda itu wajar. Metodenya sopan: satu GET per host, User-Agent jujur, responnya disimpen jadi fixture biar nggak bolak-balik nge-request ke server. Hasilnya tiga host terbuka buat pilot, satu kena captcha, dua ditendang WAF, sisanya dicatat aja tanpa dilawan.

Dua registri publik lolos probe: susun scraper atas satu seam, paksa idempotensi lewat content hash, dan jadwalkan ingest harian pukul lima pagi.

TL;DR: Jadi intinya pilot ini ngambil data harian dari daftar hitam LKPP sama daftar perkara pailit/PKPU pengadilan, semua scraper lewat satu antarmuka yang sama. Biar nggak dobel, tiap sinyal dikasih hash, database nolak kalau udah masuk, jadi aman dijalan ulang kapan aja. Ingestnya sekali sehari jam lima pagi, sopan dikit, dikasih jeda antar request biar servernya nggak keberatan.

Perencanaan scraper dari tebakan endpoint gagal cepat: sensus 348 endpoint SIPP dan 12 sumber resmi jadi fondasi sebelum satu baris pengambil data ditulis.

TL;DR: Asumsi ada satu API pusat ternyata meleset total, tiap pengadilan negeri punya SIPP sendiri-sendiri dan dijaga reCAPTCHA pula. Sensus Oktober nemu 348 dari 350 endpoint aktif plus 12 sumber resmi lain, eksekusinya bertahap mulai dari daftar hitam LKPP yang termurah. Sinyalnya kebaca kayak kurva: sanksi pengadaan, permohonan pailit, terus pengumuman kurator.