kualitas-data
Catatan teknis seputar web development, DevOps, dan integrasi AI.
2 artikel
- 23.29backend
Rekonsiliasi Data Impor: Entitas yang Hilang dari Sumber
Database masih 65, sumber tinggal 63. Penghapusan lewat importer yang sama, kunci idempotensi pindah ke nomor baris sumber.
TL;DR: Database punya 65 entitas padahal JSON sumber cuma 63, dua dobel. Alih-alih hapus manual via SQL, penghapusan dijadiin bagian importer biar ada counter sama test, dan media ikut kehapus lewat CASCADE. Kunci idempotensi pindah dari slug ke nomor sumber, jadi run ulang aman, nol insert nol hapus.
#data-engineering#importer#database - 22.28backend
Koordinat Tertukar, Enam Belas Terbit
Impor 22 data cagar budaya: kolom lintang-bujur tertukar, typo derajat, dan baris yang jujur ditahan draft.
TL;DR: Import data cagar budaya ternyata berantakan: kolom latitude-longitude tertukar, ada typo derajat, koordinat dobel, bahkan ada yang kosong. Alih-alih dikoreksi diam-diam, importer ngasih status draft plus catatan geo_review buat data meragukan. Hasilnya 16 entitas terbit, 6 nunggu verifikasi manusia dulu.
#data-engineering#importer#geospasial