embedding
Catatan teknis seputar web development, DevOps, dan integrasi AI.
5 artikel
- 18.02tooling
Pagi Itu, Tool Riset Saya Menelan Obatnya Sendiri
Baris pruned di build pagi mengungkap dua hal: index vektor tanpa pruning menjawab pakai dokumen yang sudah tidak ada, dan format bebas itu kontrak implisit.
TL;DR: Gara-gara rename file dossier lupa update index vektor, query malah ngasih dokumen hantu yang udah nggak ada. Fix-nya cuma 64 baris tapi ada tiga lapis: baca field ringkasan/summary yang toleran, pruning otomatis file hilang, sama selftest yang sengaja dibikin gagal. Intinya index jadi jujur lagi dan nggak percaya sama dokumen yang cuma ada di JSON doang.
#python#embedding#backward-compatibility - 11.29ai
Blind Spot Gate Duplikat: Cakupan Vektor dan Batas 0,50
Gate duplikat berbasis cosine similarity cuma sekuat cakupan indeks vektornya. Pelajaran dari blind spot 32 artikel dan angka 0,50 yang dikalibrasi sendiri.
TL;DR: Gate cek duplikat kelihatan normal padahal 32 artikel nggak ke-embed, jadi skornya ngableng tanpa peringatan. Fix-nya backfill indeks plus self-check: judul artikel sendiri harus balikin slug-nya sendiri. Threshold 0,50 juga bukan angka sakral; ukur dulu distribusi skor korpus sendiri, baru taruh garis potong.
#embedding#python#automation - 12.18ai
Mencuri Pola L0 OpenViking untuk Knowledge Base Saya
Query KB cuma keluar path plus skor? Saya curi pola ringkasan L0 OpenViking: satu kalimat per dossier, tanpa instalasi baru.
TL;DR: Setiap query ke knowledge base dulu cuma mengeluarkan path dan skor, jadi saya terpaksa membuka satu per satu dossier untuk menilai relevansi. Dari OpenViking saya curi polanya tanpa memasangnya: 40 baris Python yang menambahkan ringkasan satu kalimat wajib di tiap dossier dan menampilkannya di hasil query. Sekarang saya bisa langsung memutuskan buka atau tidak tanpa membuka file penuh.
#ai-agents#embedding#python - 02.34backend
Semantic Search di VPS 1GB Tanpa Vector DB
Cosine pure-Python, vektor di postmeta MariaDB, embedding di mesin lokal. Fitur semantik tanpa service baru di server 1GB.
TL;DR: VPS 1GB tak kuat menjalankan vector database plus model embedding, jadi bebannya dipecah. Embedding dihitung di mesin lokal via Ollama, vektor disimpan sebagai JSON di postmeta MariaDB, dan cosine similarity pakai pure Python tanpa numpy untuk deteksi duplikat. Skema ini efisien untuk puluhan artikel, tapi mulai jebol saat katalog ribuan atau QPS tinggi.
#python#fastapi#embedding - 02.33backend
Vector Store Python Tanpa NumPy
Related articles semantic di VPS 1 GB ternyata cukup pakai dictionary Python dan cosine loop, tanpa numpy dan tanpa vector database baru.
#python#fastapi#embedding