llm-security

Pipeline ingest media wajib membawa kalimat pembajakan verbatim sebagai data. Justru itulah bukti file tidak pernah bertindak jadi perintah.

TL;DR: Tengah malam penulis ngetes pipeline ingest media pake audio sintesis sendiri yang isinya perintah injeksi prompt. Alih-alih dibuang, kalimat berbahayanya justru wajib utuh di transkrip dan dilabel untrusted, soalnya bahayanya bukan teksnya, tapi waktu teks berubah jadi instruksi. Model transkripsinya dibikin stub aja, yang diuji kontrak datanya, dibuktikan lewat asersi.

Label RINGKAS bocor ke gelembung chat AI. Solusinya bukan prompt lebih ketat, tapi sanitasi input dan output di dua ujung pipeline.

TL;DR: Label prompt seperti RINGKAS: bocor ke UI karena model nggak patuh format, dan larangan tambahan malah bikin pelanggarannya makin kreatif. Solusinya dua lapis: sanitasi teks knowledge base sebelum masuk prompt, plus rendering output via react-markdown dan rehype-sanitize yang hanya ngizinkan elemen dari allowlist. Pelajarannya: prompt cukup untuk arah kasar, kontrol andal ada di input dan output, bukan daftar larangan.

Audit internal 11 temuan di pipeline chat AI, dari cache key sampai sanitasi input.