ChatGPT Masih Ingat Obrolan Lama? Ini Cara Kerjanya

Minggu lalu saya iseng menanyakan hal kecil ke ChatGPT: preferensi yang saya sebut sekali, sekilas, sebulan sebelumnya. Tanpa saya ulangi, dia langsung nyambung. Dugaan pertama saya: dia merangkum semua sesi obrolan secara real-time — semacam RAG (Retrieval-Augmented Generation) yang memindai seluruh riwayat setiap kali saya mengetik. Setelah menelusuri FAQ resmi OpenAI dan riset reverse-engineering, dugaan itu terbukti keliru. Mekanismenya lebih sederhana, lebih murah, dan punya konsekuensi privasi yang jarang dibahas.

OpenAI mendefinisikan memory ChatGPT sebagai sintesis konteks yang terus diperbarui dari percakapan lampau [1], bukan daftar item yang dibaca ulang. Sistemnya dua lapis: saved memories, fakta eksplisit yang bisa Anda audit satu per satu, serta chat history, wawasan yang disimpulkan dari keseluruhan percakapan dan diperluas ke semua pengguna pada 10 April 2025 [2]. Lapisan kedua ini tidak punya daftar tetap yang bisa dibuka; persis di titik inilah asumsi "ChatGPT merangkum semua sesi saya" mulai meleset.

Bukan pencarian real-time, tapi suntikan system prompt

Peneliti keamanan Johann Rehberger menguji hipotesis RAG secara langsung: model tidak bisa menemukan topik dari chat lama saat ditanya real-time [3]. Yang terjadi justru sebaliknya: profil pengguna disintesis secara berkala di latar belakang, lalu hasilnya disuntikkan sebagai teks statis ke system prompt di setiap sesi baru [3]. Dari reverse-engineering-nya, blok itu terbagi enam bagian: Model Set Context (memori tersimpan bertanggal), Assistant Response Preferences (gaya jawaban yang disukai), Notable Past Conversation Topics (topik besar bulan-bulan lalu), Helpful User Insights (profil: profesi, lokasi), Recent Conversation Content, dan User Interaction Metadata [3].

Bagian Recent Conversation Content yang paling menarik: isinya sekitar 40 percakapan terakhir, dan hanya pesan yang diketik pengguna — tanpa jawaban ChatGPT, dipisah penanda khusus [3]. Pola ini masuk akal secara rekayasa. Mencari di seluruh riwayat secara real-time berarti biaya komputasi masif dan respons lebih lambat; sintesis berkala plus jendela pendek jauh lebih hemat context window. Sistem daftar memori versi lama juga diakui OpenAI sering menjadi usang karena bergantung pada pembaruan manual [1].

Konsekuensi privasi yang sering diabaikan

Karena ingatan adalah hasil sintesis, menghapus satu utas obrolan tidak serta-merta menghapus wawasan yang sudah terserap. FAQ resminya jujur: untuk benar-benar menghapus sesuatu, Anda harus menghapus semua sumbernya: chat lama, chat terarsip, file, sampai ringkasan memorinya [1]. Ada pula risiko teknis: memori bisa halusinasi masuk ke blok Model Set Context [3], dan injeksi prompt bisa menempel permanen; kasus SpAIware tahun 2024 membuktikan instruksi jahat dari konten eksternal bisa bertahan lintas sesi sebelum ditambal [3]. Satu-satunya mode yang tidak memakai dan tidak menciptakan memori adalah Temporary Chat [1].

Polanya bisa Anda bangun sendiri

Bagian yang paling praktis dari riset ini: arsitektur yang sama tersedia sebagai proyek open source: Letta dengan memori bertingkat Core/Recall/Archival, Mem0 dengan ekstraksi pasif plus pencarian vektor, atau Graphiti yang memakai knowledge graph temporal. Pola umumnya konsisten dengan temuan di atas: tier memori, sintesis berkala alih-alih simpan mentah, dan retrieval eksplisit saat dibutuhkan. Untuk aplikasi assistant milik sendiri, pola ini jauh lebih stabil dan murah daripada membayangkan RAG raksasa di atas seluruh histori, persis pelajaran yang saya dapat ketika membangun sistem memori tiga lapis untuk agent pribadi saya.

Ingatan AI bukan sihir; ia kompromi rekayasa antara biaya, konsistensi, dan privasi. Yang "diingat" hanyalah sintesis statis yang diperbarui dari waktu ke waktu. Perlakukan ia sebagai arsip dinamis yang dikelola secara sadar, apalagi kalau sistemnya Anda bangun sendiri.