Sitemap Isi 9.200 Artikel, Google Cuma Indeks Homepage

Buka laporan Search Console, angka pertama yang kepandang: sitemap berisi 9.200 artikel. Implessi harian seluruh situs? 20 sampai 130. Dari semua klik yang pernah tercatat, 92 persen mendarat di homepage, dan hampir semuanya datang dari orang yang ngetik nama situsnya langsung di Google.

Itu bukan proyeksi atau simulasi. Itu hasil audit sebuah situs berita Indonesia yang terbit 40 sampai 60 artikel per hari. Enam belas bulan data Search Console, ribuan URL, dan yang pernah kebagian implessi dari Google cuma sekitar 44 artikel. Sisanya hidupnya cuma di sitemap.

Semua pintu teknis terbuka

Langkah pertama tetap yang standar: pastikan nggak ada yang ngeblok Google. robots.txt dites pakai user agent Googlebot, cuma memblokir area admin dan dua endpoint AJAX tema. Canonical self-referencing di semua sampel. Meta robots index, follow. Header tanpa X-Robots-Tag. Sitemap diproses Google dengan nol error.

Artinya pintunya kebuka semua, dan Google cuma memilih buat nggak masuk. Di titik ini curiga saya berpindah dari ada yang rusak ke Google memang nggak tertarik.

Crawl budget itu soal niat, bukan cuma kapasitas

Dokumentasi resmi Google nyebut alokasi sumber daya crawling per hostname sebagai crawl budget [1]. Komponennya ada dua. Crawl capacity limit, batas teknis yang dihitung dari beban server. Dan crawl demand, seberapa besar Google pengin menjelajah konten sebuah situs.

Bagian demand ini yang sering kelupaan. Google nulisnya lugas: kalo demand rendah, situs akan di-crawl lebih sedikit walaupun kapasitas masih longgar [1]. Faktor yang bisa dipengaruhi antara lain popularitas URL di internet, kestaleness dokumen, dan seberapa besar inventaris URL yang Google ketahui soal situs tersebut.

Menariknya, panduan crawl budget Google menargetkan dua profil situs: yang berukuran 10 ribu halaman lebih dengan pembaruan harian, dan yang banyak URL-nya menggantung di status Discovered, currently not indexed [3]. Profil situs yang saya audit kena dua-duanya sekaligus.

Angka per bulan yang makin sepi

Ini distribusi artikel per bulan terbit versus yang pernah kebagian implessi di Search Console:

Bulan terbit	Artikel terbit	Pernah kebagian implessi	Persentase
Februari 2026	1.000	11	1,1%
Maret 2026	1.446	14	1,0%
April 2026	1.354	12	0,9%
Mei 2026	1.117	3	0,3%
Juni 2026	1.286	4	0,3%
Juli 2026	1.597	0	0,0%
Agustus 2026	1.135	0	0,0%

Trennya jelas. Semakin muda bulan terbitnya, semakin kecil peluang artikelnya kebagian implessi. Untuk yang diterbitkan Juli ke atas, angkanya nol persen. Padahal di situs berita yang sehat, artikel muda justru harus paling banyak kebagian.

URL Inspection ngasih gambaran yang konsisten. Artikel yang terindeks terakhir kali di-crawl sekitar April sampai Mei. Artikel bulan Agustus dan September berstatus URL belum dikenali, Google bahkan belum menemukan URL-nya. Sementara artikel Februari menggantung di status discovered atau crawled, currently not indexed. Soal status ini Google punya penjelasan resmi: halamannya ketemu tapi belum di-crawl, biasanya karena jadwal crawlnya ditunda demi beban situs [4].

Arsip jadi yatim

HTML homepage situs itu cuma membawa sekitar 62 tautan artikel, dan semuanya menunjuk ke konten yang baru terbit dalam 48 jam terakhir. Dengan ritme 40 sampai 60 URL baru per hari, artikel yang umurnya lewat dua hari langsung kehilangan satu-satunya jalur masuk dari halaman yang memang dikunjungi Googlebot.

Sisa jalurnya tinggal arsip kanal yang dipaginasi. Bisa di-crawl, tapi buat satu kanal aja kedalamannya belasan sampai puluhan halaman, dan di domain dengan sinyal eksternal yang tipis, Google praktis berhenti jauh sebelum menyentuh halaman dalam. Widget baca juga yang dikonfigurasi sembilan item cuma merender tiga di HTML, dan isinya tetap konten segar. Blok berita populer di homepage isinya artikel berumur satu sampai tiga hari.

Jadi nggak ada satu pun tautan kontekstual yang menunjuk ke arsip tua. Situs ini secara efektif menerbitkan konten baru sambil memotong jalur menuju konten lama setiap harinya.

Yang saya rekomendasikan

Dari urutan masalah di atas, solusinya berlapis, dan sebagian besar editorial, bukan teknis.

Volume turun, standar naik. Lima sampai sepuluh artikel orisinal per hari jauh lebih berharga daripada lima puluh rewrite. Google sendiri menyebut kualitas dan keunikan konten sebagai faktor alokasi crawl budget [1]. Volume besar dengan kualitas yang seragam di domain muda juga gampang kebaca sebagai pola farm, dan itu menekan demand lebih jauh lagi.

Tautan kontekstual ke arsip. Related posts per kategori yang beneran relevan, blok terbaru per kanal yang nyentuh konten berumur seminggu ke atas, halaman tag yang menghubungkan artikel lintas waktu. Idealnya setiap URL punya jalur penemuan yang bukan sitemap.

Sitemap news dipangkas. Saran resminya: cuma masukkan artikel dua hari terakhir, setelah itu keluarkan [7]. Sitemap post penuh biarkan tetap ada, tapi jangan dijadikan etalase backlog yang belum ter crawled.

Jalur eksternal. Ada IndexNow, protokol notifikasi push untuk mesin pencari selain Google kayak Bing dan Yandex, gratis dan langsung ngabari mereka tiap URL berubah [6]. Google tercatat masih mengevaluasi dan belum jadi peserta, jadi posisinya pelengkap. Kalau targetnya Google News, Publisher Centre tetap jadi pintu resminya [8]. Sinyal validasi dari luar, mulai dari sitasi sampai verifikasi dewan pers, ikut jadi bahan Google menilai seberapa layak situs diprioritaskan.

Terakhir soal tombol Minta pengindeksan. Saya bikin otomasi kecil yang mensubmit URL baru tiap hari lewat UI Search Console, lengkap dengan log SQLite dan pengecekan indeks berbasis query site. Realitanya alat ini cuma sanggup memproses belasan URL per hari. Anggap ini alat diagnostik buat mengukur waktu sampai terindeks, bukan solusi crawl budget. Mensubmit ribuan URL yang belum pernah dikunjungi cuma bikin Google makin sadar sebesar apa backlog-nya.

Pelan-pelan saya makin yakin sama satu hal: situs berita yang kelewat rajin terbit bisa melatih Google buat mengabaikan dirinya sendiri. Crawl demand dibangun dari bukti, bukan dari jumlah URL di sitemap. Dan bukti paling murah yang bisa dikasih adalah jalur tautan yang benar-benar menghubungkan konten baru dengan konten lama, plus volume yang masih manusiawi buat dijaga kualitasnya.

Sumber

[1] Optimize your crawl budget, Google Search Central.

[3] Optimize your crawl budget (large sites guide), Google Search Central.

[4] Page Indexing report, Google Search Console Help.

[6] IndexNow Documentation, indexnow.org.

[7] Create a News Sitemap, Google Search Central.

[8] Publisher Centre overview, Google News Publisher Help.