Sitemap "Tidak Dapat Mengambil" di GSC: Diagnosa Sebelum Panik

Sore itu, 3 September 2026, saya buka Google Search Console buat ngecek blog. Mata langsung tertuju pada satu baris yang bikin deg-degan: sitemap https://adityo.web.id/sitemap.xml statusnya merah menyala dengan keterangan "Tidak dapat mengambil" (Couldn't fetch).

Dugaan pertama yang muncul di kepala klise banget: waduh, sitemap-nya 404 nih, atau server down? Daripada overthinking, mending langsung bedah dari sisi server.

Bedah server: dari curl sampai 147 URL

Langkah pertama, cek status HTTP sitemap utama pakai curl.

curl -sS -o /dev/null -w "%{http_code} %{content_type}\n" https://adityo.web.id/sitemap.xml

Hasilnya: 200 application/xml. Sitemap-nya jalan, isinya sitemap index valid yang merujuk ke dua child sitemap (pages.xml dan articles-1.xml). Kedua child itu juga balas HTTP 200.

Biar makin yakin, saya cek seluruh 147 URL di dalam sitemap pakai HEAD request paralel:

grep -oE '<loc>([^<]+)' sitemap.xml | sed 's/<loc>//' | xargs -P 10 -n 1 curl -I -sS -o /dev/null -w "%{http_code} %{url}\n"

Hasilnya? Nol besar untuk non-200. Semua 147 URL sehat.

Saya juga fetch ulang pakai User-Agent Googlebot, python-requests, sampai checker generik. Semuanya balas 200. Cloudflare sama sekali tidak memblokir. Waktu saya cek log Cloudflare Security Events, satu-satunya request ke /sitemap.xml yang muncul malah request curl milik saya sendiri, dan statusnya "Not mitigated" (alias lolos, tidak diblokir).

Misteri "Couldn't fetch" dan antrian Google

Kalau file sehat dari sisi mana pun, kenapa GSC bilang tidak bisa mengambil?

Berdasarkan dokumentasi resmi Google soal Sitemaps report, pesan "Couldn't fetch: Google couldn't fetch the sitemap" itu murni berarti Google belum berhasil menarik data pada saat percobaan terakhir mereka. Ini bukan vonis kalau file kamu 404.

Google memang menulis bahwa "The sitemap should be fetched immediately. However, it can take some time to crawl the URLs listed in a sitemap". Kalau percobaan pertama gagal (bisa karena timeout atau antrian crawler lagi padat), Google melakukan retry dalam beberapa hari ke depan.

Satu hal yang sering bikin kaget dari dokumentasi crawler Google: "Google egresses primarily from IP addresses in the United States". Jadi kalau kamu cek access log server dan melihat banyak request dari IP Amerika Serikat, jangan panik dikira serangan bot. Itu murni Googlebot.

Cara paling cepat buat mastiin sitemap beneran bisa dibaca Google: pakai fitur URL Inspection di GSC, masukkan URL sitemap, lalu klik Test live URL. Kalau hasilnya hijau, berarti masalahnya murni antrian.

Kapan baru curiga ke Cloudflare

Kapan kita harus mulai investigasi ke sisi firewall atau Cloudflare? Jawabannya: kalau ada bukti otentik (misal dari server access log) bahwa request ber-User-Agent Googlebot balas 403 atau 5xx.

Kalau kamu buka dashboard Security Events di Cloudflare, ingat bahwa dashboard itu hanya menampilkan request yang di-action atau di-flag produk security mereka. Untuk pengguna plan free, retensi log cuma 24 jam terakhir dan berupa sampled logs.

Artinya, kalau kamu tidak melihat event apa pun di sana, itu bukan berarti tidak ada request dari Google. Itu cuma berarti request Googlebot lolos (tidak diblokir), sehingga tidak dicatat.

Diagnosa sore itu ditutup dengan satu keputusan: tinggal nunggu. Sitemap sehat, server aman, Cloudflare tidak menghalangi.

Kalau kamu ngalamin hal yang sama, jangan panik dan jangan resubmit sitemap berulang-ulang di hari yang sama. Memaksa resubmit tidak memotong antrian crawler. Beri waktu beberapa hari, lalu cek lagi. Kalau setelah seminggu statusnya masih merah dan Test live URL juga gagal, baru deh bongkar lebih dalam. Sampai saat itu, biarkan Google kerja sesuai antriannya.

Sumber

• Search Console Help — Sitemaps report
• Google Search Central — Overview of Google crawlers
• Cloudflare Docs — Security Events