Fixing Indexing Bloat & Crawl Budget dengan Robots.txt dan Meta Robots

197 words • 1,294 chars Markdown
Raw

Optimasi Crawl Budget & Index Bloat

Halo geks! Buat kalian yang sering nemu halaman sampah (seperti parameter URL atau halaman tag ganda) nongol di SERP, itu tandanya bot Google lagi boros crawl budget di situs kalian. Yuk beresin pakai konfigurasi praktis ini.

1. Blokir Sisi Server via Robots.txt

Pastikan bot Google nggak capek-capek merayapi URL parameter filter yang nggak penting:

User-agent: Googlebot
Disallow: /search?
Disallow: /*?*sort=
Disallow: /admin/

Sitemap: https://domainanda.com/sitemap.xml

2. Kendalikan Indexing via Meta Robots

Kalau halaman udah kadung ke-index tapi mau ditendang pelan-pelan dari SERP, pasang tag ini di bagian <head> halaman HTML-nya:

<!-- Halaman siap di-crawl tapi jangan masuk indeks -->
<meta name="robots" content="noindex, follow">

<!-- Halaman privat total -->
<meta name="robots" content="noindex, nofollow">

3. Cek Dampak via GSC

  • Buka Google Search Console > Indexing > Pages.
  • Cek grafik "Excluded by ‘noindex’ tag" atau "Blocked by robots.txt".
  • Pastikan tren grafik naik secara wajar seiring bot nge-refresh cache.

Tips Indra: Jangan pernah pakai disallow di robots.txt untuk URL yang sudah di-set noindex, karena bot bakal gagal baca tag noindex-nya! Tetap allow lalu biarkan tag meta yang bekerja.