Memblokir pengindeksan Penelusuran dengan noindex

noindex adalah aturan yang ditetapkan dengan tag <meta> atau header respons HTTP dan digunakan untuk mencegah pengindeksan konten oleh mesin telusur yang mendukung aturan noindex, seperti Google. Saat Googlebot meng-crawl halaman dan mengekstrak tag atau header tersebut, Googlebot akan menghapus halaman ini sepenuhnya dari hasil Google Penelusuran, terlepas apakah situs lain tertaut ke halaman itu atau tidak.

Menggunakan noindex akan berguna jika Anda tidak memiliki akses root ke server, karena noindex memungkinkan Anda mengontrol akses ke situs dari setiap halaman.

Menerapkan noindex

Ada dua cara untuk menerapkan noindex: sebagai tag <meta> dan sebagai header respons HTTP. Keduanya memiliki efek yang sama; pilih metode yang lebih sesuai untuk situs Anda dan cocok dengan jenis kontennya. Penentuan aturan noindex dalam file robots.txt tidak didukung Google.

Anda juga dapat menggabungkan aturan noindex dengan aturan lain yang mengontrol pengindeksan. Misalnya, Anda dapat menggabungkan petunjuk nofollow dengan aturan noindex: <meta name="robots" content="noindex, nofollow" />.

Tag <meta>

Agar semua mesin telusur yang mendukung aturan noindex tidak mengindeks halaman di situs Anda, tempatkan tag <meta> berikut ke dalam bagian <head> dari halaman Anda: 

<meta name="robots" content="noindex">

Agar web crawler Google saja yang tidak mengindeks halaman:

<meta name="googlebot" content="noindex">

Perlu diketahui bahwa beberapa mesin telusur mungkin menafsirkan aturan noindex secara berbeda. Oleh karena itu, halaman Anda mungkin masih muncul di hasil mesin telusur lainnya.

Baca selengkapnya tentang tag <meta> noindex.

Header respons HTTP

Daripada tag <meta>, Anda dapat menampilkan header HTTP X-Robots-Tag dengan nilai noindex atau none dalam respons. Header respons dapat digunakan untuk resource non-HTML, seperti PDF, file video, dan file gambar. Berikut contoh respons HTTP dengan header X-Robots-Tag yang memerintahkan mesin telusur untuk tidak mengindeks halaman: 

HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)

Baca selengkapnya tentang header respons noindex.

Mendebug masalah noindex

Kami harus meng-crawl halaman Anda untuk melihat tag <meta> dan header HTTP. Jika halaman masih muncul di hasil penelusuran, kami mungkin belum meng-crawl halaman tersebut sejak aturan noindex ditambahkan. Bergantung pada pentingnya halaman di internet, Googlebot mungkin memerlukan waktu beberapa bulan untuk mengunjungi halaman lagi. Anda dapat meminta Google untuk meng-crawl ulang halaman menggunakan Alat Inspeksi URL.

Jika Anda ingin menghapus halaman situs dengan cepat dari hasil penelusuran Google, lihat dokumentasi kami terkait penghapusan.

Alasan lainnya adalah karena file robots.txt mungkin memblokir URL dari web crawler Google, sehingga tag tidak dapat dilihat. Untuk membatalkan pemblokiran halaman dari Google, Anda harus mengedit file robots.txt.

Terakhir, pastikan aturan noindex dapat dilihat oleh Googlebot. Untuk menguji apakah implementasi noindex Anda sudah benar, gunakan Alat Inspeksi URL untuk melihat HTML yang diterima Googlebot saat meng-crawl halaman. Anda juga dapat menggunakan Laporan Pengindeksan Halaman di Search Console untuk memantau halaman di situs tempat Googlebot mengekstrak aturan noindex.