Spesifikasi tag meta Robots, data-nosnippet, dan X-Robots-Tag

Dokumen ini menjelaskan penggunaan setelan tingkat halaman dan tingkat teks untuk menyesuaikan cara Google menampilkan konten Anda di hasil penelusuran. Anda dapat menentukan setelan tingkat halaman dengan menyertakan tag meta di halaman HTML atau di header HTTP. Anda dapat menentukan setelan tingkat teks dengan atribut data-nosnippet pada elemen HTML dalam sebuah halaman.

Perlu diingat bahwa setelan ini dapat dibaca dan diikuti hanya jika crawler diizinkan untuk mengakses halaman yang menyertakan setelan ini.

Aturan <meta name="robots" content="noindex"> berlaku untuk crawler mesin telusur. Untuk memblokir crawler non-penelusuran, seperti AdsBot-Google, Anda mungkin harus menambahkan aturan yang ditargetkan ke crawler tertentu (misalnya <meta name="AdsBot-Google" content="noindex">).

Menggunakan tag meta robots

Tag meta robots memungkinkan Anda memanfaatkan pendekatan khusus halaman yang terperinci untuk mengontrol bagaimana setiap halaman diindeks dan ditayangkan kepada pengguna di hasil Google Penelusuran. Tempatkan tag meta robots di bagian <head> halaman tertentu, seperti ini: 

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

Dalam contoh ini, tag meta robots menginstruksikan mesin telusur untuk tidak menampilkan halaman di hasil penelusuran. Nilai atribut name (robots) menentukan bahwa aturan tersebut berlaku untuk semua crawler. Baik atribut name maupun content tidak peka huruf besar/kecil. Untuk menangani crawler tertentu, ganti nilai robots pada atribut name dengan token agen pengguna crawler yang Anda tangani. Google mendukung dua token agen pengguna dalam tag meta robots; nilai lainnya diabaikan:

  1. googlebot: untuk semua hasil teks.
  2. googlebot-news: untuk hasil berita.

Misalnya, untuk secara khusus menginstruksikan Google agar tidak menampilkan halaman di hasil penelusurannya, Anda dapat menentukan googlebot sebagai nama tag meta: 

<meta name="googlebot" content="noindex">

Untuk menampilkan halaman di hasil penelusuran web Google tanpa menampilkannya di Google Berita, gunakan tag meta googlebot-news: 

<meta name="googlebot-news" content="noindex">

Untuk menentukan beberapa crawler secara terpisah, gunakan beberapa tag meta robots: 

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Untuk memblokir pengindeksan resource non-HTML, seperti file PDF, file video, atau file gambar, gunakan header respons X-Robots-Tag.

Menggunakan header HTTP X-Robots-Tag

X-Robots-Tag dapat digunakan sebagai elemen respons header HTTP untuk URL tertentu. Setiap aturan yang dapat digunakan dalam tag meta robots juga dapat ditetapkan sebagai X-Robots-Tag. Berikut adalah contoh respons HTTP dengan X-Robots-Tag yang menginstruksikan crawler untuk tidak mengindeks sebuah halaman: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Beberapa header X-Robots-Tag dapat digabungkan dalam respons HTTP, atau Anda dapat menentukan daftar aturan yang dipisahkan koma. Berikut adalah contoh respons header HTTP yang menggabungkan X-Robots-Tag noarchive dengan X-Robots-Tag unavailable_after. 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Secara opsional, X-Robots-Tag dapat menentukan agen pengguna sebelum aturan. Misalnya, rangkaian header HTTP X-Robots-Tag berikut dapat digunakan untuk mengizinkan penayangan suatu halaman secara kondisional di hasil penelusuran untuk berbagai mesin telusur: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Aturan yang ditentukan tanpa agen pengguna akan berlaku untuk semua crawler. Header HTTP, nama agen pengguna, dan nilai yang ditentukan tidak peka huruf besar/kecil.

Aturan pengindeksan dan penayangan yang valid

Aturan berikut, juga tersedia di format yang dapat dibaca mesin, dapat digunakan untuk mengontrol pengindeksan dan penayangan cuplikan dengan tag meta robots dan X-Robots-Tag. Setiap nilai mewakili aturan tertentu. Beberapa aturan dapat digabungkan dalam daftar yang dipisahkan koma atau dalam tag meta terpisah. Aturan ini tidak peka huruf besar/kecil.

Aturan

all

 Tidak ada batasan untuk pengindeksan atau penayangan. Aturan ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit.

noindex

Jangan tampilkan halaman, media, atau resource ini dalam hasil penelusuran. Jika Anda tidak menentukan aturan ini, halaman, media, atau resource tersebut dapat diindeks dan ditampilkan dalam hasil penelusuran.

Untuk menghapus informasi dari Google, ikuti panduan langkah demi langkah kami.

nofollow

 Jangan ikuti link di halaman ini. Jika Anda tidak menentukan aturan ini, Google dapat menggunakan link pada halaman untuk menemukan halaman tertaut tersebut. Pelajari lebih lanjut nofollow.

none

 Setara dengan noindex, nofollow.

noarchive

 Jangan tampilkan link cache dalam hasil penelusuran. Jika Anda tidak menentukan aturan ini, Google dapat membuat halaman yang di-cache dan pengguna dapat mengaksesnya melalui hasil penelusuran.

nositelinkssearchbox

Jangan tampilkan kotak penelusuran sitelink di hasil penelusuran untuk halaman ini. Jika Anda tidak menentukan aturan ini, Google dapat membuat kotak penelusuran khusus untuk situs Anda di hasil penelusuran, beserta link langsung lainnya ke situs Anda.

nosnippet

Jangan tampilkan cuplikan teks atau pratinjau video di hasil penelusuran untuk halaman ini. Thumbnail gambar statis (jika ada) mungkin tetap terlihat jika dapat memberikan pengalaman pengguna yang lebih baik. Hal ini berlaku untuk semua bentuk hasil penelusuran (di Google Penelusuran Web, Google Gambar, Discover, Ringkasan AI) dan juga akan mencegah konten digunakan sebagai input langsung untuk Ringkasan AI.

Jika Anda tidak menentukan aturan ini, Google dapat membuat cuplikan teks dan pratinjau video berdasarkan informasi yang ditemukan di halaman tersebut.

Untuk mengecualikan bagian tertentu dari konten Anda agar tidak muncul di cuplikan hasil penelusuran, gunakan atribut HTML data-nosnippet.

indexifembedded

Google diizinkan untuk mengindeks konten halaman jika disematkan di halaman lain melalui iframes atau tag HTML serupa, terlepas dari adanya aturan noindex.

indexifembedded hanya akan berpengaruh jika disertai dengan noindex.

max-snippet: [jumlah]

Gunakan maksimum [angka] karakter sebagai cuplikan tekstual untuk hasil penelusuran ini. (Perlu diketahui bahwa satu URL dapat ditampilkan sebagai beberapa hasil penelusuran di halaman hasil penelusuran.) Hal ini tidak memengaruhi pratinjau gambar atau video. Hal ini berlaku untuk semua bentuk hasil penelusuran (seperti Google Penelusuran Web, Google Gambar, Discover, Asisten, Ringkasan AI) dan juga akan membatasi jumlah konten yang dapat digunakan sebagai input langsung untuk Ringkasan AI. Namun, batas ini tidak berlaku jika penayang telah memberikan izin penggunaan konten secara terpisah. Misalnya, jika penayang menyediakan konten dengan bentuk data terstruktur dalam halaman atau memiliki perjanjian lisensi dengan Google, setelan ini tidak akan mengganggu penggunaan lebih spesifik yang diizinkan tersebut. Aturan ini akan diabaikan jika [angka] yang dapat diurai tidak ditentukan.

Jika Anda tidak menentukan aturan ini, Google yang akan memilih panjang cuplikan.

Nilai khusus:

  • 0: Cuplikan tidak akan ditampilkan. Setara dengan nosnippet.
  • -1: Google akan memilih panjang cuplikan yang dianggap paling efektif untuk membantu pengguna menemukan konten Anda dan mengarahkan pengguna ke situs Anda.

Contoh:

Untuk menghentikan cuplikan ditampilkan di hasil penelusuran:

<meta name="robots" content="max-snippet:0">

Untuk mengizinkan hingga 20 karakter ditampilkan dalam cuplikan:

<meta name="robots" content="max-snippet:20">

Untuk menentukan bahwa tidak ada batasan jumlah karakter yang dapat ditampilkan dalam cuplikan: 

<meta name="robots" content="max-snippet:-1">

max-image-preview: [setelan]

Tetapkan ukuran maksimum pratinjau gambar untuk halaman ini di hasil penelusuran.

Jika Anda tidak menentukan aturan max-image-preview, Google dapat menampilkan pratinjau gambar dengan ukuran default.

Nilai [setelan] yang diterima:

  • none: Pratinjau gambar tidak akan ditampilkan.
  • standard: Pratinjau gambar default mungkin ditampilkan.
  • large: Pratinjau gambar yang lebih besar, hingga selebar area pandang, mungkin ditampilkan.

Ini berlaku untuk semua bentuk hasil penelusuran (seperti Google Penelusuran Web, Google Gambar, Discover, Asisten). Namun, batas ini tidak berlaku jika penayang telah memberikan izin penggunaan konten secara terpisah. Misalnya, jika penayang menyediakan konten dengan bentuk data terstruktur dalam halaman (seperti AMP dan versi kanonis artikel) atau memiliki perjanjian lisensi dengan Google, setelan ini tidak akan mengganggu penggunaan lebih spesifik yang diizinkan tersebut.

Jika Anda ingin Google menggunakan gambar thumbnail yang lebih besar saat halaman AMP dan versi kanonis artikelnya ditampilkan di Penelusuran atau Discover, tentukan nilai max-image-preview standard atau none.

Contoh:

<meta name="robots" content="max-image-preview:standard">

max-video-preview: [angka]

Gunakan maksimum [angka] detik sebagai cuplikan video untuk video pada halaman ini di hasil penelusuran.

Jika Anda tidak menentukan aturan max-video-preview, Google dapat menampilkan cuplikan video dalam hasil penelusuran, dan Anda menyerahkannya ke Google untuk menentukan durasi pratinjaunya.

Nilai khusus:

  • 0: Secara maksimal, gambar statis dapat digunakan, sesuai dengan setelan max-image-preview.
  • -1: Tidak ada batas.

Aturan ini berlaku untuk semua bentuk hasil penelusuran (di Google Penelusuran Web, Google Gambar, Google Video, Discover, Asisten). Aturan ini akan diabaikan jika [angka] yang dapat diurai tidak ditentukan.

Contoh:

<meta name="robots" content="max-video-preview:-1">

notranslate

 Jangan menawarkan terjemahan halaman ini di hasil penelusuran. Jika Anda tidak menetapkan aturan ini, Google dapat menyediakan terjemahan cuplikan dan link judul hasil penelusuran untuk hasil yang tidak ditampilkan dalam bahasa kueri penelusuran. Jika pengguna mengklik terjemahan link judul, semua interaksi selanjutnya dari pengguna dengan halaman tersebut akan melalui Google Terjemahan, yang akan otomatis menerjemahkan link berikutnya.

noimageindex

 Jangan mengindeks gambar di halaman ini. Jika Anda tidak menentukan nilai ini, gambar pada halaman dapat diindeks dan ditampilkan di hasil penelusuran.

unavailable_after: [tanggal/waktu]

Jangan menampilkan halaman ini di hasil penelusuran setelah tanggal/waktu yang ditentukan. Tanggal/waktu harus ditentukan dalam format yang digunakan secara luas termasuk, tetapi tidak terbatas pada RFC 822, RFC 850, dan ISO 8601. Aturan akan diabaikan jika tidak ada tanggal/waktu valid yang ditentukan. Secara default, tidak ada tanggal habis masa berlaku untuk konten.

Jika Anda tidak menentukan aturan ini, halaman ini dapat ditampilkan dalam hasil penelusuran tanpa batas waktu. Googlebot akan mengurangi kecepatan crawling URL secara signifikan setelah melewati tanggal dan waktu yang ditentukan.

Contoh:

<meta name="robots" content="unavailable_after: 2020-09-21">

Menangani gabungan aturan pengindeksan dan penayangan

Anda dapat membuat petunjuk multi-aturan dengan menggabungkan aturan tag meta robots dengan koma atau menggunakan beberapa tag meta. Berikut adalah contoh dari tag meta robots yang menginstruksikan web crawler untuk tidak mengindeks halaman dan tidak meng-crawl link apa pun di halaman tersebut:

Daftar yang dipisahkan koma

<meta name="robots" content="noindex, nofollow">

Beberapa tag meta

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

Berikut adalah contoh yang membatasi cuplikan teks menjadi maksimal 20 karakter, dan mengizinkan pratinjau gambar yang lebih besar: 

<meta name="robots" content="max-snippet:20, max-image-preview:large">

Jika beberapa crawler ditentukan bersama dengan aturan yang berbeda, mesin telusur akan menggunakan gabungan aturan negatif. Contoh:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Halaman yang berisi tag meta ini akan ditafsirkan seolah-olah memiliki aturan noindex, nofollow saat di-crawl oleh Googlebot.

Menggunakan atribut HTML data-nosnippet

Anda dapat menentukan bagian tekstual dari halaman HTML agar tidak digunakan sebagai cuplikan. Hal ini dapat dilakukan di tingkat elemen HTML dengan atribut HTML data-nosnippet pada elemen span, div, dan section. data-nosnippet dianggap sebagai atribut boolean. Sedangkan untuk semua atribut boolean, nilai apa pun yang ditentukan akan diabaikan. Untuk memastikan keterbacaan oleh komputer, bagian HTML ini harus berupa HTML yang valid dan semua tag yang sesuai harus tertutup.

Contoh:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

<p>This text can be shown in a snippet.</p>
<div data-nosnippet>
  <p>However, this is not in snippet.</p>
  <ul>
    <li>Stuff not in snippet</li>
    <li>More stuff not in snippet</li>
  </ul>
</div>

Google biasanya merender halaman agar dapat mengindeksnya, tetapi rendering ini tidak dijamin. Oleh karena itu, ekstraksi data-nosnippet dapat terjadi sebelum dan sesudah rendering. Untuk menghindari ketidakpastian rendering, jangan tambahkan atau hapus atribut data-nosnippet dari node yang sudah ada melalui JavaScript. Saat menambahkan elemen DOM melalui JavaScript, sertakan atribut data-nosnippet seperlunya saat pertama kali menambahkan elemen tersebut ke DOM halaman. Jika elemen kustom digunakan, gabungkan atau render elemen tersebut bersama elemen div, span, atau section jika Anda harus menggunakan data-nosnippet.

Menggunakan data terstruktur

Tag meta Robots mengatur banyaknya konten yang otomatis diekstrak oleh Google dari halaman web untuk ditampilkan sebagai hasil penelusuran. Namun, banyak penayang juga menggunakan data terstruktur schema.org untuk menyediakan informasi tertentu melalui presentasi penelusuran. Batasan tag meta Robots tidak memengaruhi penggunaan data terstruktur tersebut, dengan pengecualian article.description dan nilai description bagi data terstruktur yang ditentukan untuk konten materi iklan lainnya. Untuk menentukan jumlah karakter maksimum pratinjau berdasarkan nilai description ini, gunakan aturan max-snippet. Misalnya, data terstruktur recipe di suatu halaman memenuhi syarat untuk disertakan dalam carousel resep, meskipun pratinjau teks akan dibatasi. Anda dapat membatasi jumlah karakter pratinjau teks dengan max-snippet, tetapi tag meta robots tersebut tidak berlaku jika informasi disediakan menggunakan data terstruktur untuk hasil kaya.

Untuk mengelola penggunaan data terstruktur di halaman web Anda, ubah jenis dan nilai data terstruktur tersebut, dengan menambahkan atau menghapus informasi untuk secara khusus menyediakan data yang Anda inginkan. Perlu diketahui juga bahwa data terstruktur tetap dapat digunakan untuk hasil penelusuran jika dideklarasikan dalam elemen data-nosnippet.

Implementasi praktis dari X-Robots-Tag

Anda dapat menambahkan X-Robots-Tag ke respons HTTP situs melalui file konfigurasi dari software server web situs Anda. Misalnya, pada server web berbasis Apache, Anda dapat menggunakan file .htaccess dan httpd.conf. Manfaat penggunaan X-Robots-Tag dengan respons HTTP adalah Anda dapat menentukan aturan crawling yang diterapkan secara global di seluruh situs. Dukungan ekspresi reguler memungkinkan adanya tingkat fleksibilitas yang tinggi.

Misalnya, untuk menambahkan X-Robots-Tag noindex, nofollow ke respons HTTP untuk semua file .PDF di seluruh situs, tambahkan cuplikan berikut ke file .htaccess atau file httpd.conf root situs di Apache, atau file .conf situs di NGINX.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Anda dapat menggunakan X-Robots-Tag untuk file non-HTML seperti file gambar yang tidak memungkinkan penggunaan tag meta robots pada HTML. Berikut adalah contoh penambahan aturan X-Robots-Tag noindex untuk file gambar (.png, .jpeg, .jpg, .gif) di seluruh situs:

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Anda juga dapat menetapkan header X-Robots-Tag untuk masing-masing file statis:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

Menggabungkan aturan robots.txt dengan aturan pengindeksan dan penayangan

Tag meta robots dan header HTTP X-Robots-Tag ditemukan saat URL di-crawl. Jika halaman tidak boleh di-crawl melalui file robots.txt, semua informasi tentang aturan pengindeksan atau penayangan tidak akan ditemukan dan akan diabaikan. Jika aturan pengindeksan atau penayangan harus diikuti, URL yang berisi aturan tersebut harus diizinkan untuk di-crawl.