Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

FAQ terkait Robot

Pertanyaan umum terkait robot

Apakah situs saya memerlukan file robots.txt?

Tidak. Saat Googlebot mengunjungi situs, pertama-tama kami akan meminta izin untuk meng-crawl dengan mencoba mengambil file robots.txt. Situs tanpa file robots.txt, tag meta robots, atau header HTTP X-Robots-Tag umumnya akan di-crawl dan diindeks secara normal.

Metode apa yang harus saya gunakan untuk memblokir crawler?

Tergantung. Singkatnya, Anda dapat menggunakan salah satu metode berikut:

  • robots.txt: Gunakan metode ini jika crawling konten menyebabkan masalah pada server Anda. Misalnya, Anda tidak ingin mengizinkan crawling skrip kalender yang tidak terbatas. Jangan gunakan robots.txt untuk memblokir konten pribadi (sebagai gantinya, gunakan autentikasi sisi server), atau kanonikalisasi penanganan. Untuk memastikan URL tidak diindeks, sebaiknya gunakan tag meta robots atau header HTTP X-Robots-Tag.
  • Tag meta robots: Gunakan metode ini jika Anda perlu mengontrol cara menampilkan suatu halaman HTML di hasil penelusuran atau untuk memastikan bahwa halaman tersebut tidak ditampilkan.
  • Header HTTP X-Robots-Tag: Gunakan metode ini jika Anda perlu mengontrol cara menampilkan konten di hasil penelusuran atau untuk memastikan bahwa konten tidak ditampilkan.

Dapatkah saya menggunakan robots.txt, tag meta robots, atau header HTTP X-Robots-Tag untuk menghapus situs orang lain dari hasil penelusuran?

Tidak. Metode tersebut hanya berlaku untuk situs yang mengizinkan Anda mengubah kode atau menambahkan file. Pelajari cara menghapus informasi dari Google lebih lanjut.

Bagaimana cara memperlambat crawling Google di situs saya?

Umumnya, Anda dapat menyesuaikan setelan kecepatan crawling di akun Google Search Console Anda.

Pertanyaan terkait robots.txt

Saya menggunakan robots.txt yang sama untuk beberapa situs. Dapatkah saya menggunakan URL lengkap sebagai ganti jalur relatif?

Tidak. Aturan di file robots.txt (dengan pengecualian untuk sitemap:) hanya valid untuk jalur relatif.

Dapatkah saya menempatkan file robots.txt di subdirektori?

Tidak. File harus ditempatkan di direktori paling atas pada situs.

Saya ingin memblokir folder pribadi. Dapatkah saya mencegah orang lain membaca file robots.txt saya?

Tidak. File robots.txt dapat dibaca oleh berbagai pengguna. Jika folder atau nama file konten tidak seharusnya bersifat publik, jangan cantumkan folder atau nama file tersebut di file robots.txt. Sebaiknya Anda tidak mengirim file robots.txt yang berbeda berdasarkan agen pengguna atau atribut lainnya.

Apakah saya harus menyertakan aturan allow untuk mengizinkan crawling?

Tidak, Anda tidak harus menyertakan aturan allow. Semua URL diizinkan secara implisit dan aturan allow digunakan untuk menggantikan aturan disallow di file robots.txt yang sama.

Apa yang terjadi jika ada kesalahan di file robots.txt atau saya menggunakan aturan yang tidak didukung?

Web crawler umumnya sangat fleksibel dan biasanya tidak akan terpengaruh oleh kesalahan kecil di file robots.txt. Umumnya, hal terburuk yang dapat terjadi adalah aturan yang salah atau tidak didukung akan diabaikan. Perlu diingat bahwa Google tidak dapat membaca pikiran Anda saat menafsirkan file robots.txt, sehingga kami harus menafsirkan file robots.txt yang kami ambil. Meskipun demikian, jika Anda menyadari masalah di file robots.txt, masalah tersebut biasanya mudah untuk diselesaikan.

Program apa yang harus saya gunakan untuk membuat file robots.txt?

Anda dapat menggunakan program apa pun yang mampu membuat file teks yang valid. Program yang umumnya digunakan untuk membuat file robots.txt adalah Notepad, TextEdit, vi, atau emacs. Baca informasi selengkapnya terkait cara membuat file robots.txt. Setelah dibuat, validasi file menggunakan Penguji robots.txt.

Jika saya menggunakan aturan disallow robots.txt untuk memblokir Google agar tidak meng-crawl halaman, apakah halaman tersebut tidak akan ditampilkan di hasil penelusuran?

Memblokir Google agar tidak meng-crawl halaman cenderung akan menghapus halaman tersebut dari indeks Google.

Namun, disallow robots.txt tidak menjamin bahwa halaman tidak akan ditampilkan di hasil: Google mungkin tetap memutuskan bahwa halaman tersebut relevan dan menampilkan URL di hasil berdasarkan informasi eksternal seperti link masuk. Jika Anda ingin secara eksplisit memblokir halaman agar tidak diindeks, gunakan tag meta robots noindex atau header HTTP X-Robots-Tag. Dalam hal ini, jangan melarang halaman di robots.txt, karena halaman harus di-crawl agar tag dapat dilihat dan dipatuhi. Pelajari cara mengontrol informasi yang dibagikan dengan Google

Berapa lama waktu yang dibutuhkan agar perubahan di file robots.txt memengaruhi hasil penelusuran saya?

Pertama, cache file robots.txt harus dimuat ulang (umumnya kami menyimpan konten dalam cache hingga selama satu hari). Anda dapat mempercepat proses ini dengan mengirimkan robots.txt yang sudah diperbarui ke Google. Meskipun perubahan telah ditemukan, crawling dan pengindeksan adalah proses rumit yang terkadang membutuhkan waktu untuk setiap URL, sehingga sulit bagi kami untuk memberikan linimasa secara tepat. Perlu diingat, meskipun jika file robots.txt melarang akses ke URL, URL tersebut tetap dapat terlihat di hasil penelusuran, walaupun kami tidak dapat meng-crawl-nya. Jika Anda ingin mempercepat penghapusan halaman yang telah diblokir dari Google, kirimkan permintaan penghapusan.

Bagaimana cara menangguhkan semua crawling situs saya untuk sementara?

Anda dapat menangguhkan semua crawling untuk sementara dengan menampilkan kode status HTTP 503 (service unavailable) untuk semua URL, termasuk file robots.txt. File robots.txt akan dicoba ulang secara berkala hingga file dapat diakses kembali. Sebaiknya Anda tidak mengubah file robots.txt untuk melarang crawling.

Server saya tidak peka terhadap huruf besar dan kecil. Bagaimana cara melarang crawling sepenuhnya untuk beberapa folder?

Aturan dalam file robots.txt peka huruf besar/kecil. Dalam hal ini, sebaiknya pastikan bahwa hanya ada satu versi URL yang diindeks menggunakan metode kanonikalisasi. Tindakan ini memungkinkan Anda memiliki baris yang lebih sedikit dalam file robots.txt, sehingga Anda lebih mudah mengelolanya. Jika tindakan ini tidak memungkinkan, sebaiknya Anda mencantumkan kombinasi umum dari nama folder, atau menyingkatnya semaksimal mungkin dengan hanya menggunakan beberapa karakter pertama, bukan nama lengkapnya. Misalnya, alih-alih mencantumkan semua permutasi huruf besar dan kecil dari /MyPrivateFolder, Anda dapat mencantumkan permutasi dari "/MyP" (jika Anda yakin bahwa tidak ada URL lain yang dapat di-crawl dengan beberapa karakter pertama tersebut). Sebagai alternatif, sebaiknya gunakan tag meta robots atau header HTTP X-Robots-Tag, jika crawling dapat dilakukan.

Situs saya menampilkan 403 Forbidden untuk semua URL, termasuk file robots.txt. Mengapa situs ini masih di-crawl?

Kode status HTTP 403 Forbidden, serta kode status HTTP 4xx lainnya, ditafsirkan sebagai tidak adanya file robots.txt. Oleh karena itu, crawler umumnya akan menganggap bahwa semua URL di situs dapat di-crawl. Untuk memblokir crawling situs, robots.txt harus ditampilkan dengan kode status HTTP 200 OK, dan harus berisi aturan disallow yang sesuai.

Pertanyaan terkait tag meta robots

Apakah tag meta robots menjadi pengganti file robots.txt?

Tidak. File robots.txt mengontrol halaman mana yang diakses. Tag meta robots mengontrol apakah halaman diindeks atau tidak, tetapi halaman harus di-crawl agar tag ini dapat dilihat. Jika crawling halaman bermasalah (misalnya jika halaman menyebabkan pemuatan yang berat pada server), gunakan file robots.txt. Jika hanya ragu terkait apakah halaman ditampilkan atau tidak di hasil penelusuran, Anda dapat menggunakan tag meta robots.

Dapatkah tag meta robots digunakan untuk memblokir pengindeksan sebagian halaman?

Tidak, tag meta robots adalah setelan tingkat halaman.

Dapatkah saya menggunakan tag meta robots selain di bagian <head>?

Tidak, tag meta robots saat ini harus berada di bagian <head> pada halaman.

Apakah tag meta robots melarang crawling?

Tidak. Meskipun tag meta robots saat ini menunjukkan noindex, terkadang kami harus meng-crawl ulang URL tersebut untuk memeriksa apakah tag meta mengalami perubahan.

Apa perbedaan tag meta robots nofollow dengan atribut link rel="nofollow"?

Tag meta robots nofollow berlaku untuk semua link pada halaman. Atribut link rel="nofollow" hanya berlaku untuk link tertentu pada halaman. Untuk informasi selengkapnya terkait atribut link rel="nofollow", lihat dokumentasi kami tentang spam buatan pengguna dan rel="nofollow".

Pertanyaan terkait header HTTP X-Robots-Tag

Bagaimana cara memeriksa URL pada X-Robots-Tag?

Cara mudah untuk melihat header server adalah menggunakan fitur Alat Inspeksi URL di Google Search Console. Untuk memeriksa header respons URL mana pun, coba telusuri "pemeriksa header server".