Daftar crawler kasus khusus Google

Crawler kasus khusus digunakan oleh produk Google tertentu saat ada perjanjian antara situs yang di-crawl dan produk tersebut tentang proses crawl-nya. Misalnya, AdsBot mengabaikan agen pengguna robots.txt global (*) dengan izin penayang iklan. Properti teknis umum dari crawler Google juga berlaku untuk crawler kasus khusus.

Crawler kasus khusus mungkin mengabaikan aturan robots.txt sehingga beroperasi dari rentang IP yang berbeda dengan crawler umum. Rentang IP dipublikasikan di objek special-crawlers.json. Mask DNS terbalik dari crawler kasus khusus cocok dengan rate-limited-proxy-***-***-***-***.google.com.

Daftar berikut menunjukkan crawler kasus khusus, string agen penggunanya seperti yang muncul di permintaan HTTP, token agen penggunanya untuk baris User-agent: dalam robots.txt, dan produk yang dipengaruhi oleh preferensi crawl untuk crawler. Daftar ini tidak lengkap; hanya mencakup pemohon yang kemungkinan besar muncul dalam file log dan yang telah kami terima pertanyaannya.

Agen Pengguna dalam permintaan HTTP 
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt
Token agen pengguna di robots.txt

APIs-Google

Agen pengguna global (*) diabaikan.
Contoh grup robots.txt 
user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna APIs-Google memengaruhi pengiriman pesan notifikasi push oleh Google API.
Agen Pengguna dalam permintaan HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Token agen pengguna di robots.txt

AdsBot-Google-Mobile

Agen pengguna global (*) diabaikan.
Contoh grup robots.txt 
user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna AdsBot-Google-Mobile memengaruhi kemampuan Google Ads untuk memeriksa kualitas iklan halaman web.
Agen Pengguna dalam permintaan HTTP 
AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt
Token agen pengguna di robots.txt

AdsBot-Google

Agen pengguna global (*) diabaikan.
Contoh grup robots.txt 
user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna AdsBot-Google memengaruhi kemampuan Google Ads untuk memeriksa kualitas iklan halaman web.
Agen Pengguna dalam permintaan HTTP
Agen desktop 
Mediapartners-Google
Agen seluler 
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt
Token agen pengguna di robots.txt Mediapartners-Google

Agen pengguna global (*) diabaikan.
Contoh grup robots.txt 
user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna Mediapartners-Google memengaruhi Google AdSense. Crawler AdSense mengunjungi situs yang berpartisipasi untuk menyediakan iklan yang relevan.
Agen Pengguna dalam permintaan HTTP 
Google-Safety
robots.txt Agen pengguna Google-Safety mengabaikan aturan robots.txt.
Produk yang terpengaruh Agen pengguna Google-Safety menangani crawling khusus penyalahgunaan, seperti penemuan malware untuk link yang diposting secara publik di properti Google. Oleh karena itu, preferensi crawling tidak memengaruhinya.

Crawler kasus khusus yang dihentikan

Crawler kasus khusus berikut tidak lagi digunakan, dan hanya dicatat di sini untuk referensi historis.

Agen Pengguna dalam permintaan HTTP 
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Token agen pengguna di robots.txt AdsBot-Google-Mobile

Agen pengguna global (*) diabaikan.
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna AdsBot-Google-Mobile memengaruhi kemampuan Google Ads untuk memeriksa kualitas iklan halaman web iPhone.
Agen Pengguna dalam permintaan HTTP 
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt
Token agen pengguna di robots.txt DuplexWeb-Google

Duplex on the web dapat mengabaikan karakter pengganti *.
Produk yang terpengaruh Mendukung layanan Duplex on the web.
Agen Pengguna dalam permintaan HTTP 
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt
Token agen pengguna di robots.txt Googlebot-Image
Googlebot
Agen Pengguna dalam permintaan HTTP 
AdsBot-Google-Mobile-Apps
robots.txt
Token agen pengguna di robots.txt AdsBot-Google-Mobile-Apps

Agen pengguna AdsBot-Google-Mobile-Apps mematuhi aturan robots AdsBot-Google, tetapi mengabaikan agen pengguna global (*).
Produk yang terpengaruh Preferensi crawling yang ditujukan ke agen pengguna AdsBot-Google-Mobile-Apps memengaruhi kemampuan Google Ads untuk memeriksa kualitas iklan halaman aplikasi Android.
Agen Pengguna dalam permintaan HTTP 
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt
Token agen pengguna di robots.txt googleweblight

Agen pengguna googleweblight hanya digunakan untuk permintaan penjelajahan eksplisit dari pengunjung manusia, sehingga akan mengabaikan aturan robots.txt, yang digunakan untuk memblokir permintaan crawling otomatis.
Produk yang terpengaruh Agen pengguna Web Light memeriksa keberadaan header no-transform setiap kali pengguna mengklik halaman Anda di Penelusuran dalam kondisi yang sesuai.