Danh sách trình thu thập dữ liệu theo trường hợp đặc biệt của Google

Trình thu thập dữ liệu theo trường hợp đặc biệt được một số sản phẩm cụ thể sử dụng khi có thoả thuận giữa trang web được thu thập dữ liệu và sản phẩm về quá trình thu thập dữ liệu. Ví dụ: AdsBot bỏ qua tác nhân người dùng chung trong tệp robots.txt (*) khi có sự cho phép của nhà xuất bản quảng cáo. Tính chất kỹ thuật chung của trình thu thập dữ liệu của Google cũng áp dụng cho trình thu thập dữ liệu theo trường hợp đặc biệt.

Các trình thu thập dữ liệu theo trường hợp đặc biệt có thể bỏ qua các quy tắc trong tệp robots.txt. Do đó, chúng hoạt động trong một dải IP khác với các trình thu thập dữ liệu chung. Dải IP được xuất bản trong đối tượng special-crawlers.json. Mặt nạ DNS ngược của trình thu thập dữ liệu theo trường hợp đặc biệt khớp với rate-limited-proxy-***-***-***-***.google.com.

Danh sách sau đây cho thấy các trình thu thập dữ liệu theo trường hợp đặc biệt, chuỗi tác nhân người dùng của các trình thu thập đó khi xuất hiện trong yêu cầu HTTP, mã tác nhân người dùng của các trình thu thập đó ở dòng User-agent: trong tệp robots.txt và các sản phẩm bị ảnh hưởng bởi lựa chọn ưu tiên về thu thập dữ liệu tương ứng với trình thu thập dữ liệu. Danh sách này không đầy đủ, mà chỉ đề cập đến những trình yêu cầu mà mọi người thường đặt câu hỏi cho chúng tôi và có nhiều khả năng xuất hiện trong các tệp nhật ký.

Tác nhân người dùng trong yêu cầu HTTP 
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt

APIs-Google

Tác nhân người dùng chung (*) đã bị bỏ qua.
Ví dụ về nhóm tệp robots.txt 
user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/
Sản phẩm bị ảnh hưởng Lựa chọn ưu tiên về hoạt động thu thập dữ liệu gửi đến tác nhân người dùng APIs-Google sẽ ảnh hưởng đến quá trình phân phối thông báo đẩy của các API của Google.
Tác nhân người dùng trong yêu cầu HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt

AdsBot-Google-Mobile

Tác nhân người dùng chung (*) đã bị bỏ qua.
Ví dụ về nhóm tệp robots.txt 
user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/
Sản phẩm bị ảnh hưởng Lựa chọn ưu tiên về hoạt động thu thập dữ liệu gửi đến tác nhân người dùng AdsBot-Google-Mobile sẽ ảnh hưởng đến khả năng của Google Ads trong việc kiểm tra chất lượng quảng cáo trên trang web.
Tác nhân người dùng trong yêu cầu HTTP 
AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt

AdsBot-Google

Tác nhân người dùng chung (*) đã bị bỏ qua.
Ví dụ về nhóm tệp robots.txt 
user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/
Sản phẩm bị ảnh hưởng Lựa chọn ưu tiên về hoạt động thu thập dữ liệu gửi đến tác nhân người dùng AdsBot-Google sẽ ảnh hưởng đến khả năng của Google Ads trong việc kiểm tra chất lượng quảng cáo trên trang web.
Tác nhân người dùng trong yêu cầu HTTP
Tác nhân cho máy tính 
Mediapartners-Google
Tác nhân cho thiết bị di động 
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt Mediapartners-Google

Tác nhân người dùng chung (*) đã bị bỏ qua.
Ví dụ về nhóm tệp robots.txt 
user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/
Sản phẩm bị ảnh hưởng Lựa chọn ưu tiên về thu thập dữ liệu gửi đến tác nhân người dùng Mediapartners-Google sẽ ảnh hưởng đến Google AdSense. Trình thu thập dữ liệu của AdSense truy cập vào các trang web tham gia để cung cấp quảng cáo phù hợp cho các trang web đó.
Tác nhân người dùng trong yêu cầu HTTP 
Google-Safety
robots.txt Tác nhân người dùng Google-Safety bỏ qua các quy tắc trong tệp robots.txt.
Sản phẩm bị ảnh hưởng Tác nhân người dùng Google-Safety sẽ xử lý hoạt động thu thập dữ liệu liên quan đến hành vi sai trái, chẳng hạn như phát hiện phần mềm độc hại trên các đường liên kết được đăng công khai trên các sản phẩm của Google. Do đó, tính năng này không bị ảnh hưởng bởi các lựa chọn ưu tiên về hoạt động thu thập dữ liệu.

Trình thu thập dữ liệu theo trường hợp đặc biệt đã ngừng hoạt động

Các trình thu thập dữ liệu theo trường hợp đặc biệt sau đây không còn được sử dụng nữa mà chỉ được ghi chú tại đây để tham khảo thông tin theo thời gian.

Tác nhân người dùng trong yêu cầu HTTP 
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt AdsBot-Google-Mobile

Tác nhân người dùng chung (*) đã bị bỏ qua.
Sản phẩm bị ảnh hưởng Lựa chọn ưu tiên về hoạt động thu thập dữ liệu gửi đến tác nhân người dùng AdsBot-Google-Mobile đã ảnh hưởng đến khả năng của Google Ads trong việc kiểm tra chất lượng quảng cáo trên trang web dành cho iPhone.
Tác nhân người dùng trong yêu cầu HTTP 
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt DuplexWeb-Google

Duplex trên web có thể bỏ qua ký tự đại diện *.
Sản phẩm bị ảnh hưởng Hỗ trợ dịch vụ Duplex trên web.
Tác nhân người dùng trong yêu cầu HTTP 
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt Googlebot-Image
Googlebot
Tác nhân người dùng trong yêu cầu HTTP 
AdsBot-Google-Mobile-Apps
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt AdsBot-Google-Mobile-Apps

Tác nhân người dùng AdsBot-Google-Mobile-Apps tuân theo các quy tắc trong tệp robots.txt AdsBot-Google nhưng bỏ qua tác nhân người dùng chung (*).
Sản phẩm bị ảnh hưởng Lựa chọn ưu tiên về hoạt động thu thập dữ liệu gửi đến tác nhân người dùng AdsBot-Google-Mobile-Apps sẽ ảnh hưởng đến khả năng của Google Ads trong việc kiểm tra chất lượng quảng cáo trên trang ứng dụng Android.
Tác nhân người dùng trong yêu cầu HTTP 
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt
Mã thông báo tác nhân người dùng trong tệp robots.txt googleweblight

Tác nhân người dùng googleweblight chỉ được sử dụng cho các yêu cầu duyệt web rõ ràng của khách truy cập là người thật. Vì thế, tác nhân này bỏ qua các quy tắc trong tệp robots.txt (dùng để chặn các yêu cầu thu thập dữ liệu tự động).
Sản phẩm bị ảnh hưởng Tác nhân người dùng Web Light kiểm tra sự hiện diện của tiêu đề no-transform mỗi khi người dùng nhấp vào trang của bạn trong kết quả tìm kiếm trong điều kiện thích hợp.