Giảm tốc độ thu thập dữ liệu của Googlebot

Google dùng các thuật toán phức tạp để xác định tốc độ thu thập dữ liệu tối ưu cho một trang web. Mục tiêu của chúng tôi là thu thập dữ liệu nhiều trang trên trang web của bạn nhất có thể trong mỗi lần truy cập mà không làm quá tải băng thông máy chủ của bạn. Trong một số trường hợp, việc Google thu thập dữ liệu trên trang web của bạn có thể gây ra một sự cố nghiêm trọng cho cơ sở hạ tầng của bạn hoặc gây ra chi phí không mong muốn trong thời gian trang ngừng hoạt động. Để giảm bớt tình trạng này, bạn có thể lựa chọn giảm số lượng yêu cầu do Googlebot đưa ra.

Nếu bạn cần nhanh chóng giảm tốc độ thu thập dữ liệu trong một khoảng thời gian ngắn (ví dụ: một vài giờ hoặc 1-2 ngày), hãy trả về mã trạng thái phản hồi HTTP 500, 503 hoặc 429 thay vì 200 đối với các yêu cầu thu thập dữ liệu. Googlebot sẽ giảm tốc độ thu thập dữ liệu đối với trang web của bạn khi bắt gặp một số lượng đáng kể những URL có mã trạng thái phản hồi HTTP 500, 503 hoặc 429 (ví dụ: nếu bạn đã vô hiệu hoá trang web). Tốc độ thu thập dữ liệu bị giảm sẽ ảnh hưởng đến toàn bộ tên máy chủ của trang web của bạn (ví dụ: subdomain.example.com), cả quá trình thu thập dữ liệu những URL trả về lỗi cũng như những URL trả về nội dung. Khi số lượng những lỗi này giảm xuống, tốc độ thu thập dữ liệu sẽ tự động tăng trở lại.

Xin lưu ý rằng việc số lượt thu thập dữ liệu tăng đột biến có thể là do cấu trúc trang web không hiệu quả hoặc do các vấn đề khác với trang web của bạn. Hãy xem hướng dẫn của chúng tôi về cách tối ưu hoá hiệu quả thu thập dữ liệu.

Nếu không thể phân phát lỗi cho Googlebot trên cơ sở hạ tầng của bạn, hãy gửi một yêu cầu đặc biệt để giảm tốc độ thu thập dữ liệu. Bạn không thể yêu cầu tăng tốc độ thu thập dữ liệu.