Giảm tốc độ thu thập dữ liệu của Google

Cơ sở hạ tầng của trình thu thập dữ liệu của Google dùng các thuật toán phức tạp để xác định tốc độ thu thập dữ liệu tối ưu đối với một trang web. Mục tiêu của chúng tôi là thu thập dữ liệu nhiều trang nhất có thể trên trang web của bạn trong mỗi lần truy cập mà không làm máy chủ của bạn quá tải. Trong một số trường hợp, hoạt động thu thập dữ liệu mà Google thực hiện trên trang web của bạn có thể gây ra một sự cố nghiêm trọng cho cơ sở hạ tầng của bạn hoặc phát sinh chi phí không mong muốn trong thời gian trang ngừng hoạt động. Để giảm bớt tình trạng này, bạn có thể lựa chọn giảm số lượng yêu cầu do trình thu thập dữ liệu của Google đưa ra.

Tìm hiểu nguyên nhân khiến số lượt thu thập dữ liệu tăng đột biến

Sự tăng đột biến về số lượt thu thập dữ liệu có thể là do cấu trúc trang web không hiệu quả hoặc do các vấn đề khác với trang web của bạn. Dựa trên các báo cáo mà chúng tôi nhận được trước đây, những nguyên nhân thường gặp nhất là:

  • Cấu hình URL không hiệu quả trên trang web, thường là do một chức năng cụ thể của trang web gây ra:
    • Điều hướng đa chiều hoặc các chức năng sắp xếp và lọc khác
    • Lịch có rất nhiều URL tương ứng với các ngày cụ thể
  • Mục tiêu của Quảng cáo tìm kiếm động

Bạn nên kết hợp kiểm tra cùng công ty lưu trữ và xem nhật ký truy cập gần đây của máy chủ để tìm hiểu về nguồn gốc của lưu lượng truy cập và xem liệu nguồn lưu lượng truy cập đó có phù hợp với các nguyên nhân thường gặp nêu trên dẫn đến việc số lượt thu thập dữ liệu tăng đột biến hay không. Sau đó, hãy xem hướng dẫn của chúng tôi về cách quản lý hoạt động thu thập dữ liệu của các URL điều hướng đa chiều và tối ưu hoá hiệu quả thu thập dữ liệu.

Giảm cấp tốc lưu lượng truy cập của trình thu thập dữ liệu (dành cho trường hợp khẩn cấp)

Để giảm nhanh tốc độ thu thập dữ liệu trong một khoảng thời gian ngắn (ví dụ: một vài giờ hoặc 1-2 ngày), hãy trả về mã trạng thái phản hồi HTTP 500, 503 hoặc 429 thay vì 200 đối với các yêu cầu thu thập dữ liệu.

Khi cơ sở hạ tầng thu thập dữ liệu của Google gặp phải một số lượng đáng kể URL có mã trạng thái phản hồi HTTP 500, 503 hoặc 429 (ví dụ: khi bạn đã vô hiệu hoá trang web):

  • Googlebot sẽ giảm tốc độ thu thập dữ liệu trên toàn bộ tên máy chủ của trang web (ví dụ: subdomain.example.com), trong đó có cả những URL trả về lỗi và những URL trả về nội dung.
  • Googlebot sẽ tự động tăng tốc độ thu thập dữ liệu trở lại khi số lượng lỗi này giảm đi.

Khi trả về mã trạng thái 503 hoặc 429, bạn cũng có thể thêm tiêu đề HTTP Retry-After (như được định nghĩa trong Ngữ nghĩa HTTP RFC 9110) để cho biết thời điểm trình thu thập dữ liệu của Google có thể thử lại yêu cầu, bằng cách sử dụng độ trễ tính bằng giây hoặc ngày và giờ UTC tuyệt đối:

  • Thời gian trễ tính bằng giây: 
    HTTP/1.1 503 Service Unavailable
Retry-After: 120
  • Ngày và giờ UTC tuyệt đối: 
    HTTP/1.1 503 Service Unavailable
Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Yêu cầu đặc biệt để giảm tốc độ thu thập dữ liệu

Nếu không thể phân phát lỗi cho trình thu thập dữ liệu của Google trên cơ sở hạ tầng của bạn, hãy gửi một yêu cầu đặc biệt để báo cáo vấn đề về tốc độ thu thập dữ liệu cao bất thường, đồng thời đề cập đến tốc độ tối ưu cho trang web của bạn trong yêu cầu. Bạn không thể yêu cầu tăng tốc độ thu thập dữ liệu, quá trình đánh giá và thực hiện yêu cầu này có thể sẽ mất vài ngày.