ลดอัตราการ Crawl ของ Google

โครงสร้างพื้นฐานของ Crawler ของ Google มีอัลกอริทึมที่ซับซ้อนซึ่งกำหนดอัตราการ Crawl ที่เหมาะสมสำหรับเว็บไซต์ เป้าหมายของเราคือทำการ Crawl หน้าเว็บในเว็บไซต์ของคุณให้มากที่สุดในการเข้าชมแต่ละครั้ง โดยไม่ทำให้เซิร์ฟเวอร์ของคุณทำงานหนักเกินไป ในบางกรณี การที่ Google ทำการ Crawl เว็บไซต์ของคุณอาจทำให้โครงสร้างพื้นฐานทำงานหนักมาก หรือทำให้เกิดค่าใช้จ่ายไม่พึงประสงค์ในระหว่างที่เกิดการหยุดทำงาน คุณอาจเลือกที่จะลดจำนวนครั้งในการส่งคำขอจาก Crawler ของ Google เพื่อลดปัญหานี้

ทำความเข้าใจสาเหตุของการ Crawl ที่เพิ่มขึ้นอย่างรวดเร็ว

การ Crawl ที่เพิ่มขึ้นอย่างรวดเร็วอาจเกิดจากความไม่มีประสิทธิภาพในโครงสร้างของเว็บไซต์หรือเกิดจากปัญหาอื่นๆ เกี่ยวกับเว็บไซต์ จากรายงานที่เราได้รับในช่วงที่ผ่านมา สาเหตุที่พบบ่อยที่สุด ได้แก่

• การกำหนดค่า URL ในเว็บไซต์อย่างไม่มีประสิทธิภาพ ซึ่งมักเกิดจากฟังก์ชันการทำงานบางอย่างของเว็บไซต์
  • การไปยังส่วนต่างๆ ตามข้อมูลประกอบหรือฟังก์ชันการจัดเรียงและการกรองอื่นๆ
  • ปฏิทินที่มี URL จำนวนมากสำหรับวันที่ที่เจาะจง
• เป้าหมายโฆษณา Search แบบไดนามิก

เราขอแนะนำอย่างยิ่งให้คุณตรวจสอบกับบริษัทโฮสติ้งและดูบันทึกการเข้าถึงล่าสุดของเซิร์ฟเวอร์เพื่อทำความเข้าใจแหล่งที่มาของการเข้าชม และดูว่าตรงกับสาเหตุที่พบบ่อยของการ Crawl ที่เพิ่มขึ้นอย่างรวดเร็วที่ระบุไว้ข้างต้นหรือไม่ จากนั้นดูคำแนะนำเกี่ยวกับการจัดการการ Crawl URL การไปยังส่วนต่างๆ ตามข้อมูลประกอบและการเพิ่มประสิทธิภาพการ Crawl

ลดการเข้าชมของ Crawler อย่างเร่งด่วน (สำหรับกรณีฉุกเฉิน)

หากต้องการลดอัตราการ Crawl เป็นระยะเวลาสั้นๆ อย่างเร่งด่วน (เช่น 2-3 ชั่วโมงหรือ 1-2 วัน) ให้ส่งรหัสสถานะการตอบกลับ HTTP 500, 503 หรือ 429 แทนการส่ง 200 สำหรับคำขอทำการ Crawl

เมื่อโครงสร้างพื้นฐานการ Crawl ของ Google พบ URL จำนวนมากที่มีรหัสสถานะการตอบกลับ HTTP 500, 503 หรือ 429 (เช่น หากคุณปิดใช้เว็บไซต์)

• Googlebot จะลดอัตราการ Crawl ของเว็บไซต์ในชื่อโฮสต์ทั้งหมด (เช่น subdomain.example.com) ซึ่งรวมถึงทั้ง URL ที่แสดงข้อผิดพลาดและ URL ที่แสดงเนื้อหา
• ระบบจะเพิ่มอัตราการ Crawl อีกครั้งโดยอัตโนมัติเมื่อจำนวนข้อผิดพลาดเหล่านี้ลดลง

เมื่อแสดงรหัสสถานะ 503 หรือ 429 คุณยังสามารถใส่ส่วนหัว HTTP Retry-After (ตามที่กำหนดไว้ใน RFC 9110 HTTP Semantics) เพื่อระบุเวลาที่ Crawler ของ Google สามารถลองส่งคำขออีกครั้งได้ โดยใช้ความล่าช้าเป็นวินาทีหรือวันที่และเวลา UTC ที่แน่นอน ดังนี้

• ความล่าช้าเป็นวินาที

  HTTP/1.1 503 Service Unavailable
  Retry-After: 120

• วันที่และเวลา UTC แบบสัมบูรณ์

  HTTP/1.1 503 Service Unavailable
  Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

คำขอพิเศษเพื่อลดอัตราการ Crawl

หากไม่สามารถแสดงข้อผิดพลาดต่อ Crawler ของ Google ในโครงสร้างพื้นฐาน ให้ส่งคำขอพิเศษเพื่อรายงานปัญหาเกี่ยวกับอัตราการ Crawl ที่สูงผิดปกติ โดยระบุอัตราการ Crawl ที่เหมาะสมที่สุดสำหรับเว็บไซต์ในคำขอ คุณจะขอให้เพิ่มอัตราการ Crawl ไม่ได้ และอาจใช้เวลาหลายวันในการประเมินและดำเนินการตามคำขอ