ลดอัตราการ Crawl ของ Googlebot

Google มีอัลกอริทึมที่ซับซ้อนซึ่งกำหนดอัตราการ Crawl ที่เหมาะสมสำหรับเว็บไซต์ เป้าหมายของเราคือทำการ Crawl หน้าเว็บจากเว็บไซต์ของคุณให้มากที่สุดในการเข้าชมแต่ละครั้ง โดยไม่ทำให้เกิดปัญหากับแบนด์วิดท์ของเซิร์ฟเวอร์ของคุณ ในบางกรณี การ Crawl เว็บไซต์ของคุณโดย Google อาจทำให้โครงสร้างพื้นฐานทำงานหนักมาก หรือทำให้เกิดค่าใช้จ่ายไม่พึงประสงค์ในระหว่างที่เกิดความขัดข้อง คุณอาจเลือกที่จะลดจำนวนครั้งในการส่งคำขอจาก Googlebot เพื่อลดปัญหานี้

หากต้องการลดอัตราการ Crawl เป็นระยะเวลาสั้นๆ อย่างเร่งด่วน (เช่น 2-3 ชั่วโมงหรือ 1-2 วัน) ให้ส่งรหัสสถานะการตอบสนองของ HTTP 500, 503 หรือ 429 แทนการส่ง 200 สำหรับคำขอทำการ Crawl Googlebot จะลดอัตราการ Crawl ของเว็บไซต์เมื่อพบ URL จำนวนมากที่มีรหัสสถานะการตอบกลับ HTTP 500, 503 หรือ 429 (เช่น หากคุณปิดใช้เว็บไซต์) อัตราการ Crawl ที่ลดลงจะส่งผลต่อทั้งชื่อโฮสต์ของเว็บไซต์ (เช่น subdomain.example.com) ทั้งการ Crawl URL ที่แสดงข้อผิดพลาด รวมถึง URL ที่แสดงเนื้อหา เมื่อจำนวนข้อผิดพลาดเหล่านี้ลดลง อัตรา การ Crawl จะเริ่มเพิ่มขึ้นอีกครั้งโดยอัตโนมัติ

โปรดทราบว่าการ Crawl ที่เพิ่มขึ้นอย่างรวดเร็วอาจเกิดจากความไม่มีประสิทธิภาพของโครงสร้างของเว็บไซต์หรือไม่ก็เกิดจากปัญหาเกี่ยวกับเว็บไซต์ ดูคำแนะนำเกี่ยวกับการเพิ่มประสิทธิภาพการ Crawl

หากการไม่สามารถแสดงข้อผิดพลาดต่อ Googlebot ในโครงสร้างพื้นฐานได้ ให้ส่งคำขอพิเศษเพื่อลดอัตราการ Crawl คุณจะขอให้เพิ่มอัตราการ Crawl ไม่ได้