เพิ่มประสิทธิภาพ Crawl Budget

คู่มือนี้อธิบายวิธีเพิ่มประสิทธิภาพการ Crawl ของ Google จากเว็บไซต์ที่มีขนาดใหญ่มากและมีการอัปเดตบ่อยครั้ง

หากเว็บไซต์ของคุณมีหน้าเว็บที่มีการเปลี่ยนแปลงอย่างรวดเร็วจำนวนไม่มาก หรือหากหน้าเว็บได้รับการ Crawl วันเดียวกับที่เผยแพร่ คุณไม่จำเป็นต้องอ่านคู่มือนี้ สำหรับ Google Search โดยเฉพาะ เพียงอัปเดต Sitemap ให้เป็นปัจจุบันอยู่เสมอและตรวจสอบรายงานการจัดทำดัชนีหน้าเว็บอย่างสม่ำเสมอก็เพียงพอแล้ว

คู่มือนี้มีไว้สำหรับใคร

แม้ว่าคำแนะนำในคู่มือนี้จะเป็นแนวทางปฏิบัติที่ดีโดยทั่วไป แต่คู่มือนี้เป็นคู่มือขั้นสูงที่มีไว้สำหรับเว็บไซต์ประเภทต่อไปนี้เป็นหลัก

• เว็บไซต์ขนาดใหญ่ (มีหน้าเว็บที่ไม่ซ้ำกันมากกว่า 1 ล้านหน้า) ซึ่งเนื้อหามีการเปลี่ยนแปลงพอควร (สัปดาห์ละครั้ง)
• เว็บไซต์ขนาดกลางหรือขนาดใหญ่ (มีหน้าเว็บที่ไม่ซ้ำกันมากกว่า 10,000 หน้า) ซึ่งเนื้อหามีการเปลี่ยนแปลงอย่างรวดเร็ว (ทุกวัน)
• เว็บไซต์ที่ส่วนใหญ่ของ URL ทั้งหมดได้รับการจัดหมวดหมู่โดย Search Console เป็นพบแล้ว - ยังไม่ได้จัดทําดัชนี

ทฤษฎีทั่วไปของการ Crawl

อินเทอร์เน็ตนั้นเป็นพื้นที่ที่แทบไม่มีขอบเขต ซึ่งเกินความสามารถของ Google ที่จะสํารวจ URL ที่เข้าถึงได้แบบสาธารณะทั้งหมด ดังนั้นเวลาและทรัพยากรที่ Google จะใช้ในการ Crawl เว็บไซต์หนึ่งๆ จึงมีจำกัด การจัดสรรทรัพยากรเหล่านี้มักเรียกว่า Crawl Budget ของเว็บไซต์ ในบริบทนี้ โครงสร้างพื้นฐานการ Crawl ของ Google จะกำหนดเว็บไซต์เป็นชื่อโฮสต์ที่ไม่ซ้ำกัน เช่น ระบบจะถือว่า https://www.example.com/ และ https://code.example.com/ เป็นเว็บไซต์แยกกันและมี Crawl Budget แยกกัน Crawl Budget ของเว็บไซต์กำหนดโดยองค์ประกอบหลัก 2 อย่าง ได้แก่ ขีดจำกัดความสามารถในการ Crawl และความต้องการ Crawl

ขีดจำกัดความสามารถในการ Crawl

Google ต้องการ Crawl เว็บไซต์โดยไม่ทำให้เซิร์ฟเวอร์ของคุณทำงานหนักเกินไป เพื่อป้องกันปัญหานี้ Crawler ของ Google จะคำนวณขีดจำกัดความสามารถในการ Crawl (หรือที่เรียกว่า Hostload) ซึ่งจะจำกัดระยะเวลาทั้งหมดที่เซิร์ฟเวอร์ใช้ในการคงการเชื่อมต่อที่เปิดไว้สำหรับ Google โดยพิจารณาทั้งจำนวนการเชื่อมต่อพร้อมกันและระยะเวลาของการเชื่อมต่อเหล่านั้น ซึ่งช่วยให้ Google สามารถครอบคลุมเนื้อหาที่สำคัญทั้งหมดได้โดยไม่ทำให้เซิร์ฟเวอร์ของคุณทำงานหนักเกินไป

ทุกเว็บไซต์เริ่มต้นด้วยขีดจำกัดความสามารถในการ Crawl แบบเดิมซึ่งเป็นค่าเริ่มต้นเดียวกัน หากมีความต้องการที่จะทำการ Crawl เพิ่มขึ้นและเว็บไซต์ยังคงทำงานได้ดี ระบบของ Google จะปรับขีดจำกัดนี้โดยอัตโนมัติเมื่อเวลาผ่านไป

ขีดจำกัดความสามารถในการ Crawl อาจเพิ่มขึ้นหรือลดลงตามปัจจัยต่อไปนี้

• ประสิทธิภาพการ Crawl: หากเว็บไซต์ตอบสนองอย่างสม่ำเสมอและเวลาในการตอบสนอง (รวมถึงเวลาในการตอบสนองและเวลาที่ได้รับข้อมูลไบต์แรก) ยังคงเสถียรหรือดีขึ้น ขีดจำกัดจะเพิ่มขึ้น ซึ่งหมายความว่า สามารถใช้การเชื่อมต่อมากขึ้นได้เพื่อทำการ Crawl หากเว็บไซต์ทำงานช้าลง (เวลาในการตอบสนองเพิ่มขึ้นหรือเวลาในการตอบกลับนานขึ้น) หรือตอบสนองโดยมีข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์ (รหัสสถานะ 5xx HTTP) หรือสัญญาณการจำกัดอัตรา (เช่น HTTP 429) ขีดจำกัดก็จะลดลงและ Google จะทำการ Crawl น้อยลง
• ขีดจำกัดการ Crawl ของ Google: แม้ว่า Google จะมีทรัพยากรจำนวนมาก แต่ก็มีขีดจำกัด และเราต้องจัดลำดับความสำคัญของการจัดสรรทรัพยากรในเว็บ

ความต้องการ Crawl

Crawler แต่ละรายการมี "ความต้องการ" ของตัวเองเมื่อพูดถึงการ Crawl เว็บ ซึ่งกำหนดโดยปัจจัยที่เฉพาะเจาะจงสำหรับ Crawler นั้นๆ ตัวอย่างเช่น โดยทั่วไปแล้ว AdsBot จะมีความต้องการสูงกว่าเมื่อเว็บไซต์แสดงเป้าหมายโฆษณาแบบไดนามิก และ Google Shopping จะมีความต้องการสูงกว่าสำหรับผลิตภัณฑ์ที่คุณมีในฟีดผู้ขาย

สำหรับ Googlebot ความต้องการจะแตกต่างกันไปตามขนาดของเว็บไซต์ ความถี่ในการอัปเดต คุณภาพของหน้าเว็บ และความเกี่ยวข้องเมื่อเทียบกับเว็บไซต์อื่นๆ ปัจจัยหลักที่คุณมีอิทธิพลได้มีดังนี้

• รายการ URL ที่รับรู้: หากไม่มีคำแนะนำจากคุณ Google จะพยายามทำการ Crawl URL ทั้งหมดหรือส่วนใหญ่ที่รู้จักซึ่งเกี่ยวกับเว็บไซต์ของคุณ หาก URL หลายรายการซ้ำกัน หรือคุณไม่ต้องการให้ระบบทำการ Crawl ด้วยเหตุผลอื่น (นำออกแล้ว ไม่สำคัญ และอื่นๆ) จะทำให้ Google เสียเวลาไปกับการ Crawl เว็บไซต์ของคุณอย่างมาก นี่เป็นปัจจัยที่คุณควบคุมได้มากที่สุดเพื่อให้เกิดประโยชน์กับทั้ง 2 ฝ่าย
• ความนิยม: URL ที่ได้รับความนิยมในอินเทอร์เน็ตมากกว่ามักจะได้รับการ Crawl บ่อยกว่าเพื่อให้มีความใหม่ในระบบอยู่เสมอ
• การไม่มีอัปเดต: ระบบต้องการการ Crawl เอกสารอีกครั้งให้บ่อยพอที่จะทราบถึงการเปลี่ยนแปลง

นอกจากนี้ เหตุการณ์ที่เกิดขึ้นทั้งเว็บไซต์ เช่น การย้ายเว็บไซต์ อาจทำให้เกิดความต้องการ Crawl เพิ่มขึ้นเพื่อประมวลผลเนื้อหาใน URL ใหม่อีกครั้ง

สรุป

เมื่อพิจารณาความสามารถในการ Crawl และความต้องการ Crawl ร่วมกันแล้ว Google ถือว่า Crawl Budget ของเว็บไซต์เป็นชุด URL ที่ Google สามารถและต้องการ Crawl แม้ว่าความสามารถในการ Crawl ยังไม่ถึงขีดจำกัดแต่มีความต้องการ Crawl ต่ำ Google ก็จะทำการ Crawl เว็บไซต์น้อยลง

แนวทางปฏิบัติแนะนำ

ทําตามแนวทางปฏิบัติแนะนำต่อไปนี้เพื่อเพิ่มประสิทธิภาพการ Crawl สูงสุด

• จัดการรายการ URL: ใช้เครื่องมือที่เหมาะสมเพื่อบอก Google ว่าต้องและไม่ต้องทำการ Crawl หน้าใดบ้าง หาก Google ใช้เวลามากเกินไปในการ Crawl URL ทั้งที่ไม่ควร Crawler ของ Google อาจไม่สำรวจส่วนที่เหลือในเว็บไซต์ หรืออาจไม่เพิ่ม Crawl Budget
  • รวมเนื้อหาที่ซ้ำกัน นำเนื้อหาที่ซ้ำกันออกเพื่อให้ระบบทำการ Crawl โดยเน้นเนื้อหาที่ไม่ซ้ำกันแทน URL ที่ไม่ซ้ำ
  • บล็อกการ Crawl URL โดยใช้ robots.txt หน้าเว็บบางหน้าอาจมีความสำคัญต่อผู้ใช้ แต่คุณอาจจะไม่ต้องการให้หน้าเหล่านั้นปรากฏในแพลตฟอร์มของ Google หรือให้ระบบของ Google ประมวลผลอีกครั้ง เช่น หน้าที่เลื่อนได้ไม่รู้จบซึ่งมีข้อมูลซ้ำจากหน้าเว็บที่เชื่อมโยง หรือเป็นเวอร์ชันที่มีการจัดเรียงต่างกันของหน้าเดียวกัน หากรวม URL ตามที่อธิบายไว้ในหัวข้อย่อยแรกไม่ได้ ให้บล็อกหน้าที่ไม่สําคัญเหล่านี้โดยใช้ robots.txt การบล็อก URL ด้วย robots.txt จะป้องกันไม่ให้ Google ทำการ Crawl URL เหล่านั้น และลดโอกาสที่ URL จะได้รับการประมวลผลโดยระบบอื่นๆ ของ Google (เช่น การจัดทำดัชนีโดย Google Search) ลงอย่างมาก
  • แสดงรหัสสถานะ 404 หรือ 410 สําหรับหน้าเว็บที่นำออกอย่างถาวร Google จะไม่ลืม URL ที่รู้จัก แต่รหัสสถานะ 404 เป็นสัญญาณที่บ่งชี้ว่าไม่ให้ทำการ Crawl URL นั้นอีก อย่างไรก็ตาม URL ที่บล็อกจะยังอยู่ในคิวการ Crawl นานขึ้น และจะได้รับการ Crawl อีกครั้งเมื่อมีการเลิกบล็อก
  • นําข้อผิดพลาด soft 404 ออก ระบบจะยังทำการ Crawl หน้า soft 404 ต่อไป ซึ่งจะทําให้คุณเสีย Budget ดูรายงานการจัดทำดัชนีหน้าเว็บเพื่อหาข้อผิดพลาด soft 404
  • อัปเดตแผนผังเว็บไซต์อยู่เสมอ Google อ่าน Sitemap เป็นประจำ ดังนั้นอย่าลืมใส่เนื้อหาทั้งหมดที่ต้องการให้ Google ทำการ Crawl ไว้ใน Sitemap หากเว็บไซต์มีเนื้อหาที่อัปเดต เราขอแนะนําให้ใส่แท็ก <lastmod>
  • หลีกเลี่ยงการใช้เชนการเปลี่ยนเส้นทางที่มีความยาว ซึ่งจะส่งผลเสียต่อกา Crawl
• ทําให้หน้าเว็บโหลดได้อย่างมีประสิทธิภาพ หาก Google โหลดและแสดงผลหน้าเว็บได้เร็วขึ้น เราอาจอ่านเนื้อหาจากเว็บไซต์ได้มากขึ้น
  • ปรับปรุงความเร็วในการโหลด: เพิ่มประสิทธิภาพเวลาตอบสนองของเซิร์ฟเวอร์และทรัพยากรเพื่อให้หน้าเว็บโหลดได้เร็วขึ้น
  • ใช้การแคช HTTP: รองรับรหัสสถานะ HTTP 304 (Not Modified) หากหน้าเว็บไม่มีการเปลี่ยนแปลงนับตั้งแต่ Google ทำการ Crawl ครั้งล่าสุด การแสดงผลรหัส 304 จะบอกให้ Google นำเวอร์ชันที่แคชไว้มาใช้ซ้ำ ซึ่งจะช่วยประหยัดแบนด์วิดท์และทรัพยากรของเซิร์ฟเวอร์
• แก้ไขข้อบกพร่องเกี่ยวกับ Crawl Budget ตรวจสอบว่าเว็บไซต์มีปัญหาความพร้อมใช้งานระหว่างการ Crawl หรือไม่ และหาวิธีอื่นๆ ที่จะทำให้การ Crawl มีประสิทธิภาพมากขึ้น

ฉันจะเพิ่ม Crawl Budget ได้อย่างไร

คุณเพิ่ม Crawl Budget ได้ 2 วิธีดังนี้

• เพิ่มทรัพยากรเซิร์ฟเวอร์: หากเว็บไซต์ของคุณทำการ Crawl ไม่ได้เนื่องจากขีดความสามารถของเซิร์ฟเวอร์ในฝั่งของคุณ (เช่น คุณได้รับข้อความ Hostload มากเกินไปในเครื่องมือตรวจสอบ URL) ให้เพิ่มทรัพยากรเซิร์ฟเวอร์หากเหมาะสมกับธุรกิจของคุณ
• เพิ่มคุณภาพเนื้อหาสำหรับผลิตภัณฑ์ Google ที่คุณกำหนดเป้าหมาย: Google จะกำหนดทรัพยากรการ Crawl ที่จัดสรรให้กับแต่ละเว็บไซต์โดยพิจารณาจากองค์ประกอบที่เกี่ยวข้องกับผลิตภัณฑ์ Google ที่เฉพาะเจาะจง ตัวอย่างเช่น สำหรับ Google Search องค์ประกอบนี้รวมถึงสิ่งต่างๆ เช่น ความนิยม มูลค่าโดยรวมของผู้ใช้ ความเป็นเอกลักษณ์ของเนื้อหา และขีดความสามารถในการแสดงผล