แก้ไขข้อบกพร่องเกี่ยวกับเครือข่ายและ DNS สำหรับ Crawler ของ Google

ข้อผิดพลาดเกี่ยวกับเครือข่ายและ DNS มีผลกระทบเชิงลบเป็นระยะเวลาสั้นๆ ต่อความสามารถของ Google ในการ Crawl URL ได้สำเร็จ Google จะดำเนินการกับการหมดเวลาของเครือข่าย การรีเซ็ตการเชื่อมต่อ และข้อผิดพลาด DNS ในทำนองเดียวกับข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์ 5xx ในกรณีของข้อผิดพลาดเกี่ยวกับเครือข่าย การรวบรวมข้อมูลจะเริ่มลดความเร็วลงทันที เนื่องจากข้อผิดพลาดเกี่ยวกับเครือข่ายเป็นสัญญาณที่บ่งบอกว่าเซิร์ฟเวอร์อาจไม่สามารถรองรับภาระงานในการให้บริการ เพราะ Google เข้าถึงเซิร์ฟเวอร์ที่โฮสต์เว็บไซต์ไม่ได้ Google จึงไม่ได้รับเนื้อหาจากเซิร์ฟเวอร์ดังกล่าวไปด้วย

สำหรับ Google Search นั้น การขาดเนื้อหาหมายความว่า Google จัดทําดัชนี URL ที่ทำการ Crawl มาไม่ได้ และ URL ที่จัดทําดัชนีไว้แล้วซึ่งไม่สามารถเข้าถึงได้จะถูกนําออกจากดัชนีของ Google ภายในไม่กี่วัน Search Console อาจสร้างข้อผิดพลาดสำหรับข้อผิดพลาดที่เกี่ยวข้องแต่ละรายการ

แก้ไขข้อผิดพลาดเกี่ยวกับเครือข่าย

ข้อผิดพลาดเหล่านี้เกิดขึ้นก่อนที่ Google จะเริ่มรวบรวมข้อมูล URL หรือขณะที่ Google กำลังรวบรวมข้อมูล URL เนื่องจากข้อผิดพลาดอาจเกิดขึ้นก่อนที่เซิร์ฟเวอร์จะตอบสนองได้ จึงไม่มีรหัสสถานะที่บ่งชี้ถึงปัญหา ซึ่งอาจทำให้การวินิจฉัยข้อผิดพลาดเหล่านี้ยากขึ้น วิธีแก้ไขข้อผิดพลาดเกี่ยวกับการหมดเวลาและการรีเซ็ตการเชื่อมต่อ

  • ดูการตั้งค่าไฟร์วอลล์และบันทึก อาจมีชุดกฎการบล็อกที่กว้างเกินไป ตรวจสอบว่าไม่มีการบล็อกที่อยู่ IP ของ Google ด้วยกฎไฟร์วอลล์
  • ดูการจราจรของข้อมูลในเครือข่าย ใช้เครื่องมืออย่างเช่น tcpdump และ Wireshark เพื่อบันทึกและวิเคราะห์แพ็กเก็ต TCP และมองหาความผิดปกติที่ชี้ไปยังคอมโพเนนต์เครือข่ายหรือโมดูลเซิร์ฟเวอร์ที่เจาะจง
  • หากไม่พบสิ่งที่น่าสงสัย โปรดติดต่อบริษัทโฮสติ้งที่ใช้บริการ

ข้อผิดพลาดอาจเกิดขึ้นจากคอมโพเนนต์ของเซิร์ฟเวอร์ที่จัดการการจราจรของข้อมูลในเครือข่าย ตัวอย่างเช่น อินเทอร์เฟซเครือข่ายที่มีการใช้งานมากเกินไปอาจทิ้งแพ็กเก็ตที่ทำให้เกิดการหมดเวลา (ไม่สามารถสร้างการเชื่อมต่อ) และรีเซ็ตการเชื่อมต่อ (มีการส่งแพ็กเก็ต RST เพราะพอร์ตถูกปิดด้วยความผิดพลาด)

แก้ไขข้อผิดพลาด DNS

สาเหตุที่พบบ่อยที่สุดของข้อผิดพลาด DNS คือการกําหนดค่าผิดพลาด แต่ก็อาจเกิดจากกฎไฟร์วอลล์ที่บล็อกคำขอ DNS ของ Googlebot ได้เช่นกัน หากต้องการแก้ไขข้อบกพร่อง DNS ให้ทําดังนี้

  • ตรวจสอบกฎไฟร์วอลล์ ตรวจสอบว่าไม่มี IP ของ Google ถูกบล็อกโดยกฎไฟร์วอลล์ และดูว่าคําขอทั้ง UDP และ TCP ได้รับอนุญาต
  • ดูระเบียน DNS ของคุณ ตรวจสอบโดยละเอียดว่าระเบียน A และ CNAME ชี้ไปยังที่อยู่ IP และชื่อโฮสต์ที่ถูกต้องตามลำดับ เช่น 
    dig +nocmd example.com a +noall +answer
     
    dig +nocmd www.example.com cname +noall +answer
  • ตรวจสอบว่าเนมเซิร์ฟเวอร์ทั้งหมดชี้ไปยังที่อยู่ IP ที่ถูกต้องของเว็บไซต์ เช่น 
    dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...
  • หากคุณเปลี่ยนแปลงการกำหนดค่า DNS ภายใน 72 ชั่วโมงที่ผ่านมา คุณอาจต้องรอให้การเปลี่ยนแปลงเผยแพร่ไปทั่วเครือข่าย DNS ซึ่งครอบคลุมทั่วโลก หากต้องการเร่งการเผยแพร่ คุณล้างแคช DNS สาธารณะของ Google ได้
  • หากคุณใช้เซิร์ฟเวอร์ DNS ของตัวเอง ให้ตรวจสอบว่าเซิร์ฟเวอร์ทำงานเป็นปกติดีและไม่มีภาระงานมากเกินไป