รหัสสถานะ HTTP ส่งผลต่อ Crawler ของ Google อย่างไร

หน้านี้จะอธิบายว่ารหัสสถานะ HTTP ต่างๆ ส่งผลต่อความสามารถของ Google ในการ Crawl เนื้อหาเว็บของคุณอย่างไร คำอธิบายจะครอบคลุมรหัสสถานะ 20 รหัสแรกที่ Google พบในเว็บ แต่ไม่รวมรหัสสถานะที่แปลกใหม่อย่างเช่น 418 (I'm a teapot)

รหัสสถานะ HTTP

รหัสสถานะ HTTP สร้างขึ้นโดยเซิร์ฟเวอร์ที่โฮสต์เว็บไซต์นั้นๆ เมื่อเซิร์ฟเวอร์ตอบสนองคำขอจากไคลเอ็นต์ เช่น เบราว์เซอร์หรือ Crawler รหัสสถานะ HTTP ทุกรหัสมีความหมายต่างกัน แต่ผลลัพธ์ที่ได้จากคําขอนั้นมักจะเหมือนกัน เช่น มีรหัสสถานะอยู่หลายรหัสที่ส่งสัญญาณแจ้งการเปลี่ยนเส้นทาง แต่ผลลัพธ์ของทุกรหัสจะเหมือนกัน

Search Console สร้างข้อความแสดงข้อผิดพลาดสำหรับรหัสสถานะในช่วง 4xx—5xx และสำหรับการเปลี่ยนเส้นทางที่ไม่สำเร็จ (3xx) หากเซิร์ฟเวอร์ตอบสนองด้วยรหัสสถานะ 2xx เนื้อหาที่ได้รับในการตอบสนองอาจได้รับการพิจารณาให้จัดทำดัชนี

ตารางต่อไปนี้มีรหัสสถานะ HTTP ที่ Googlebot พบมากที่สุด และคำอธิบายว่า Google จัดการรหัสสถานะแต่ละรหัสอย่างไร

รหัสสถานะ HTTP

2xx (success)

Google จะพิจารณาเนื้อหาเพื่อประมวลผล (เช่น ในกรณีของ Google Search เพื่อ การจัดทำดัชนี) หากเนื้อหาบ่งชี้ว่ามีข้อผิดพลาดสำหรับ Google Search หน้าว่างหรือข้อความแสดงข้อผิดพลาด Search Console จะแสดงข้อผิดพลาด soft 404

200 (success)

Google จะส่งต่อข้อมูลที่ได้รับไปยังขั้นตอนการประมวลผลถัดไป (ซึ่งเป็นขั้นตอนเฉพาะผลิตภัณฑ์) สำหรับ Google Search ระบบถัดไปคือไปป์ไลน์การจัดทำดัชนี ระบบจัดทําดัชนีอาจจัดทําดัชนีเนื้อหานั้น แต่ก็ไม่ได้รับประกันว่าจะจัดทำ

201 (created)
202 (accepted)

Google รอเนื้อหาเป็นเวลาสั้นๆ จากนั้นจะส่งผ่านเนื้อหาทั้งหมดที่ได้รับไปยังขั้นตอนการประมวลผลถัดไป (ซึ่งเป็นขั้นตอนเฉพาะผลิตภัณฑ์) ระยะหมดเวลาจะขึ้นอยู่กับ User Agent เช่น Googlebot Smartphone อาจมีระยะหมดเวลาที่แตกต่างจาก Googlebot Image

204 (no content)

Google ไม่ได้รับเนื้อหาใดๆ จึงประมวลผลไม่ได้

3xx (redirection)

โดยค่าเริ่มต้น Crawler ของ Google จะติดตามการเปลี่ยนเส้นทางได้สูงสุด 10 ครั้ง อย่างไรก็ตาม Crawler ของผลิตภัณฑ์ที่เฉพาะเจาะจงอาจมีขีดจำกัดที่แตกต่างออกไป ตัวอย่างเช่น โดยทั่วไป Googlebot จะติดตามการเปลี่ยนเส้นทาง 10 ครั้งเมื่อทำการ Crawl เนื้อหาเว็บทั่วไป แต่เครื่องมือตรวจสอบของ Google จะไม่ติดตามการเปลี่ยนเส้นทาง

ระบบจะข้ามเนื้อหาที่ Google ได้รับจาก URL การเปลี่ยนเส้นทาง และจะประมวลผลเนื้อหาของ URL เป้าหมายสุดท้ายแทน สำหรับไฟล์ robots.txt โปรดดูวิธีที่ Google จัดการ robots.txt ที่แสดงรหัสสถานะ 3xx

301 (moved permanently)

Google จะติดตามการเปลี่ยนเส้นทาง และระบบของ Google จะใช้การเปลี่ยนเส้นทางเป็นสัญญาณที่แรง ซึ่งเป้าหมายการเปลี่ยนเส้นทางควรได้รับการประมวลผล

302 (found)

โดยค่าเริ่มต้น Crawler ของ Google จะติดตามการเปลี่ยนเส้นทาง และระบบของ Google จะใช้การเปลี่ยนเส้นทางเป็นสัญญาณที่อ่อน ซึ่งเป้าหมายการเปลี่ยนเส้นทางควรได้รับการประมวลผล ผลิตภัณฑ์อื่นๆ อาจจัดการการเปลี่ยนเส้นทางแตกต่างกัน

303 (see other)
304 (not modified)

Crawler ของ Google ส่งสัญญาณไปยังระบบประมวลผลถัดไปว่าเนื้อหาเหมือนกับที่เคยทำการ Crawl ไว้ครั้งล่าสุด ในกรณีของ Google Search ไปป์ไลน์การจัดทำดัชนีอาจคำนวณหาสัญญาณสำหรับ URL นั้นอีกครั้ง แต่รหัสสถานะจะไม่มีผลต่อการจัดทำดัชนี

307 (temporary redirect) เทียบเท่ากับ 302
308 (moved permanently) เทียบเท่ากับ 301

4xx (client errors)

Google ไม่ใช้เนื้อหาจาก URL ที่แสดงรหัสสถานะ 4xx หากก่อนหน้านี้มีการใช้ URL แต่ตอนนี้แสดงรหัสสถานะ 4xx ระบบของ Google จะหยุดใช้ URL นั้นในที่สุด ในกรณีของ Google Search นั้น Google จะไม่จัดทำดัชนี URL ที่แสดงรหัสสถานะ 4xx และ URL ที่จัดทำดัชนีไว้แล้วและแสดงรหัสสถานะ 4xx จะถูกนำออกจากดัชนี

ระบบจะไม่สนใจเนื้อหาที่ Google ได้รับจาก URL ที่แสดงรหัสสถานะ 4xx

400 (bad request)

ข้อผิดพลาด 4xx ทั้งหมด ยกเว้น 429 จะถือว่าเหมือนกัน กล่าวคือ Crawler ของ Google จะแจ้งระบบประมวลผลถัดไปว่าไม่มีเนื้อหานั้นอยู่

ในกรณีของ Google Search ไปป์ไลน์การจัดทำดัชนีจะนำ URL ออกจากดัชนีหากเคยจัดทำดัชนีไว้ ระบบจะไม่ประมวลผลหน้า 404 ที่พบใหม่ ความถี่ในการ Crawl จะค่อยๆ ลดลง

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Crawler ของ Google จะถือว่ารหัสสถานะ 429 เป็นสัญญาณแจ้งว่าเซิร์ฟเวอร์ทํางานหนักเกินไป และถือว่าเป็นข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์

5xx (server errors)

ข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์ 5xx และ 429 จะทำให้ Crawler ของ Google ทำการ Crawl ช้าลงชั่วคราว สำหรับ Google Search ระบบจะเก็บรักษา URL ที่จัดทำดัชนีไว้แล้วในดัชนี แต่ท้ายที่สุดแล้วก็จะลบออก

ระบบจะไม่สนใจเนื้อหาที่ Google ได้รับจาก URL ที่แสดงรหัสสถานะ 5xx สำหรับไฟล์ robots.txt โปรดดูวิธีที่ Google จัดการ robots.txt ที่แสดงรหัสสถานะ 5xx

เมื่อเซิร์ฟเวอร์เริ่มตอบสนองด้วยรหัสสถานะ 2xx Google จะค่อยๆ เพิ่มอัตราการ Crawl สำหรับเว็บไซต์

500 (internal server error)

Google ลดอัตราการ Crawl สำหรับเว็บไซต์นั้น อัตราการ Crawl ที่ลดลงจะเป็นสัดส่วนกับจำนวนของ URL แต่ละรายการที่แสดงข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์ สำหรับ Google Search ไปป์ไลน์การจัดทำดัชนีของ Google จะนำ URL ที่แสดงข้อผิดพลาดเกี่ยวกับเซิร์ฟเวอร์อยู่ตลอดออกจากดัชนี

502 (bad gateway)
503 (service unavailable)