บล็อกการจัดทำดัชนีของ Search ด้วย noindex
noindex คือชุดกฎที่มีแท็ก <meta> หรือส่วนหัวการตอบกลับ HTTP และใช้เพื่อป้องกันการจัดทําดัชนีเนื้อหาโดยเครื่องมือค้นหาที่รองรับกฎ noindex เช่น Google เมื่อ Googlebot ทำการ Crawl หน้าดังกล่าว และดึงแท็กหรือส่วนหัวนี้ Google จะไม่รวมหน้านี้ไว้ในผลการค้นหาของ Google Search เลย ไม่ว่าจะมีเว็บไซต์อื่นลิงก์มาที่หน้านี้หรือไม่ก็ตาม
การใช้ noindex มีประโยชน์ในกรณีที่คุณเข้าถึงเซิร์ฟเวอร์ในระดับรากไม่ได้ เนื่องจากจะช่วยให้ควบคุมการเข้าถึงเว็บไซต์แบบหน้าต่อหน้าได้
การใช้ noindex
คุณใช้ noindex ได้ 2 วิธี ได้แก่ ใช้เป็นแท็ก <meta> และใช้เป็นส่วนหัวการตอบกลับ HTTP ซึ่งให้ผลลัพธ์เหมือนกัน ดังนั้นให้เลือกวิธีที่สะดวกกว่าสำหรับเว็บไซต์และเหมาะสมกับประเภทเนื้อหา Google ไม่รองรับการระบุกฎ noindex ในไฟล์ robots.txt
นอกจากนี้ คุณยังสามารถรวมกฎ noindex กับกฎอื่นๆ ที่ควบคุมการจัดทําดัชนี เช่น คุณสามารถใส่ nofollow กับกฎ noindex ซึ่งจะได้เป็น <meta name="robots" content="noindex, nofollow" />
แท็ก <meta>
หากต้องการป้องกันไม่ให้เครื่องมือค้นหาทั้งหมดที่รองรับกฎ noindex จัดทําดัชนีหน้าในเว็บไซต์ ให้วางแท็ก <meta> ต่อไปนี้ลงในส่วน <head> ของหน้าเว็บ
<meta name="robots" content="noindex">
หากต้องการป้องกันไม่ให้ Web Crawler ของ Google เพียงโปรแกรมเดียวจัดทำดัชนีหน้า ให้วางเมตาแท็กต่อไปนี้
<meta name="googlebot" content="noindex">
โปรดทราบว่าเครื่องมือค้นหาบางรายการอาจแปลกฎ noindex ต่างออกไป ด้วยเหตุนี้หน้าเว็บจึงอาจยังคงปรากฏในผลลัพธ์ของเครื่องมือค้นหาอื่น
อ่านเพิ่มเติมเกี่ยวกับแท็ก <meta> ของ noindex
ส่วนหัวการตอบกลับ HTTP
คุณสามารถแสดงผลส่วนหัว HTTP ของ X-Robots-Tag ที่มีค่าเป็น noindex หรือ none ในการตอบกลับแทนการใช้แท็ก <meta> ได้
ส่วนหัวการตอบกลับสามารถใช้กับทรัพยากรที่ไม่ใช่ HTML เช่น PDF, ไฟล์วิดีโอ และไฟล์ภาพ ต่อไปนี้คือตัวอย่างการตอบสนองของ HTTP ที่มีส่วนหัว X-Robots-Tag ซึ่งห้ามไม่ให้เครื่องมือค้นหาจัดทําดัชนีหน้าเว็บ
HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)
อ่านเพิ่มเติมเกี่ยวกับส่วนหัวการตอบกลับ noindex
การแก้ไขข้อบกพร่องของปัญหา noindex
เราต้องทำการ Crawl หน้าเว็บเพื่อให้เห็นแท็ก <meta> และส่วนหัว HTTP หากหน้าเว็บของคุณยังคงปรากฏในผลการค้นหา แสดงว่าเราอาจยังไม่ได้ทำการ Crawl หน้านั้นตั้งแต่ที่คุณเพิ่มกฎ noindex เข้าไป Googlebot อาจใช้เวลาเป็นเดือนๆ ในการเข้าไปที่หน้าเว็บนั้นอีกครั้ง ทั้งนี้ขึ้นอยู่กับความสําคัญของหน้าในอินเทอร์เน็ต คุณขอให้ Google ทำการ Crawl หน้าเว็บอีกครั้งได้โดยใช้เครื่องมือตรวจสอบ URL
หากคุณต้องการนําหน้าของเว็บไซต์ออกจากผลการค้นหาของ Google อย่างรวดเร็ว โปรดดูเอกสารประกอบเกี่ยวกับการนําออก
อีกสาเหตุหนึ่งอาจเป็นเพราะไฟล์ robots.txt บล็อก URL นี้จาก Web Crawler ของ Google จึงทำให้ไม่เห็นแท็กนั้น หากต้องการยกเลิกการบล็อกหน้าเว็บออกจาก Google คุณจะต้องแก้ไขไฟล์ robots.txt
สุดท้าย ตรวจสอบว่า Googlebot มองเห็นกฎ noindex หากต้องการทดสอบว่าการใช้งาน noindex ถูกต้องหรือไม่ ให้ใช้เครื่องมือตรวจสอบ URL เพื่อดู HTML ที่ Googlebot ได้รับขณะทำการ Crawl
นอกจากนี้คุณยังใช้รายงานการจัดทำดัชนีหน้าเว็บใน Search Console เพื่อตรวจสอบหน้าในเว็บไซต์ที่ Googlebot ดึงกฎ noindex ได้อีกด้วย