noindex की मदद से, किसी पेज को Search में दिखने से रोकना

noindex एक नियम है, जो <meta> टैग या एचटीटीपी रिस्पॉन्स हेडर के साथ सेट होता है. इसका इस्तेमाल, Google के noindex जैसे नियम लागू करने वाले सर्च इंजन को कॉन्टेंट इंडेक्स करने से रोकने के लिए किया जाता है. जब Googlebot उस पेज को क्रॉल करेगा, तो टैग या हेडर दिखने पर Google उस पेज को Google Search के नतीजों से पूरी तरह से बाहर कर देगा. साथ ही, इस बात पर ध्यान नहीं देगा कि पेज से दूसरी साइटें लिंक हैं या नहीं.

अगर आपके पास अपने सर्वर का रूट ऐक्सेस नहीं है, तो noindex का इस्तेमाल किया जा सकता है. इससे, साइट के हर पेज के लिए, किसके पास ऐक्सेस होगा, यह कंट्रोल किया जा सकेगा.

noindex लागू करना

noindex लागू करने के दो तरीके होते हैं: <meta> टैग के तौर पर और एचटीटीपी रिस्पॉन्स हेडर के तौर पर. दोनों से एक जैसा नतीजा मिलता है. आप वह तरीका चुनें जो आपकी साइट पर आसानी से लागू किया जा सके और अलग-अलग तरह के कॉन्टेंट के लिए सही हो. robots.txt फ़ाइल में noindex नियम की जानकारी देने की सुविधा Google के पास नहीं है.

noindex नियम को इंडेक्स करने से जुड़े दूसरे नियमों के साथ भी जोड़ा जा सकता है. उदाहरण के लिए, noindex नियम के साथ nofollow संकेत को जोड़ा जा सकता है: <meta name="robots" content="noindex, nofollow" />.

<meta> टैग

noindex नियम के साथ काम करने वाले सभी सर्च इंजन को आपकी साइट के किसी पेज को इंडेक्स करने से रोकने के लिए, अपने पेज के <head> सेक्शन में यहां दिए गए <meta> टैग को डालें: 

<meta name="robots" content="noindex">

सिर्फ़ Google वेब क्रॉलर को किसी पेज को इंडेक्स करने से रोकने के लिए:

<meta name="googlebot" content="noindex">

ध्यान रखें कि कुछ सर्च इंजन, noindex नियम का अलग मतलब निकाल सकते हैं. इस वजह से, ऐसा भी हो सकता है कि आपका पेज दूसरे सर्च इंजन के खोज के नतीजों में अब भी दिखे.

noindex <meta> टैग के बारे में ज़्यादा जानें.

एचटीटीपी रिस्पॉन्स हेडर

अपने जवाब में, <meta> टैग के बजाय, noindex या none की वैल्यू वाले X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल किया जा सकता है. रिस्पॉन्स हेडर का इस्तेमाल बिना एचटीएमएल वाले रिसॉर्स के लिए किया जा सकता है. जैसे, PDF फ़ाइलें, वीडियो फ़ाइलें, और इमेज फ़ाइलें. यहां एचटीटीपी रिस्पॉन्स का उदाहरण दिया गया है. इसमें X-Robots-Tag हेडर, सर्च इंजन को पेज इंडेक्स न करने का निर्देश दे रहा है: 

HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)

noindex रिस्पॉन्स हेडर के बारे में ज़्यादा जानें.

noindex से जुड़ी समस्याओं को डीबग करना

हमें <meta> टैग और एचटीटीपी हेडर देखने के लिए, आपके पेज को क्रॉल करना होता है. अगर पेज अब भी नतीजों में दिख रहा है, तो ऐसा हो सकता है कि आपके noindex नियम जोड़ने के बाद से हमने पेज को क्रॉल न किया हो. इंटरनेट पर पेज की अहमियत के आधार पर, Googlebot को किसी पेज पर फिर से जाने में कई महीने लग सकते हैं. Google से अनुरोध किया जा सकता है कि यूआरएल जांचने वाले टूल का इस्तेमाल करके, आपके पेज को फिर से क्रॉल करे.

अगर आपको Google के खोज नतीजों से अपनी साइट के किसी पेज को तुरंत हटाना है, तो यूआरएल हटाने से जुड़े हमारे दस्तावेज़ देखें.

दूसरी वजह यह हो सकती है कि robots.txt फ़ाइल उस यूआरएल को Google वेब क्रॉलर के लिए ब्लॉक कर रही हो. इसलिए, क्रॉलर टैग देख न पा रहे हों. Google को, क्रॉल करने की मंज़ूरी देने के लिए आपको अपनी robots.txt फ़ाइल में बदलाव करने होंगे.

आखिर में, पक्का करें कि noindex नियम Googlebot को दिख रहा हो. noindex को लागू किया गया है या नहीं, यह पता करने के लिए यूआरएल जांचने वाले टूल का इस्तेमाल करें. इससे, पेज को क्रॉल करते समय Googlebot को मिले एचटीएमएल का पता लगाया जा सकता है. Search Console में पेज को इंडेक्स करने के बारे में जानकारी देने वाली रिपोर्ट का इस्तेमाल करके, अपनी साइट के उन पेजों पर भी नज़र रखी जा सकती है जिनसे Googlebot ने noindex नियम हटाया था.