robots.txt फ़ाइल अपडेट करना

अपनी मौजूदा robots.txt फ़ाइल के नियमों को अपडेट करने के लिए, अपनी साइट से robots.txt फ़ाइल की कॉपी को डाउनलोड करें. इसके बाद, उसमें ज़रूरी बदलाव करें.

robots.txt फ़ाइल डाउनलोड करना

robots.txt फ़ाइल कई तरीकों से डाउनलोड की जा सकती है. उदाहरण के लिए:

• अपनी robots.txt फ़ाइल पर जाएं, जैसे कि https://example.com/robots.txt पर. फिर, इसके कॉन्टेंट को अपने कंप्यूटर पर, नई टेक्स्ट फ़ाइल में कॉपी करें. नई लोकल फ़ाइल बनाते समय, फ़ाइल फ़ॉर्मैट से जुड़े दिशा-निर्देशों का पालन ज़रूर करें.
• cURL जैसे टूल की मदद से, अपनी robots.txt फ़ाइल की कॉपी डाउनलोड करें. उदाहरण के लिए:

  curl https://example.com/robots.txt -o robots.txt

• robots.txt फ़ाइल की कॉपी डाउनलोड करने के लिए, Search Console में जाकर robots.txt फ़ाइल की जांच करने वाले टूल का इस्तेमाल करें.
  1. robots.txt एडिटर के निचले दाएं कोने में मौजूद सबमिट करें बटन पर क्लिक करें. इससे 'सबमिट करें' डायलॉग बॉक्स खुलता है.
  2. robots.txt फ़ाइल की जांच करने वाले टूल के पेज पर जाकर, robots.txt कोड डाउनलोड करें. इसके लिए, सबमिट करें डायलॉग बॉक्स पर जाएं और डाउनलोड करें पर क्लिक करें.

robots.txt फ़ाइल में बदलाव करना

नियमों में ज़रूरी बदलाव करने के लिए, साइट से डाउनलोड की गई robots txt फ़ाइल को टेक्स्ट एडिटर में खोलें. पक्का करें कि सही सिंटैक्स का इस्तेमाल हो रहा है. फ़ाइल को UTF-8 कोड में बदलकर ही सेव करें.

robots.txt फ़ाइल अपलोड करना

अपनी नई robots.txt फ़ाइल को robots.txt नाम वाली टेक्स्ट फ़ाइल के रूप में, अपने डोमेन के रूट में अपलोड करें. साइट पर फ़ाइल अपलोड करने का तरीका बहुत हद तक आपके प्लैटफ़ॉर्म और सर्वर पर निर्भर करता है. अपनी साइट पर robots.txt फ़ाइल अपलोड करने का तरीका जानें.

Google की robots.txt फ़ाइलों की कैश मेमोरी रीफ़्रेश करना

अपने-आप क्रॉल होने की प्रोसेस के दौरान, Google के क्रॉलर आपकी robots.txt फ़ाइल में किए गए बदलावों को ध्यान में रखते हैं और हर 24 घंटे में कैश मेमोरी में सेव किए गए वर्शन को अपडेट करते रहते हैं. अगर आपको कैश मेमोरी को ज़्यादा तेज़ी से अपडेट करवाना है, तो robots.txt फ़ाइल की जांच करने वाले टूल के सबमिट करें फ़ंक्शन का इस्तेमाल करें.

1. अपलोड किया गया वर्शन देखें पर क्लिक करें और पक्का करें कि आपकी robots.txt फ़ाइल का लाइव वर्शन वही है जिसे आपको Google से क्रॉल करवाना है.
2. Google को इस बात की सूचना देने के लिए कि आपकी robots.txt फ़ाइल में बदलाव कर दिए गए हैं और यह अनुरोध करने के लिए कि Google उस फ़ाइल को क्रॉल करे, सबमिट करें पर क्लिक करें.
3. टूल के एडिटर को अपडेट करने और अपना लाइव robots.txt कोड देखने के लिए, पेज को रीफ़्रेश करें. ऐसा करके, इस बात का पता लगाया जा सकता है कि Google ने नए वर्शन को क्रॉल किया है या नहीं. पेज को रीफ़्रेश करने के बाद, टाइमस्टैंप में यह देखा जा सकता है कि आपकी robots.txt फ़ाइल के नए वर्शन को Google ने सबसे पहले कब देखा. इसके लिए, ड्रॉपडाउन पर क्लिक करें.