Google की क्रॉल दर को कम करना

Google के क्रॉलर इन्फ़्रास्ट्रक्चर में बेहतरीन एल्गोरिदम होते हैं. इनके इस्तेमाल से, किसी साइट के लिए सबसे सही क्रॉल दर तय की जाती है. हमारा मकसद, आपके सर्वर पर ज़्यादा लोड डाले बिना, हर विज़िट में आपकी साइट के ज़्यादा से ज़्यादा पेज क्रॉल करना है. कुछ मामलों में जब Google आपकी साइट को क्रॉल कर रहा होता है, तब आपके इन्फ़्रास्ट्रक्चर पर बहुत ज़्यादा लोड पड़ सकता है या किसी रुकावट के दौरान अनचाही लागत आ सकती है. इसे कम करने के लिए, Google के क्रॉलर के किए गए अनुरोधों की संख्या कम करने का फ़ैसला लिया जा सकता है.

क्रॉल करने की दर में अचानक हुई बढ़ोतरी की वजह समझना

क्रॉल करने की दर में होने वाली अचानक बढ़ोतरी, आपकी साइट के स्ट्रक्चर में मौजूद गड़बड़ियों या साइट से जुड़ी अन्य समस्याओं की वजह से हो सकती है. हमें मिली शिकायतों के आधार पर, इसकी सबसे आम वजहें ये हैं:

• साइट पर यूआरएल का सही तरीके से कॉन्फ़िगर न होना, जो आम तौर पर साइट की किसी खास सुविधा की वजह से होता है:
  • वेबसाइट पर फ़िल्टर लगाकर खोजने या क्रम से लगाने और फ़िल्टर करने की अन्य सुविधाएं
  • चुनिंदा तारीखों के लिए, कई यूआरएल वाला कोई कैलेंडर
• डाइनैमिक सर्च विज्ञापन का टारगेट

हमारा सुझाव है कि आप होस्ट करने वाली कंपनी से संपर्क करें और अपने सर्वर के हाल ही के ऐक्सेस लॉग देखें, ताकि ट्रैफ़िक के सोर्स को समझा जा सके. साथ ही, यह देखा जा सके कि क्या यह क्रॉल करने की दर में हुई अचानक बढ़ोतरी की ऊपर बताई गई सामान्य वजहों में से कोई एक है. इसके बाद, वेबसाइट पर फ़िल्टर लगाकर खोजे गए यूआरएल की क्रॉलिंग को मैनेज करने और क्रॉल करने की क्षमता को ऑप्टिमाइज़ करने के बारे में हमारी गाइड देखें.

क्रॉलर ट्रैफ़िक को तुरंत कम करना (आपातकालीन स्थितियों के लिए)

अगर आपको तुरंत कुछ समय (जैसे, कुछ घंटे या एक-दो दिन) के लिए क्रॉल दर कम करनी है, तो क्रॉल अनुरोधों के लिए 200 के बजाय 500, 503 या 429 एचटीटीपी रिस्पॉन्स वाला स्टेटस कोड दें.

जब Google के क्रॉलिंग इन्फ़्रास्ट्रक्चर को 500, 503 या 429 एचटीटीपी रिस्पॉन्स स्टेटस कोड वाले काफ़ी ज़्यादा यूआरएल मिलते हैं (उदाहरण के लिए, अगर आपने अपनी वेबसाइट बंद कर दी है):

• यह आपकी साइट के पूरे होस्टनेम पर क्रॉल दर को कम कर देता है (उदाहरण के लिए, subdomain.example.com). इसमें गड़बड़ियों को दिखाने वाले और कॉन्टेंट दिखाने वाले यूआरएल, दोनों शामिल हैं.
• इन गड़बड़ियों की संख्या कम होने पर, यह क्रॉल दर को अपने-आप फिर से बढ़ा देता है.

503 या 429 स्टेटस कोड देते समय, Retry-After एचटीटीपी हेडर भी शामिल किया जा सकता है. इसके बारे में आरएफ़सी 9110 एचटीटीपी सिमैंटिक में बताया गया है. इससे यह पता चलता है कि Google के क्रॉलर, अनुरोध को फिर से कब भेज सकते हैं. इसके लिए, सेकंड में देरी या यूटीसी की तारीख और समय का इस्तेमाल किया जा सकता है:

• सेकंड में देरी:

  HTTP/1.1 503 Service Unavailable
  Retry-After: 120

• यूटीसी के हिसाब से तारीख और समय:

  HTTP/1.1 503 Service Unavailable
  Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

क्रॉल दर को कम करने के खास अनुरोध

अगर आपके इन्फ़्रास्ट्रक्चर पर, Google के क्रॉलर को गड़बड़ियां दिखाना मुमकिन नहीं है, तो खास अनुरोध करें. इससे, क्रॉल दर बहुत ज़्यादा होने से जुड़ी समस्या की शिकायत की जा सकती है. अनुरोध में, अपनी साइट के लिए सबसे सही दर बताएं. क्रॉल दर को बढ़ाने का अनुरोध नहीं किया जा सकता. साथ ही, अनुरोध का आकलन करने और उसे पूरा करने में कई दिन लग सकते हैं.