Google की क्रॉल दर को कम करना

Google के क्रॉलर इन्फ़्रास्ट्रक्चर में बेहतरीन एल्गोरिदम होते हैं. इनके इस्तेमाल से, किसी साइट के लिए सबसे सही क्रॉल दर तय की जाती है. हमारा मकसद, आपके सर्वर पर ज़्यादा लोड डाले बिना, हर विज़िट में आपकी साइट के ज़्यादा से ज़्यादा पेज क्रॉल करना है. कुछ मामलों में जब Google आपकी साइट को क्रॉल कर रहा होता है, तब आपके इन्फ़्रास्ट्रक्चर पर बहुत ज़्यादा लोड पड़ सकता है या किसी रुकावट के दौरान अनचाही लागत आ सकती है. इसे कम करने के लिए, Google के क्रॉलर के किए गए अनुरोधों की संख्या कम करने का फ़ैसला लिया जा सकता है.

क्रॉल करने की दर में अचानक हुई बढ़ोतरी की वजह समझना

क्रॉल करने की दर में होने वाली अचानक बढ़ोतरी, आपकी साइट के स्ट्रक्चर में मौजूद गड़बड़ियों या साइट से जुड़ी अन्य समस्याओं की वजह से हो सकती है. हमें मिली शिकायतों के आधार पर, इसकी सबसे आम वजहें ये हैं:

  • साइट पर यूआरएल का गलत कॉन्फ़िगरेशन, जो आम तौर पर साइट की किसी खास सुविधा की वजह से होता है:
    • वेबसाइट पर फ़िल्टर लगाकर खोजने या साइट की क्रम से लगाने और फ़िल्टर करने की अन्य सुविधाएं
    • चुनिंदा तारीखों के लिए, कई यूआरएल वाला कोई कैलेंडर
  • डाइनैमिक सर्च विज्ञापन का टारगेट

हमारा सुझाव है कि आप होस्ट करने वाली कंपनी से संपर्क करें और अपने सर्वर के हाल ही के ऐक्सेस लॉग देखें, ताकि ट्रैफ़िक के सोर्स को समझा जा सके. साथ ही, यह भी देखा जा सके कि क्या यह क्रॉल करने की दर में हुई अचानक बढ़ोतरी की ऊपर बताई गई सामान्य वजहों में से कोई एक है. इसके बाद, वेबसाइट पर फ़िल्टर लगाकर खोजे गए यूआरएल की क्रॉलिंग को मैनेज करने और क्रॉल करने की क्षमता को ऑप्टिमाइज़ करने के बारे में हमारी गाइड देखें.

क्रॉलर ट्रैफ़िक को तुरंत कम करना (आपातकालीन स्थितियों के लिए)

अगर आपको कुछ समय (जैसे, कुछ घंटे या एक-दो दिन) के लिए क्रॉल करने की दर कम करनी है, तो अनुरोधों को क्रॉल करने के लिए 200 के बजाय 500, 503 या 429 एचटीटीपी रिस्पॉन्स वाला स्टेटस कोड दिखाएं. Google का क्रॉलिंग इन्फ़्रास्ट्रक्चर, आपकी साइट की क्रॉल दर को कम कर देता है. ऐसा तब होता है, जब उसे 500, 503 या 429 एचटीटीपी रिस्पॉन्स स्टेटस कोड वाले काफ़ी ज़्यादा यूआरएल मिलते हैं (उदाहरण के लिए, अगर आपने अपनी वेबसाइट बंद कर दी है). अगर क्रॉल करने की दर को कम किया जाता है, तो इसका असर साइट (उदाहरण के लिए, subdomain.example.com) के पूरे होस्टनेम पर पड़ता है. इसका मतलब है कि गड़बड़ियों को दिखाने वाले यूआरएल को क्रॉल करने के साथ-साथ कॉन्टेंट पर रीडायरेक्ट करने वाले यूआरएल पर भी इसका असर पड़ता है. एक बार इन गड़बड़ियों की संख्या कम हो जाने पर, क्रॉल दर अपने-आप फिर से बढ़नी शुरू हो जाएगी.

क्रॉल दर को कम करने के खास अनुरोध

अगर आपके इन्फ़्रास्ट्रक्चर पर, Google के क्रॉलर को गड़बड़ियां दिखाना मुमकिन नहीं है, तो खास अनुरोध करें. इससे, क्रॉल दर बहुत ज़्यादा होने से जुड़ी समस्या की शिकायत की जा सकती है. अनुरोध में, अपनी साइट के लिए सबसे सही दर बताएं. क्रॉल दर को बढ़ाने का अनुरोध नहीं किया जा सकता. साथ ही, अनुरोध का आकलन करने और उसे पूरा करने में कई दिन लग सकते हैं.