Googlebot की क्रॉल दर को कम करने से जुड़ी जानकारी

किसी साइट पर सबसे सही क्रॉल दर तय करने के लिए, Google के पास बेहतरीन एल्गोरिदम हैं. हमारा मकसद, आपके सर्वर के बैंडविड्थ पर ज़्यादा दबाव डाले बिना, हर विज़िट में आपकी साइट के ज़्यादा से ज़्यादा पेज क्रॉल करना है. कुछ मामलों में जब Google आपकी साइट को क्रॉल कर रहा होता है, तब आपके इन्फ़्रास्ट्रक्चर पर बहुत ज़्यादा दबाव पड़ सकता है या किसी रुकावट के दौरान अनचाही लागत आ सकती है. इसे कम करने के लिए, Googlebot के किए जाने वाले अनुरोधों की संख्या कम करने का फ़ैसला लिया जा सकता है.

अगर आपको कुछ समय (जैसे, कुछ घंटे या एक-दो दिन) के लिए क्रॉल करने की दर कम करनी है, तो अनुरोधों को क्रॉल करने के लिए 200 के बजाय 500, 503 या 429 एचटीटीपी रिस्पॉन्स वाला स्टेटस कोड दिखाएं. Googlebot आपकी साइट की क्रॉल दर को उस समय कम कर देता है, जब उसे 500, 503 या 429 एचटीटीपी रिस्पॉन्स स्टेटस कोड के साथ काफ़ी बड़ी संख्या में यूआरएल मिले हों (जैसे, अगर आपने अपनी वेबसाइट बंद कर दी है). अगर क्रॉल करने की दर को कम किया जाता है, तो इसका असर साइट (उदाहरण के लिए, subdomain.example.com) के पूरे होस्टनेम पर पड़ता है. इसका मतलब है कि गड़बड़ियों को दिखाने वाले यूआरएल को क्रॉल करने के साथ-साथ कॉन्टेंट पर रीडायरेक्ट करने वाले यूआरएल पर भी इसका असर पड़ता है. एक बार इन गड़बड़ियों की संख्या कम हो जाने पर, क्रॉल दर अपने-आप फिर से बढ़नी शुरू हो जाएगी.

ध्यान रखें कि क्रॉल करने की दर में होने वाली अचानक बढ़ोतरी, आपकी साइट के स्ट्रक्चर में मौजूद गड़बड़ियों या साइट से जुड़ी अन्य समस्याओं की वजह से हो सकती है. क्रॉल करने की क्षमता को ऑप्टिमाइज़ करने के बारे में जानने के लिए हमारी गाइड पढ़ें.

अगर आपके इन्फ़्रास्ट्रक्चर पर Googlebot को गड़बड़ियां नहीं दिखाई जा सकतीं, तो क्रॉल करने की दर को कम करने के लिए, खास अनुरोध करें. क्रॉल दर को बढ़ाने का अनुरोध नहीं किया जा सकता.