Googlebot की क्रॉल दर को कम करने से जुड़ी जानकारी

किसी साइट पर सबसे सही क्रॉल दर तय करने के लिए, Google के पास बेहतरीन एल्गोरिदम हैं. हमारा मकसद, आपके सर्वर के बैंडविड्थ पर ज़्यादा दबाव डाले बिना, हर विज़िट में आपकी साइट के ज़्यादा से ज़्यादा पेज क्रॉल करना है. कुछ मामलों में जब Google आपकी साइट को क्रॉल कर रहा होता है, तब आपके इन्फ़्रास्ट्रक्चर पर बहुत ज़्यादा दबाव पड़ सकता है या किसी रुकावट के दौरान अनचाही लागत आ सकती है. इसे कम करने के लिए, Googlebot के किए जाने वाले अनुरोधों की संख्या कम करने का फ़ैसला लिया जा सकता है.

अगर आपको कम समय के लिए (उदाहरण के लिए, कुछ घंटे या एक से दो दिन) के लिए क्रॉल दर को तुरंत कम करना है, तो 500, 503 या 429 को वापस करें क्रॉल करने के अनुरोधों के लिए, 200 के बजाय एचटीटीपी रिस्पॉन्स स्टेटस कोड. Googlebot आपकी साइट की क्रॉल दर को उस समय कम कर देता है, जब उसे 500, 503 या 429 एचटीटीपी रिस्पॉन्स स्टेटस कोड के साथ काफ़ी बड़ी संख्या में यूआरएल मिले हों (जैसे, अगर आपने अपनी वेबसाइट बंद कर दी है). क्रॉल दर में कमी की वजह से, आपकी साइट के पूरे होस्टनेम (उदाहरण के लिए, subdomain.example.com) पर असर पड़ता है. इससे, गड़बड़ी दिखाने वाले यूआरएल को क्रॉल करने के साथ-साथ, कॉन्टेंट दिखाने वाले यूआरएल पर भी असर पड़ता है. एक बार इन गड़बड़ियों की संख्या कम हो जाने पर, क्रॉल दर अपने-आप फिर से बढ़नी शुरू हो जाएगी.

ध्यान रखें कि आपकी साइट के स्ट्रक्चर में गड़बड़ी या उसमें कोई समस्या होने की वजह से, क्रॉल करने की प्रोसेस में काफ़ी बढ़ोतरी हो सकती है. क्रॉल करने की क्षमता को ऑप्टिमाइज़ करने के बारे में हमारी गाइड देखें.

अगर आपके इन्फ़्रास्ट्रक्चर पर Googlebot को गड़बड़ियां दिखाना संभव नहीं है, तो क्रॉल दर कम करने के लिए, खास अनुरोध करें. क्रॉल दर को बढ़ाने का अनुरोध नहीं किया जा सकता.