Googlebot की क्रॉल दर को कम करने से जुड़ी जानकारी
किसी साइट पर सबसे सही क्रॉल दर तय करने के लिए, Google के पास बेहतरीन एल्गोरिदम हैं. हमारा मकसद आपके सर्वर पर ज़्यादा दबाव डाले बिना, आपकी वेबसाइट पर हर बार आने के दौरान आपके ज़्यादा से ज़्यादा पेजों को क्रॉल करना है. कुछ मामलों में जब Google आपकी साइट को क्रॉल कर रहा होता है, तब आपके इन्फ़्रास्ट्रक्चर पर बहुत ज़्यादा दबाव पड़ सकता है या किसी रुकावट के दौरान अनचाही लागत आ सकती है इसे कम करने के लिए, Googlebot के किए जाने वाले अनुरोधों की संख्या कम करने का फ़ैसला लिया जा सकता है.
अगर आपको Googlebot की क्रॉल दर को कम करना है, तो यहां दिए गए कुछ विकल्प अपनाए जा सकते हैं:
Search Console की मदद से क्रॉल दर कम करना (सुझाया गया)
क्रॉल दर को तेज़ी से कम करने के लिए, Search Console में Googlebot की क्रॉल दर बदलें. आम तौर पर, इस सेटिंग में किए गए बदलाव कुछ दिनों में दिखने लगते हैं. इस सेटिंग का इस्तेमाल करने के लिए, पहले अपनी साइट के मालिकाना हक की पुष्टि करें. पक्का करें कि आप क्रॉल दर के लिए वह वैल्यू तय न करें जो आपकी साइट की ज़रूरतों के लिए बहुत कम है. इस बारे में ज़्यादा जानें कि Googlebot के लिए क्रॉल बजट का क्या मतलब है.
अगर आपकी साइट के लिए, क्रॉल दर की सेटिंग उपलब्ध नहीं है, तो क्रॉल दर कम करने के लिए, खास अनुरोध करें. क्रॉल दर को बढ़ाने का अनुरोध नहीं किया जा सकता.
Google को क्रॉल दर अपने-आप कम करने देना
अगर आपको कुछ समय (जैसे, कुछ घंटे या एक-दो दिन) के लिए क्रॉल दर कम करनी है, तो सारे कॉन्टेंट के बजाय गड़बड़ी की सूचना देने वाला ऐसा पेज दिखाएं जिसमें 500, 503 या 429 एचटीटीपी रिस्पॉन्स स्टेटस कोड शामिल हो.
Googlebot आपकी साइट की क्रॉल दर को उस समय कम कर देता है, जब उसे 500, 503 या 429 एचटीटीपी रिस्पॉन्स स्टेटस कोड के साथ काफ़ी बड़ी संख्या में यूआरएल मिले हों (जैसे, अगर आपने अपनी वेबसाइट बंद कर दी है).
यह बदलाव, उन यूआरएल को क्रॉल करने के दौरान दिखता है जो इन गड़बड़ियों को दिखाते हैं. साथ ही, यह वेबसाइट को क्रॉल करने के दौरान भी दिखता है. एक बार इन गड़बड़ियों की संख्या कम होने पर, क्रॉल दर अपने-आप फिर से बढ़नी शुरू हो जाएगी.