क्रॉल बजट को ऑप्टिमाइज़ करें

इस गाइड में बताया गया है कि बड़ी और अक्सर अपडेट की जाने वाली साइटों के लिए, Google की क्रॉल करने की प्रोसेस को कैसे मैनेज किया जा सकता है.

अगर आपकी साइट पर, ऐसे ज़्यादा पेज नहीं हैं जो अक्सर अपडेट किए जाते हैं या अगर आपके पेज उसी दिन क्रॉल हो रहे हैं जिस दिन उन्हें पब्लिश किया जाता है, तो यह गाइड आपके लिए नहीं है. खास तौर पर, Google Search के लिए, नियमित तौर पर साइटमैप को अप-टू-डेट रखना और पेज को इंडेक्स करने के बारे में जानकारी देने वाली रिपोर्ट देखते रहना काफ़ी है.

यह गाइड किसके लिए है

इस गाइड में दिए गए सुझाव, आम तौर पर सबसे सही तरीके हैं. हालांकि, यह एक ऐडवांस गाइड है. इसका मकसद मुख्य रूप से ऐसी साइटों के लिए है:

• 10 लाख से ज़्यादा यूनीक पेजों वाली ऐसी बड़ी साइटें जिनका कॉन्टेंट बहुत जल्दी नहीं बदलता (हफ़्ते में एक बार बदलता है)
• 10 हज़ार से ज़्यादा यूनीक पेजों वाली ऐसी मीडियम या बड़ी साइटें जिनका कॉन्टेंट बहुत जल्दी अपडेट होता है, जैसे कि हर रोज़
• ऐसी साइटें जिनके सभी यूआरएल में से काफ़ी सारे यूआरएल को Search Console ने खोजा गया - फ़िलहाल इंडेक्स नहीं किया गया की कैटगरी में रखा है

क्रॉल होने से जुड़ी सामान्य बातें

वेब का दायरा बहुत बड़ा है और Google के लिए, हर सार्वजनिक यूआरएल को क्रॉल और इंडेक्स कर पाना मुमकिन नहीं है. इस वजह से, Google किसी साइट को क्रॉल करने में कितना समय और रिसॉर्स खर्च कर सकता है, इसकी कुछ सीमाएं हैं. इन रिसॉर्स के डिस्ट्रिब्यूशन को आम तौर पर, साइट का क्रॉल बजट कहा जाता है. इस मामले में, Google के क्रॉलिंग इन्फ़्रास्ट्रक्चर के हिसाब से साइट का मतलब एक यूनीक होस्टनेम है. उदाहरण के लिए, https://www.example.com/ और https://code.example.com/ को अलग-अलग साइट माना जाता है. साथ ही, इनके लिए अलग-अलग क्रॉल बजट होते हैं. किसी साइट का क्रॉल बजट, दो मुख्य चीज़ों से तय किया जाता है: क्रॉल करने की क्षमता की सीमा और क्रॉल करने की ज़रूरत.

क्रॉल करने की क्षमता की सीमा

Google आपके सर्वर पर ज़्यादा दबाव डाले बिना ही, आपकी साइट को क्रॉल करने की कोशिश करता है. इसके लिए, Google के क्रॉलर आपकी साइट को क्रॉल करने की क्षमता की सीमा का हिसाब लगाते हैं. इसे होस्टलोड भी कहा जाता है. इससे, Google के लिए कनेक्शन खुले रखने में आपके सर्वर को लगने वाले कुल समय की सीमा तय होती है. इसमें, एक ही समय पर काम करने वाले कनेक्शन की संख्या और उनकी अवधि, दोनों को ध्यान में रखा जाता है. इससे यह पक्का किया जाता है कि Google, आपके सर्वर पर दबाव डाले बिना, सभी ज़रूरी कॉन्टेंट को कवरेज दे सके.

हर साइट के लिए, क्रॉल करने की क्षमता की डिफ़ॉल्ट सीमा एक जैसी होती है. अगर साइट को ज़्यादा क्रॉल करने की ज़रूरत है और साइट सही तरीके से काम कर रही है, तो Google के सिस्टम समय के साथ इस सीमा को अपने-आप अडजस्ट कर लेंगे.

क्रॉल करने की क्षमता की सीमा, इन वजहों से बढ़ या घट सकती है:

• क्रॉल की स्थिति: अगर साइट लगातार रिस्पॉन्स देती है और उसके रिस्पॉन्स देने में लगने वाला समय (इसमें लेटेंसी यानी इंतज़ार का समय और टाइम-टू-फ़र्स्ट बाइट शामिल है) स्थिर रहता है या बेहतर होता है, तो क्रॉल करने की सीमा बढ़ जाती है. इसका मतलब है कि साइट को क्रॉल करने के लिए ज़्यादा कनेक्शन का इस्तेमाल किया जा सकता है. अगर साइट धीरे काम करती है (लेटेंसी यानी इंतज़ार का समय बढ़ जाता है या रिस्पॉन्स में ज़्यादा समय लगता है) या सर्वर की गड़बड़ियों (5xx HTTP स्टेटस कोड) या अनुरोध संख्या सीमित करने के सिग्नल (जैसे कि HTTP 429) के साथ रिस्पॉन्स देती है, तो क्रॉल दर की सीमा घट जाती है और Google आपकी साइट को कम क्रॉल करता है.
• Google की क्रॉल करने की सीमाएं: Google के पास बहुत सारे रिसॉर्स हैं, लेकिन वे सीमित हैं. इसलिए, हमें वेब पर रिसॉर्स के डिस्ट्रिब्यूशन को प्राथमिकता देनी होगी.

क्रॉल करने की ज़रूरत

वेब को क्रॉल करने के लिए, हर क्रॉलर की अपनी "ज़रूरत" होती है. यह ज़रूरत, उस क्रॉलर की खास बातों के आधार पर तय होती है. उदाहरण के लिए, जब कोई साइट डाइनैमिक विज्ञापन टारगेट चला रही होती है, तो AdsBot की ज़रूरत आम तौर पर ज़्यादा होती है. साथ ही, आपके मर्चेंट फ़ीड में मौजूद प्रॉडक्ट के लिए, Google Shopping की ज़रूरत ज़्यादा होती है.

Googlebot के लिए, क्रॉल करने की ज़रूरत अलग-अलग होती है. यह साइट के साइज़, अपडेट होने के अंतराल, पेज की क्वालिटी, और दूसरी साइटों के मुकाबले साइट कितनी काम की है, इस पर निर्भर करती है. इन मुख्य फ़ैक्टर को कंट्रोल किया जा सकता है:

• बताई गई इन्वेंट्री: आपकी मदद के बिना, Google आपकी साइट के ऐसे सभी या ज़्यादातर यूआरएल को क्रॉल करने की कोशिश करता है जिनके बारे में उसे पता है. अगर इनमें से कई यूआरएल डुप्लीकेट हैं या कुछ वजहों (हटाए गए पेज, गैर-ज़रूरी पेज वगैरह) से आपको उन्हें क्रॉल नहीं कराना है, तो इससे आपकी साइट को क्रॉल करने में लगने वाला Google का समय बर्बाद होता है. इसे आप आसानी से कंट्रोल कर सकते हैं.
• लोकप्रियता: इंटरनेट पर मौजूद ऐसे यूआरएल अक्सर क्रॉल किए जाते हैं जो काफ़ी लोकप्रिय हैं, ताकि हमारे सिस्टम में उनका नया वर्शन मौजूद रहे.
• पुरानी जानकारी: हमारे सिस्टम किसी दस्तावेज़ को अक्सर इसलिए क्रॉल करते हैं, ताकि हमें उसमें किए गए बदलावों के बारे में पता चलता रहे.

इसके अलावा, साइट को नए यूआरएल पर ले जाने जैसे मामलों में क्रॉल करने की मांग बढ़ सकती है. ऐसा इसलिए हो सकता है, ताकि साइट के कॉन्टेंट को नए यूआरएल पर फिर से प्रोसेस किया जा सके.

खास जानकारी

क्रॉल करने की क्षमता और क्रॉल करने की ज़रूरत, दोनों की मदद से Google किसी साइट का क्रॉल बजट तय करता है. यह यूआरएल का एक सेट होता है जिसे Google क्रॉल कर सकता है और क्रॉल करना चाहता है. भले ही, क्रॉल करने की क्षमता तय सीमा तक नहीं पहुंचती, लेकिन क्रॉल करने की ज़रूरत घट जाती है, तो Googlebot आपकी साइट को कम बार क्रॉल करेगा.

सबसे सही तरीके

क्रॉल करने की क्षमता को बढ़ाने के लिए, यहां दिए गए सबसे सही तरीके अपनाएं:

• यूआरएल की इन्वेंट्री को मैनेज करना: सही टूल का इस्तेमाल करके, Google को यह बताएं कि साइट के किन पेजों को क्रॉल करना है और किन पेजों को नहीं. अगर Google को ऐसे यूआरएल को क्रॉल करने में ज़्यादा समय लगता है जिन्हें क्रॉल करने की ज़रूरत नहीं है, तो हो सकता है कि Google के क्रॉलर आपकी साइट के बाकी हिस्से को क्रॉल न करें या आपका क्रॉल बजट न बढ़ाएं.
  • डुप्लीकेट कॉन्टेंट को मिलाकर एक साथ रखना. डुप्लीकेट कॉन्टेंट को हटाएं, ताकि यूनीक यूआरएल को क्रॉल करने की बजाय यूनीक कॉन्टेंट को क्रॉल किया जा सके.
  • robots.txt का इस्तेमाल करके, यूआरएल को क्रॉल किए जाने से रोकना. कुछ पेज उपयोगकर्ताओं के लिए अहम हो सकते हैं, लेकिन यह ज़रूरी नहीं कि आप उन्हें Google के प्लैटफ़ॉर्म पर दिखाना चाहें या Google के सिस्टम से फिर से प्रोसेस कराना चाहें. उदाहरण के लिए, इनफ़ाइनाइट स्क्रोलिंग वाले पेज, जिन पर लिंक किए गए पेजों में मौजूद जानकरी को डुप्लीकेट किया गया है या किसी पेज के अलग-अलग वर्शन. अगर पहले बुलेट पॉइंट में बताए गए तरीके से भी ये पेज एक साथ नहीं आ पा रहे हैं, तो robots.txt का इस्तेमाल करके, गैर-ज़रूरी पेजों को ब्लॉक करें. robots.txt का इस्तेमाल करके यूआरएल को ब्लॉक करने से, Google उन्हें क्रॉल नहीं कर पाता. साथ ही, इससे इस बात की संभावना काफ़ी कम हो जाती है कि Google के अन्य सिस्टम उन यूआरएल को प्रोसेस करेंगे. जैसे, Google Search उन्हें इंडेक्स नहीं करेगा.
  • हमेशा के लिए हटाए गए पेजों के लिए, 404 या 410 स्टेटस कोड दिखाएं. Google ऐसे किसी भी यूआरएल को नहीं भूलता जिसके बारे में वह जानता है. हालांकि, किसी पेज के लिए 404 स्टेटस कोड दिखाने से Google को पता चल जाता है कि इस यूआरएल को फिर से क्रॉल नहीं करना है. हालांकि, ब्लॉक किए गए यूआरएल आपकी क्रॉल सूची का हिस्सा बने रहेंगे और पाबंदी हटाए जाने के बाद उन्हें फिर से क्रॉल किया जाएगा.
  • soft 404 गड़बड़ियां हटाएं. किसी पेज पर soft 404 दिखाने से उसके क्रॉल होने पर पाबंदी नहीं लगती और इससे आपके क्रॉल बजट पर असर पड़ सकता है. soft 404 गड़बड़ियों के लिए, पेज को इंडेक्स करने के बारे में जानकारी देने वाली रिपोर्ट देखें.
  • अपने साइटमैप को अप-टू-डेट रखें. Google, नियमित तौर पर आपका साइटमैप पढ़ता है. इसलिए, आपको जिन कॉन्टेंट को Google से क्रॉल कराना है उन्हें साइटमैप में ज़रूर शामिल करें. अगर आपकी साइट पर अपडेट किया गया कॉन्टेंट मौजूद है, तो हमारा सुझाव है कि आप <lastmod> टैग शामिल करें.
  • दूसरे वेबलिंक पर भेजने वाले लिंक का ज़्यादा इस्तेमाल न करें. इस वजह से क्रॉल करने की प्रोसेस पर गलत असर पड़ सकता है.
• अपने पेज को इस तरह डिज़ाइन करना कि वे तेज़ी से लोड हो सकें. अगर Google आपके पेज को तेज़ी से लोड और रेंडर कर पाता है, तो हम आपकी साइट का ज़्यादा कॉन्टेंट पढ़ पाएंगे.
  • लोड होने की स्पीड बढ़ाएं: सर्वर के रिस्पॉन्स टाइम और रिसॉर्स को ऑप्टिमाइज़ करें, ताकि पेज तेज़ी से लोड हो सकें.
  • एचटीटीपी कैश मेमोरी का इस्तेमाल करें: 304 (Not Modified) एचटीटीपी स्टेटस कोड का इस्तेमाल करें. अगर Google के आखिरी बार क्रॉल करने के बाद से किसी पेज में कोई बदलाव नहीं हुआ है, तो 304 कोड वापस भेजने से Google को यह पता चलता है कि उसे कैश मेमोरी में सेव किए गए वर्शन का फिर से इस्तेमाल करना है. इससे आपके सर्वर की बैंडविथ और रिसॉर्स की बचत होती है.
• क्रॉल बजट से जुड़ी समस्याओं को डीबग करें. देखें कि क्रॉल करते समय, आपकी साइट की उपलब्धता (पेजों को आसानी से खोल पाना) से जुड़ी कोई समस्या तो नहीं आ रही. साथ ही, ऐसे तरीके ढूंढें जिनसे आपकी साइट को बेहतर तरीके से क्रॉल किया जा सकता है.

मेरी साइट को ज़्यादा क्रॉल बजट कैसे मिलेगा?

क्रॉल बजट बढ़ाने के दो तरीके हैं:

• सर्वर के ज़्यादा रिसॉर्स जोड़ें: अगर आपकी साइट को क्रॉल नहीं किया जा सकता, क्योंकि आपके सर्वर की क्षमता कम है (उदाहरण के लिए, अगर आपको यूआरएल जांचने वाले टूल में होस्टलोड ज़्यादा बढ़ गया मैसेज दिख रहा है), तो कारोबार के लिहाज़ से सही लगने पर सर्वर के ज़्यादा रिसॉर्स जोड़ें.
• अपने कॉन्टेंट की क्वालिटी को उस Google प्रॉडक्ट के हिसाब से ऑप्टिमाइज़ करें जिसे टारगेट किया जा रहा है: Google, हर साइट के लिए क्रॉलिंग के रिसॉर्स तय करता है. इसके लिए, वह उन एलिमेंट को ध्यान में रखता है जो किसी खास Google प्रॉडक्ट के लिए काम के होते हैं. उदाहरण के लिए, Google Search के लिए, इसमें लोकप्रियता, उपयोगकर्ताओं के लिए फ़ायदेमंद होना, कॉन्टेंट की खासियत, और सर्विंग कैपेसिटी (ब्राउज़र में वेब पेज खोलने की क्षमता) जैसी चीज़ें शामिल होती हैं.