Google के क्रॉलर और फ़ेचर (उपयोगकर्ता एजेंट) की खास जानकारी

Google, अपने प्रॉडक्ट के लिए कार्रवाइयां करने के लिए क्रॉलर और फ़ेचर का इस्तेमाल करता है. ये कार्रवाइयां अपने-आप या उपयोगकर्ता के अनुरोध पर ट्रिगर होती हैं.

एक वेब पेज से दूसरे वेब पेज के लिंक पर जाकर, अपने-आप वेबसाइटें खोजने और स्कैन करने में इस्तेमाल होने वाले प्रोग्राम को "क्रॉलर" कहते हैं. कभी-कभी इसे "रोबोट" या "स्पाइडर" भी कहा जाता है. Google के मुख्य क्रॉलर को Googlebot कहा जाता है.

फ़ेचर ऐसे टूल हैं जो ब्राउज़र की तरह ही, उपयोगकर्ता के प्रॉम्प्ट करने पर एक यूआरएल का अनुरोध करते हैं.

यहां दी गई टेबल में, अलग-अलग प्रॉडक्ट और सेवाओं में इस्तेमाल किए गए Google के क्रॉलर और फ़ेचर की जानकारी दिखाई गई है. इसमें उन्हें अपने रेफ़रर लॉग में देखने और robots.txt में उन्हें शामिल करने का तरीका भी बताया गया है.

• उपयोगकर्ता एजेंट टोकन का इस्तेमाल robots.txt में मौजूद User-agent: लाइन में किया जाता है, ताकि आपकी साइट के लिए क्रॉल करने के नियम बनाते समय, सही तरह के क्रॉलर से मिलान किया जा सके. जैसा कि टेबल में दिखाया गया है, कुछ क्रॉलर के पास एक से ज़्यादा टोकन होते हैं. किसी नियम को लागू करने के लिए, आपको एक ही क्रॉलर टोकन का मिलान कराना होगा. हालांकि, यह सूची पूरी नहीं है, लेकिन इसमें ऐसे ज़्यादातर क्रॉलर मौजूद हैं जो आपकी वेबसाइट पर दिख सकते हैं.
• उपयोगकर्ता एजेंट की पूरी स्ट्रिंग में, क्रॉलर की पूरी जानकारी होती है. यह जानकारी, एचटीटीपी अनुरोध और आपके वेब लॉग में दिखती है.

सामान्य क्रॉलर

Google के सामान्य क्रॉलर का इस्तेमाल Google के Search इंडेक्स बनाने, किसी खास प्रॉडक्ट को क्रॉल करने, और विश्लेषण के लिए किया जाता है. वे हमेशा robots.txt नियमों का पालन करते हैं और आम तौर पर googlebot.json ऑब्जेक्ट में पब्लिश की गई आईपी रेंज से क्रॉल करते हैं.

सामान्य क्रॉलर
Googlebot स्मार्टफ़ोन	उपयोगकर्ता एजेंट टोकन Googlebot उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot डेस्कटॉप	उपयोगकर्ता एजेंट टोकन Googlebot उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 कभी-कभी: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot इमेज	इसका इस्तेमाल, इमेज पर निर्भर करने वाले प्रॉडक्ट और Google इमेज के लिए, इमेज बाइट को क्रॉल करने में किया जाता है. उपयोगकर्ता एजेंट टोकन Googlebot-Image Googlebot उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-Image/1.0
Googlebot News	Googlebot News, Googlebot का इस्तेमाल समाचार रिपोर्ट को क्रॉल करने के लिए करता है. हालांकि, यह अपने पुराने उपयोगकर्ता एजेंट टोकन Googlebot-News के मुताबिक काम करता है. उपयोगकर्ता एजेंट टोकन Googlebot-News Googlebot उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-News उपयोगकर्ता एजेंट, कई Googlebot उपयोगकर्ता एजेंट स्ट्रिंग का इस्तेमाल करता है.
Googlebot वीडियो	इसका इस्तेमाल, वीडियो पर निर्भर करने वाले प्रॉडक्ट और Google वीडियो के लिए, वीडियो बाइट को क्रॉल करने में किया जाता है. उपयोगकर्ता एजेंट टोकन Googlebot-Video Googlebot उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-Video/1.0
Google फ़ेविकॉन	उपयोगकर्ता एजेंट टोकन Googlebot-Image Googlebot उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Google StoreBot	Google StoreBot कुछ खास तरह के पेजों को क्रॉल करता है. इनमें प्रॉडक्ट के बारे में जानकारी देने वाले पेज, कार्ट पेज, और चेकआउट पेज के साथ-साथ, अन्य पेज भी शामिल हैं. उपयोगकर्ता एजेंट टोकन Storebot-Google उपयोगकर्ता एजेंट की पूरी स्ट्रिंग डेस्कटॉप एजेंट: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 मोबाइल एजेंट: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
Google-InspectionTool	Google-InspectionTool वह क्रॉलर है जिसका इस्तेमाल Search टेस्टिंग टूल में किया जाता है. जैसे, ज़्यादा बेहतर नतीजे (रिच रिज़ल्ट) की जांच और Search Console में यूआरएल की जांच. उपयोगकर्ता एजेंट और उपयोगकर्ता एजेंट टोकन के अलावा, यह Googlebot की नकल करता है. उपयोगकर्ता एजेंट टोकन Google-InspectionTool Googlebot उपयोगकर्ता एजेंट की पूरी स्ट्रिंग मोबाइल Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;) डेस्कटॉप Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
GoogleOther	सामान्य क्रॉलर, जिसका इस्तेमाल अलग-अलग प्रॉडक्ट टीमें, साइटों से सार्वजनिक रूप से ऐक्सेस किया जा सकने वाला कॉन्टेंट फ़ेच करने के लिए कर सकती हैं. उदाहरण के लिए, इंटरनल रिसर्च और डेवलपमेंट के लिए, इसका इस्तेमाल किसी एक क्रॉल में किया जा सकता है. उपयोगकर्ता एजेंट टोकन GoogleOther उपयोगकर्ता एजेंट की पूरी स्ट्रिंग GoogleOther

खास मामलों वाले क्रॉलर

जब क्रॉल की गई साइट और प्रॉडक्ट के बीच, क्रॉल करने की प्रोसेस के लिए कोई कानूनी समझौता होता है, तब खास मामलों वाले क्रॉलर, खास प्रॉडक्ट के लिए इस्तेमाल किए जाते हैं. उदाहरण के लिए, विज्ञापन पब्लिशर की अनुमति से AdsBot, robots.txt के ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ कर देता है. ऐसा हो सकता है कि कुछ खास मामलों वाले क्रॉलर, robots.txt नियमों का पालन न करते हों. ऐसे में, वे सामान्य क्रॉलर से अलग आईपी रेंज पर काम करते हैं. आईपी रेंज, special-crawlers.json ऑब्जेक्ट में पब्लिश की जाती हैं.

खास मामलों वाले क्रॉलर
APIs-Google	Google API, पुश नोटिफ़िकेशन मैसेज भेजने के लिए इस्तेमाल करता है. robots.txt में, ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ करता है. उपयोगकर्ता एजेंट टोकन APIs-Google उपयोगकर्ता एजेंट की पूरी स्ट्रिंग APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdsBot मोबाइल वेब Android	Android डिवाइस पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है. robots.txt में, ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ करता है. उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot मोबाइल वेब	iPhone पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है. robots.txt में, ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ करता है. उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot	डेस्कटॉप पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है. robots.txt में, ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ करता है. उपयोगकर्ता एजेंट टोकन AdsBot-Google उपयोगकर्ता एजेंट की पूरी स्ट्रिंग AdsBot-Google (+http://www.google.com/adsbot.html)
AdSense	AdSense क्रॉलर, आपकी साइट पर जाकर उसके कॉन्टेंट को समझता है, ताकि उसी के मुताबिक विज्ञापन दिखा सके. robots.txt में, ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ करता है. उपयोगकर्ता एजेंट टोकन Mediapartners-Google उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mediapartners-Google
Mobile AdSense	Mobile AdSense क्रॉलर आपकी साइट पर जाकर उसके कॉन्टेंट को समझता है, ताकि उसी के मुताबिक विज्ञापन दिखा सके. robots.txt में, ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ करता है. उपयोगकर्ता एजेंट टोकन Mediapartners-Google उपयोगकर्ता एजेंट की पूरी स्ट्रिंग (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

उपयोगकर्ता की ओर से ट्रिगर किए गए फ़ेचर

उपयोगकर्ता की ओर से ट्रिगर किए गए फ़ेचर, उपयोगकर्ताओं के ज़रिए किसी खास प्रॉडक्ट से जुड़े फ़ंक्शन को परफ़ॉर्म करने के लिए ट्रिगर किए जाते हैं. उदाहरण के लिए, साइट की पुष्टि करने वाला Google का उपयोगकर्ता एजेंट, उपयोगकर्ता के अनुरोध पर कार्रवाई करता है. किसी उपयोगकर्ता ने फ़ेच करने का अनुरोध किया था, इसलिए ये फ़ेच आम तौर पर robots.txt नियमों का पालन नहीं करते. उपयोगकर्ता की ओर से ट्रिगर किए गए फ़ेचर में इस्तेमाल हुई आईपी रेंज, user-triggered-fetchers.json ऑब्जेक्ट में पब्लिश की जाती हैं.

उपयोगकर्ता की ओर से ट्रिगर किए गए फ़ेचर
Feedfetcher	Feedfetcher का इस्तेमाल Google Podcasts, Google News, और PubSubHubbub के लिए, आरएसएस या ऐटम फ़ीड को क्रॉल करने के लिए किया जाता है. उपयोगकर्ता एजेंट टोकन FeedFetcher-Google उपयोगकर्ता एजेंट की पूरी स्ट्रिंग FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Google Publisher Center	यह Google Publisher Center के ज़रिए, पब्लिशर के दिए गए फ़ीड को फ़ेच करता है और उन्हें प्रोसेस करता है. इन्हें Google News के लैंडिंग पेज पर इस्तेमाल किया जाता है. उपयोगकर्ता एजेंट की पूरी स्ट्रिंग GoogleProducer; (+http://goo.gl/7y4SX)
Google Read Aloud	उपयोगकर्ता के अनुरोध पर, Google Read Aloud, लिखाई को बोली में बदलने की सुविधा (टीटीएस) का इस्तेमाल करके, वेब पेजों को फ़ेच करता है और उन्हें पढ़ता है. उपयोगकर्ता एजेंट की पूरी स्ट्रिंग मौजूदा एजेंट: डेस्कटॉप एजेंट: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943) मोबाइल एजेंट: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943) पुराना एजेंट (अब काम नहीं करता): google-speakr
साइट की पुष्टि करने वाला Google का उपयोगकर्ता एजेंट	उपयोगकर्ता के अनुरोध पर, साइट की पुष्टि करने वाला Google का उपयोगकर्ता एजेंट, Search Console की पुष्टि करने वाले टोकन को फ़ेच करता है. उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

उपयोगकर्ता एजेंट में, Chrome/W.X.Y.Z के बारे में जानकारी

टेबल में दी गई उपयोगकर्ता एजेंट स्ट्रिंग में आपको जहां भी Chrome/W.X.Y.Z स्ट्रिंग दिखती है, वहां W.X.Y.Z असल में प्लेसहोल्डर होता है. यह प्लेसहोल्डर बताता है कि वह उपयोगकर्ता एजेंट, Chrome ब्राउज़र के किस वर्शन का इस्तेमाल कर रहा है: उदाहरण के लिए, 41.0.2272.96. यह वर्शन नंबर, समय के साथ बढ़ता है, ताकि Chromium के रिलीज़ हुए उस नए वर्शन से मैच कर सके जिसका इस्तेमाल Googlebot करता है.

अगर आपको इस पैटर्न वाले उपयोगकर्ता एजेंट के लिए, अपना लॉग खोजना है या सर्वर को फ़िल्टर करना है, तो आप उस वर्शन के लिए सटीक वर्शन नंबर देने की जगह वाइल्डकार्ड का इस्तेमाल करें.

robots.txt में मौजूद उपयोगकर्ता एजेंट

robots.txt फ़ाइल में कई उपयोगकर्ता एजेंट की पहचान की जाती है, लेकिन Google खास तौर पर दिखाए गए एजेंट को फ़ॉलो करता है. Google से अपने सभी पेजों को क्रॉल कराने के लिए, आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. अगर आपको Google के सभी क्रॉलर को अपना कुछ कॉन्टेंट क्रॉल करने की अनुमति देना है या उन्हें ऐसा करने से रोकना है, तो Googlebot को उपयोगकर्ता एजेंट के तौर पर दिखाकर ऐसा किया जा सकता है. उदाहरण के लिए, अगर आपको अपने सभी पेजों को Google Search में दिखाने के साथ-साथ, AdSense विज्ञापनों को भी अपने पेजों पर दिखाना है, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. इसी तरह, अगर आपको कुछ पेजों को क्रॉल कराने से रोकना हो, तो Googlebot उपयोगकर्ता एजेंट को ब्लॉक करने पर, Google के अन्य सभी उपयोगकर्ता एजेंट भी ब्लॉक हो जाएंगे.

अगर आपको ज़्यादा कंट्रोल की ज़रूरत है, तो सुविधा के हिसाब से खास तरीके अपनाए जा सकते हैं. उदाहरण के लिए, हो सकता है कि आप अपने सभी पेजों को Google Search में दिखाना चाहें, लेकिन शायद यह न चाहें कि आपकी निजी डायरेक्ट्री में मौजूद इमेज को क्रॉल किया जाए. ऐसे में, Googlebot-Image उपयोगकर्ता एजेंट को अपनी निजी डायरेक्ट्री में मौजूद फ़ाइलों को क्रॉल करने से रोकने के लिए, (Googlebot को, सभी फ़ाइलों को क्रॉल करने की अनुमति देते हुए) robots.txt का इस्तेमाल इस तरह करें:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

अब एक और उदाहरण लेते हैं. मान लीजिए कि आपको अपने सभी पेजों पर विज्ञापन दिखाना है, लेकिन आपको उन पेजों को Google Search में नहीं दिखाना है. यहां, आप Googlebot पर रोक लगाएंगे, लेकिन Mediapartners-Google उपयोगकर्ता एजेंट को अनुमति देंगे, कुछ इस तरह से:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

क्रॉल करने की रफ़्तार को कंट्रोल करना

Google का हर क्रॉलर, साइटों को किसी खास मकसद से और अलग-अलग दरों पर ऐक्सेस करता है. Google, एल्गोरिदम का इस्तेमाल करके हर साइट के लिए क्रॉल की सही दर तय करता है. अगर Google क्रॉलर, आपकी साइट को बहुत ज़्यादा बार क्रॉल कर रहा है, तो क्रॉल दर को कम किया जा सकता है.

अब काम नहीं करने वाले Google क्रॉलर

इन Google क्रॉलर का अब इस्तेमाल नहीं किया जा रहा है और इन्हें सिर्फ़ पुराने रेफ़रंस के लिए यहां नोट किया गया है.

अब काम नहीं करने वाले Google क्रॉलर
Duplex on the web	इसका इस्तेमाल Duplex on the web सेवा के साथ किया जाता है. उपयोगकर्ता एजेंट टोकन DuplexWeb-Google उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Web Light	उपयोगकर्ता ने खोज के नतीजों में जब भी आपके पेज पर क्लिक किया, तो उस दौरान no-transform हेडर की मौजूदगी की जांच की जाती है. Web Light के उपयोगकर्ता एजेंट का इस्तेमाल सिर्फ़ तब किया जाता है, जब वेबसाइट पर आने वाले किसी व्यक्ति ने सीधे तौर पर ब्राउज़ करने का अनुरोध किया हो. इसका मकसद, robots.txt के उन नियमों को अनदेखा करना है जिनसे साइट को क्रॉल करने के ऑटोमेटेड (अपने-आप होने वाले) अनुरोधों को ब्लॉक किया जाता है. उपयोगकर्ता एजेंट टोकन googleweblight उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
मोबाइल ऐप्लिकेशन Android	Android ऐप्लिकेशन पर मौजूद पेज के विज्ञापन की क्वालिटी की जांच करता है. यह AdsBot-Google रोबोट के नियमों का पालन करता है, लेकिन robots.txt में मौजूद ग्लोबल उपयोगकर्ता एजेंट (*) को अनदेखा करता है. उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile-Apps उपयोगकर्ता एजेंट की पूरी स्ट्रिंग AdsBot-Google-Mobile-Apps