Google के क्रॉलर (उपयोगकर्ता एजेंट) की खास जानकारी

एक वेबपेज से दूसरे वेब पेज के लिंक पर जाकर, अपने-आप वेबसाइटें खोजने और स्कैन करने में इस्तेमाल होने वाले प्रोग्राम को "क्रॉलर" कहते हैं. कभी-कभी इसे "रोबोट" या "स्पाइडर" भी कहा जाता है. Google के मुख्य क्रॉलर को Googlebot कहा जाता है. इस टेबल में, Google के उन सामान्य क्रॉलर के बारे में जानकारी दी गई है जिन्हें रेफ़रल देने वाले लॉग में देखा जा सकता है. साथ ही, इस टेबल में यह जानकारी दी गई है कि उन क्रॉलर को robots.txt, robots meta टैग, और X-Robots-Tag एचटीटीपी नियमों में कैसे दिखाना चाहिए.

इस टेबल में उन क्रॉलर को दिखाया गया है जिनका इस्तेमाल Google के अलग-अलग प्रॉडक्ट और सेवाएं करती हैं:

  • उपयोगकर्ता एजेंट टोकन का इस्तेमाल robots.txt में मौजूद User-agent: लाइन में किया जाता है, ताकि आपकी साइट के लिए क्रॉल करने के नियम बनाते समय, सही तरह के क्रॉलर से मिलान किया जा सके. जैसा कि टेबल में दिखाया गया है, कुछ क्रॉलर के पास एक से ज़्यादा टोकन होते हैं. किसी नियम को लागू करने के लिए, आपको एक ही क्रॉलर टोकन का मिलान कराना होगा. हालांकि, यह सूची पूरी नहीं है, लेकिन इसमें ऐसे ज़्यादातर क्रॉलर मौजूद हैं जो आपकी वेबसाइट पर दिख सकते हैं.
  • उपयोगकर्ता एजेंट की पूरी स्ट्रिंग में, क्रॉलर की पूरी जानकारी होती है. यह जानकारी, एचटीटीपी अनुरोध और आपके वेब लॉग में दिखती है.

क्रॉलर

APIs-Google
उपयोगकर्ता एजेंट टोकन APIs-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot मोबाइल वेब Android

Android डिवाइस पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot मोबाइल वेब

iPhone पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

डेस्कटॉप पर मौजूद वेब पेज के विज्ञापन की क्वालिटी की जांच करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense
उपयोगकर्ता एजेंट टोकन Mediapartners-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mediapartners-Google

Googlebot इमेज
उपयोगकर्ता एजेंट टोकन
  • Googlebot-Image
  • Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-Image/1.0

Googlebot News
उपयोगकर्ता एजेंट टोकन
  • Googlebot-News
  • Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-News उपयोगकर्ता एजेंट, कई Googlebot उपयोगकर्ता एजेंट स्ट्रिंग का इस्तेमाल करता है.

Googlebot वीडियो
उपयोगकर्ता एजेंट टोकन
  • Googlebot-Video
  • Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Googlebot-Video/1.0

Googlebot डेस्कटॉप
उपयोगकर्ता एजेंट टोकन Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot स्मार्टफ़ोन
उपयोगकर्ता एजेंट टोकन Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
उपयोगकर्ता एजेंट टोकन Mediapartners-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

मोबाइल ऐप्लिकेशन Android

Android ऐप्लिकेशन पर मौजूद पेज के विज्ञापन की क्वालिटी की जांच करता है. यह AdsBot-Google robots के नियमों का पालन करता है.

उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile-Apps
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग AdsBot-Google-Mobile-Apps

Feedfetcher

उपयोगकर्ता एजेंट टोकन FeedFetcher-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

उपयोगकर्ता एजेंट टोकन Google-Read-Aloud
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग

मौजूदा एजेंट:

  • डेस्कटॉप एजेंट:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
  • मोबाइल एजेंट:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)

पुराना एजेंट (अब सेवा में नहीं है):

google-speakr

Google फ़ेविकॉन
उपयोगकर्ता एजेंट टोकन
  • Googlebot-Image
  • Googlebot
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Google StoreBot
उपयोगकर्ता एजेंट टोकन Storebot-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
  • डेस्कटॉप एजेंट:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • मोबाइल एजेंट:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Google साइट की पुष्टि करने वाला
उपयोगकर्ता एजेंट टोकन Google-Site-Verification
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

उपयोगकर्ता एजेंट में, Chrome/W.X.Y.Z के बारे में जानकारी

टेबल में दी गई उपयोगकर्ता एजेंट स्ट्रिंग में आपको जहां भी Chrome/W.X.Y.Z स्ट्रिंग दिखती है, वहां W.X.Y.Z असल में प्लेसहोल्डर होता है. यह प्लेसहोल्डर बताता है कि वह उपयोगकर्ता एजेंट, Chrome ब्राउज़र के किस वर्शन का इस्तेमाल कर रहा है: उदाहरण के लिए, 41.0.2272.96. यह वर्शन नंबर, समय के साथ बढ़ता है, ताकि Chromium के रिलीज़ हुए उस नए वर्शन से मैच कर सके जिसका इस्तेमाल Googlebot करता है.

अगर आपको इस पैटर्न वाले उपयोगकर्ता एजेंट के लिए, अपना लॉग खोजना है या सर्वर को फ़िल्टर करना है, तो आप उस वर्शन के लिए सटीक वर्शन नंबर देने की जगह वाइल्डकार्ड का इस्तेमाल करें.

robots.txt में मौजूद उपयोगकर्ता एजेंट

robots.txt फ़ाइल में कई उपयोगकर्ता एजेंट की पहचान की जाती है, लेकिन Google खास तौर पर दिखाए गए एजेंट को फ़ॉलो करता है. Google से अपने सभी पेजों को क्रॉल कराने के लिए, आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. अगर आपको Google के सभी क्रॉलर को अपना कुछ कॉन्टेंट क्रॉल करने की अनुमति देना है या उन्हें ऐसा करने से रोकना है, तो Googlebot को उपयोगकर्ता एजेंट के तौर पर दिखाकर ऐसा किया जा सकता है. उदाहरण के लिए, अगर आपको अपने सभी पेजों को Google Search में दिखाने के साथ-साथ, AdSense विज्ञापनों को भी अपने पेजों पर दिखाना है, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. इसी तरह, अगर आपको कुछ पेजों को क्रॉल कराने से रोकना हो, तो Googlebot उपयोगकर्ता एजेंट को ब्लॉक करने पर, Google के अन्य सभी उपयोगकर्ता एजेंट भी ब्लॉक हो जाएंगे.

अगर आपको ज़्यादा कंट्रोल की ज़रूरत है, तो सुविधा के हिसाब से खास तरीके अपनाए जा सकते हैं. उदाहरण के लिए, हो सकता है कि आप अपने सभी पेजों को Google Search में दिखाना चाहें, लेकिन शायद यह न चाहें कि आपकी निजी डायरेक्ट्री में मौजूद इमेज को क्रॉल किया जाए. ऐसे में, Googlebot-Image उपयोगकर्ता एजेंट को अपनी निजी डायरेक्ट्री में मौजूद फ़ाइलों को क्रॉल करने से रोकने के लिए, (Googlebot को, सभी फ़ाइलों को क्रॉल करने की अनुमति देते हुए) robots.txt का इस्तेमाल इस तरह करें: 

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

अब एक और उदाहरण लेते हैं. मान लीजिए कि आपको अपने सभी पेजों पर विज्ञापन दिखाना है, लेकिन आपको उन पेजों को Google Search में नहीं दिखाना है. यहां, Googlebot पर रोक लगाई जाएगी, लेकिन Mediapartners-Google उपयोगकर्ता एजेंट को अनुमति देंगे, जैसे कि: 

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots meta टैग में मौजूद उपयोगकर्ता एजेंट

कुछ पेज अलग-अलग क्रॉलर से जुड़े नियम बताने के लिए, एक से ज़्यादा robots meta टैग का इस्तेमाल करते हैं, जैसे कि: 

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

इस मामले में, Google सभी नेगेटिव नियमों का इस्तेमाल करेगा और Googlebot noindex और nofollow, दोनों नियमों का पालन करेगा. उन तरीकों को कंट्रोल करने के बारे में ज़्यादा जानकारी जिनकी मदद से Google, आपकी साइट को क्रॉल और इंडेक्स करता है.

क्रॉल करने की रफ़्तार को कंट्रोल करना

Google का हर क्रॉलर, साइटों को किसी खास मकसद से और अलग-अलग दरों पर ऐक्सेस करता है. Google, एल्गोरिदम का इस्तेमाल करके हर साइट के लिए क्रॉल की सही दर तय करता है. अगर Google क्रॉलर, आपकी साइट को बहुत ज़्यादा बार क्रॉल कर रहा है, तो क्रॉल दर को कम किया जा सकता है.

अब काम नहीं करने वाले Google क्रॉलर

इन Google क्रॉलर का अब इस्तेमाल नहीं किया जा रहा है और इन्हें सिर्फ़ पुराने रेफ़रंस के लिए यहां नोट किया गया है.

अब काम नहीं करने वाले Google क्रॉलर

Duplex on the web

इसका इस्तेमाल Duplex on the web सेवा के साथ किया जाता है.

उपयोगकर्ता एजेंट टोकन DuplexWeb-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

उपयोगकर्ता ने खोज के नतीजों में जब भी आपके पेज पर क्लिक किया, तो उस दौरान no-transform हेडर की मौजूदगी की जांच की जाती है. Web Light के उपयोगकर्ता एजेंट का इस्तेमाल सिर्फ़ तब किया जाता है, जब वेबसाइट पर आने वाले किसी व्यक्ति ने सीधे तौर पर ब्राउज़ करने का अनुरोध किया हो. इसका मकसद, robots.txt के उन नियमों को अनदेखा करना है जिनसे साइट को क्रॉल करने के ऑटोमेटेड (अपने-आप होने वाले) अनुरोधों को ब्लॉक किया जाता है.

उपयोगकर्ता एजेंट टोकन googleweblight
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19