Google के सामान्य क्रॉलर की सूची
Google के सामान्य क्रॉलर का इस्तेमाल जानकारी खोजने के लिए किया जाता है. इनसे Google के Search इंडेक्स बनाने, किसी खास प्रॉडक्ट को क्रॉल करने, और विश्लेषण करने में मदद मिलती है. अपने-आप क्रॉल करते समय क्रॉलर, हमेशा robots.txt के नियमों का पालन करते हैं. Google के क्रॉलर की सामान्य तकनीकी प्रॉपर्टी, सामान्य क्रॉलर पर भी लागू होती हैं.
सामान्य क्रॉलर, आम तौर पर googlebot.json ऑब्जेक्ट और उनके crawl-***-***-***-***.googlebot.com या geo-crawl-***-***-***-***.geo.googlebot.com होस्टनेम से मैच करने वाले रिवर्स डीएनएस मास्क में पब्लिश की गई आईपी रेंज से क्रॉल करते हैं.
यहां दी गई सूची में, सामान्य क्रॉलर, एचटीटीपी अनुरोधों में दिखने वाली उनकी उपयोगकर्ता एजेंट स्ट्रिंग, robots.txt में User-agent: लाइन के लिए उनके उपयोगकर्ता एजेंट टोकन, और उन प्रॉडक्ट की जानकारी दी गई है जिन पर क्रॉलर की क्रॉल से जुड़ी प्राथमिकताओं का असर पड़ता है. कुछ क्रॉलर के पास एक से ज़्यादा उपयोगकर्ता एजेंट टोकन होते हैं. किसी नियम को लागू करने के लिए, आपको एक ही क्रॉलर टोकन का मिलान कराना होगा. यह सूची पूरी नहीं हैं. इसमें सिर्फ़ ऐसे अनुरोधकर्ता मौजूद हैं जो लॉग फ़ाइलों में दिख सकते हैं और जिनके बारे में हमसे सवाल पूछे गए हैं.
-
Googlebot
-
एचटीटीपी अनुरोधों में User-AgentGooglebot स्मार्टफ़ोन Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot डेस्कटॉप Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
कभी-कभी:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Googlebotrobots.txt ग्रुप का उदाहरण user-agent: Googlebot allow: /archive/1Q84 disallow: /archive
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebotउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग, Google Search पर असर डालती हैं. इसमें 'डिस्कवर' और Google Search की सभी सुविधाएं शामिल हैं. साथ ही, इनसे Google इमेज, Google वीडियो, Google News, और 'डिस्कवर' जैसे अन्य प्लैटफ़ॉर्म पर भी असर पड़ता है. Googlebot इमेज
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट Googlebot-Image/1.0
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot-Image
Googlebotrobots.txt ग्रुप का उदाहरण user-agent: Googlebot-Image allow: /archive/1Q84 disallow: /archive/moons.jpg
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebot-Imageउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google इमेज, डिस्कवर, Google वीडियो, और Google Search की उन सभी सुविधाओं पर पड़ता है जहां इमेज, लोगो, और फ़ेविकॉन दिखते हैं. Googlebot वीडियो
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट Googlebot-Video/1.0
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot-Video
Googlebotrobots.txt ग्रुप का उदाहरण user-agent: Googlebot-Video allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebot-Videoउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, वीडियो से जुड़ी Google Search की सुविधाओं और वीडियो पर निर्भर करने वाले अन्य प्रॉडक्ट पर पड़ता है. Googlebot News
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट Googlebot-News के लिए, एचटीटीपी अनुरोध वाली कोई अलग उपयोगकर्ता एजेंट स्ट्रिंग नहीं होती है. क्रॉल करने की प्रोसेस, Googlebot की कई उपयोगकर्ता एजेंट स्ट्रिंग का इस्तेमाल करके की जाती है. robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Googlebot-News
Googlebotrobots.txt ग्रुप का उदाहरण user-agent: Googlebot-News allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Googlebot-Newsउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google News के सभी प्लैटफ़ॉर्म पर पड़ता है (उदाहरण के लिए, Google Search में News टैब और Google News ऐप्लिकेशन). Google StoreBot
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट डेस्कटॉप एजेंट Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
मोबाइल एजेंट Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Storebot-Googlerobots.txt ग्रुप का उदाहरण user-agent: Storebot-Google allow: /archive/1Q84 disallow: /archive/konbini
वे प्रॉडक्ट जिन पर असर पड़ता है Storebot-Googleउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google Shopping के सभी प्लैटफ़ॉर्म पर पड़ता है (उदाहरण के लिए, Google Search और Google Shopping में मौजूद Shopping टैब). Google-InspectionTool
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट डेस्कटॉप एजेंट Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
मोबाइल एजेंट Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Google-InspectionTool
Googlebotrobots.txt ग्रुप का उदाहरण user-agent: Google-InspectionTool allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Google-InspectionToolउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Search टेस्टिंग टूल पर पड़ता है. उदाहरण के लिए, ज़्यादा बेहतर नतीजे (रिच रिज़ल्ट) की जांच और Search Console में यूआरएल की जांच. इसका असर, Google Search या दूसरे प्रॉडक्ट पर नहीं पड़ता. GoogleOther
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन GoogleOtherrobots.txt ग्रुप का उदाहरण user-agent: GoogleOther allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है GoogleOtherउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, किसी खास प्रॉडक्ट पर नहीं पड़ता. GoogleOther, एक सामान्य क्रॉलर है. अलग-अलग प्रॉडक्ट की टीमें, साइटों से सार्वजनिक तौर पर ऐक्सेस किया जा सकने वाला कॉन्टेंट फ़ेच करने के लिए इसका इस्तेमाल कर सकती हैं. उदाहरण के लिए, इंटरनल रिसर्च और डेवलपमेंट के लिए, इसका इस्तेमाल किसी एक क्रॉल में किया जा सकता है. इसका असर, Google Search या दूसरे प्रॉडक्ट पर नहीं पड़ता. GoogleOther-Image
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट GoogleOther-Image/1.0
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन GoogleOther-Image
GoogleOtherrobots.txt ग्रुप का उदाहरण user-agent: GoogleOther-Image allow: /archive/1Q84 disallow: /archive/moon.jpg
वे प्रॉडक्ट जिन पर असर पड़ता है GoogleOther-Imageउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, GoogleOther जैसे किसी खास प्रॉडक्ट पर नहीं पड़ता. GoogleOther-Image, GoogleOther का ऐसा वर्शन है जिसे सार्वजनिक रूप से ऐक्सेस किए जा सकने वाली इमेज के यूआरएल फ़ेच करने के लिए ऑप्टिमाइज़ किया गया है. GoogleOther-Video
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट GoogleOther-Video/1.0
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन GoogleOther-Video
GoogleOtherrobots.txt ग्रुप का उदाहरण user-agent: GoogleOther-Video allow: /archive/1Q84 disallow: /archive
वे प्रॉडक्ट जिन पर असर पड़ता है GoogleOther-Videoउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, GoogleOther जैसे किसी खास प्रॉडक्ट पर नहीं पड़ता. GoogleOther-Video, GoogleOther का वर्शन है, जिसे सार्वजनिक रूप से ऐक्सेस किए जा सकने वाले वीडियो के यूआरएल फ़ेच करने के लिए ऑप्टिमाइज़ किया गया है. Google-CloudVertexBot
-
एचटीटीपी अनुरोधों में उपयोगकर्ता एजेंट की सबस्ट्रिंग Google-CloudVertexBot
robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Google-CloudVertexBot
Googlebotrobots.txt ग्रुप का उदाहरण user-agent: Google-CloudVertexBot allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Google-CloudVertexBotउपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Vertex AI एजेंट बनाने के लिए, साइट के मालिक के अनुरोध पर किए गए क्रॉल पर पड़ता है. इसका असर, Google Search या दूसरे प्रॉडक्ट पर नहीं पड़ता. Google-एक्सटेंडेड
-
एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट Google-एक्सटेंडेड के लिए, अलग से एचटीटीपी अनुरोध वाली कोई उपयोगकर्ता एजेंट स्ट्रिंग नहीं होती है. क्रॉल करने की प्रोसेस, Google की मौजूदा उपयोगकर्ता एजेंट स्ट्रिंग का इस्तेमाल करके की जाती है. robots.txt वाले उपयोगकर्ता एजेंट टोकन का इस्तेमाल, सीमित क्षमता में किया जाता है. robots.txt robots.txt में उपयोगकर्ता एजेंट टोकन Google-Extendedrobots.txt ग्रुप का उदाहरण user-agent: Google-Extended allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है Google-Extendedएक स्टैंडअलोन प्रॉडक्ट टोकन है जिसका इस्तेमाल करके वेब पब्लिशर यह मैनेज कर सकते हैं कि उनकी साइटें, Gemini Apps और Vertex AI की मदद से तैयार किए गए एपीआई को बेहतर बनाने में मदद कर सकती हैं या नहीं. इन एपीआई में, मॉडल के आने वाले समय के वर्शन भी शामिल हैं जिनसे वे प्रॉडक्ट बने हैं. Vertex AI पर Google Search की मदद से भरोसेमदं स्रोतों से जानकारी लेने के दौरान उन वेब पेजों का इस्तेमाल नहीं किया जाता जिन्होंने Google-Extended को अस्वीकार किया है. Google-Extended की वजह से Google Search में किसी साइट को शामिल करने या उसकी रैंकिंग पर कोई असर नहीं पड़ता है.
उपयोगकर्ता एजेंट में, Chrome/W.X.Y.Z के बारे में जानकारी
सूची में उपयोगकर्ता एजेंट स्ट्रिंग में Chrome/W.X.Y.Z स्ट्रिंग एक प्लेसहोल्डर है. यह बताता है कि उस उपयोगकर्ता एजेंट ने Chrome ब्राउज़र के किस वर्शन का इस्तेमाल किया है: उदाहरण के लिए, 41.0.2272.96. यह वर्शन नंबर, समय के साथ बढ़ता है, ताकि Chromium के रिलीज़ हुए उस नए वर्शन से मैच कर सके जिसका इस्तेमाल Googlebot करता है.
अगर आपको इस पैटर्न वाले किसी उपयोगकर्ता एजेंट के लिए, अपना लॉग खोजना है या सर्वर को फ़िल्टर करना है, तो आप उस वर्शन के लिए सटीक वर्शन नंबर देने की जगह वाइल्डकार्ड का इस्तेमाल करें.