संग्रह की मदद से व्यवस्थित रहें
अपनी प्राथमिकताओं के आधार पर, कॉन्टेंट को सेव करें और कैटगरी में बांटें.
Google के क्रॉलर (उपयोगकर्ता एजेंट) की खास जानकारी
एक वेबपेज से दूसरे वेब पेज के लिंक पर जाकर, अपने-आप वेबसाइटें खोजने और स्कैन करने में इस्तेमाल होने वाले प्रोग्राम को "क्रॉलर" कहते हैं. कभी-कभी इसे "रोबोट" या "स्पाइडर" भी कहा जाता है. Google के मुख्य क्रॉलर को Googlebot कहा जाता है. इस टेबल में, Google के उन सामान्य क्रॉलर के बारे में जानकारी दी गई है जिन्हें रेफ़रल देने वाले लॉग में देखा जा सकता है. साथ ही, इस टेबल में यह जानकारी दी गई है कि उन क्रॉलर को robots.txt, robotsmeta टैग, और X-Robots-Tag एचटीटीपी नियमों में कैसे दिखाना चाहिए.
इस टेबल में उन क्रॉलर को दिखाया गया है जिनका इस्तेमाल Google के अलग-अलग प्रॉडक्ट और सेवाएं करती हैं:
उपयोगकर्ता एजेंट टोकन का इस्तेमाल robots.txt में मौजूद User-agent: लाइन में किया जाता है, ताकि आपकी साइट के लिए क्रॉल करने के नियम बनाते समय, सही तरह के क्रॉलर से मिलान किया जा सके. जैसा कि टेबल में दिखाया गया है, कुछ क्रॉलर के पास एक से ज़्यादा टोकन होते हैं. किसी नियम को लागू करने के लिए, आपको एक ही क्रॉलर टोकन का मिलान कराना होगा. हालांकि, यह सूची पूरी नहीं है, लेकिन इसमें ऐसे ज़्यादातर क्रॉलर मौजूद हैं जो आपकी
वेबसाइट पर दिख सकते हैं.
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग में, क्रॉलर की पूरी जानकारी होती है. यह जानकारी,
एचटीटीपी अनुरोध और आपके वेब लॉग में दिखती है.
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
उपयोगकर्ता एजेंट में, Chrome/W.X.Y.Z के बारे में जानकारी
टेबल में दी गई उपयोगकर्ता एजेंट स्ट्रिंग में आपको जहां भी Chrome/W.X.Y.Z स्ट्रिंग दिखती है, वहां W.X.Y.Z असल में प्लेसहोल्डर होता है. यह प्लेसहोल्डर बताता है कि वह उपयोगकर्ता एजेंट, Chrome ब्राउज़र के किस वर्शन का इस्तेमाल कर रहा है: उदाहरण के लिए, 41.0.2272.96. यह वर्शन नंबर, समय के साथ बढ़ता है, ताकि Chromium के रिलीज़ हुए उस नए वर्शन से मैच कर सके जिसका इस्तेमाल Googlebot करता है.
अगर आपको इस पैटर्न वाले उपयोगकर्ता एजेंट के लिए, अपना लॉग खोजना है या सर्वर को फ़िल्टर करना है, तो आप उस वर्शन के लिए सटीक वर्शन नंबर देने की जगह वाइल्डकार्ड का इस्तेमाल करें.
robots.txt में मौजूद उपयोगकर्ता एजेंट
robots.txt फ़ाइल में कई उपयोगकर्ता एजेंट की पहचान की जाती है, लेकिन Google खास तौर पर दिखाए गए एजेंट को फ़ॉलो करता है. Google से अपने सभी पेजों को क्रॉल कराने के लिए, आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. अगर आपको Google के सभी क्रॉलर को अपना कुछ कॉन्टेंट क्रॉल करने की अनुमति देना है या उन्हें ऐसा करने से रोकना है, तो Googlebot को उपयोगकर्ता एजेंट के तौर पर दिखाकर ऐसा किया जा सकता है. उदाहरण के लिए, अगर आपको अपने सभी पेजों को Google Search में दिखाने के साथ-साथ, AdSense विज्ञापनों को भी अपने पेजों पर दिखाना है, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. इसी तरह, अगर आपको कुछ पेजों को क्रॉल कराने से रोकना हो, तो Googlebot उपयोगकर्ता एजेंट को ब्लॉक करने पर, Google के अन्य सभी उपयोगकर्ता एजेंट भी ब्लॉक हो जाएंगे.
अगर आपको ज़्यादा कंट्रोल की ज़रूरत है, तो सुविधा के हिसाब से खास तरीके अपनाए जा सकते हैं. उदाहरण के लिए, हो सकता है कि आप अपने सभी पेजों को Google Search में दिखाना चाहें, लेकिन शायद यह न चाहें कि आपकी निजी डायरेक्ट्री में मौजूद इमेज को क्रॉल किया जाए. ऐसे में, Googlebot-Image उपयोगकर्ता एजेंट को अपनी निजी डायरेक्ट्री में मौजूद फ़ाइलों को क्रॉल करने से रोकने के लिए, (Googlebot को, सभी फ़ाइलों को क्रॉल करने की अनुमति देते हुए) robots.txt का इस्तेमाल इस तरह करें:
अब एक और उदाहरण लेते हैं. मान लीजिए कि आपको अपने सभी पेजों पर विज्ञापन दिखाना है, लेकिन आपको उन पेजों को Google Search में नहीं दिखाना है. यहां, Googlebot पर रोक लगाई जाएगी, लेकिन Mediapartners-Google उपयोगकर्ता एजेंट को अनुमति देंगे, जैसे कि:
Google का हर क्रॉलर, साइटों को किसी खास मकसद से और अलग-अलग दरों पर ऐक्सेस करता है. Google,
एल्गोरिदम का इस्तेमाल करके हर साइट के लिए क्रॉल की सही दर तय करता है. अगर Google क्रॉलर,
आपकी साइट को बहुत ज़्यादा बार क्रॉल कर रहा है, तो
क्रॉल दर को कम किया जा सकता है.
अब काम नहीं करने वाले Google क्रॉलर
इन Google क्रॉलर का अब इस्तेमाल नहीं किया जा रहा है और इन्हें सिर्फ़ पुराने रेफ़रंस के लिए यहां नोट किया गया है.
अब काम नहीं करने वाले Google क्रॉलर
Duplex on the web
इसका इस्तेमाल Duplex on the web सेवा के साथ किया जाता है.
उपयोगकर्ता एजेंट टोकन
DuplexWeb-Google
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Web Light
उपयोगकर्ता ने खोज के नतीजों में जब भी आपके पेज पर क्लिक किया, तो उस दौरान no-transform हेडर की मौजूदगी की जांच की जाती है. Web Light के उपयोगकर्ता एजेंट का इस्तेमाल सिर्फ़ तब किया जाता है, जब वेबसाइट पर आने वाले किसी व्यक्ति ने सीधे तौर पर ब्राउज़ करने का अनुरोध किया हो. इसका मकसद, robots.txt के उन नियमों को अनदेखा करना है जिनसे साइट को क्रॉल करने के ऑटोमेटेड (अपने-आप होने वाले) अनुरोधों को ब्लॉक किया जाता है.
उपयोगकर्ता एजेंट टोकन
googleweblight
उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19