Google के स्पेशल-केस क्रॉलर की सूची

जब क्रॉल की गई साइट और प्रॉडक्ट के बीच, क्रॉल करने की प्रोसेस के लिए कोई कानूनी समझौता होता है, तब Google के खास प्रॉडक्ट के लिए स्पेशल-केस क्रॉलर का इस्तेमाल किया जाता है. उदाहरण के लिए, विज्ञापन पब्लिशर की अनुमति से AdsBot, robots.txt के ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ कर देता है. Google के क्रॉलर की सामान्य तकनीकी प्रॉपर्टी, स्पेशल-केस क्रॉलर पर भी लागू होती हैं.

ऐसा हो सकता है कि कुछ खास मामलों वाले क्रॉलर, robots.txt नियमों का पालन न करते हों. ऐसे में, वे सामान्य क्रॉलर से अलग आईपी रेंज पर काम करते हैं. आईपी रेंज, special-crawlers.json ऑब्जेक्ट में पब्लिश की जाती हैं. स्पेशल-केस क्रॉलर का रिवर्स डीएनएस मास्क, rate-limited-proxy-***-***-***-***.google.com से मैच करता है.

यहां दी गई सूची में, स्पेशल-केस क्रॉलर, एचटीटीपी अनुरोध में दिखने वाली उनकी उपयोगकर्ता एजेंट स्ट्रिंग, और robots.txt में User-agent: लाइन के लिए उनके उपयोगकर्ता एजेंट टोकन की जानकारी दिखती है. साथ ही, उन प्रॉडक्ट की जानकारी भी दिखती है जिन पर क्रॉलर की क्रॉल सेटिंग का असर पड़ता है. यह सूची पूरी नहीं हैं. इसमें अनुरोध करने वाले सिर्फ़ ऐसे लोग मौजूद होते हैं जो लॉग फ़ाइलों में दिख सकते हैं. साथ ही, जिनके बारे में हमसे सवाल पूछे गए हैं.

APIs-Google

एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	robots.txt में उपयोगकर्ता एजेंट टोकन APIs-Google ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है. robots.txt ग्रुप का उदाहरण user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है	APIs-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google API के पुश नोटिफ़िकेशन मैसेज की डिलीवरी पर पड़ता है.

AdsBot मोबाइल वेब

एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	robots.txt में उपयोगकर्ता एजेंट टोकन AdsBot-Google-Mobile ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है. robots.txt ग्रुप का उदाहरण user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है	AdsBot-Google-Mobile उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, वेब पेज पर दिखने वाले विज्ञापन की क्वालिटी की जांच करने से जुड़ी Google Ads की क्षमता पर पड़ता है.

AdsBot

एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	robots.txt में उपयोगकर्ता एजेंट टोकन AdsBot-Google ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है. robots.txt ग्रुप का उदाहरण user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है	AdsBot-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, वेब पेज पर दिखने वाले विज्ञापन की क्वालिटी की जांच करने से जुड़ी Google Ads की क्षमता पर पड़ता है.

AdSense

एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट	डेस्कटॉप एजेंट Mediapartners-Google मोबाइल एजेंट (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	robots.txt में उपयोगकर्ता एजेंट टोकन Mediapartners-Google ग्लोबल उपयोगकर्ता एजेंट (*) को नज़रअंदाज़ किया जाता है. robots.txt ग्रुप का उदाहरण user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
वे प्रॉडक्ट जिन पर असर पड़ता है	Mediapartners-Google उपयोगकर्ता एजेंट के लिए तय की गई क्रॉल करने की सेटिंग का असर, Google AdSense पर पड़ता है. AdSense क्रॉलर, हिस्सा लेने वाली साइटों पर जाकर, उन पर काम के विज्ञापन दिखाता है.

Google-सुरक्षा

एचटीटीपी अनुरोधों में उपयोगकर्ता-एजेंट	Google-Safety
robots.txt	Google-सुरक्षा उपयोगकर्ता एजेंट, robots.txt नियमों को नज़रअंदाज़ करता है.
वे प्रॉडक्ट जिन पर असर पड़ता है	Google-सुरक्षा उपयोगकर्ता एजेंट, गलत क्रॉल करने के मामलों को मैनेज करता है. जैसे, Google प्रॉपर्टीज़ पर सार्वजनिक तौर पर पोस्ट किए गए लिंक के लिए मैलवेयर खोजना. इसलिए, क्रॉल करने की प्राथमिकताओं से इस पर कोई असर नहीं पड़ता.