Feedfetcher

Google News और PubSubHubbub के लिए, Google आरएसएस या ऐटम फ़ीड क्रॉल करता है. ऐसा करने के लिए, वह Feedfetcher का इस्तेमाल करता है. Feedfetcher उन फ़ीड को स्टोर करता है और समय-समय पर रीफ़्रेश करता है जिनका अनुरोध किसी ऐप्लिकेशन या सेवा को इस्तेमाल करने वाले लोगों ने किया है. Google Search में सिर्फ़ पॉडकास्ट फ़ीड इंडेक्स किया जाता है. हालांकि, अगर कोई फ़ीड Atom या RSS निर्देश का पालन नहीं करता है, तो भी उसे इंडेक्स किया जा सकता है. Feedfetcher, उपयोगकर्ताओं के हिसाब से काम करता है. इसके काम करने का तरीका जानने के लिए, इस बारे में आम तौर पर सबसे ज़्यादा पूछे जाने वाले सवालों के जवाब यहां पढ़ें.

मैं Google से अपनी साइट के कुछ या सभी फ़ीड को शामिल न करने का अनुरोध कैसे करूं?

जब उपयोगकर्ता अपनी साइट पर, Feedfetcher का डेटा इस्तेमाल करने वाली कोई सेवा या ऐप्लिकेशन जोड़ते हैं, तब Google का Feedfetcher, खोज नतीजों में दिखाने के लिए, फ़ीड का कॉन्टेंट इकट्ठा करने की कोशिश करता है. Feedfetcher, फ़ीड का कॉन्टेंट ऐक्सेस करने का अनुरोध तब करता है, जब उपयोगकर्ता फ़ीड को खोज नतीजों में दिखाए जाने के लिए खुद कार्रवाई करते हैं. साथ ही, Feedfetcher अपने-आप क्रॉल करने वाले क्रॉलर की तरह साइट को ऐक्सेस नहीं करता, इसलिए वह robots.txt फ़ाइल के नियमों का पालन नहीं करता है.

अगर आपका फ़ीड सार्वजनिक तौर पर उपलब्ध है, तो Google, उपयोगकर्ताओं पर उसे ऐक्सेस करने की पाबंदी नहीं लगा सकता. अगर उपयोगकर्ताओं को फ़ीड ऐक्सेस करने से रोका जाता है, तो अपने सर्वर को इस तरह से कॉन्फ़िगर करें कि वह Feedfetcher-Google उपयोगकर्ता एजेंट को 404, 410 या गड़बड़ी की स्थिति दिखाने वाला कोई दूसरा मैसेज भेजे.

अगर किसी ब्लॉग या साइट होस्टिंग की सेवा देने वाली कंपनी की मदद से फ़ीड दिखाया जाता है, तो फ़ीड के ऐक्सेस पर पाबंदी लगाने के लिए, सीधे उस कंपनी से संपर्क करें.

फ़ीड इकट्ठा करने के लिए, Feedfetcher कितनी बार मेरी साइट ऐक्सेस करेगा?

फ़ीड इकट्ठा करने के लिए, Feedfetcher को ज़्यादातर साइटों को हर घंटे में औसतन एक से ज़्यादा बार ऐक्सेस करने की ज़रूरत नहीं होती. अक्सर अपडेट होने वाली कुछ साइटों को ज़्यादा बार रीफ़्रेश किया जा सकता है. हालांकि, धीमे नेटवर्क की वजह से आपको ऐसा लग सकता है कि फ़ीड इकट्ठा करने के लिए, Feedfetcher ज़्यादा बार आपकी साइट ऐक्सेस कर रहा है.

Feedfetcher, मेरे सर्वर से या किसी ऐसे डोमेन से गलत लिंक डाउनलोड करने की कोशिश क्यों कर रहा है जो मौजूद नहीं है?

Feedfetcher, उपयोगकर्ता के इंस्टॉल किए गए ऐप्लिकेशन या सेवाओं के अनुरोध पर फ़ीड इकट्ठा करता है. ऐसा हो सकता है कि उपयोगकर्ता ने ऐसे फ़ीड यूआरएल के लिए अनुरोध किया हो जो मौजूद नहीं है.

Feedfetcher, मेरे "सीक्रेट" वेब सर्वर से जानकारी क्यों डाउनलोड कर रहा है?

Feedfetcher, उपयोगकर्ता के इंस्टॉल किए गए ऐप्लिकेशन या सेवाओं के अनुरोध पर फ़ीड इकट्ठा करता है. ऐसा हो सकता है कि किसी ऐसे उपयोगकर्ता ने अनुरोध किया हो जिसे आपके "सीक्रेट" सर्वर के बारे में पता है या उसने आपके फ़ीड का यूआरएल गलती से टाइप कर दिया है.

Feedfetcher, मेरी robots.txt फ़ाइल के निर्देशों का पालन क्यों नहीं कर रहा है?

Feedfetcher, फ़ीड को सिर्फ़ तब इकट्ठा करता है जब उपयोगकर्ता कोई ऐसी सेवा या ऐप्लिकेशन इंस्टॉल करते हैं जो फ़ीड से डेटा पाने का अनुरोध करते हैं. Feedfetcher, रोबोट की तरह नहीं, बल्कि उपयोगकर्ता के एजेंट की तरह काम करता है. इसलिए, यह robots.txt फ़ाइलों के निर्देशों का पालन नहीं करता. Feedfetcher कई उपयोगकर्ताओं के एजेंट के तौर पर काम करता है, इसलिए, यह सभी उपयोगकर्ता के एक जैसे फ़ीड के लिए सिर्फ़ एक बार अनुरोध करके, कम बैंडविड्थ में ही काम कर लेता है. इन सभी उपयोगकर्ताओं में वे लोग शामिल हैं जिन्होंने ऐप्लिकेशन या सेवा के ज़रिए फ़ीड का अनुरोध किया था. RSS और Atom सामान्य फ़ीड हैं.

Feedfetcher को अपनी साइट क्रॉल करने से रोकने के लिए, अपने सर्वर को इस तरह से कॉन्फ़िगर करें कि यह Feedfetcher-Google उपयोगकर्ता एजेंट को 404, 410 या गड़बड़ी की स्थिति दिखाने वाला कोई दूसरा मैसेज भेजे.

Google.com पर एक से ज़्यादा ऐसी मशीनें मेरी साइट को ऐक्सेस क्यों करती हैं जिनका उपयोगकर्ता एजेंट Feedfetcher है?

Feedfetcher को ऐसे डिज़ाइन किया गया कि इसका इस्तेमाल कई मशीनों पर किया जा सके. ऐसा इसलिए किया गया, ताकि वेब का इस्तेमाल बढ़ने के साथ-साथ, इसकी परफ़ॉर्मेंस बेहतर होती जाए और काम का दायरा भी बढ़े. नेटवर्क में, मशीनें जिन साइटों का फ़ीड इकट्ठा करती हैं उन्हें उन ही साइटों के आस-पास रखा जाता है. बैंडविथ का इस्तेमाल कम करने के लिए ऐसा किया जाता है.

क्या मुझे उन आईपी पतों की जानकारी मिल सकती है जिनसे Feedfetcher मेरे फ़ीड को ऐक्सेस करने का अनुरोध करता है? इससे मुझे लॉग को फ़िल्टर करने में मदद मिलेगी?

Feedfetcher जिन आईपी पतों का इस्तेमाल करता है वे user-triggered-fetchers-google.json ऑब्जेक्ट में शामिल होते हैं.

Feedfetcher मेरी साइट के एक ही पेज को बार-बार क्यों डाउनलोड कर रहा है?

आम तौर पर, किसी फ़ीड को इकट्ठा करते समय, Feedfetcher आपकी साइट पर मौजूद हर फ़ाइल की सिर्फ़ एक कॉपी डाउनलोड करता है. ऐसा बहुत कम होता है कि मशीन बंद करके रीस्टार्ट की जाए. इसकी वजह से, Feedfetcher फिर से उन पेजों पर मौजूद फ़ीड को इकट्ठा करता है जिन पर वह पहले जा चुका है.

Feedfetcher किस तरह के लिंक फ़ॉलो करता है?

आम वेब क्रॉलर किसी पेज को क्रॉल करते समय, नए पेज का लिंक मिलने पर उस पेज पर जाते हैं. हालांकि, Feedfetcher ऐसा नहीं करता है. इसके बजाय, वह किसी पेज पर तब जाता है, जब Feedfetcher का इस्तेमाल करने वाले किसी ऐप्लिकेशन या सेवा की मदद से कोई उपयोगकर्ता उस पेज पर जाने का अनुरोध करता है.

Feedfetcher से जुड़े मेरे सवाल का जवाब यहां मौजूद नहीं है. मुझे ज़्यादा मदद कहां मिल सकती है?

अगर आपको अब भी समस्या आ रही है, तो Search Central के फ़ोरम में अपना सवाल पोस्ट करें.