क्या 404 कोड वाली गड़बड़ियां मेरी साइट को नुकसान पहुंचाती हैं?

सोमवार, 02 मई, 2011

मान लीजिए, क्रॉल करने पर मिली गड़बड़ियों वाले पेज पर, आपको बहुत सारी 404 (Not found) गड़बड़ियां दिखती हैं! क्या जल्द ही इससे कोई परेशानी खड़ी होने वाली है??

Search Console में क्रॉल करने पर मिली गड़बड़ियां दिखाने वाली सुविधा

घबराने की कोई बात नहीं है, मेरे दोस्त. आइए, 404 गड़बड़ियों पर नज़र डालते हैं और यह देखते हैं कि वे आपकी साइट पर कैसे असर डालती हैं या कैसे नहीं:

सवाल: क्या Search Console में दिखाई गई 404 गड़बड़ियां मेरी साइट की रैंकिंग पर असर डालती हैं?
जवाब: वेब पर, 404 गड़बड़ियां होना बहुत आम बात है. इंटरनेट पर हमेशा बदलाव होते रहते है. नया कॉन्टेंट जुड़ता रहता है और पुराना कॉन्टेंट हटता रहता है. जब पुराना कॉन्टेंट हटा दिया जाता है, तो आम तौर पर उसके लिए 404 एचटीटीपी रिस्पॉन्स कोड दिखाया जाता है. सर्च इंजन को इस बारे में जानकारी होती है. हमारी अपनी साइटों पर 404 गड़बड़ियां मौजूद हैं, जैसा कि ऊपर देखा जा सकता है. साथ ही, हमने यह गड़बड़ियां पूरे वेब पर मिलती हैं. हालांकि, हम इस बात का सुझाव देते हैं कि अपनी साइट से किसी पेज को हटाने पर यह पक्का कर लें कि उसके लिए soft 404 के बजाय 404 या 410 रिस्पॉन्स कोड दिखे. ध्यान रखें कि हमारा क्रॉलर एचटीटीपी रिस्पॉन्स कोड को देख सके, इसके लिए ज़रूरी है कि वह उस यूआरएल को क्रॉल कर पाए. अगर यूआरएल को robots.txt फ़ाइल की मदद से ब्लॉक किया गया है, तो हम उसे क्रॉल नहीं कर पाएंगे और न ही उसका रिस्पॉन्स कोड देख पाएंगे. अगर आपकी साइट के कुछ यूआरएल अब मौजूद नहीं हैं या वे 404 गड़बड़ियां दिखते हैं, तो इससे खोज नतीजों में दिखने वाले आपकी साइट के दूसरे यूआरएल (जो 200 (Success) स्टेटस कोड दिखाते हैं) की परफ़ॉर्मेंस पर कोई असर नहीं पड़ता.

सवाल: क्या 404 गड़बड़ियों से मेरी वेबसाइट पर कोई असर नहीं पड़ता?
जवाब: अगर आपकी साइट के कुछ यूआरएल पर 404 गड़बड़ियां हैं, तो इनसे आपकी साइट पर कोई असर नहीं पड़ेगा या Google के खोज नतीजों में साइट की परफ़ॉर्मेंस पर कोई असर नहीं पड़ेगा. हालांकि, कुछ खास तरह की 404 गड़बड़ियों को ठीक करने की दूसरी वजहें भी हो सकती हैं. उदाहरण के लिए, आपके कुछ पेजों पर 404 गड़बड़ियां मौजूद हैं, तो आपको इन्हें ठीक करने के बारे में सोचना चाहिए. आपको यह देखना चाहिए कि जब हम उन पेजों को क्रॉल करते हैं, तब 404 गड़बड़ियां क्यों मिल रही हैं! अगर आपको किसी मान्य यूआरएल की गलत वर्तनी (www.example.com/awesome के बजाय www.example.com/awsome) दिखती है, तो हो सकता है कि किसी व्यक्ति ने आपकी साइट को दूसरी साइट से लिंक किया है और यूआरएल टाइप करते समय उससे गलती हुई है. 404 दिखाने के बजाय, गलत वर्तनी वाले यूआरएल को सही यूआरएल पर 301 के ज़रिए रीडायरेक्ट किया जा सकता है और लिंक पर आने वाले ट्रैफ़िक को कैप्चर किया जा सकता है. साथ ही, यह भी पक्का किया जा सकता है कि जब कोई उपयोगकर्ता आपकी साइट के 404 पेज पर जाए, तब आप "404 नहीं मिला" दिखाने के बजाय सही पेज पर जाने में उनकी मदद करें.

सवाल: मुझे "soft 404 गड़बड़ियों" के बारे में और बताएं.
जवाब: soft 404 तब दिखाया जाता है, जब वेब सर्वर किसी ऐसे यूआरएल के लिए 404 (या 410) के बजाय कोई दूसरा रिस्पॉन्स कोड दिखाता है जो मौजूद नहीं है.​ इसका आम उदाहरण यह है कि जब किसी साइट का मालिक अपने उपयोगकर्ताओं के लिए मददगार जानकारी के साथ 404 पेज दिखाना चाहता है और उसे लगता है कि उपयोगकर्ताओं को कॉन्टेंट दिखाने के लिए उन्हें 200 रिस्पॉन्स कोड दिखाना होगा. हालांकि, ऐसा नहीं है! किसी भी कॉन्टेंट को दिखाते समय 404 रिस्पॉन्स कोड दिखाया जा सकता है. इसका एक और उदाहरण है कि जब साइट 404 गड़बड़ियां दिखाने के बजाय लोगों को किसी अनजान यूआरएल पर रीडायरेक्ट करती है. इन दोनों मामलों में, आपकी साइट के कॉन्टेंट को समझने और उसे इंडेक्स करने पर बुरा असर पड़ता है. इसलिए, हम सुझाव देते हैं कि आप पक्का करें कि आपका सर्वर किसी भी ऐसे कॉन्टेंट के लिए सही रिस्पॉन्स कोड दिखाए जो मौजूद नहीं है. ध्यान रखें कि अगर किसी पेज को लिए "404 पेज नहीं मिला" बताया जाता है, तो इसका मतलब यह नहीं है कि उसके लिए 404 एचटीटीपी रिस्पॉन्स कोड दिखाया जा रहा है. इसका जांच करने के लिए, Search Console में Googlebot के तौर पर फ़ेच करें सुविधा का इस्तेमाल करें. अगर आपको यह नहीं पता है कि सही रिस्पॉन्स कोड दिखाने के लिए अपने सर्वर को कैसे कॉन्फ़िगर किया जाए, तो वेब होस्टिंग की सेवा देने वाली कंपनी का सहायता दस्तावेज़ पढ़ें.

सवाल: मुझे कैसे पता चलेगा कि यूआरएल को 404, 301 या 410 के तौर पर दिखाना चाहिए?
जवाब: जब अपनी साइट से किसी पेज को हटाया जाता है, तो सोचें कि क्या आपको कॉन्टेंट को किसी दूसरी जगह ले जाना है या उसे अपनी साइट से हमेशा के लिए हटाना है. अगर आपको उस कॉन्टेंट को किसी नए यूआरएल पर ले जाना है, तो आपको अपने पुराने यूआरएल से नए यूआरएल पर लोगों को भेजने के लिए 301 रीडायरेक्ट का इस्तेमाल करना चाहिए. इससे जब लोग उस कॉन्टेंट को देखने के लिए आपके पुराने यूआरएल पर आएंगे, तब उन्हें अपने-आप उस यूआरएल पर भेज दिया जाएगा जहां उनकी पसंद आ कॉन्टेंट मौजूद है. अगर आपको उस कॉन्टेंट को हमेशा के लिए हटाना है और आपकी साइट पर उसकी जगह ऐसा कॉन्टेंट मौजूद नहीं है जो लोगों की ज़रूरत के हिसाब से हो, तो पुराने यूआरएल के लिए 404 या 410 दिखाना चाहिए. फ़िलहाल, Google 410 (Gone) को 404 (Not found) की तरह ही मानता है. इसलिए, हमारे लिए यह अहम नहीं है कि किसका इस्तेमाल किया जा रहा है.

सवाल: मेरी साइट पर ज़्यादातर 404 गड़बड़िया उन यूआरएल के लिए हैं जो कभी मेरी साइट पर मौजूद ही नहीं थे. ऐसा क्यों है? ये कहां से आए थे?
जवाब: अगर Google को वेब पर कोई ऐसा लिंक मिलता है जो आपके डोमेन के यूआरएल पर ले जाता है, तो वह उस लिंक को क्रॉल करने की कोशिश कर सकता है. इससे कोई फ़र्क नहीं पड़ता कि उस लिंक पर कोई कॉन्टेंट मौजूद है या नहीं. अगर उस लिंक पर कोई कॉन्टेंट मौजूद नहीं है, तो ऐसा होने पर आपके सर्वर को 404 दिखाना चाहिए. ये लिंक तब बन सकते हैं, जब कोई व्यक्ति आपकी साइट के लिंक को दूसरी साइट पर टाइप करते समय यूआरएल की वर्तनी में गलती करता है. इसके अवाला, अगर लिंक अपने-आप जनरेट हो रहे हैं, तो ऐसा कुछ तरह की गलत कॉनफ़िगरेशन (कॉन्टेंट मैनेजमेंट सिस्टम की वजह से) की वजह हो सकता है. हालांकि, ऐसा होने की अन्य वजहें भी हो सकती हैं. ऐसा तब हो सकता है, जब Google कई बार JavaScript में एम्बेड किए गए लिंक या एम्बेड किए गए दूसरे कॉन्टेंट को पहचानने और क्रॉल करने की कोशिश करता है या ये लिंक तब बन सकते हैं, जब हम यह जानने कि कोशिश करते हैं कि सर्वर अनजान यूआरएल को कैसे हैंडल करता है. अगर आपको अपनी साइट के ऐसे यूआरएल के लिए Search Console में 404 गड़बड़ियां दिखती हैं, तो इन्हें नज़रअंदाज़ किया जा सकता है. हम यह नहीं जानते कि कौनसे यूआरएल आपके लिए अहम हैं और किन यूआरएल के लिए 404 दिखना है, इसलिए हम आपकी साइट पर मिली सभी 404 गड़बड़ियां दिखाते हैं और यह फ़ैसला आप पर छोड़ते हैं कि किन यूआरएल को ठीक करना चाहिए.

सवाल: किसी ने मेरी साइट को स्क्रैप कर दिया है और इस प्रोसेस में 404 गड़बड़ियां पैदा हुई हैं. ये सभी "असल" यूआरएल हैं, जिनमें अन्य कोड शामिल किए गए हैं, जैसे कि https://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/> क्या इससे मेरी साइट को नुकसान होगा?
जवाब: आम तौर पर, आपको "टूटे हुए लिंक" के लिए यह चिंता करने की ज़रूरत नहीं है कि इनसे आपकी साइट को नुकसान पहुंचता है. हम समझते हैं कि साइट के मालिकों के पास, उन लोगों पर बहुत कम कंट्रोल होता है जो उनकी साइट को स्क्रैप करते हैं या जो साइट को अजीब तरीके से लिंक करते हैं. अगर आपको रेगुलर एक्सप्रेशन के बारे में जानना है, तो इन यूआरएल को रीडायरेक्ट किया जा सकता है. हालांकि, आम तौर पर इसके बारे में चिंता करने की कोई ज़रूरत नहीं है. याद रखें कि अगर आपको लगता है कि कोई व्यक्ति आपकी वेबसाइट से ओरिजनल कॉन्टेंट चुरा रहा है, तो कॉन्टेंट हटाने का अनुरोध भी किया जा सकता है.

सवाल: पिछले हफ़्ते मैंने Search Console में दिख रही 404 गड़बड़ियों को ठीक किया था, लेकिन वे अब भी मेरे खाते में दिख रही हैं. क्या इसका मतलब यह है कि मैंने उन्हें सही तरीके से ठीक नहीं किया? उनके हटने में कितना समय लगेगा?
जवाब: क्रॉल करने पर मिली गड़बड़ियों वाले पेज पर, 'पता लगाया गया' कॉलम देखें. यह वह तारीख है जब हमने हर गड़बड़ी का पता लगा. अगर उस कॉलम में तारीख (तारीखें) ठीक करने से पहले की हैं, तो इसका मतलब है कि हमें उस तारीख से ये गड़बड़ियां नहीं दिख रही हैं. अगर ये तारीखें हाल की हैं, तो इसका मतलब है कि क्रॉल करने पर हमें 404 गड़बड़ियां अब भी दिख रही हैं.

गड़बड़ी ठीक करने के बाद, Googlebot के तौर फ़ेच करें का इस्तेमाल करके यह पता लगाया जा सकता है कि हमारे क्रॉलर को नया रिस्पॉन्स कोड दिख रहा है या नहीं. कुछ यूआरएल की जांच करें और अगर वे ठीक लगते हैं, तो ये गड़बड़ियां जल्द ही आपकी क्रॉल करने पर मिली गड़बड़ियों की सूची से गायब हो जाएंगी.

सवाल: क्या यूआरएल हटाने वाले Google के टूल का इस्तेमाल करने पर, 404 गड़बड़ियां मेरे खाते से तेज़ी से हट सकती हैं?
जवाब: नहीं; यूआरएल हटाने वाला टूल, यूआरएल को Google के खोज नतीजों से हटाता है, न कि आपके Search Console खाते से. इसे यूआरएल को तुरंत हटाने का अनुरोध करने के लिए डिज़ाइन किया गया है. अगर यूआरएल के लिए 404 दिखाया जा रहा है, तो इस टूल का इस्तेमाल करना ज़रूरी नहीं है. ऐसा इसलिए है, क्योंकि समय के साथ यूआरएल को हमारे खोज नतीजों से हटा दिया जाएगा. इस ब्लॉग पोस्ट के नीचे का आधा हिस्सा देखें और इस बारे में ज़्यादा जानें कि यूआरएल हटाने वाला टूल आपके लिए क्या कर सकता है और क्या नहीं.

क्या आपको अब भी 404 गड़बड़ियों के बारे में ज़्यादा जानना है? हमारे ब्लॉग में 404 हफ़्ते वाला सेक्शन देखें या हमारे वेबमास्टर सहायता फ़ोरम पर जाएं.