كيفية تأثير رموز حالة HTTP وأخطاء الشبكة ونظام أسماء النطاقات في "بحث Google"
توضّح هذه الصفحة كيفية تأثّر "بحث Google"
برموز حالة HTTP
والأخطاء في الشبكة وفي نظام أسماء النطاقات. وسنتناول في هذه المقالة أهم 20 رمز حالة واجهها
Googlebot
على الويب، وأبرز أخطاء الشبكة ونظام أسماء النطاقات. ولا تشمل المقالة رموز
الحالة الغريبة، مثل
418 (I'm a teapot)
. تعرض جميع المشاكل المذكورة في هذه الصفحة خطأً أو تحذيرًا مطابقًا لها في
تقرير "فهرسة الصفحات"
في Search Console.
رموز حالة HTTP
ينشئ الخادم الذي يستضيف الموقع الإلكتروني رموز حالة HTTP عندما يستجيب لطلب أجراه العميل، على سبيل المثال متصفّح أو زاحف. ولكل رمز من رموز حالة HTTP معنى مختلف، ولكن غالبًا ما تكون نتيجة الطلب واحدة. على سبيل المثال، هناك عدة رموز حالة تشير إلى إعادة التوجيه، ولكن نتائجها واحدة.
تنشئ خدمة Search Console رسائل خطأ لرموز الحالة في النطاق 4xx–5xx
،
ولعمليات إعادة التوجيه التي يتعذّر إتمامها (3xx
). إذا ردّ الخادم
برمز الحالة 2xx
، يمكن النظر في إمكانية فهرسة المحتوى الذي تم استلامه في الاستجابة للفهرسة.
يتضمّن الجدول التالي أهم رموز حالة HTTP التي يواجهها Googlebot، بالإضافة إلى شرح حول كيفية تعامل Google مع كل رمز حالة.
رموز حالة HTTP | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
|
يراجع محرّك بحث Google المحتوى وينظر في إمكانية فهرسته. إذا تضمّن المحتوى خطأً، مثل
صفحة فارغة أو رسالة خطأ، ستعرض خدمة Search Console
خطأ
|
|||||||||||
|
يتّبع Googlebot ما يصل إلى 10 قفزات إعادة توجيه. إذا لم يتلقَّ الزاحف أي محتوى خلال 10 قفزات، ستعرض Search Console خطأً في إعادة التوجيه في تقرير "فهرسة الصفحات" الخاص بالموقع الإلكتروني. يعتمد عدد القفزات التي يتّبعها Googlebot على وكيل المستخدم، مثلاً، قد تختلف قيمة Googlebot Smartphone عن قيمة Googlebot Image.
في حال استخدام ملف robots.txt، يتّبع برنامج Googlebot ما لا يقل عن خمس قفزات إعادة توجيه على النحو المحدّد في
RFC 1945، وبعد ذلك
يتوقف ويعامل العملية باعتبارها يتم تجاهل أي محتوى يستلمه Googlebot من عنوان URL لإعادة التوجيه، ويكون محتوى عنوان URL النهائي المستهدف هو المحتوى المؤهَّل للفهرسة.
|
|||||||||||
|
يَستبعد مسار الفهرسة في Google عناوين URL التي تعرض رمز
حالة
يتم تجاهل أي محتوى يستلمه Googlebot من عناوين URL تعرض رمز حالة
|
|||||||||||
|
يطلب خطأ الخادم إذا استمر ملف robots.txt بعرض رمز حالة خطأ في الخادم لأكثر من 30 يومًا، سيستخدم محرّك بحث Google آخر نسخة مخزّنة مؤقتًا من ملف robots.txt. وإذا لم تتوفّر نسخة مخزّنة مؤقتًا، يفترض محرّك بحث Google أنّه لم يتم فرض أي قيود على عملية الزحف.
يتم تجاهل أي محتوى يستلمه Googlebot من عناوين URL تعرض رمز حالة
|
أخطاء soft 404
خطأ soft 404
هو عندما يعرض عنوان URL صفحة تُعلِم المستخدم بأنّ الصفحة غير متوفّرة
كما يعرض رمز حالة 200 (success)
. وأحيانًا، قد يتم عرض صفحة لا تشتمل على محتوى أساسي أو صفحة فارغة.
قد ينشئ خادم الويب أو نظام إدارة محتوى الموقع الإلكتروني أو المتصفّح الخاص بالمستخدم هذا النوع من الصفحات لأسباب مختلفة. مثلاً:
- عدم توفّر ملف تضمينات جانب الخادم
- انقطاع الاتصال بقاعدة البيانات
- عدم توفّر محتوى في صفحة نتائج البحث الداخلية
- ملف JavaScript تم إلغاء تحميله أو لم يعُد متوفّرًا لسبب آخر
إنّ عرض رمز الحالة 200 (success)
، ثم عرض أو اقتراح رسالة خطأ أو أي نوع من الأخطاء على الصفحة، يترك انطباعًا سيئًا لدى المستخدمين. قد يظن المستخدمون أنّ الصفحة منشورة ومتاحة، ولكن في الواقع يتم عرض خطأ ما. يتم استبعاد هذا النوع من الصفحات من "بحث Google".
عندما تكتشف خوارزميات Google أنّ الصفحة هي في الواقع صفحة خطأ استنادًا إلى محتواها،
ستعرض خدمة Search Console خطأ soft 404
في تقرير "فهرسة الصفحات" للموقع الإلكتروني.
إصلاح أخطاء soft 404
استنادًا إلى حالة الصفحة والنتيجة المرجوّة، يمكنك حلّ أخطاء soft 404
بعدة طرق:
- الصفحة والمحتوى لم يعودا متوفّرَين
- تتوفّر الصفحة أو المحتوى في مكان آخر حاليًا
- الصفحة والمحتوى لا يزالان متوفّرَين
حاوِل تحديد الحلّ الأنسب للمستخدمين.
الصفحة والمحتوى لم يعودا متوفّرين
إذا أزلت الصفحة ولم توفّر صفحة بديلة على موقعك الإلكتروني تتضمّن محتوًى مشابهًا،
اعرض رمز
الاستجابة (الحالة) 404 (not found)
أو 410 (gone)
للصفحة. تُعلم رموز الحالة هذه محركات البحث بأنّ الصفحة غير متوفّرة ويجب عدم فهرسة المحتوى.
إذا كان بإمكانك الوصول إلى ملفات إعداد الخادم، يمكنك تخصيص صفحات الخطأ هذه كي تصبح ذات فائدة للمستخدمين. مثلاً، يمكن لصفحة 404
المخصّصة بشكل جيد أن تساعد المستخدمين في العثور على المعلومات التي يبحثون عنها، وتوفّر لهم أيضًا محتوًى مفيدًا وتشجّعهم على استكشاف موقعك الإلكتروني بشكل أكبر. في ما يلي بعض النصائح حول تصميم صفحة 404
مخصّصة ومفيدة:
- أخبِر الزائرين بشكل واضح أن الصفحة التي يبحثون عنها لا يمكن العثور عليها. استخدِم لغةً لطيفة.
-
تأكَّد من أن صفحة
404
تتّبع الشكل والأسلوب نفسيهما (بما في ذلك أدوات التنقل) مثل سائر صفحات موقعك الإلكتروني. - نقترح عليك إضافة روابط إلى مقالاتك أو مشاركاتك الأكثر رواجًا، بالإضافة إلى رابط يؤدي إلى الصفحة الرئيسية على موقعك الإلكتروني.
- نقترح عليك توفير طريقة للمستخدمين تتيح لهم الإبلاغ عن أي رابط معطَّل.
إنّ صفحات 404
المخصصة يتم إنشاؤها للمستخدمين فقط. وبما أنّ هذه الصفحات غير مفيدة بالنسبة إلى محرّكات البحث، تأكَّد من أنّ الخادم يعرض رمز حالة HTTP من فئة 404
لمنع فهرسة هذه الصفحات.
تتوفّر الصفحة أو المحتوى في مكان آخر حاليًا
إذا تم نقل صفحتك أو كان لها بديل واضح على موقعك الإلكتروني، يمكنك عرض 301 (permanent redirect)
لإعادة توجيه المستخدم. لن يؤثر هذا الإجراء في تجربة التصفّح، كما أنه يوفّر طريقة رائعة لإعلام محركات البحث بالمكان الجديد للصفحة. يمكنك استخدام
أداة فحص عنوان URL للتأكّد مما إذا كان عنوان URL يعرض الرمز الصحيح أم لا.
الصفحة والمحتوى لا يزالان متوفّرَين
إذا تم تصنيف صفحتك على نحو غير صحيح ضمن الصفحات التي تحتوي على الخطأ soft 404
، من المحتمل
أنّه لم يتم تحميلها بشكل مناسب ليكتشفها برنامج Googlebot أو أنّها لم توفّر بعض الموارد المهمة أو عرضت رسالة خطأ بارزة أثناء العرض. يمكنك استخدام أداة فحص عنوان URL لفحص المحتوى ورمز HTTP المعروضَين. وإذا كانت الصفحة المعروضة فارغة
أو تتضمن قدرًا قليلاً من المحتوى أو إذا عرض المحتوى رسالة خطأ، قد يكون السبب أنّها توجّه المستخدمين إلى عدد كبير من الموارد التي يتعذّر تحميلها (الصور والنصوص البرمجية وغير ذلك من العناصر غير النصية) ما يمكن تفسيره على أنه خطأ soft 404
.
أحد الأسباب التي قد تمنع تحميل الموارد هي أنّ هذه الموارد محظورة (باستخدام ملف robots.txt)، وقد يكون السبب أيضًا إضافة عدد كبير من الموارد في الصفحة أو أخطاء مختلفة في الخادم أو التحميل البطيء أو الموارد الكبيرة الحجم.
الأخطاء في الشبكة وفي نظام أسماء النطاقات
تؤدي الأخطاء في الشبكة وفي نظام أسماء النطاقات إلى التأثير سلبًا وبسرعة في مدى ظهور عنوان URL في "بحث Google".
يتعامل Googlebot مع مُهَل الشبكة وعمليات إعادة ضبط الاتصال وأخطاء نظام أسماء النطاقات بالطريقة نفسها التي يتم التعامل بها مع الأخطاء 5xx
في الخادم. في حال حدوث أخطاء في الشبكة، يبدأ معدّل الزحف
بالانخفاض على الفور، لأنّ حدوث خطأ في الشبكة يشير إلى عدم قدرة الخادم على معالجة
العبء الزائد للعرض. وبما أنّ محرّك بحث Google لم يتمكّن من الوصول إلى الخادم الذي يستضيف الموقع الإلكتروني،
يعني ذلك أيضًا أنّه لم يتلقَّ أي محتوى من الخادم. في حال عدم توفّر أي محتوى، سيتعذّر على محرّك بحث Google فهرسة عناوين URL التي تم الزحف إليها، وخلال أيام ستُحذف من فهرس Google عناوين URL التي سبق وتمت فهرستها، وذلك في حال لم يعُد بالإمكان الوصول إليها. وقد تعرض خدمة Search Console أخطاء لكل خطأ بدوره.
تصحيح أخطاء الشبكة
تحدث هذه الأخطاء قبل أن يبدأ محرّك بحث Google في الزحف إلى عنوان URL أو أثناء الزحف إلى عنوان URL. وبما أن الأخطاء قد تحدث قبل أن يتمكّن الخادم من الاستجابة وبالتالي لا يتوفّر رمز حالة يمكن أن يشير إلى المشاكل، قد يكون تشخيص هذه الأخطاء أكثر صعوبة. لتصحيح أخطاء انتهاء مهلة الشبكة وإعادة ضبط الاتصال:
- اطّلِع على إعدادات جدار الحماية وسجلّاته. من المحتمل أنه قد تم استخدام مجموعة قواعد منع واسعة النطاق بشكل مفرط. تأكَّد من عدم حظر عناوين IP لبرنامج Googlebot من خلال أي من قواعد جدار الحماية.
- اطّلِع على حركة بيانات الشبكة. استخدِم أدوات مثل tcpdump وWireshark لالتقاط حزم TCP وتحليلها، وابحث عن القيم الشاذة التي تشير إلى وجود مكوّن شبكة معيّن أو وحدة خادم معيّنة.
- إذا لم تجد أي أمر مريب، تواصَل مع شركة الاستضافة.
قد يكون الخطأ ضمن أي مكوّن في الخادم يتعامل مع حركة بيانات الشبكة. على سبيل المثال، واجهات الشبكة التي تواجه زيادة في التحميل
قد تستبعد الحزم التي تؤدي إلى انتهاء المهلة (عدم القدرة على إنشاء اتصال)
وإعادة ضبط الاتصالات (يتم إرسال الحزمة RST
بسبب إغلاق منفذ ما عن طريق الخطأ).
تصحيح الأخطاء في نظام أسماء النطاقات
غالبًا ما تحدث أخطاء نظام أسماء النطاقات بسبب خطأ في الإعداد، ولكنها قد تنتج أيضًا عن قاعدة جدار حماية تحظر طلبات بحث نظام أسماء النطاقات لبرنامج Googlebot. لتصحيح الأخطاء في نظام أسماء النطاقات، يمكنك اتّباع الإجراءات التالية:
-
افحص قواعد جدار الحماية. تأكّد من عدم حظر
أي من عناوين IP التي تستخدمها Google
من خلال أي من قواعد جدار الحماية، وأنّ طلبَي
UDP
وTCP
مسموح بهما. -
اطّلِع على سجلّات نظام أسماء النطاقات. تأكَّد من أنّ سجلّات
A
وCNAME
تشير إلى عنوان IP واسم المضيف الصحيحَين على التوالي. مثلاً:dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer
-
تحقَّق من أنّ جميع خوادم الأسماء تشير إلى عناوين IP الصحيحة
لموقعك الإلكتروني. مثلاً:
dig +nocmd example.com ns +noall +answer
example.com. 86400 IN NS a.iana-servers.net. example.com. 86400 IN NS b.iana-servers.net.dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com. 86400 IN A 93.184.216.34dig +nocmd @b.iana-servers.net example.com +noall +answer
... - إذا أجريت تغييرات على إعدادات نظام أسماء النطاقات خلال الـ 72 ساعة الأخيرة، قد تحتاج إلى الانتظار حتى يتم نشر هذه التغييرات في شبكة نظام أسماء النطاقات العالمية. لتسريع عملية النشر، يمكنك محو ذاكرة التخزين المؤقت الخاصة بنظام أسماء النطاقات العام من Google.
- إذا كنت تشغّل خادم نظام أسماء النطاقات الخاص بك، تأكّّد من أنّه سليم ولا يواجه زيادة في التحميل.