كيفية تأثّر زواحف Google برموز حالة HTTP

توضّح هذه الصفحة كيفية تأثير رموز حالة HTTP المختلفة في قدرة Google على الزحف إلى محتواك على الويب. وسنتناول في هذه المقالة أهم 20 رمز حالة يصادفها محرّك بحث Google على الويب. ولا تشمل المقالة رموز الحالة الأقل شيوعًا، مثل 418 (I'm a teapot).

رموز حالة HTTP

ينشئ الخادم الذي يستضيف الموقع الإلكتروني رموز حالة HTTP عندما يستجيب لطلب أجراه العميل، مثل متصفّح أو زاحف. ولكل رمز من رموز حالة HTTP معنى مختلف، ولكن غالبًا ما تكون نتيجة الطلب واحدة. على سبيل المثال، هناك عدة رموز حالة تشير إلى إعادة التوجيه، ولكن نتائجها واحدة.

تنشئ خدمة Search Console رسائل خطأ لرموز الحالة في النطاق 4xx—5xx، ولعمليات إعادة التوجيه التي يتعذّر إتمامها (3xx). إذا ردّ الخادم برمز الحالة 2xx، يمكن النظر في إمكانية فهرسة المحتوى الذي تم استلامه في الاستجابة للفهرسة.

بالنسبة إلى "بحث Google"، لا تضمن رموز حالة HTTP من فئة 2xx (success) فهرسة المحتوى.

يتضمّن الجدول التالي أهم رموز حالة HTTP التي يرصدها Google، بالإضافة إلى شرح حول كيفية تعامُله مع كل رمز حالة.

رموز حالة HTTP

`2xx (success)`

يراجع محرّك بحث Google المحتوى وينظر في إمكانية معالجته (على سبيل المثال، في حالة "بحث Google"، تتم مراجعة المحتوى بهدف فهرسته). إذا تضمّن المحتوى خطأً من منظور "بحث Google"، مثل صفحة فارغة أو رسالة خطأ، ستعرض خدمة Search Console خطأ soft 404.

`200 (success)`	ينقل Google البيانات التي تلقّاها إلى خطوة المعالجة التالية (وتعتمد تلك الخطوة على المنتج المحدّد). بالنسبة إلى "بحث Google"، النظام التالي هو مسار الفهرسة. وقد تفهرس أنظمة الفهرسة المحتوى، ولكن ذلك ليس مضمونًا.
`201 (created)`
`202 (accepted)`	ينتظر Google المحتوى لفترة محدودة ثم يمرّر أي محتوى يتلقّاه إلى خطوة المعالجة التالية (وتعتمد تلك الخطوة على المنتج المحدّد). تعتمد المهلة على وكيل المستخدم. على سبيل المثال، قد تختلف مهلة "Googlebot للهواتف الذكية" عن مهلة "Googlebot للصور".
`204 (no content)`	لم يتمكّن محرّك بحث Google من تلقّي أي محتوى، وبالتالي لا يمكنه معالجته.

`3xx (redirection)`

تتّبع زواحف Google تلقائيًا ما يصل إلى 10 قفزات إعادة توجيه. ومع ذلك، قد تعتمد برامج الزحف الخاصة بمنتجات معيّنة حدودًا مختلفة. على سبيل المثال، يتّبع Googlebot عادةً 10 قفزات إعادة توجيه عند الزحف إلى محتوى الويب العام، ولكن لا تتّبع "أدوات الفحص من Google" عمليات إعادة التوجيه.

يتم تجاهل أي محتوى يستلمه Google من عنوان URL لإعادة التوجيه، ويتم بدلاً من ذلك معالجة محتوى عنوان URL النهائي المستهدف. بالنسبة إلى ملفات robots.txt، تعرَّف على كيفية تعامُل Google مع ملف robots.txt الذي يعرض رمز الحالة 3xx.

`301 (moved permanently)`	يتّبع محرّك بحث Google عملية إعادة التوجيه، وتستخدم أنظمة Google تلك العملية كإشارة قوية إلى أنّه يجب معالجة عنوان URL المستهدف في إعادة التوجيه.
`302 (found)`	تتّبع زواحف Google عملية إعادة التوجيه تلقائيًا، وتستخدم أنظمة Google العملية كإشارة ضعيفة إلى أنّه يجب معالجة عنوان URL المستهدف في إعادة التوجيه. قد تتعامل المنتجات الأخرى مع إعادة التوجيه بشكل مختلف.
`303 (see other)`
`304 (not modified)`	ترسل زواحف Google إشارة إلى نظام المعالجة التالي بأنّ المحتوى هو نفسه الذي تم الزحف إليه في المرة الأخيرة. في حالة "بحث Google"، يمكن أن يعيد مسار الفهرسة تقييم الإشارات الخاصة بعنوان URL، ولكن ليس لرمز الحالة أي تأثير آخر في عملية الفهرسة.
`307 (temporary redirect)`	هذا الرمز مكافئ للرمز `302`.
`308 (moved permanently)`	هذا الرمز مكافئ للرمز `301`.

`4xx (client errors)`

لا يستخدم Google المحتوى من عناوين URL التي تعرض رموز الحالة 4xx. إذا كان عنوان URL مستخدَمًا سابقًا ولكنّه يعرض الآن رمز الحالة 4xx، ستتوقف أنظمة Google عن استخدامه بمرور الوقت. في حالة "بحث Google"، لا يفهرس Google عناوين URL التي تعرض رمز حالة 4xx. وبالنسبة إلى عناوين URL التي سبق أن تمت فهرستها والتي تعرض رمز حالة 4xx، فتُزيلها الأنظمة من الفهرس.

يتم تجاهل أي محتوى يتلقّاه Google من عناوين URL التي تعرض رمز الحالة 4xx.

`400 (bad request)`	يتم التعامل مع جميع أخطاء `4xx` بطريقة واحدة، باستثناء `429`: تُعلم برامج الزحف من Google نظام المعالجة التالي بأنّ المحتوى غير متوفّر. في حالة "بحث Google"، يزيل مسار الفهرسة عنوان URL من الفهرس إذا سبق أن تمت فهرسته. لا تتم معالجة صفحات `404` التي تم رصدها حديثًا. وينخفض معدّل الزحف تدريجيًا. لا تستخدم رمزَي الحالة `401` و`403` للحدّ من معدّل الزحف. لا تؤثر رموز الحالة `4xx`، باستثناء `429`، في معدّل الزحف. تعرَّف على كيفية الحدّ من معدّل الزحف.
`401 (unauthorized)`
`403 (forbidden)`
`404 (not found)`
`410 (gone)`
`411 (length required)`
`429 (too many requests)`	تتعامل برامج زحف Google مع رمز الحالة `429` كإشارة إلى أنّ الخادم يواجه زيادة في التحميل، ويُعتبر ذلك خطأً في الخادم.

`5xx (server errors)`

يطلب خطأ الخادم 5xx و429 من برامج زحف Google تخفيض معدّل الزحف مؤقّتًا. بالنسبة إلى "بحث Google"، تُحفظ في الفهرس عناوين URL التي سبق أن تمت فهرستها، لكنها تُحذف في النهاية.

يتم تجاهل أي محتوى يتلقّاه Google من عناوين URL التي تعرض رمز الحالة 5xx. بالنسبة إلى ملفات robots.txt، تعرَّف على كيفية تعامُل Google مع ملف robots.txt الذي يعرض رمز الحالة 5xx.

بعد أن يبدأ الخادم في الاستجابة برمز الحالة 2xx، يزيد Google معدّل الزحف إلى الموقع الإلكتروني تدريجيًا.

`500 (internal server error)`	يخفّض Google معدّل الزحف إلى الموقع الإلكتروني. ويكون مقدار الانخفاض في معدل الزحف متناسبًا مع عدد عناوين URL الفردية التي تعرض خطأً في الخادم. بالنسبة إلى "بحث Google"، يزيل مسار الفهرسة في Google من الفهرس عناوين URL التي تعرض باستمرار خطأً في الخادم.
`502 (bad gateway)`
`503 (service unavailable)`