تحسين ميزانية الزحف

يشرح هذا الدليل طريقة تحسين زحف Google إلى المواقع الإلكترونية الكبيرة جدًا والتي يتم إجراء تعديلات عليها بشكل متكرّر.

إذا كان موقعك الإلكتروني لا يتضمّن عددًا كبيرًا من الصفحات السريعة التغيّر أو إذا كان الزحف إلى صفحاتك يتم في اليوم نفسه الذي تُنشر فيه، لا تحتاج إلى قراءة هذا الدليل. بالنسبة إلى "بحث Google" تحديدًا، يكفي إبقاء خريطة الموقع محدّثة والتحقّق من تقرير "فهرسة الصفحات" بانتظام.

الفئات المعنيّة بهذا الدليل

على الرغم من أنّ الاقتراحات الواردة في هذا الدليل هي ممارسات جيدة بشكل عام، إلا أنّه دليل متقدّم موجّه بشكل أساسي إلى الأنواع التالية من المواقع الإلكترونية:

• المواقع الإلكترونية الكبيرة (التي تتضمّن أكثر من مليون صفحة فريدة) والتي تعرض محتوًى يتغيّر بوتيرة معتدلة (مرة كل أسبوع)
• المواقع الإلكترونية المتوسطة أو الكبيرة (التي تتضمن أكثر من 10,000 صفحة فريدة) والتي تعرض محتوى سريع التغيّر (يوميًا)
• المواقع الإلكترونية التي يصنّف Search Console قدرًا كبيرًا من إجمالي عناوين URL الخاصة بها ضمن الفئة تم اكتشاف الصفحة - لم تتم فهرستها حتى الآن

النظرية العامة للزحف

الويب هو مساحة كبيرة جدًا تكاد تكون غير متناهية، بحيث يتعذّر على محرّك "بحث Google" استكشاف جميع عناوين URL المتاحة للجميع. ونتيجةً لذلك، يتم تطبيق حدود على الوقت والموارد التي يمكن أن يخصّصها Google للزحف إلى أي موقع إلكتروني فردي. ويُشار عادةً إلى تخصيص هذه الموارد بعبارة ميزانية الزحف إلى الموقع الإلكتروني. في هذا السياق، تحدّد البنية الأساسية للزحف من Google الموقع الإلكتروني على أنّه اسم مضيف فريد. على سبيل المثال، يتم التعامل مع https://www.example.com/ وhttps://code.example.com/ على أنّهما موقعان إلكترونيان منفصلان، ويكون لكل منهما ميزانية زحف منفصلة. يتم تحديد ميزانية الزحف للموقع الإلكتروني استنادًا إلى عنصرَين أساسيَين، هما: الحد الأقصى لسعة الزحف وطلب الزحف.

الحد الأقصى لسعة الزحف

يهدف محرّك بحث Google إلى الزحف إلى موقعك الإلكتروني بدون تحميل الخوادم عبئًا زائدًا. ولتجنُّب ذلك، تحتسب برامج زحف Google الحد الأقصى لسعة الزحف (المعروف أيضًا باسم تحميل المضيف). يحدّ ذلك من إجمالي الوقت الذي يقضيه خادمك في إبقاء الاتصالات مفتوحة لـ Google، مع الأخذ في الاعتبار عدد الاتصالات المتوازية ومدتها. ويضمن ذلك أن تتمكّن Google من تغطية كل المحتوى المهم الذي تعرضه بدون تحميل خوادم موقعك الإلكتروني عبئًا زائدًا.

يبدأ كل موقع إلكتروني بالحدّ الأقصى التلقائي نفسه لسعة الزحف، وهو حدّ معتدل. إذا كان هناك طلب للزحف إلى المزيد من الصفحات وكان الموقع الإلكتروني سليمًا، ستعدّل أنظمة Google هذا الحدّ تلقائيًا بمرور الوقت.

قد يرتفع أو ينخفض الحدّ الأقصى لسعة الزحف استنادًا إلى بضعة عوامل:

• سلامة الزحف: إذا استجاب الموقع الإلكتروني بشكل منتظم وظلّت أوقات الاستجابة (بما في ذلك وقت الاستجابة ومدة تحميل أول بايت) مستقرة أو تحسّنت، سيرتفع الحدّ الأقصى، أي أنّه يمكن استخدام المزيد من الاتصالات للزحف. إذا كانت استجابة الموقع الإلكتروني بطيئة (يزيد وقت الاستجابة أو تصبح أوقات الاستجابة أطول) أو كانت تشير إلى أخطاء في الخادم (رموز الحالة 5xx HTTP) أو إشارات إلى الحدّ من معدّل الزحف (مثل HTTP 429)، سينخفض الحدّ الأقصى لمعدّل الزحف وسيزحف Google بمعدّل أقل.
• حدود الزحف في Google: على الرغم من أنّ موارد Google واسعة النطاق، إلا أنّها محدودة، وعلينا تحديد أولويات تخصيص الموارد على الويب.

طلب الزحف

لكل زاحف "طلب" خاص به عندما يتعلّق الأمر بالزحف إلى الويب، ويتم تحديد هذا الطلب من خلال عوامل فريدة خاصة بهذا الزاحف. على سبيل المثال، يكون الطلب على AdsBot أعلى بشكل عام عندما يعرض الموقع الإلكتروني استهدافات الإعلانات الديناميكية، ويكون الطلب على Google Shopping أعلى للمنتجات التي تدرجها في خلاصات بيانات التاجر.

بالنسبة إلى Googlebot، يختلف الطلب استنادًا إلى حجم الموقع الإلكتروني ومعدل التحديثات وجودة الصفحة ومدى ملاءمة المحتوى للمستخدمين مقارنةً بمواقع أخرى. العوامل الأساسية التي يمكنك التأثير فيها هي:

• عناوين URL المخزّنة التي يتم رصدها: في حال لم تقدّم أي إرشادات إلى Google، سيحاول محرّك البحث الزحف إلى جميع أو معظم عناوين URL التي يرصدها على موقعك الإلكتروني. وإذا كان العديد من عناوين URL هذه نسخًا مكرّرة أو كنت لا تريد أن يتم الزحف إليها لسبب آخر (تمت إزالتها أو أنّها غير مهمة وما شابه)، سيؤدي ذلك إلى إهدار الكثير من الوقت الذي يخصّصه Google للزحف إلى موقعك الإلكتروني. وهذا أكثر عامل يمكن التحكّم به بصورة إيجابية.
• مدى الرواج: يتم عادةً الزحف بوتيرة أسرع إلى عناوين URL الأكثر رواجًا على الإنترنت بهدف إبقائها محدَّثة في أنظمتنا.
• مدى القِدم: تريد أنظمتنا إعادة الزحف إلى المستندات بشكل متكرّر بما يكفي لرصد أي تغييرات.

بالإضافة إلى ذلك، قد تؤدي الأحداث التي تتم على مستوى الموقع الإلكتروني، مثل عمليات نقل الموقع الإلكتروني، إلى زيادة طلب الزحف لإعادة معالجة المحتوى ضمن عناوين URL الجديدة.

الملخّص

استنادًا إلى سعة الزحف وطلب الزحف معًا، يعرّف Google ميزانية الزحف للموقع الإلكتروني كمجموعة عناوين URL التي يستطيع ويريد Google الزحف إليها. إذا كانت وتيرة طلب الزحف منخفضة، سيزحف Google إلى موقعك الإلكتروني بمعدّل أقل حتى إذا لم يتم بلوغ الحدّ الأقصى لسعة الزحف.

أفضل الممارسات

لتحسين كفاءة الزحف إلى أقصى حدّ، اتّبِع أفضل الممارسات التالية:

• إدارة عناوين URL المخزّنة: استخدِم الأدوات المناسبة لإبلاغ Google بالصفحات المطلوب الزحف إليها والصفحات التي لا ينبغي الزحف إليها. إذا أمضى Google الكثير من الوقت في الزحف إلى عناوين URL غير مناسبة، قد لا تستكشف برامج زحف Google بقية أجزاء موقعك الإلكتروني، أو قد لا تزيد ميزانية الزحف.
  • دمج المحتوى المكرّر: أزِل المحتوى المكرّر للتركيز على الزحف إلى محتوى فريد بدلاً من عناوين URL فريدة.
  • حظر الزحف إلى عناوين URL باستخدام ملف robots.txt: قد تكون بعض الصفحات مهمة للمستخدمين، ولكنّك لا تريدها بالضرورة أن تظهر على مساحات عرض Google، أو لا تريد أن تعيد أنظمة Google معالجتها. وتشمل الأمثلة صفحات التمرير اللانهائي التي تكرّر المعلومات على الصفحات المرتبطة، أو النُسخ المتعدّدة من الصفحة ذاتها والمرتّبة بشكل مختلف. إذا لم تتمكن من دمج المحتوى المكرّر كما هو موضّح في النقطة الأولى، احظر هذه الصفحات غير المهمة باستخدام ملف robots.txt. يؤدي حظر عناوين URL باستخدام ملف robots.txt إلى منع Google من الزحف إليها، ويقلّل بشكل كبير من احتمال معالجة عناوين URL هذه بواسطة أنظمة Google الأخرى (مثل فهرستها بواسطة "بحث Google").
  • عرض رمز الحالة 404 أو 410 للصفحات التي تمت إزالتها نهائيًا: لن ينسى Google عنوان URL اطّلع عليه سابقًا، ولكنّ رمز الحالة 404 هو إشارة قوية بعدم الزحف إلى عنوان URL هذا مجددًا. وستبقى عناوين URL المحظورة جزءًا من قائمة انتظار الزحف لفترة أطول، وستتم إعادة الزحف إليها عند إزالة الحظر.
  • إزالة أخطاء soft 404: سيتواصل الزحف إلى الصفحات التي تعرض الخطأ soft 404، ما يؤدي إلى إهدار ميزانيتك. تحقَّق من تقرير "فهرسة الصفحات" بحثًا عن أخطاء soft 404.
  • تعديل خرائط الموقع باستمرار: يقرأ Google خريطة الموقع بانتظام، لذا تأكَّد من تضمين كل المحتوى الذي تريد أن يزحف Google إليه. إذا كان موقعك الإلكتروني يتضمّن محتوًى تم تعديله، ننصحك بتضمين العلامة <lastmod>.
  • تجنُّب سلاسل إعادة التوجيه الطويلة التي تؤثّر سلبًا في عملية الزحف
• تحسين صفحاتك ليتم تحميلها بشكل أسرع: إذا كان بإمكان Google تحميل صفحاتك وعرضها بشكل أسرع، قد نتمكّن من قراءة المزيد من المحتوى على موقعك الإلكتروني.
  • تحسين سرعة التحميل: حسِّن أوقات استجابة الخادم والموارد لتسريع تحميل الصفحات.
  • استخدام التخزين المؤقت عبر HTTP: يجب إتاحة استخدام رموز حالة HTTP 304 (Not Modified). إذا لم تتغيّر الصفحة منذ آخر مرة زحف إليها محرّك "بحث Google"، سيؤدي عرض رمز الحالة 304 إلى إخبار Google بإعادة استخدام النسخة المخزّنة مؤقتًا، ما يؤدي إلى توفير النطاق الترددي والموارد على الخادم.
• تحديد المشاكل المتعلّقة بميزانية الزحف وحلّها: تأكَّد من أنّ موقعك الإلكتروني خالٍ من أي مشاكل في التوفّر أثناء عملية الزحف، وابحث عن طرق لجعل عملية الزحف أكثر فعالية.

كيف يمكنني زيادة ميزانية الزحف؟

تتوفّر طريقتان لزيادة ميزانية الزحف:

• إضافة المزيد من موارد الخادم: إذا تعذّر الزحف إلى موقعك الإلكتروني بسبب سعة الخادم من جهتك (على سبيل المثال، إذا ظهرت لك الرسالة تم تجاوز الحد الأقصى لتحميل المضيف في أداة فحص عنوان URL)، يمكنك إضافة المزيد من موارد الخادم إذا كان ذلك مناسبًا لعملك التجاري.
• تحسين جودة المحتوى للمنتج الذي تستهدفه من Google: يحدّد محرّك "بحث Google" موارد الزحف المخصّصة لكل موقع إلكتروني من خلال الأخذ في الاعتبار العوامل ذات الصلة بمنتج Google المحدّد. على سبيل المثال، بالنسبة إلى "بحث Google"، يشمل ذلك عوامل مثل مدى رواج المحتوى وقيمته الإجمالية بالنسبة إلى المستخدمين ومدى فرادته وسعة العرض.