دليل مالكي المواقع الإلكترونية الكبيرة لإدارة ميزانية الزحف

يشرح هذا الدليل طريقة تحسين زحف Google إلى المواقع الإلكترونية الكبيرة جدًا والتي يتم إجراء تعديلات عليها بشكل متكرّر.

إذا كان موقعك الإلكتروني لا يتضمّن عددًا كبيرًا من الصفحات السريعة التغيّر أو إذا تبيّن لك أنّ الزحف إلى صفحاتك يتم في اليوم نفسه الذي تُنشر فيه، لا تحتاج إلى قراءة هذا الدليل. في تلك الحالة، يكفي أن تعدّل ملف Sitemap وأن تتحقّق من تغطية الفهرس بانتظام.

إذا كان لديك محتوى متاح منذ فترة ولكن لم يسبق أن تمت فهرسته، يجب حلّ هذه المشكلة بطريقة مختلفة. في تلك الحالة، استخدِم أداة فحص عنوان URL لمعرفة سبب عدم فهرسة صفحتك.

الفئات المعنيّة بهذا الدليل

هذا دليل متقدّم وهو مخصّص للفئات التالية:

  • المواقع الإلكترونية الكبيرة (التي تتضمّن أكثر من مليون صفحة فريدة) والتي تعرض محتوًى يتغيّر بوتيرة معتدلة (مرة كل أسبوع)
  • المواقع الإلكترونية المتوسطة أو الكبيرة (التي تتضمّن أكثر من 10,000 صفحة فريدة) والتي تعرض محتوى سريع التغيّر (يوميًا)

النظرية العامة للزحف

الويب هو مساحة كبيرة جدًا تكاد تكون غير متناهية، بحيث يتعذّر على محرّك البحث Google استكشاف وفهرسة جميع عناوين URL المتاحة. ونتيجةً لذلك، يتم تطبيق حدود على الوقت الذي يمكن أن يقضيه Googlebot في الزحف إلى أي موقع إلكتروني فردي. ويُشار عادةً إلى المقدار الذي تخصّصه Google من الوقت والموارد للزحف إلى موقع إلكتروني بعبارة ميزانية الزحف إلى الموقع الإلكتروني. ويُرجى العِلم بأنه لن تتم بالضرورة فهرسة جميع الصفحات التي يتم الزحف إليها على موقعك الإلكتروني، لأنه يجب تقييم كل صفحة ودمجها لتحديد ما إذا كانت ستتم فهرستها بعد الزحف إليها.

يتم تحديد ميزانية الزحف استنادًا إلى عنصرَين أساسيَين: الحد الأقصى لسعة الزحف وطلب الزحف.

الحد الأقصى لسعة الزحف

يهدف Googlebot إلى الزحف إلى موقعك الإلكتروني بدون تحميل الخوادم عبئًا زائدًا. ولتحقيق ذلك، يحتسب Googlebot الحد الاقصى لسعة الزحف، وهو الحد الأقصى لعدد الاتصالات المتوازية والمتزامنة التي يمكن لبرنامج Googlebot استخدامها للزحف إلى موقع إلكتروني، بالإضافة إلى مدة التأخير الفاصلة بين عمليات جلب البيانات. ويتم احتساب ذلك لتوفير تغطية لكل المحتوى المهم الذي تعرضه بدون تحميل خوادم موقعك الإلكتروني عبئًا زائدًا.

قد يرتفع أو ينخفض الحدّ الأقصى لسعة الزحف استنادًا إلى بضعة عوامل:

  • سلامة الزحف: إذا استجاب الموقع الإلكتروني بسرعة عالية لبعض الوقت، سيرتفع الحدّ الأقصى، أي أنه يمكن استخدام المزيد من الاتصالات للزحف. إذا كانت استجابة الموقع الإلكتروني بطيئة أو كانت تشير إلى أخطاء في الخادم، سينخفض الحدّ الأقصى لسعة الزحف وسيزحف Googlebot بمعدّل أقل.
  • الحدّ الأقصى الذي ضبطه مالك الموقع الإلكتروني في Search Console: بإمكان مالكي المواقع الإلكترونية خفض معدّل زحف Googlebot إلى مواقعهم الإلكترونية بشكل اختياري. ويُرجى العلم بأنّ ضبط حدّ أعلى للزحف لن يؤدي إلى زيادة معدّل الزحف تلقائيًا.
  • حدود الزحف لدى Google: تملك Google العديد من الأجهزة، ولكن ليس بكمية لا متناهية. وبالتالي، علينا تحديد الخيارات باستخدام الموارد المتاحة لنا.

طلب الزحف

يخصّص محرّك البحث Google عادةً وقتًا كافيًا للزحف إلى موقع إلكتروني استنادًا إلى حجمه ومعدّل تعديله وجودة الصفحة ومدى الصلة بالموضوع مقارنةً بمواقع أخرى.

تشمل العوامل التي تؤدي دورًا مهمًا في تحديد طلب الزحف ما يلي:

  • مخزن البيانات الملموس: في حال لم تقدّم أي إرشادات إلى Googlebot، سيحاول الزحف إلى جميع أو معظم عناوين URL التي يرصدها على موقعك الإلكتروني. وإذا كان العديد من عناوين URL هذه نسخًا مكرّرة أو كنت لا تريد أن يتمّ الزحف إليها لسبب آخر (تمت إزالتها أو أنها غير مهمة وما إلى ذلك)، سيؤدي ذلك إلى إهدار الكثير من الوقت الذي يخصّصه محرّك البحث Google للزحف إلى موقعك الإلكتروني. وهذا أكثر عامل يمكن التحكّم به بصورة إيجابية.
  • مدى الرواج: يتم عادةً الزحف بمعدّل أعلى إلى عناوين URL الأكثر رواجًا على الإنترنت بهدف تعديلها باستمرار في فهرسنا.
  • مدى القِدم: تريد أنظمتنا إعادة الزحف إلى المستندات بشكل متكرّر بما يكفي لرصد أي تغييرات.

بالإضافة إلى ذلك، قد تؤدي الأحداث التي تتم على مستوى الموقع الإلكتروني، مثل عمليات نقل بيانات الموقع الإلكتروني، إلى زيادة معدّل طلب الزحف لإعادة فهرسة المحتوى ضمن عناوين URL الجديدة.

الخلاصة

استنادًا إلى سعة الزحف وطلب الزحف معًا، يعرّف محرّك البحث Google ميزانية الزحف للموقع الإلكتروني كمجموعة عناوين URL التي يستطيع ويريد برنامج Googlebot الزحف إليها. إذا كانت وتيرة طلب الزحف منخفضة، سيزحف Googlebot إلى موقعك الإلكتروني بمعدّل أقل حتى إذا لم يتم بلوغ الحدّ الأقصى لسعة الزحف.

أفضل الممارسات

يمكنك اتّباع أفضل الممارسات التالية لتحسين كفاءة الزحف إلى أقصى حدّ:

  • إدارة عناوين URL المخزّنة: استخدِم الأدوات المناسبة لإبلاغ محرّك البحث Google بالصفحات المطلوب الزحف إليها والصفحات التي لا تريد الزحف إليها. إذا قضى محرّك البحث Google الكثير من الوقت في الزحف إلى عناوين URL غير مناسبة للفهرس، قد يستنتج برنامج Googlebot أنّه من غير المجدي تخصيص وقت للاطّلاع على بقية أجزاء موقعك الإلكتروني (أو زيادة ميزانيتك لإجراء ذلك).
    • دمج المحتوى المكرّر: أزِل المحتوى المكرّر للتركيز على الزحف إلى محتوى فريد بدلاً من عناوين URL فريدة.
    • احظر الزحف إلى عناوين URL التي لا تريد فهرستها. قد تكون بعض الصفحات مهمة للمستخدمين، ولكنك لا تريد ظهورها في نتائج "بحث Google". على سبيل المثال، صفحات التمرير اللانهائي التي تكرّر المعلومات على الصفحات المرتبطة، أو النُسخ المتعدّدة من الصفحة ذاتها والمرتّبة بشكل مختلف. إذا لم تتمكن من دمج المحتوى المكرّر كما هو موضّح في النقطة الأولى، احظر هذه الصفحات غير المهمة (للبحث) باستخدام ملف robots.txt أو أداة "معلَمات عناوين URL" (للمحتوى المكرّر التي تصل إليه "معلَمات عناوين URL").
    • عرض الرمز 404/410 للصفحات التي تمت إزالتها نهائيًا: لن ينسى محرّك البحث Google عنوان URL اطّلع عليه سابقًا، ولكنّ الرمز 404 هو إشارة قوية بعدم الزحف إلى عنوان URL هذا مجددًا. وستبقى عناوين URL المحظورة جزءًا من قائمة انتظار الزحف لفترة أطول، وستتم إعادة الزحف إليها عند إزالة الحظر.
    • إزالة أخطاء soft 404: سيتواصل الزحف إلى الصفحات التي تعرض الخطأ soft 404، ما سيهدر ميزانيتك. تحقّق من تقرير "تغطية الفهرس" بحثًا عن أخطاء soft 404.
    • تعديل ملفات Sitemap باستمرار: يقرأ محرّك البحث Google ملف Sitemap بانتظام، لذا تأكّد من تضمين كل المحتوى الذي تريد أن يزحف Google إليه. إذا كان موقعك الإلكتروني يتضمّن محتوى تم تعديله، ننصحك بتضمين علامة <lastmod>.
    • تجنُّب سلاسل إعادة التوجيه الطويلة التي تؤثّر سلبًا في عملية الزحف
  • تحسين صفحاتك ليتم تحميلها بشكل أسرع: إذا كان بإمكان محرّك البحث Google تحميل صفحاتك وعرضها بشكل أسرع، قد نتمكّن من قراءة المزيد من المحتوى على موقعك الإلكتروني.
  • مراقبة عملية الزحف إلى موقعك الإلكتروني: تأكّد من أنّ موقعك الإلكتروني خالٍ من أي مشاكل في مدى التوفّر أثناء عملية الزحف، وابحث عن طرق لجعل عملية الزحف أكثر فعالية.

مراقبة الزحف والفهرسة على موقعك الإلكتروني

في ما يلي الخطوات الأساسية لمراقبة ملف الزحف الخاص بموقعك الإلكتروني:

  1. التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني
  2. التحقّق مما إذا كانت لديك صفحات لا يتم الزحف إليها في حين أنّ ذلك ضروري
  3. التحقّق مما إذا كان يجب زيادة سرعة الزحف إلى أي جزء من موقعك الإلكتروني
  4. تحسين كفاءة الزحف إلى موقعك الإلكتروني
  5. معالجة عمليات الزحف الزائدة إلى موقعك الإلكتروني

1. التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني

إنّ تحسين مدى توفّر موقعك الإلكتروني لن يؤدي بالضرورة إلى زيادة ميزانية الزحف، لأنّ محرّك البحث Google يحدّد أفضل معدّل زحف بناءً على طلب الزحف، كما هو موضّح سابقًا. والمشاكل المرتبطة بمدى التوفّر تمنع محرّك البحث Google من الزحف إلى موقعك الإلكتروني بالمقدار الذي يريده.

التشخيص:

استخدِم تقرير إحصاءات الزحف للاطّلاع على سجلّ زحف Googlebot إلى موقعك الإلكتروني. يعرض التقرير الحالات التي واجه فيها محرّك البحث Google مشاكل مرتبطة بمدى التوفّر على موقعك الإلكتروني. إذا تم الإبلاغ عن أخطاء أو تحذيرات مرتبطة بمدى توفّر موقعك الإلكتروني، ابحث عن الحالات التي تجاوزت فيها طلبات Googlebot حدّ الخطّ الأحمر (الذي يمثّل الحدّ الأقصى) في الرسوم البيانية الخاصة بمدى توفّر المضيف، وانقر على الرسم البياني للاطّلاع على عناوين URL التي تعذّر الدخول إليها وحاوِل معرفة صلتها بالعناوين التي تتضمّن مشاكل على موقعك الإلكتروني.

الحلّ:

  • الاطّلاع على مستندات تقرير إحصاءات الزحف للتعرّف على طريقة العثور على بعض المشاكل المرتبطة بمدى التوفّر وحلّها
  • حظر الزحف إلى الصفحات التي لا تريد أن يتم الزحف إليها (راجِع إدارة مخزن بياناتك)
  • زيادة سرعة تحميل وعرض الصفحة (راجِع تحسين كفاءة الزحف إلى موقعك الإلكتروني)
  • زيادة سعة الخادم: إذا بدا لك أنّ محرّك البحث Google يزحف باستمرار إلى موقعك الإلكتروني وصولاً إلى الحدّ الأقصى لسعة العرض ولكن لا تزال لديك عناوين URL مهمة لا يتم الزحف إليها أو تعديلها بالمقدار المطلوب، قد يتمكّن محرّك البحث Google من طلب المزيد من الصفحات على موقعك الإلكتروني إذا تم توفير المزيد من موارد العرض. تحقّق من سجلّ مدى توفر المضيف في تقرير إحصاءات الزحف لمعرفة ما إذا كان معدّل الزحف لمحرّك البحث Google يتجاوز خطّ الحدّ الأقصى بشكل متكرّر. في تلك الحالة، يمكنك زيادة موارد العرض لمدة شهر ومراقبة ما إذا كانت طلبات الزحف قد ازدادت خلال الفترة نفسها.

2. التحقّق مما إذا كانت لديك أجزاء على موقعك الإلكتروني لا يتم الزحف إليها في حين أنّ ذلك ضروري

يخصّص محرّك البحث Google وقتًا كافيًا حتى يفهرس كل المحتوى العالي الجودة والمفيد للمستخدمين الذي يجده على موقعك الإلكتروني. إذا كنت تعتقد أنّ Googlebot يفوته الزحف إلى بعض المحتوى المهم، قد يكون السبب أنّه لا يعلم بالمحتوى أو أنّ محرك البحث Google محظور من الوصول إلى المحتوى أو أنّ مدى توفّر موقعك الإلكتروني يعيق إمكانية وصول محرّك البحث Google إلى المحتوى (أو أنّ محرّك البحث Google يحاول عدم زيادة الحمل على موقعك الإلكتروني).

التشخيص:

لا توفّر خدمة Search Console سجلّ زحف إلى موقعك الإلكتروني قابلاً للفلترة حسب عنوان URL أو المسار، ولكن يمكنك فحص سجلّات موقعك الإلكتروني لمعرفة ما إذا كان Googlebot قد زحف إلى عناوين URL معيّنة. وما من رابط بين موضوع هذه المقالة وفهرسة أو عدم فهرسة عناوين URL التي تم الزحف إليها.

تذكّر أنه في معظم المواقع الإلكترونية، يستغرق ظهور الصفحات الجديدة عدة أيام كحدّ أدنى، ومن غير المتوقّع أن يتم الزحف إلى عناوين URL على المواقع الإلكترونية في اليوم نفسه باستثناء المواقع الحساسة للوقت، مثل مواقع الأخبار.

الحلّ:

إذا كنت تضيف صفحات إلى موقعك الإلكتروني ولا يتم الزحف إليها خلال فترة زمنية معقولة، يشير ذلك إلى أنّ محرّك البحث Google لا يعرف بها أو أنّ المحتوى محظور أو أنّ موقعك الإلكتروني قد وصل إلى الحد الأقصى لسعة العرض أو أنّ ميزانية الزحف قد نفدت لموقعك الإلكتروني.

  1. أطلِع محرّك البحث Google على صفحاتك الجديدة: عدِّل ملفات Sitemap من خلال تضمين عناوين URL الجديدة.
  2. راجِع قواعد robots.txt للتأكد من أنّك لا تحظر صفحات عن طريق الخطأ.
  3. إذا كانت جميع الصفحات التي لم يتم الزحف إليها تحتوي على معلَمات عنوان URL، من المحتمل أن يكون قد تم استبعاد صفحاتك بسبب الإعدادات في أداة &quot;معلَمات عناوين URL‏&quot;، وبما أنه لا تتوفّر طريقة للتحقّق من هذا الاستبعاد، ننصح عادةً بعدم استخدام هذه الأداة.
  4. راجِع أولويات الزحف (المعروفة أيضًا باستخدام ميزانية الزحف بطريقة فعالة) عليك إدارة مخزن البيانات وتحسين كفاءة الزحف إلى موقعك الإلكتروني
  5. تأكّد من عدم نفاد سعة العرض لموقعك الإلكتروني. سيخفّض Googlebot معدّل الزحف إذا ما وجد أنّ الخوادم تواجه مشكلة في الاستجابة لطلبات الزحف.

يُرجى العلم بأنه قد لا يتم عرض الصفحات في نتائج البحث حتى إذا تم الزحف إليها في حال لم يكن هناك قيمة كافية للمحتوى أو طلب من المستخدمين عليه.

3. التحقّق مما إذا كان الزحف إلى التعديلات يتم بسرعة كافية

إذا فاتتنا صفحات جديدة أو معدّلة على موقعك الإلكتروني، قد يكون السبب أننا لم نرَها أو لم نلاحظ أنّه تم تعديلها. ويمكنك مساعدتنا في الاطّلاع على تعديلات الصفحات على النحو التالي.

تجدر الإشارة إلى أنّ محرّك البحث Google يسعى جاهدًا للتحقّق من الصفحات وفهرستها خلال وقت معقول. في معظم المواقع الإلكترونية، يستغرق ذلك ثلاثة أيام أو أكثر. ومن غير المتوقّع أن يفهرس محرّك البحث Google الصفحات في اليوم نفسه الذي تنشرها فيه إلا إذا كان لديك موقع إخباري أو كنت تعرض محتوى آخر عالي القيمة وحساسًا جدًا للوقت.

التشخيص:

تحقّق من سجلّات موقعك الإلكتروني لمعرفة الوقت الذي زحف فيه Googlebot إلى عناوين URL معيّنة.

لمعرفة تاريخ الفهرسة، استخدِم أداة فحص عنوان URL أو ابحث في Google عن عناوين URL التي عدّلتها.

الحلّ:

يمكنك إجراء ما يلي:

  • استخدام خريطة موقع الأخبار إذا كان موقعك الإلكتروني يعرض محتوى إخباريًا إبلاغ Google عند نشر أو تغيير ملف Sitemap
  • استخدام علامة <lastmod> في ملفات Sitemap للإشارة إلى الوقت الذي تم فيه تعديل عنوان URL المفهرَس
  • استخدام بنية عنوان URL بسيطة لمساعدة محرّك البحث Google في العثور على صفحاتك
  • توفير روابط <a> قابلة للزحف وعادية لمساعدة محرّك البحث Google في العثور على صفحاتك

تجنَّب ما يلي:

  • إرسال ملف Sitemap غير المعدّل نفسه عدة مرات يوميًا
  • التوقُّع أنّ Googlebot سيزحف إلى كل محتوى ملف Sitemap، أو أنّه سيزحف إليه على الفور تشكّل ملفات Sitemap اقتراحات مفيدة لبرنامج Googlebot، وهي ليست شرطًا أساسيًا
  • تضمين عناوين URL في ملفات Sitemap التي لا تريدها أن تظهر في "بحث Google": يمكن أن يؤدي هذا الإجراء إلى إهدار ميزانية الزحف على الصفحات التي لا تريد فهرستها

4. تحسين كفاءة الزحف إلى موقعك الإلكتروني

زيادة سرعة تحميل الصفحة

تتأثّر عملية زحف محرّك البحث Google بعدّة عوامل، وهي معدّل نقل البيانات والوقت ومدى توفّر Googlebot. وفي حال كان خادمك يستجيب للطلبات بشكل أسرع، قد نتمكن من الزحف إلى المزيد من الصفحات على موقعك الإلكتروني. يريد محرّك البحث Google الزحف إلى محتوى عالي الجودة فقط، لذلك لن تؤدي زيادة سرعة الصفحات ذات الجودة المنخفضة إلى تشجيع Googlebot على الزحف إلى مزيد من الصفحات على موقعك الإلكتروني. وفي المقابل، إذا كنا نعتقد أنه يفوتنا الزحف إلى محتوى عالي الجودة على موقعك الإلكتروني، من المرجح أن نزيد ميزانية الزحف لموقعك الإلكتروني كي تزحف برامجنا إلى ذلك المحتوى.

إليك طريقة تحسين صفحاتك ومواردك لتعزيز عملية الزحف:

  • امنع Googlebot من تحميل الموارد الكبيرة وغير المهمة باستخدام ملف robots.txt. احرص على حظر الموارد غير المهمة فقط، أي الموارد التي لا أهمية لها في فهم معنى الصفحة (مثل الصور الزخرفية).
  • تأكّد من أنّ تحميل صفحاتك يتم بسرعة.
  • تجنَّب استخدام سلاسل إعادة التوجيه الطويلة التي تؤثر سلبًا في عملية الزحف.
  • يجب الأخذ بالاعتبار الوقت اللازم للاستجابة لطلبات الخادم والوقت اللازم لعرض الصفحات، بما في ذلك وقت التحميل والتنفيذ للموارد المضمّنة، مثل الصور والنصوص البرمجية. ويجب الانتباه إلى الموارد الكبيرة أو البطيئة المطلوبة للفهرسة.

إخفاء عناوين URL التي لا تريدها أن تظهر في نتائج البحث

قد يؤدي إهدار موارد الخادم على صفحات غير ضرورية إلى الحدّ من نشاط الزحف من الصفحات المهمة بالنسبة إليك، ما قد يؤدي إلى حدوث تأخير كبير في اكتشاف محتوى مهم جديد أو معدَّل على الموقع الإلكتروني.

إنّ عرض العديد من عناوين URL التي لا تريد أن يزحف إليها محرّك البحث على موقعك الإلكتروني قد يؤثر سلبًا في عملية الزحف إلى الموقع الإلكتروني وفهرسته. وتندرج عناوين URL هذه عادةً ضمن الفئات التالية:

يمكنك إجراء ما يلي:

  • استخدِم ملف robots.txt إذا كنت لا تريد أن يزحف محرّك البحث Google إلى مورد أو صفحة على الإطلاق.
  • إذا تمت إعادة استخدام مورد شائع على عدة صفحات، (مثل صورة مشتركة أو ملف JavaScript)، أشِر إلى المورد باستخدام عنوان URL نفسه في كل صفحة كي يتمكّن محرّك البحث Google من تخزين المورد نفسه مؤقتًا وإعادة استخدامه بدون الحاجة إلى طلبه عدة مرات.

تجنَّب ما يلي:

  • لا تلجأ إلى إضافة أو إزالة صفحات أو أدلة من ملف robots.txt بانتظام كطريقة لـ "إخلاء" ميزانية زحف إضافية لموقعك الإلكتروني. استخدِم ملف robots.txt فقط للصفحات أو الموارد التي لا تريدها أن تظهر في نتائج البحث على Google في المدى الطويل.
  • لا تبدِّل ملفات Sitemap أو تستخدِم آليات إخفاء مؤقّت أخرى بهدف "إخلاء المزيد من الميزانية".

5. معالجة عمليات الزحف الزائدة إلى موقعك الإلكتروني (حالات الطوارئ)

يتضمّت Googlebot خوارزميات لمنعه من تحميل موقعك الإلكتروني عبئًا زائدًا من خلال طلبات الزحف، ولكن إذا وجدت أنّ Googlebot يزيد الحِمل على موقعك الإلكتروني، يمكنك تنفيذ بعض الإجراءات.

التشخيص:

راقِب الخادم للتأكّد من أنّ Googlebot لا يزيد الحِمل على موقعك الإلكتروني من خلال طلبات الزحف الزائدة.

الحلّ:

في حالات الطوارئ، ننصح باتّباع الخطوات التالية لإبطاء معدّل زحف Googlebot إذا كان يزيد الحِمل على الموقع الإلكتروني:

  1. اعرض رموز نتيجة HTTP 503/429 مؤقتًا لطلبات Googlebot عندما يكون الحِمل زائدًا على الخادم. سيعيد Googlebot محاولة الزحف إلى عناوين URL هذه لمدة يومين تقريبًا. يُرجى العِلم بأنّ عرض رموز "عدم التوفّر" لأكثر من بضعة أيام سيؤدي إلى إبطاء أو إيقاف عملية زحف محرّك البحث Google إلى عناوين URL على موقعك الإلكتروني بشكلٍ دائم، لذا عليك اتّباع الخطوات الإضافية التالية.
  2. اخفض معدّل زحف Googlebot إلى موقعك الإلكتروني. قد يستغرق هذا الإجراء يومَين كي يدخل حيّز التنفيذ، ويتطلّب أذونات مالك الموقع على Search Console. لا تنفِّذ هذا الإجراء إلا إذا لاحظت أنّ محرّك البحث Google يجري عمليات زحف زائدة ومتكرّرة لمدة طويلة في الرسم البياني مدى توفّر المضيف > استخدام المضيف ضمن تقرير "إحصاءات الزحف".
  3. عندما ينخفض معدّل الزحف، أوقِف عرض رسالة 503/429 لطلبات الزحف، لأنّ عرض الرمز 503 لفترة تتجاوز يومَين سيؤدي إلى إزالة عناوين URL التي تعرض الرمز 503 من الفهرس.
  4. راقِب معدّل الزحف وسعة المضيف بمرور الوقت لمعرفة ما إذا كان من المناسب رفع معدّل الزحف مجددًا أو السماح بالعودة إلى معدّل الزحف التلقائي.
  5. إذا كان الزاحف الذي يسبّب المشكلة هو أحد برامج زحف AdsBot، من المحتمَل أن تكون قد أنشأت استهدافات للإعلانات الديناميكية على شبكة البحث لموقعك الإلكتروني الذي يحاول محرّك البحث Google الزحف إليه. وستتكرّر عملية الزحف هذه كل أسبوعَين. إذا لم تتوفّر لديك سعة الخادم اللازمة للتعامل مع عمليات الزحف هذه، عليك إما الحدّ من استهدافات الإعلانات أو زيادة سعة العرض.

الحقائق والمعلومات الخاطئة حول عملية الزحف

اختبِر معلوماتك حول كيفية زحف Google إلى المواقع الإلكترونية وفهرستها.

يمكن أن يؤدي ضغط ملفات Sitemap إلى زيادة ميزانية الزحف.
صحيح
خطأ
هذا الاعتقاد غير صحيح. يجب جلب ملفات Sitemap التي يتم ضغطها من الخادم، وبالتالي لن يؤدي إرسال ملفات Sitemap مضغوطة إلى توفير الكثير من الوقت أو الجهد الذي يبذله محرّك البحث Google في الزحف.
يفضّل محرّك البحث Google عرض المحتوى الأحدث، لذلك من الأفضل أن أعدّل صفحتي باستمرار.
صحيح
خطأ
يتم تقييم المحتوى استنادًا إلى جودته، بغض النظر عن مدى قِدمه. يمكنك إنشاء المحتوى وتعديله عند الضرورة، ولكن لا قيمة إضافية لتجديد مظهر الصفحة بشكل مصطنع عن طريق إجراء تغييرات غير مهمة عليها وتعديل تاريخها.
يفضّل محرّك البحث Google المحتوى القديم (يوليه أهمية أكبر) مقارنةً بالمحتوى الجديد.
صحيح
خطأ
إذا كانت صفحتك مفيدة، يتم النظر إليها على أنها مفيدة سواء كانت جديدة أم قديمة.
يفضّل محرّك البحث Google عناوين URL الواضحة ولا يحبّذ معلَمات طلب البحث.
صحيح
خطأ
يمكننا الزحف إلى المعلَمات، ولكن تذكّر أن تحظر الصفحات ذات المعلَمات التي تشير إلى محتوى مكرّر.
كلما ازدادت سرعة تحميل صفحاتك وعرضها، ازدادت قدرة محرّك البحث Google على الزحف.
صحيح
صحيح، مع الأخذ في الاعتبار أنّ مواردنا تخضع لقيود الوقت وعدد برامج التتبّع المستخدمة في الزحف. إذا كان بإمكانك عرض المزيد من الصفحات في فترة زمنية محدّدة، سيكون بإمكاننا الزحف إلى المزيد منها. وقد نخصّص مزيدًا من الوقت للزحف إلى موقع إلكتروني يحتوي على معلومات أكثر أهمية، حتى إذا كانت سرعته أبطأ. وعلى الأرجح، قد تكون زيادة سرعة موقعك الإلكتروني للمستخدمين أكثر فائدة من زيادة سرعته لتحسين تغطية الزحف. ومن الأسهل أن تساعد محرّك البحث Google في الزحف إلى المحتوى المناسب بدلاً من الزحف إلى كل المحتوى الذي تعرضه في كل مرة. يُرجى العلم بأنّ الزحف إلى موقع إلكتروني يشمل عمليّتَي استرداد المحتوى وعرضه. ولا يقلّ الوقت المستغرَق في عرض الصفحة أهميةً عن الوقت المستغرَق في طلب الصفحة. بالتالي، ستؤدي زيادة سرعة عرض صفحاتك إلى زيادة سرعة الزحف أيضًا.
خطأ
لا يتم الزحف إلى المواقع الإلكترونية الصغيرة والكبيرة بالمعدّل نفسه.
صحيح
خطأ
إذا كان الموقع الإلكتروني يتضمّن محتوًى مهمًا يتغير باستمرار، سنزحف إليه بشكل متكرّر بغض النظر عن حجمه.
كلما كان المحتوى الذي تعرضه شبيهًا بالمحتوى المتوفّر على الصفحة الرئيسية، ازدادت أهميته بالنسبة إلى محرّك البحث Google.
صحيح
صحيح جزئيًا
غالبًا ما تكون الصفحة الرئيسية في موقعك الإلكتروني هي الصفحة الأكثر أهمية على الموقع، وبالتالي تُعتبر الصفحات التي ترتبط مباشرةً بالصفحة الرئيسية على أنها أكثر أهمية ويتم الزحف إليها بمعدّل أعلى، لكن ذلك لا يدلّ على أنّ هذه الصفحات سيتم ترتيبها في موضع أعلى مقارنةً بالصفحات الأخرى على موقعك الإلكتروني.
خطأ
إنّ إنشاء نُسخ من عناوين URL هو وسيلة جيّدة لحثّ محرّك البحث Google على إعادة الزحف إلى صفحاتي.
صحيح
صحيح جزئيًا
من المرجّح أن يؤدي استخدام نسخة أخرى من عنوان URL لصفحتك إلى حثّ محرّك البحث Google على الزحف إليها مجددًا في وقت أقرب، ولكنّ هذا الإجراء غير ضروري في معظم الأحيان، وسيؤدي إلى إهدار موارد الزحف في حال عدم إجراء أي تغيير على الصفحة. إذا كنت تستخدم نُسخًا مختلفة من عناوين URL للإشارة إلى محتوى جديد، ننصحك بتغيير عنوان URL فقط عندما تتم إضافة معلومات مفيدة إلى محتوى الصفحة.
خطأ
تتأثر ميزانية الزحف بسرعة الموقع الإلكتروني وبالأخطاء.
صحيح
يؤدي تحسين أداء الموقع الإلكتروني إلى تحسين تجربة المستخدمين وكذلك إلى زيادة معدّل الزحف. ويُعدّ الموقع الإلكتروني السريع إشارة إلى Googlebot على توفّر خوادم جيّدة، ما يتيح له الحصول على مزيد من المحتوى باستخدام عدد الاتصالات نفسه. وفي المقابل، إنّ عرض عدد كبير من رموز نتائج 5xx HTTP (أخطاء الخادم) أو انتهاء المهلة المحدّدة للاتصال يدّل على عكس ذلك، ما يؤدّي إلى خفض سرعة الزحف. ننصحك بمراقبة تقرير إحصاءات الزحف في Search Console وإبقاء عدد أخطاء الخادم منخفضًا.
خطأ
الزحف هو عامل ترتيب.
صحيح
خطأ
لن يؤدي تحسين معدّل الزحف بالضرورة إلى تحسين موضع الصفحة في نتائج البحث. ويستخدِم محرّك البحث Google العديد من الإشارات لترتيب النتائج، والزحف هو عامل ضروري لظهور الصفحة في نتائج البحث، إلّا أنّه لا يتم الاعتماد عليه في ترتيب النتائج.
يتم احتساب عناوين URL البديلة والعناصر المضمّنة في ميزانية الزحف.
صحيح
بشكل عام، سيتم احتساب أي عنوان URL يزحف إليه برنامج Googlebot ضمن إطار ميزانية الزحف الخاصة بالموقع الإلكتروني. وقد يكون من الضروري الزحف إلى عناوين URL البديلة، مثل AMP أو hreflang، وكذلك إلى المحتوى المضمّن، مثل CSS وJavaScript، بما في ذلك عمليات استرجاع XHR، ما يستهلك ميزانية الزحف المخصصة للموقع الإلكتروني.
خطأ
يمكنني التحكّم في Googlebot باستخدام التوجيه "crawl-delay".
صحيح
خطأ
لا يعالج Googlebot التوجيه "crawl-delay" غير العادي في ملف robots.txt.
يؤثّر التوجيه nofollow في ميزانية الزحف.
صحيح
صحيح جزئيًا
يؤثّر أي عنوان URL يتم الزحف إليه في ميزانية الزحف، لذا حتى إذا كانت صفحتك تتضمن علامة nofollow لعنوان URL، سيتواصل الزحف إليه في حال لم تتضمّن صفحة أخرى على موقعك الإلكتروني أو أي صفحة على الويب علامة nofollow للرابط.
خطأ