كيفية خفض معدل زحف Google

تستخدم البنية الأساسية لبرامج الزحف من Google خوارزميات متقدّمة لتحديد معدّل الزحف المثالي لكل موقع إلكتروني. فهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون تحميل الخادم عبئًا زائدًا. وفي بعض الحالات، قد يتسبب زحف محرّك بحث Google إلى موقعك الإلكتروني بزيادة حرجة في الحمل على البنية الأساسية أو قد يؤدي إلى تكاليف غير مرغوب فيها أثناء حدوث انقطاع في الخدمة. للحدّ من هذه المشاكل، يمكنك تقليل عدد الطلبات المقدّمة من برامج الزحف من Google.

ما أسباب الزيادة الحادة في عمليات الزحف؟

قد تحدث زيادة حادة في عمليات الزحف نتيجة أخطاء في بنية موقعك الإلكتروني أو مشاكل في جوانب أخرى من الموقع. استنادًا إلى التقارير التي تلقّيناها في الماضي، تشمل الأسباب الأكثر شيوعًا ما يلي:

  • إعداد عناوين URL على موقعك الإلكتروني بطريقة غير فعّالة، ويكون ذلك عادةً نتيجة وظيفة محددة في الموقع الإلكتروني، مثل:
    • البحث المتعدّد الأوجه أو غيره من وظائف الترتيب والفلترة على الموقع الإلكتروني
    • تقويم يتضمّن العديد من عناوين URL لتواريخ محددة
  • استهداف لإعلان ديناميكي على شبكة البحث

ننصحك بشدة بالاستفسار من المستضيف ومراجعة سجلّات الوصول الأخيرة للخادم، وذلك بهدف فهم مصدر الزيارات ومعرفة ما إذا كان موافقًا للأسباب الشائعة الواردة أعلاه والتي تؤدي إلى زيادة حادة في عمليات الزحف. بعد ذلك، راجِع المحتوى الذي نوفّره حول إدارة الزحف إلى عناوين URL التي تتيح البحث المتعدّد الأوجه وتحسين كفاءة الزحف.

كيفية خفض عدد زيارات الزاحف بشكل عاجل (للحالات الطارئة)

إذا أردت خفض معدّل الزحف بشكل عاجل لفترة زمنية قصيرة (على سبيل المثال، لمدة ساعتين أو ليوم أو يومَين)، اعرض رمز الاستجابة 500 أو 503 أو 429 لحالة HTTP بدلاً من 200 لطلبات الزحف. تخفّض البنية الأساسية لبرامج الزحف من Google معدل الزحف إلى موقعك الإلكتروني عند رصد عدد كبير من عناوين URL برموز الاستجابة 500 أو 503 أو 429 لحالة HTTP (على سبيل المثال، إذا أوقفت موقعك الإلكتروني). ويؤثر معدّل الزخف المخفّض في اسم المضيف الكامل لموقعك الإلكتروني (على سبيل المثال، subdomain.example.com) وفي كلّ من عملية الزحف إلى عناوين URL التي تعرض أخطاءً، وعناوين URL التي تعرض محتوًى. بعد تقليص عدد هذه الأخطاء، سيبدأ معدّل الزحف في الارتفاع تلقائيًا من جديد.

الطلبات الاستثنائية لخفض معدل الزحف

إذا لم تكُن البنية الأساسية لموقعك الإلكتروني تتيح عرض أخطاء لبرامج الزحف من Google، يمكنك إرسال طلب خاص للإبلاغ عن مشكلة تتعلّق بالزحف الزائد بشكل غير عادي، مع الإشارة في طلبك إلى معدّل الزحف المثالي لموقعك الإلكتروني. ويُرجى العِلم بأنّه لا يمكنك طلب زيادة معدّل الزحف، وقد يستغرق تقييم الطلب وتنفيذه عدة أيام.