طريقة زحف محرّك بحث Google إلى صفحات الويب التي تتكيّف حسب اللغة أو البلد

إذا كان موقعك الإلكتروني يتضمّن صفحات تتكيّف حسب اللغة أو البلد (أي أنّ موقعك الإلكتروني يعرض المحتوى بلغة مختلفة استنادًا إلى بلد المستخدم أو لغته المفضّلة)، قد لا يزحف محرّك بحث Google إلى كامل المحتوى في مختلف اللغات أو يفهرسه أو يرتّبه. ويعود السبب في ذلك إلى أنّ عناوين IP التلقائية لزاحف Googlebot تُظهِر أنّ مقرّها هو الولايات المتحدة الأمريكية. إضافةً إلى ذلك، يرسل الزاحف طلبات HTTP بدون إعداد Accept-Language في عنوان الطلب.

الزحف الموزَّع حسب المواقع الجغرافية

يزحف Googlebot باستخدام عناوين IP تقع خارج الولايات المتحدة الأمريكية، بالإضافة إلى عناوين IP تقع داخل الولايات المتحدة الأمريكية.

ننصح دائمًا بأن يتم التعامل مع Googlebot الذي يبدو أنّه صادر من بلد معيّن مثلما يتم التعامل مع أي مستخدم آخر في ذلك البلد. وهذا يعني أنّه إذا منعت المستخدمين المقيمين في الولايات المتحدة الأمريكية من الوصول إلى محتواك، ولكن سمحت للزائرين من أستراليا برؤيته، فإنّ الخادم سيحظر Googlebot إذا كان يبدو صادرًا من الولايات المتحدة الأمريكية وسيسمح بوصول Googlebot إذا كان يبدو صادرًا من أستراليا.

اعتبارات أخرى

• يستخدم Googlebot سلسلة وكيل المستخدم نفسها لجميع عمليات ضبط الزحف. مزيد من المعلومات حول سلاسل برامج وكيل المستخدم التي تستخدمها برامج الزحف من Google
• يمكنك التحقّق من عمليات زحف Googlebot الموزَّعة حسب المواقع الجغرافية باستخدام عمليات بحث نظام أسماء النطاقات العكسي.
• إذا كان موقعك الإلكتروني يستخدم بروتوكول استبعاد برامج الروبوت، عليك التأكّد من تطبيقه باستمرار على كل اللغات. هذا يعني أنّه يجب تضمين القواعد نفسها لكل لغة في ملف robots.txt وعلامات meta في برامج الروبوت.