قائمة برامج الزحف من Google المخصَّصة للحالات الخاصة

تُستخدم برامج الزحف المخصَّصة للحالات الخاصة في منتجات Google معيَّنة إذا كانت هناك اتفاقية بشأن عملية الزحف بين الموقع الإلكتروني الذي يتم الزحف إليه والمنتج. على سبيل المثال، يتجاهل AdsBot وكيل مستخدم robots.txt العام (*) الحاصل على إذن ناشر الإعلان. تسري السمات الفنية العامة الخاصة ببرامج الزحف من Google أيضًا على برامج الزحف المخصَّصة للحالات الخاصة.

يمكن أن تتجاهل برامج الزحف في الحالات الخاصة قواعد robots.txt، وبذلك تعمل من نطاق IP مختلف عن برامج الزحف الشائعة. ويتم نشر نطاقات IP في الكائن special-crawlers.json. يطابِق قناع نظام أسماء النطاقات العكسي لبرامج الزحف المخصَّصة للحالات الخاصة الصيغة rate-limited-proxy-***-***-***-***.google.com.

تعرض القائمة التالية برامج الزحف المخصَّصة للحالات الخاصة، وسلاسل وكيل المستخدم الخاصة بها كما تظهر في طلبات HTTP، والرموز المميزة لوكيل المستخدم الخاصة بالسطر User-agent: في ملف robots.txt، والمنتجات المتأثرة بإعدادات الزحف المفضَّلة الخاصة ببرنامج الزحف. وهذه القائمة ليست شاملة، بل تتضمّن فقط برامج الزحف الأكثر شيوعًا التي تزداد احتمالية ظهورها ضمن ملفات السجلّ والتي تلقّينا أسئلة بشأنها.

APIs-Google

وكيل المستخدم في طلبات HTTP	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	الرمز المميّز لوكيل المستخدم في ملف robots.txt APIs-Google يتم تجاهُل وكيل المستخدم العام (*). مثال على مجموعة robots.txt user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
المنتجات المتأثرة	إنّ إعدادات الزحف المفضَّلة الموجَّهة إلى وكيل المستخدم APIs-Google تؤثر في عرض واجهات برمجة التطبيقات من Google لرسائل الإشعارات الفورية.

AdsBot Mobile Web

وكيل المستخدم في طلبات HTTP	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	الرمز المميّز لوكيل المستخدم في ملف robots.txt AdsBot-Google-Mobile يتم تجاهُل وكيل المستخدم العام (*). مثال على مجموعة robots.txt user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
المنتجات المتأثرة	إنّ إعدادات الزحف المفضَّلة الموجَّهة إلى وكيل المستخدم AdsBot-Google-Mobile تؤثر في قدرة "إعلانات Google" على فحص جودة الإعلانات على صفحات الويب.

AdsBot

وكيل المستخدم في طلبات HTTP	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	الرمز المميّز لوكيل المستخدم في ملف robots.txt AdsBot-Google يتم تجاهُل وكيل المستخدم العام (*). مثال على مجموعة robots.txt user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
المنتجات المتأثرة	إنّ إعدادات الزحف المفضَّلة الموجَّهة إلى وكيل المستخدم AdsBot-Google تؤثر في قدرة "إعلانات Google" على فحص جودة الإعلانات على صفحات الويب.

AdSense

وكيل المستخدم في طلبات HTTP	وكيل أجهزة الكمبيوتر المكتبي Mediapartners-Google وكيل الأجهزة الجوّالة (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	الرمز المميّز لوكيل المستخدم في ملف robots.txt Mediapartners-Google يتم تجاهُل وكيل المستخدم العام (*). مثال على مجموعة robots.txt user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
المنتجات المتأثرة	إنّ إعدادات الزحف المفضَّلة الموجَّهة إلى وكيل المستخدم Mediapartners-Google تؤثر في Google AdSense، مع العلم بأنّ زاحف AdSense يزور المواقع الإلكترونية المشارِكة لتزويدها بالإعلانات الملائمة.

Google-Safety

وكيل المستخدم في طلبات HTTP	Google-Safety
robots.txt	سيتجاهل وكيل المستخدم Google-Safety قواعد ملف robots.txt.
المنتجات المتأثرة	يتعامل وكيل المستخدم Google-Safety مع عمليات الزحف المتعلّقة بإساءة الاستخدام، مثل اكتشاف البرامج الضارة المرتبطة بالروابط المنشورة بشكل علني على خدمات Google. وبالتالي، فهو لا يتأثّر بالإعدادات المفضَّلة للزحف.