تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

نظرة عامة على برامج الزحف من Google (برامج وكيل المستخدم)

"الزاحف" (يُسمّى أيضًا "الروبوت" أو "العنكبوت") هو مصطلح عام لأي برنامج يتم استخدامه لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق على الزاحف الرئيسي في Google اسم Googlebot. يسرد هذا الجدول معلومات عن برامج الزحف الشائعة من Google التي من الممكن أن تراها في سجلّات المُحيل، وكيفية تحديدها في ملف robots.txt وعلامات meta لبرامج robots وقواعد X-Robots-Tag الخاصة بـ HTTP.

يعرض الجدول التالي برامج الزحف التي يستخدمها عدد من المنتجات والخدمات على Google:

  • يُستخدم الرمز المميّز لوكيل المستخدم في سطر User-agent: داخل ملف robots.txt بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف الخاصة بموقعك الإلكتروني. بعض برامج الزحف لديها أكثر من رمز مميّز واحد على النحو الوارد في الجدول، وما عليك سوى مطابقة رمز مميّز واحد للزاحف ليتم تطبيق القاعدة. هذه القائمة ليست كاملة، ولكنها تشمل معظم برامج الزحف التي قد تعمل على موقعك الإلكتروني.
  • السلسلة الكاملة لوكيل المستخدم هي سلسلة تقدّم وصفًا كاملاً للزاحف وتظهر في طلب HTTP وسجلّات الويب الخاصة بك.

برامج الزحف

APIs-Google
الرمز المميز لوكيل المستخدم APIs-Google
السلسلة الكاملة لوكيل المستخدم APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot Mobile Web Android

لفحص جودة الإعلانات على صفحات الويب في أجهزة Android

الرمز المميز لوكيل المستخدم AdsBot-Google-Mobile
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

لفحص جودة الإعلانات على صفحات الويب في هواتف iPhone

الرمز المميز لوكيل المستخدم AdsBot-Google-Mobile
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

لفحص جودة الإعلانات على صفحات الويب في أجهزة الكمبيوتر المكتبي

الرمز المميز لوكيل المستخدم AdsBot-Google
السلسلة الكاملة لوكيل المستخدم AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense
الرمز المميز لوكيل المستخدم Mediapartners-Google
السلسلة الكاملة لوكيل المستخدم Mediapartners-Google

Googlebot Image
الرموز المميزة لوكيل المستخدم
  • Googlebot-Image
  • Googlebot
السلسلة الكاملة لوكيل المستخدم Googlebot-Image/1.0

أخبار Googlebot
الرموز المميزة لوكيل المستخدم
  • Googlebot-News
  • Googlebot
السلسلة الكاملة لوكيل المستخدم يستخدم وكيل المستخدم Googlebot-News مجموعة من سلاسل وكيل مستخدم Googlebot.

"مركز الناشرين" في Google

يجلب ويعالج الخلاصات التي يوفّرها الناشرون بشكل واضح من خلال "مركز الناشرين" ليتم استخدامها في الصفحات المقصودة في "أخبار Google".

الرمز المميز لوكيل المستخدم GoogleProducer
السلسلة الكاملة لوكيل المستخدم GoogleProducer; (+http://goo.gl/7y4SX)

Googlebot Video
الرموز المميزة لوكيل المستخدم
  • Googlebot-Video
  • Googlebot
السلسلة الكاملة لوكيل المستخدم Googlebot-Video/1.0

Googlebot Desktop
الرمز المميز لوكيل المستخدم Googlebot
السلاسل الكاملة لوكيل المستخدم
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone
الرمز المميز لوكيل المستخدم Googlebot
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
الرمز المميز لوكيل المستخدم Mediapartners-Google
السلسلة الكاملة لوكيل المستخدم (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

لفحص جودة الإعلانات على صفحات تطبيقات Android. يلتزم بقواعد AdsBot-Google لبرامج الروبوت.

الرمز المميز لوكيل المستخدم AdsBot-Google-Mobile-Apps
السلسلة الكاملة لوكيل المستخدم AdsBot-Google-Mobile-Apps

Feedfetcher

الرمز المميز لوكيل المستخدم FeedFetcher-Google
السلسلة الكاملة لوكيل المستخدم FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

الرمز المميز لوكيل المستخدم Google-Read-Aloud
السلاسل الكاملة لوكيل المستخدم

برامج الوكيل الحالية:

  • وكيل أجهزة الكمبيوتر المكتبية:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
  • وكيل الأجهزة الجوّالة:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)

الوكيل السابق (متوقّف نهائيًا):

google-speakr

Google Favicon
الرمز المميز لوكيل المستخدم
  • Googlebot-Image
  • Googlebot
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Google StoreBot
الرمز المميز لوكيل المستخدم Storebot-Google
السلاسل الكاملة لوكيل المستخدم
  • وكيل أجهزة الكمبيوتر المكتبية:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • وكيل الأجهزة الجوّالة:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

أداة إثبات ملكية الموقع على Google
الرمز المميز لوكيل المستخدم Google-Site-Verification
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

ملاحظة عن Chrome/W.X.Y.Z‎ في برامج وكيل المستخدم:

أينما ترِد سلسلة Chrome/W.X.Y.Z‎ ضمن سلاسل برامج وكيل المستخدم في الجدول، تكون W.X.Y.Z عبارة عن عنصر نائب يمثّل إصدار متصفّح Chrome الذي يستخدمه وكيل المستخدم هذا، مثلاً، 41.0.2272.96. سيزداد رقم الإصدار هذا بمرور الوقت ليطابق أحدث نسخة من إصدارات Chromium يستخدمها Googlebot.

إذا كنت تبحث في سجلّاتك أو تجري فلترة للخادم للعثور على وكيل مستخدم بهذا النمط، استخدِم أحرفَ بدلٍ لرقم الإصدار بدلاً من تحديد رقم إصدار معيّن.

برامج وكيل المستخدم في robots.txt

عندما يتم التعرّف على العديد من برامج وكيل المستخدم في ملف robots.txt، يتّبع محرّك البحث Google وكيل المستخدم الأكثر تحديدًا. إذا كنت تريد أن تزحف جميع برامج الزحف من Google إلى صفحاتك، لست بحاجة إلى استخدام ملف robots.txt على الإطلاق. إذا كنت تريد منع جميع برامج الزحف في Google من الدخول إلى محتوى معيّن أو السماح لها بهذا، يمكنك إجراء ذلك من خلال ضبط Googlebot على أنّه وكيل المستخدم. على سبيل المثال، إذا كنت تريد أن تظهر جميع صفحاتك في "بحث Google"، وإذا كنت تريد أن تظهر إعلانات AdSense على صفحاتك، لست بحاجة إلى ملف robots.txt. وإذا كنت تريد حظر بعض الصفحات من الظهور في "بحث Google" نهائيًا، سيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع برامج وكيل المستخدم الأخرى من Google.

إذا أردت التحكم بشكل أكثر دقة في المحتوى الذي سيظهر ضمن نتائج البحث، يمكنك استخدام قواعد أكثر تحديدًا. على سبيل المثال، قد تريد أن تظهر جميع صفحاتك في "بحث Google"، ولكن لا تريد أن يتم الزحف إلى الصور في دليلك الشخصي. في هذه الحالة، استخدِم ملف robots.txt لمنع وكيل المستخدم Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي (مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو: 

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

كمثال آخر، لنفترض أنّك تريد نشر إعلانات على جميع صفحاتك، لكنّك لا تريد أن تظهر هذه الصفحات في "بحث Google". في هذه الحالة، يمكنك حظر Googlebot مع السماح لوكيل المستخدم Mediapartners-Google، على هذا النحو: 

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

برامج وكيل المستخدم في علامات meta لبرامج robots

تستخدم بعض الصفحات عدة علامات meta لبرامج robots لتحديد القواعد لبرامج الزحف المختلفة، على النحو التالي: 

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

في هذه الحالة، يستخدم محرّك بحث Google إجمالي القواعد السلبية ويتّبع برنامج Googlebot كلتا القاعدتين noindex وnofollow. يمكنك الاطّلاع على مزيد من المعلومات التفصيلية عن التحكّم في آلية زحف محرّك بحث Google إلى موقعك الإلكتروني وفهرسته.

التحكّم في سرعة الزحف

يدخل كل زاحف من Google إلى المواقع الإلكترونية لغرض محدّد وبمعدّلات زحف مختلفة. ويستخدم محرّك بحث Google الخوارزميات لتحديد معدّل الزحف المثالي لكل موقع إلكتروني. إذا كان زاحف Google يزحف إلى موقعك الإلكتروني بمعدّل مرتفع، يمكنك خفض معدّل الزحف.

برامج زحف من Google تمت إزالتها

إنّ برامج الزحف التالية من Google لم تعُد قيد الاستخدام ويتم ذكرها هنا لأغراض مرجعية فقط.

برامج زحف من Google تمت إزالتها

‫Duplex على الويب

كان وكيل المستخدم متوافقًا مع خدمة &quot;Duplex على الويب&quot;.

الرمز المميز لوكيل المستخدم DuplexWeb-Google
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

تقنيّة Web Light

كان يتم التأكّد من توفّر عنوان no-transform كلما نقر مستخدم على صفحتك في &quot;بحث Google&quot; في ظل الظروف المناسبة. ولم يكُن وكيل مستخدم تقنيّة Web Light يُستخدم سوى لطلبات التصفّح الصريحة التي يجريها أحد الزائرين، ولذلك كان يتجاهل قواعد robots.txt التي تُستخدم لحظر طلبات الزحف المبرمجة.

الرمز المميز لوكيل المستخدم googleweblight
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19