إنشاء ملف robots.txt

يمكنك تحديد الملفات التي يمكن لبرامج الزحف الوصول إليها على موقعك الإلكتروني باستخدام ملف robots.txt. يتم وضع ملف robots.txt في جذر موقعك الإلكتروني. مثلاً، في ما يخصّ الموقع الإلكتروني www.example.com، يتم وضع ملف robots.txt في www.example.com/robots.txt. وملف robots.txt هو ملف نصي عادي يتّبع معيار استبعاد برامج الروبوت. يتكون ملف robots.txt من قاعدة واحدة أو أكثر. وتمنع كل قاعدة أو تتيح وصول زاحف معيّن إلى مسار ملف محدّد في ذلك الموقع الإلكتروني. ويتم السماح ضمنيًا بالزحف إلى جميع الملفات ما لم تحدّد خلاف ذلك في ملف robots.txt.

في ما يلي ملف robots.txt بسيط يتضمن قاعدتين:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: http://www.example.com/sitemap.xml

إليك ما يعنيه ملف robots.txt هذا:

  1. لا يُسمَح لوكيل المستخدم المُسمّى Googlebot بالزحف إلى أي عنوان URL يتضمّن http://example.com/nogooglebot/ في بدايته.
  2. ويُسمح لجميع برامج وكيل المستخدم الأخرى بالزحف إلى جميع أقسام الموقع الإلكتروني. يمكن حذف هذه القاعدة والحصول مع ذلك على النتيجة نفسها، لأن السلوك التلقائي هو السماح لبرامج وكيل المستخدم بالزحف إلى جميع أقسام الموقع الإلكتروني.
  3. تم وضع ملف Sitemap الخاص بالموقع الإلكتروني في http://www.example.com/sitemap.xml.

يمكن الانتقال إلى قسم البنية للاطّلاع على مزيد من الأمثلة.

الإرشادات الأساسية لإنشاء ملف robots.txt

لإنشاء ملف robots.txt والسماح بالوصول إليه والاستفادة منه بشكل عام، يجب اتّباع أربع خطوات:

  1. إنشاء ملف باسم robots.txt
  2. إضافة قواعد إلى ملف robots.txt
  3. تحميل ملف robots.txt إلى موقعك الإلكتروني
  4. اختبار ملف robots.txt

إنشاء ملف robots.txt

يمكنك استخدام أي محرّر نصوص تقريبًا لإنشاء ملف robots.txt. على سبيل المثال، يمكن إنشاء ملفات robots.txt صالحة باستخدام كلٍّ من Notepad وTextEdit وvi وemacs. لا تستخدم معالج كلمات، لأن هذه المعالجات تحفظ الملفات غالبًا بتنسيق خاص بها وقد تضيف أحرفًا غير متوقعة، مثل علامات الاقتباس المنحنية، ما قد يسبّب مشاكل لبرامج الزحف. احرص على حفظ الملف بترميز UTF-8 إذا طُلب منك ذلك ضمن مربع حوار حفظ الملف.

قواعد التنسيق والموقع:

  • يجب تسمية الملف باسم robots.txt.
  • يمكن أن يتضمّن موقعك ملف robots.txt واحدًا فقط.
  • يجب وضع ملف robots.txt في جذر مضيف الموقع الإلكتروني الذي ينطبق عليه الملف. على سبيل المثال، للتحكّم في الزحف على جميع عناوين URL التي تندرج ضمن https://www.example.com/، يجب وضع ملف robots.txt على https://www.example.com/robots.txt. لا يمكن وضع الملف في دليل فرعي (على سبيل المثال، في https://example.com/pages/robots.txt). وإذا لم تكن متأكدًا من كيفية الوصول إلى جذر موقعك الإلكتروني أو تحتاج إلى أذونات للوصول، يمكنك التواصل مع مقدّم خدمة استضافة الويب. وإذا لم تتمكّن من الوصول إلى جذر موقعك الإلكتروني، يمكنك استخدام طريقة حظر بديلة، مثل العلامات الوصفية.
  • يمكن تطبيق ملف robots.txt على النطاقات الفرعية (مثل https://website.example.com/robots.txt) أو على المنافذ غير العادية (مثل http://example.com:8181/robots.txt).
  • يجب أن يكون ملف robots.txt عبارة عن ملف نصّي بالترميز UTF-8 (الذي يتضمّن ASCII). قد يتجاهل محرّك البحث Google الأحرف التي لا تشكّل جزءًا من نطاق UTF-8، ما قد يجعل قواعد robots.txt غير صالحة.

إضافة قواعد إلى ملف robots.txt

القواعد هي تعليمات لبرامج الزحف بخصوص الأجزاء التي يُسمح لها بالزحف إليها على موقعك الإلكتروني. اتّبِع هذه الإرشادات عند إضافة قواعد إلى ملف robots.txt:

  • يتكوّن ملف robots.txt من مجموعة واحدة أو أكثر.
  • وتتكوّن كل مجموعة من عدة قواعد أو توجيهات (تعليمات)، وتتم إضافة توجيه واحد في كل سطر. وتبدأ كل مجموعة بسطر User-agent يحدّد هدف المجموعات.
  • تقدّم المجموعة المعلومات التالية:
    • العنصر الذي تنطبق عليه المجموعة (وكيل المستخدم)
    • الأدلّة أو الملفات التي يمكن للوكيل الوصول إليها
    • الأدلّة أو الملفات التي لا يمكن للوكيل الوصول إليها
  • تعمل برامج الزحف على معالجة المجموعات من الأعلى إلى الأسفل. ويمكن لوكيل المستخدم مطابقة مجموعة قواعد واحدة فقط، وهي المجموعة الأولى الأكثر تحديدًا التي تطابق وكيل مستخدم معيّنًا
  • الافتراض التلقائي هو أنّ وكيل المستخدم يستطيع الزحف إلى أي صفحة أو دليل ما لم يتم حظره باستخدام قاعدة disallow
  • إنّ القواعد حساسة لحالة الأحرف. على سبيل المثال، يمكن تطبيق disallow: /file.asp على https://www.example.com/file.asp وليس على https://www.example.com/FILE.asp
  • يحدّد الحرف # بداية تعليق

تتوافق برامج الزحف من Google مع التوجيهات التالية في ملفات robots.txt:

  • user-agent: [يجب تضمين توجيه واحد أو أكثر في كل مجموعة] يحدّد التوجيه اسم البرنامج التلقائي المعروف باسم زاحف محرّك البحث والذي تنطبق عليه القاعدة. ويشكّل ذلك السطر الأول لأي مجموعة قواعد. يتم إدراج أسماء برامج وكيل المستخدم من Google في قائمة Google لبرامج وكيل المستخدم. ويؤدي استخدام علامة النجمة (*) إلى مطابقة كل برامج الزحف باستثناء برامج زحف AdsBot المختلفة التي يجب تحديد اسمها بشكل صريح. مثلاً:
    # Example 1: Block only Googlebot
    User-agent: Googlebot
    Disallow: /
    
    # Example 2: Block Googlebot and Adsbot
    User-agent: Googlebot
    User-agent: AdsBot-Google
    Disallow: /
    
    # Example 3: Block all but AdsBot crawlers
    User-agent: *
    Disallow: /
  • disallow: [يجب إدراج إدخال disallow أو allow واحد أو أكثر لكل قاعدة] تحدّد هذه القاعدة دليلاً أو صفحة ذات صلة بالنطاق الجذر لا تريد أنت أن يزحف إليها وكيل المستخدم. وإذا كانت القاعدة تشير إلى صفحة، يجب إضافة اسم الصفحة بالكامل كما يظهر في المتصفح. ويجب أن تبدأ القاعدة بالحرف /، أما إذا كانت القاعدة تشير إلى دليل، فيجب أن تنتهي بالعلامة /.
  • allow: [يجب إدراج إدخال disallow أو allow واحد أو أكثر لكل قاعدة] تحدّد هذه القاعدة دليلاً أو صفحة ذات صلة بالنطاق الجذر يمكن أن يزحف إليها وكيل المستخدم المذكور أعلاه. وتُستخدم هذه القاعدة لإلغاء التوجيه disallow بحيث يتم السماح بالزحف إلى دليل فرعي أو صفحة في دليل تم حظر الزحف إليه. بالنسبة إلى صفحة واحدة، يجب تحديد اسم الصفحة بالكامل كما هو موضّح في المتصفح. أما بالنسبة إلى الدليل، فيجب أن تنتهي القاعدة بالعلامة /.
  • sitemap: [اختياري، يمكن أن يكون عدد الإدخالات صفرًا أو أكثر لكل ملف] تحدّد هذه القاعدة موقع ملف Sitemap الخاص بهذا الموقع الإلكتروني. يجب أن يكون عنوان URL الخاص بملف Sitemap عنوان URL ذا أهلية كاملة، لأن محرّك البحث Google لا يفترض بدائل http/https/www.non-www أو يتحقّق منها. وتشكّل ملفات Sitemap وسيلة جيدة لتحديد المحتوى الذي يجب أن يزحف إليه محرّك البحث Google والمحتوى الذي يمكن أو لا يمكن لمحرّك البحث Google الزحف إليه. مزيد من المعلومات حول ملفات Sitemap. مثال:
    Sitemap: https://example.com/sitemap.xml
    Sitemap: http://www.example.com/sitemap.xml

يمكن استخدام حرف البدل * في بادئة المسار أو اللاحقة أو السلسلة الكاملة، في جميع التوجيهات، باستثناء sitemap.

ويتم تجاهل الأسطر التي لا تتطابق مع أي من هذه التوجيهات.

اقرأ صفحتنا عن الآلية التي ينتهجها محرّك البحث Google في تفسير مواصفات ملف robots.txt للحصول على وصف كامل لكل توجيه.

تحميل ملف robots.txt

بعد حفظ ملف robots.txt على جهاز الكمبيوتر، يصبح بإمكانك إتاحته لبرامج الزحف التابعة لمحركات البحث. ولا تتوفر أداة محددة يمكنها مساعدتك في ذلك، لأن طريقة تحميل ملف robots.txt إلى موقعك الإلكتروني تعتمد على بنية موقعك الإلكتروني والخادم. ويمكنك التواصل مع الشركة المضيفة أو البحث في مستنداتها، على سبيل المثال، يمكنك البحث عن "تحميل ملفات Infomaniak".

بعد تحميل ملف robots.txt، اختبِر ما إذا كان متاحًا للجميع وما إذا كان بإمكان محرّك البحث Google تحليله.

اختبار ترميز robots.txt

لاختبار ما إذا كان ملف robots.txt الذي تم تحميله مؤخرًا متاحًا للجميع، افتح نافذة تصفّح بخصوصيّة تامّة (أو ما يعادلها) في المتصفح وانتقِل إلى موقع ملف robots.txt. مثلاً: https://example.com/robots.txt. إذا رأيت محتوى ملف robots.txt، يعني ذلك أنك جاهز لاختبار الترميز.

تقدّم Google خيارَين لاختبار ترميز robots.txt:

  1. أداة اختبار robots.txt في Search Console يمكنك استخدام هذه الأداة فقط لملفات robots.txt التي سبق أن تمت إتاحة إمكانية الوصول إليها على موقعك الإلكتروني.
  2. إذا كنت مطور برامج، اطّلِع على مكتبة robots.txt المفتوحة المصدر من Google، والتي تُستخدم أيضًا في "بحث Google". يمكنك استخدام هذه الأداة لاختبار ملفات robots.txt محليًا على جهاز الكمبيوتر.

إرسال ملف robots.txt إلى Google

بعد تحميل ملف robots.txt واختباره، ستعثر برامج الزحف من Google تلقائيًا على ملف robots.txt وستبدأ في استخدامه. وبالتالي، لا تحتاج إلى تنفيذ أي إجراء. إذا عدّلت ملف robots.txt وأردت تحديث النسخة المخزَّنة مؤقتًا على Google في أقرب وقت ممكن، تعرّف على كيفية إرسال ملف robots.txt معدَّل.

قواعد مفيدة يمكن إضافتها إلى ملف robots.txt

في ما يلي بعض القواعد المفيدة والشائعة التي يمكن إضافتها إلى ملف robots.txt:

قواعد مفيدة
منع الزحف إلى جميع أقسام الموقع الإلكتروني

تذكّر أنّه في بعض الحالات، قد تتم فهرسة عناوين URL الخاصة بالموقع الإلكتروني حتى لو لم يتم الزحف إليها.


User-agent: *
Disallow: /
منع الزحف إلى دليل ومحتواه

يمكنك إلحاق شرطة مائلة للأمام باسم الدليل لمنع الزحف إلى الدليل بأكمله.


User-agent: *
Disallow: /calendar/
Disallow: /junk/
السماح بوصول زاحف واحد

يُسمح لبرنامج googlebot-news وحده بالزحف إلى جميع أقسام الموقع الإلكتروني.


User-agent: Googlebot-news
Allow: /

User-agent: *
Disallow: /
السماح بالزحف لجميع برامج الزحف باستثناء زاحف واحد

لا يُسمح لبرنامج Unnecessarybot بالزحف إلى الموقع الإلكتروني، بينما يُسمح لجميع برامج التتبُّع الأخرى بالزحف إليه.


User-agent: Unnecessarybot
Disallow: /

User-agent: *
Allow: /

منع الزحف إلى صفحة ويب واحدة

على سبيل المثال، يمكنك منع الزحف إلى الصفحة useless_file.html.


User-agent: *
Disallow: /useless_file.html

حظر صورة معيّنة من الظهور في "صور Google"

على سبيل المثال، يمكنك منع الزحف إلى الصورة dogs.jpg.


User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

حظر كل الصور على موقعك الإلكتروني من الظهور في "صور Google"

لا يستطيع محرّك بحث Google فهرسة الصور والفيديوهات بدون الزحف إليها.


User-agent: Googlebot-Image
Disallow: /

منع الزحف إلى ملفات من نوع معيّن

على سبيل المثال، يمكنك منع الزحف إلى جميع ملفات .gif.


User-agent: Googlebot
Disallow: /*.gif$

منع الزحف إلى جميع أقسام موقع إلكتروني معيّن، ولكن مع السماح لبرنامج Mediapartners-Google بالزحف إليه

يؤدي هذا الإجراء إلى إخفاء صفحاتك من نتائج البحث، ولكن يظلّ بإمكان زاحف الويب Mediapartners-Google تحليلها لتحديد الإعلانات التي سيعرضها لزوّار موقعك الإلكتروني.


User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /
استخدام $ لمطابقة عناوين URL التي تنتهي بسلسلة معيّنة

على سبيل المثال، يمكنك منع الزحف إلى جميع ملفات .xls.


User-agent: Googlebot
Disallow: /*.xls$