مواصفات علامات meta لبرامج Robots وdata-nosnippet وX-Robots-Tag

يوضّح هذا المستند بالتفصيل طريقة استخدام الإعدادات على مستوى الصفحة والإعدادات على مستوى النص لضبط الطريقة التي يعرض بها محرّك بحث Google المحتوى الخاص بك ضمن نتائج البحث. يمكنك تحديد الإعدادات على مستوى الصفحة عن طريق تضمين علامة meta على صفحات HTML أو في عنوان HTTP. ويمكنك تحديد الإعدادات على مستوى النص باستخدام السمة data-nosnippet على عناصر HTML ضمن الصفحة.

تذكَّر أنّ هذه الإعدادات لا يمكن أن تتم قراءتها ومتابعتها إلا عند السماح لبرامج الزحف بالوصول إلى الصفحات التي تتضمّن هذه الإعدادات.

تسري قاعدة <meta name="robots" content="noindex"> على برامج الزحف في محرّك البحث. لحظر برامج الزحف المخصّصة لأغراض غير البحث، مثل AdsBot-Google، قد تحتاج إلى إضافة قواعد تستهدف برنامج الزحف المحدّد (مثل <meta name="AdsBot-Google" content="noindex">).

استخدام العلامة meta لبرامج robots

تسمح لك العلامة meta لبرامج robots باستخدام طريقة دقيقة على مستوى الصفحة للتحكّم في كيفية فهرسة صفحة فردية وعرضها للمستخدمين ضمن نتائج &quot;بحث Google&quot;. ويمكنك وضع العلامة meta لبرامج robots في القسم <head> على صفحة محدّدة، على النحو التالي: 

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

في هذا المثال، تطلب العلامة meta لبرامج robots من محرّكات البحث عدم عرض الصفحة ضمن نتائج البحث. وتحدّد قيمة السمة name (robots) أنّ القاعدة ستُطبَّق على جميع برامج الزحف. إنّ السمتَين name وcontent غير حساستَين لحالة الأحرف. ولتوجيه الطلب إلى زاحف محدّد، يمكنك استبدال القيمة robots للسمة name بالرمز المميز لوكيل المستخدم الخاص بالزاحف المطلوب. يتيح محرّك بحث Google استخدام رمزين مميزين لوكيل المستخدم في العلامة meta لبرامج robots، ويتم تجاهل القيم الأخرى:

  1. ‫googlebot: لجميع النتائج النصيّة
  2. ‫googlebot-news: للنتائج الإخبارية

على سبيل المثال، للطلب من Google بشكل خاص عدم عرض صفحة ضمن نتائج البحث، يمكنك تحديد googlebot كاسم العلامة meta: 

<meta name="googlebot" content="noindex">

لعرض صفحة في نتائج بحث الويب من Google، ولكن ليس في &quot;أخبار Google&quot;، يمكنك استخدام علامة googlebot-news meta التالية: 

<meta name="googlebot-news" content="noindex">

لتحديد عدة برامج زحف بشكل فردي، استخدِم علامات meta متعدّدة لبرامج robots على النحو التالي: 

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

لحظر فهرسة الموارد التي ليست بتنسيق HTML، مثل ملفات PDF أو ملفات الفيديو أو الصور، يمكنك استخدام عنوان الاستجابة X-Robots-Tag بدلاً من ذلك.

استخدام عنوان HTTP X-Robots-Tag

يمكن استخدام X-Robots-Tag كعنصر في استجابة عنوان HTTP لعنوان URL محدّد. وأي قاعدة صالحة للاستخدام في علامة meta لبرامج robots يمكن أيضًا تحديدها باعتبارها X-Robots-Tag. وفي ما يلي مثال لاستجابة HTTP تتضمّن علامة X-Robots-Tag تطلب من برامج الزحف عدم فهرسة صفحة معيّنة: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

يمكنك دمج عدة عناوين X-Robots-Tag في استجابة HTTP، أو يمكنك تحديد قائمة من القواعد مفصولة بفواصل. وفي ما يلي مثال على استجابة عنوان HTTP التي تتضمّن علامة X-Robots-Tag noarchive تم دمجها مع علامة unavailable_after X-Robots-Tag. 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

قد تحدّد علامة X-Robots-Tag وكيل مستخدم بشكل اختياري قبل القواعد. على سبيل المثال، يمكن استخدام المجموعة التالية من عناوين HTTP التي تتضمّن X-Robots-Tag للسماح بعرض إحدى الصفحات في نتائج البحث الخاصة بمحرّكات بحث مختلفة بشكل مشروط: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

تكون القواعد المحدّدة بدون وكيل مستخدم صالحة لجميع برامج الزحف. ويكون كل من عنوان HTTP واسم وكيل المستخدم والقيم المحدّدة غير حساسة لحالة الأحرف.

قواعد الفهرسة والعرض الصالحة

يمكن استخدام القواعد التالية، المتوفّرة أيضًا بتنسيق يمكن للآلة قراءته، للتحكّم في فهرسة وعرض مقتطف مع العلامة meta لبرامج robots والعلامة X-Robots-Tag. وتمثّل كل قيمة قاعدة محددة. يمكن دمج عدّة قواعد في قائمة مفصولة بفواصل أو في علامات meta منفصلة. وهذه القواعد غير حساسة لحالة الأحرف.

القواعد

all

 لا تُفرض أي قيود على الفهرسة أو العرض. هذه القاعدة هي القيمة التلقائية وليس لها أي تأثير إذا تم إدراجها بشكل واضح.

noindex

لا تعرض هذه الصفحة أو الوسائط أو المورد في نتائج البحث. إذا لم تحدّد هذه القاعدة، قد تتم فهرسة الصفحة أو الوسائط أو المورد وعرضها في نتائج البحث.

لإزالة معلومات من Google، اتّبِع الدليل المفصّل.

nofollow

 لا تتبع الروابط على هذه الصفحة. إذا لم تحدّد هذه القاعدة، قد يستخدم Google الروابط على الصفحة لاكتشاف تلك الصفحات المرتبطة. اطّلِع على مزيد من المعلومات عن nofollow.

none

 هذا التوجيه مكافئ للسمة noindex, nofollow.

noarchive

 لا تعرِض رابط نسخة مخبأة ضمن نتائج البحث. إذا لم تحدّد هذه القاعدة، قد ينشئ Google صفحة مخزّنة مؤقتًا وقد يتمكّن المستخدمون من الوصول إليها من خلال نتائج البحث.

nositelinkssearchbox

لا تعرض مربّع بحث ضمن رابط أقسام الموقع في نتائج البحث لهذه الصفحة. إذا لم تحدّد هذه القاعدة، قد ينشئ Google مربّع بحث خاصًا بموقعك الإلكتروني في نتائج البحث، بالإضافة إلى روابط مباشرة أخرى تؤدي إلى موقعك الإلكتروني.

nosnippet

لا تعرِض مقتطفًا نصيًا أو معاينة فيديو في نتائج البحث لهذه الصفحة. قد تظلّ الصورة المصغّرة الثابتة (إذا توفّرت) مرئية إذا كانت تؤدي إلى تحسين تجربة المستخدم. ينطبق ذلك على جميع أشكال نتائج البحث (في &quot;بحث الويب من Google&quot; و&quot;صور بحث Google&quot; وميزة &quot;اقتراحات&quot; و&quot;الملخّصات المستنِدة إلى الذكاء الاصطناعي&quot;)، وسيؤدي إلى منع استخدام المحتوى كإدخال مباشر في &quot;الملخّصات المستنِدة إلى الذكاء الاصطناعي&quot;.

إذا لم تحدّد هذه القاعدة، قد ينشئ Google مقتطفًا نصيًا ومعاينة فيديو استنادًا إلى المعلومات الواردة في الصفحة.

إذا أردت استبعاد أقسام معيّنة من المحتوى في مقتطفات نتائج البحث، استخدِم سمة HTML‏ data-nosnippet.

indexifembedded

يُسمَح لمحرّك بحث Google بفهرسة محتوى صفحة إذا كان مضمّنًا في صفحة أخرى من خلال iframes أو علامات HTML مشابهة، على الرغم من استخدام القاعدة noindex.

لن يكون للقاعدة indexifembedded أي تأثير إلا إذا كانت ترافقها القاعدة noindex.

max-snippet: [عدد]

يمكنك إنشاء مقتطف نصي لنتيجة البحث هذه باستخدام [عدد] حرف كحد أقصى. (ملاحظة: قد يظهر عنوان URL في شكل عدّة نتائج بحث ضمن صفحة نتائج البحث.) ولا يؤثّر ذلك في معاينات الصور أو الفيديوهات. ينطبق ذلك على جميع أشكال نتائج البحث (مثل &quot;بحث الويب من Google&quot; و&quot;صور بحث Google&quot; وميزة &quot;اقتراحات&quot; و&quot;مساعد Google&quot; و&quot;الملخّصات المستنِدة إلى الذكاء الاصطناعي&quot;)، وسيؤدي إلى الحدّ من مقدار المحتوى الذي يمكن أن يُستخدم كإدخال مباشر في &quot;الملخّصات المستنِدة إلى الذكاء الاصطناعي&quot;. لا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة أو أبرم اتفاقية ترخيص مع Google، لن تؤثر هذه الإعدادات في تلك الاستخدامات المسموح بها والمحدّدة بشكل أدقّ. يتم تجاهل هذه القاعدة في حال عدم تحديد [عدد] قابل للتحليل.

إذا لم تحدّد هذه القاعدة، سيختار Google طول المقتطف.

القيم الخاصة:

  • 0: ما من مقتطف لعرضه. يعادل nosnippet.
  • -1: سيختار محرّك بحث Google طول المقتطف الذي يجِد أنّه الأكثر فعالية لمساعدة المستخدمين على اكتشاف المحتوى الذي تقدّمه ولتوجيههم إلى موقعك الإلكتروني.

أمثلة:

لمنع مقتطف من الظهور في نتائج البحث:

<meta name="robots" content="max-snippet:0">

للسماح بعرض ما يصل إلى 20 حرفًا في المقتطف:

<meta name="robots" content="max-snippet:20">

للإشارة إلى عدم وجود حدّ أقصى لعدد الأحرف التي يمكن عرضها في المقتطف: 

<meta name="robots" content="max-snippet:-1">

max-image-preview: [الإعدادات]

يمكنك تحديد الحد الأقصى لحجم معاينة الصورة لهذه الصفحة في نتائج البحث.

إذا لم تحدّد القاعدة max-image-preview، قد يعرض Google معاينة للصورة بالحجم التلقائي.

القيم المقبولة في [الإعدادات]:

  • none: ما من معاينة صورة لعرضها.
  • standard: قد يتم عرض معاينة تلقائية للصورة.
  • large: قد يتم عرض معاينة أكبر للصورة بما يتناسب مع إطار العرض.

ينطبق ذلك على جميع أشكال نتائج البحث (مثل &quot;بحث الويب من Google&quot; و&quot;صور بحث Google&quot; وميزة &quot;اقتراحات&quot; و&quot;مساعد Google&quot;). ولا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوًى في شكل بيانات منظَّمة في الصفحة (مثل إصدار AMP والإصدارات الأساسية من مقالة) أو أبرم اتفاقية ترخيص مع Google، لن تؤثر هذه الإعدادات في تلك الاستخدامات المسموح بها والمحدّدة بشكل أدقّ.

إذا لم تكُن تريد أن يستخدم محرّك بحث Google الصور المصغّرة بحجم أكبر أثناء عرض صفحات AMP والنسخة الأساسية من المقالة في &quot;بحث Google‏&quot; أو في ميزة &quot;اقتراحات&quot;، حدِّد قيمة max-image-preview سواء باستخدام standard أم none.

مثال:

<meta name="robots" content="max-image-preview:standard">

max-video-preview: [عدد]

بالنسبة إلى الفيديوهات على هذه الصفحة من نتائج البحث، استخدِم مقتطف فيديو لا يزيد عن [عدد] ثانية.

إذا لم تحدّد القاعدة max-video-preview، قد يعرض Google مقتطف فيديو في نتائج البحث، ويختار بنفسه مدة المعاينة.

القيم الخاصة:

  • 0: في الغالب، قد يتم استخدام الصورة الثابتة وفق الإعدادات max-image-preview.
  • -1: ما من حدّ أقصى.

ينطبق ذلك على جميع أشكال نتائج البحث (في &quot;بحث الويب من Google&quot; و&quot;صور بحث Google&quot; و&quot;فيديو Google&quot; وميزة &quot;اقتراحات&quot; و&quot;مساعد Google&quot;). يتم تجاهل هذه القاعدة في حال عدم تحديد [عدد] قابل للتحليل.

مثال:

<meta name="robots" content="max-video-preview:-1">

notranslate

 لا تعرِض ترجمة لهذه الصفحة في نتائج البحث. إذا لم تحدّد هذه القاعدة، قد يقدّم Google ترجمة لرابط العنوان والمقتطف الخاصَّين بنتيجة بحث للنتائج التي ليست بلغة طلب البحث. إذا نقر المستخدم على رابط العنوان المترجَم، سيتم إجراء أي تفاعل إضافي مع الصفحة من خلال خدمة &quot;ترجمة Google&quot; التي ستترجم تلقائيًا أي روابط يتم تتبّعها.

noimageindex

 لا تفهرس الصور على هذه الصفحة. إذا لم تحدّد هذه القيمة، قد تتم فهرسة الصور في الصفحة وعرضها في نتائج البحث.

unavailable_after: [التاريخ/الوقت]

لا تعرِض هذه الصفحة في نتائج البحث بعد التاريخ/الوقت المحدّد. يجب تحديد التاريخ/الوقت بتنسيق متعارَف عليه، بما في ذلك على سبيل المثال لا الحصر RFC 822 وRFC 850 وISO 8601. يتم تجاهل القاعدة في حال عدم تحديد تاريخ/وقت صالح. حسب الإعدادات التلقائية، ما مِن تاريخ انتهاء صلاحية للمحتوى.

إذا لم تحدّد هذه القاعدة، قد يتم عرض هذه الصفحة في نتائج البحث إلى أجل غير مسمى. سيعمل Googlebot على تخفيض معدل الزحف إلى عنوان URL بشكل كبير بعد التاريخ والوقت المحدّدَين.

مثال:

<meta name="robots" content="unavailable_after: 2020-09-21">

معالجة القواعد المدمَجة للفهرسة والعرض

يمكنك إنشاء تعليمات تضم عدّة قواعد، إما عن طريق دمج قواعد علامات meta لبرامج robots باستخدام الفواصل، أو من خلال استخدام عدة علامات meta. في ما يلي مثال لعلامة meta لبرامج robots توجِّه برامج زحف الويب إلى عدم فهرسة الصفحة وإلى عدم الزحف إلى أي روابط في الصفحة:

قائمة مفصولة بفواصل

<meta name="robots" content="noindex, nofollow">

علامات meta متعدّدة

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

في ما يلي مثال يتضمن حدًّا أقصى للمقتطف النصي يبلغ 20 حرفًا ويسمح بعرض معاينة كبيرة للصورة: 

<meta name="robots" content="max-snippet:20, max-image-preview:large">

بالنسبة إلى الحالات التي يتم فيها تحديد برامج زحف متعدّدة بالإضافة إلى قواعد مختلفة، سيستخدم محرّك البحث ناتج القواعد السلبية. مثلاً:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

عند زحف Googlebot إلى الصفحة التي تحتوي على علامات meta هذه، سيعتبر أنّها تشمل قاعدة noindex, nofollow.

استخدام سمة HTML data-nosnippet

يمكنك تحديد أجزاء نصية من صفحة HTML كي لا يتم استخدامها في المقتطف. ويمكن إجراء ذلك على مستوى عنصر HTML في حال توفّر سمة HTML data-nosnippet للعناصر span وdiv وsection. تُعدّ data-nosnippet سمة منطقية. وكما هي الحال مع جميع السمات المنطقية، يتم تجاهل أي قيمة محدّدة. ولضمان قدرة الآلة على قراءة المحتوى، يجب أن يكون قسم HTML بلغة HTML صالحة وأن يتم إغلاق جميع العلامات المناسبة وفقًا لذلك.

أمثلة:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

<p>This text can be shown in a snippet.</p>
<div data-nosnippet>
  <p>However, this is not in snippet.</p>
  <ul>
    <li>Stuff not in snippet</li>
    <li>More stuff not in snippet</li>
  </ul>
</div>

يعرض محرّك البحث Google عادةً الصفحات لفهرستها، ولكنّ عملية العرض غير مضمونة. ولهذا السبب، قد يتم استخراج data-nosnippet قبل العرض وبعده. ولضمان عرض الصفحات، يُرجى عدم إضافة السمة data-nosnippet أو إزالتها من العُقَد الحالية في JavaScript. عند إضافة عناصر DOM في JavaScript، يُرجى تضمين السمة data-nosnippet بالشكل المناسب عند بدء إضافة العنصر إلى عناصر DOM الخاصة بالصفحة. وفي حال استخدام العناصر المخصّصة، عليك لفّها أو عرضها مع العناصر div أو span أو section إذا كنت تحتاج إلى استخدام data-nosnippet.

استخدام البيانات المنظَّمة

تتحكّم علامات meta لبرامج Robots في مقدار المحتوى الذي يستخرجه Google تلقائيًا من صفحات الويب لعرضه ضمن نتائج البحث. يستخدم العديد من الناشرين أيضًا بيانات schema.org المنظَّمة لإتاحة معلومات محدّدة في نتائج البحث. ولا تؤثر قيود علامات meta لبرامج Robots في استخدام تلك البيانات المنظَّمة، باستثناء القيمتَين article.description وdescription في البيانات المنظَّمة المخصّصة لأعمال إبداعية أخرى. لتحديد الحدّ الأقصى لطول معاينة ما بناءً على قيم description هذه، يمكنك استخدام القاعدة max-snippet. على سبيل المثال، تكون بيانات recipe المنظَّمة على إحدى الصفحات صالحة للتضمين في لوحة عرض دوّارة لوصفات طعام، حتى إذا فُرضت قيود على معاينة النص. يمكنك تحديد طول معاينة نص باستخدام max-snippet، ولكن لا تسري العلامة meta هذه لبرامج robots عند توفير المعلومات باستخدام بيانات منظَّمة لنتائج غنية بصريًا.

لإدارة استخدام البيانات المنظَّمة على صفحات الويب، عليك تعديل أنواع البيانات المنظَّمة وقيمها وإضافة المعلومات أو إزالتها لتوفير البيانات التي تريد إتاحتها فقط. يُرجى العِلم أيضًا أنّ البيانات المنظَّمة تظل قابلة للاستخدام في نتائج البحث عند إدراجها ضمن عنصر data-nosnippet.

التطبيق العملي للعلامة X-Robots-Tag

يمكنك إضافة العلامة X-Robots-Tag إلى استجابات HTTP لموقع إلكتروني من خلال ملفات الإعداد على برنامج خادم الويب الخاص بموقعك الإلكتروني. على سبيل المثال، يمكنك استخدام ملفات ‎.htaccess وhttpd.conf على خوادم الويب المستندة إلى Apache. وتتمثّل الفائدة من استخدام X-Robots-Tag مع استجابات HTTP في أنّه يمكنك تحديد قواعد الزحف التي يتم تطبيقها بشكل شامل في موقع إلكتروني. وتوفّر إتاحة التعبيرات العادية مستوًى عاليًا من المرونة.

على سبيل المثال، لإضافة X-Robots-Tag noindex, nofollow إلى استجابة HTTP لجميع الملفات بالامتداد ‎.PDF في جميع أقسام الموقع الإلكتروني، أضِف المقتطف التالي إلى ملف جذر الموقع الإلكتروني بالامتداد ‎.htaccess أو الملف بالامتداد httpd.conf على Apache أو الملف بالامتداد ‎.conf الخاص بالموقع الإلكتروني على NGINX.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

يمكنك استخدام العلامة X-Robots-Tag لملفات ليست بتنسيق HTML، مثل ملفات الصور التي لا يمكن فيها استخدام العلامات meta لبرامج robots بتنسيق HTML. في ما يلي مثال على إضافة قاعدة X-Robots-Tag noindex لملفات الصور (‎.png أو ‎.jpeg أو ‎.jpg أو ‎.gif) في جميع أقسام الموقع الإلكتروني:

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

يمكنك أيضًا ضبط عناوين X-Robots-Tag للملفات الثابتة الفردية:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

دمج قواعد robots.txt مع قواعد الفهرسة والعرض

يتم اكتشاف علامات meta لبرامج robots وعناوين HTTP التي تتضمّن X-Robots-Tag عندما يتم الزحف إلى عنوان URL. في حال منع الزحف إلى إحدى الصفحات من خلال ملف robots.txt، لن يتم العثور على أي معلومات عن قواعد الفهرسة أو العرض، وبالتالي سيتم تجاهلها. وإذا كان يجب اتّباع قواعد الفهرسة أو العرض، لا يمكن منع الزحف إلى عناوين URL التي تحتوي على هذه القواعد.