تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

مواصفات العلامة الوصفية لبرامج الروبوت وdata-nosnippet وX-Robots-Tag

يوضّح هذا المستند بالتفصيل طريقة استخدام الإعدادات على مستوى الصفحة والإعدادات على مستوى النص لضبط طريقة عرض Google للمحتوى الخاص بك ضمن نتائج البحث. يمكنك تحديد الإعدادات على مستوى الصفحة عن طريق تضمين علامة وصفية على صفحات HTML أو في عنوان HTTP. ويمكنك تحديد الإعدادات على مستوى النص باستخدام السمة data-nosnippet على عناصر HTML ضمن الصفحة.

تذكّر أن هذه الإعدادات لا يمكن أن تتم قراءتها ومتابعتها إلا عند السماح لبرامج الزحف بالوصول إلى الصفحات التي تتضمّن هذه الإعدادات.

تسري العلامة أو التوجيه <meta name="robots" content="noindex"> على برامج الزحف في محرّك البحث. لحظر برامج الزحف المخصّصة لأغراض غير البحث، مثل AdsBot-Google، قد تحتاج إلى إضافة توجيهات تستهدف برنامج الزحف المحدّد (مثل <meta name="AdsBot-Google" content="noindex">).

استخدام علامة وصفية لبرامج الروبوت

تسمح لك العلامة الوصفية لبرامج الروبوت باستخدام طريقة دقيقة على مستوى الصفحة للتحكّم في كيفية فهرسة صفحة فردية وعرضها للمستخدمين ضمن نتائج &quot;بحث Google&quot;. ويمكنك وضع العلامة الوصفية لبرامج الروبوت في القسم <head> على صفحة محدّدة، على النحو التالي:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

في هذا المثال، تُعلِم العلامة الوصفية لبرامج الروبوت محرّكات البحث بعدم عرض الصفحة ضمن نتائج البحث. وتحدّد قيمة السمة name (robots) أنّ التوجيه سيطبَّق على جميع برامج الزحف. ولتوجيه زاحف محدّد، يمكنك استبدال القيمة robots للسمة name باسم الزاحف الذي تريد توجيهه. تُعرَف بعض برامج الزحف المحدّدة بأنّها برامج وكيل المستخدم (يستخدم الزاحف وكيل المستخدم التابع له لطلب إحدى الصفحات). ويحمل عادةً زاحف الويب من Google اسم وكيل المستخدم Googlebot. لمنع محرّك بحث Google فقط من فهرسة صفحتك، يمكنك تعديل العلامة على النحو التالي:

<meta name="googlebot" content="noindex">

توجّه هذه العلامة الآن محرّك بحث Google على وجه التحديد إلى عدم عرض هذه الصفحة ضمن نتائج البحث. إنّ السمتَين name وcontent غير حساستَين لحالة الأحرف.

قد تستخدم محرّكات البحث برامج زحف مختلفة لأغراض مختلفة. راجِع القائمة الكاملة لبرامج الزحف من Google. على سبيل المثال، لعرض صفحة في نتائج بحث الويب من Google، ولكن ليس في &quot;أخبار Google&quot;، يمكنك استخدام العلامة الوصفية التالية:

<meta name="googlebot-news" content="noindex">

لتحديد عدة برامج زحف بشكل فردي، استخدِم علامات وصفية متعدّدة لبرامج الروبوت على النحو التالي:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

لحظر فهرسة الموارد التي ليست بتنسيق HTML، مثل ملفات PDF أو ملفات الفيديو أو الصور، يمكنك استخدام عنوان الاستجابة X-Robots-Tag بدلاً من ذلك.

استخدام عنوان HTTP X-Robots-Tag

يمكن استخدام X-Robots-Tag كعنصر في استجابة عنوان HTTP لعنوان URL محدّد. ويمكن أيضًا تحديد أي توجيه يمكن استخدامه في العلامة الوصفية لبرامج الروبوت باعتباره X-Robots-Tag. وفي ما يلي مثال لاستجابة HTTP تتضمّن علامة X-Robots-Tag توجِّه برامج الزحف إلى عدم فهرسة صفحة معيّنة:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

يمكنك دمج عدة عناوين X-Robots-Tag في استجابة HTTP، أو يمكنك تحديد قائمة من التوجيهات مفصولة بفواصل. وفي ما يلي مثال على استجابة عنوان HTTP التي تتضمّن علامة X-Robots-Tag noarchive تم دمجها مع علامة unavailable_after X-Robots-Tag.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

قد تحدّد علامة X-Robots-Tag بشكل اختياري وكيل مستخدم للتوجيهات. على سبيل المثال، يمكن استخدام المجموعة التالية من عناوين HTTP التي تتضمّن X-Robots-Tag للسماح بعرض إحدى الصفحات في نتائج البحث الخاصة بمحرّكات بحث مختلفة بشكل مشروط:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

تكون التوجيهات المحدّدة بدون وكيل مستخدم صالحة لجميع برامج الزحف. ويكون كل من عنوان HTTP واسم وكيل المستخدم والقيم المحدّدة غير حساسة لحالة الأحرف.

التوجيهات الصالحة المتعلقة بالفهرسة والعرض

يمكن استخدام التوجيهات التالية للتحكم في فهرسة مقتطف وعرضه باستخدام العلامة الوصفية لبرامج الروبوت وX-Robots-Tag. في سياق نتائج البحث، المقتطف هو ملخص النص ويُستخدم لتوضيح مدى صلة المستند بطلب البحث الذي أجراه المستخدم. يعرض الجدول التالي جميع التوجيهات التي يلتزم بها محرّك البحث Google ومعانيها. تمثّل كل قيمة توجيهًا محددًا. يمكن دمج عدّة توجيهات في قائمة مفصولة بفواصل أو في علامات وصفية منفصلة. وهذه التوجيهات غير حساسة لحالة الأحرف.

التوجيهات

all

لا تُفرض أي قيود على الفهرسة أو العرض. هذا التوجيه هو القيمة التلقائية وليس له أي تأثير إذا تم إدراجه بشكل واضح.

noindex

لا تعرض هذه الصفحة أو الوسائط أو المورد في نتائج البحث. إذا لم تحدّد هذا التوجيه، قد تتم فهرسة الصفحة أو الوسائط أو المورد وعرضها في نتائج البحث.

لإزالة معلومات من Google، اتّبِع الدليل المفصّل.

nofollow

لا تتبع الروابط على هذه الصفحة. إذا لم تحدّد هذا التوجيه، قد يستخدم محرّك البحث Google الروابط على الصفحة لاكتشاف تلك الصفحات المرتبطة. اطّلِع على مزيد من المعلومات عن nofollow.

none

هذا التوجيه مكافئ للسمة noindex, nofollow.

noarchive

لا تعرِض رابط نسخة مخبأة ضمن نتائج البحث. وإذا لم تحدّد هذا التوجيه، قد ينشئ محرّك البحث Google صفحة مخزّنة مؤقتًا وقد يتمكّن المستخدمون من الوصول إليها من خلال نتائج البحث.

nositelinkssearchbox

لا تعرض مربّع بحث ضمن رابط أقسام الموقع في نتائج البحث لهذه الصفحة. إذا لم تحدّد هذا التوجيه، قد ينشئ محرّك البحث Google مربّع بحث خاصًّا بموقعك الإلكتروني في نتائج البحث، إلى جانب روابط مباشرة أخرى تؤدي إلى موقعك الإلكتروني.

nosnippet

لا تعرِض مقتطفًا نصيًا أو معاينة فيديو في نتائج البحث لهذه الصفحة. قد تظلّ الصورة المصغّرة الثابتة (إذا توفّرت) مرئية إذا كانت تؤدي إلى تحسين تجربة المستخدم. ينطبق ذلك على جميع أشكال نتائج البحث (في &quot;بحث الويب من Google‏&quot; و&quot;صور بحث Google‏&quot; وميزة &quot;اقتراحات&quot;).

إذا لم تحدّد هذا التوجيه، قد ينشئ محرّك البحث Google مقتطفًا نصيًا ومعاينة فيديو استنادًا إلى المعلومات الواردة في الصفحة.

indexifembedded

يُسمَح لمحرك البحث Google بفهرسة محتوى صفحة إذا كان مضمّنًا في صفحة أخرى من خلال iframes أو علامات HTML مشابهة، على الرغم من استخدام توجيه noindex.

لن يكون لتوجيه indexifembedded أي تأثير إلا إذا كان مترافقًا مع توجيه noindex.

max-snippet: [عدد]

يمكنك إنشاء مقتطف نصي لنتيجة البحث هذه باستخدام [عدد] حرف كحد أقصى. (ملاحظة: قد يظهر عنوان URL في شكل عدّة نتائج بحث ضمن صفحة نتائج البحث.) ولا يؤثّر ذلك في معاينات الصور أو الفيديوهات. ينطبق ذلك على جميع أشكال نتائج البحث (مثل &quot;بحث الويب من Google&quot; و&quot;صور بحث Google&quot; وميزة &quot;اقتراحات&quot; و&quot;مساعد Google&quot;). ولا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة أو أبرم اتفاقية ترخيص مع Google، لن تؤثر هذه الإعدادات في تلك الاستخدامات المسموح بها والمحدّدة بشكل أدقّ. يتم تجاهل هذا التوجيه في حال عدم تحديد [عدد] قابل للتحليل.

إذا لم تحدّد هذا التوجيه، سيختار محرّك البحث Google طول المقتطف.

القيم الخاصة:

  • 0: ما من مقتطف لعرضه. يعادل nosnippet.
  • -1: سيختار محرّك بحث Google طول المقتطف الذي يجِد أنّه الأكثر فعالية لمساعدة المستخدمين على اكتشاف المحتوى الذي تقدّمه ولتوجيههم إلى موقعك الإلكتروني.

أمثلة:

لمنع مقتطف من الظهور في نتائج البحث:


<meta name="robots" content="max-snippet:0">

للسماح بعرض ما يصل إلى 20 حرفًا في المقتطف:


<meta name="robots" content="max-snippet:20">

للإشارة إلى عدم وجود حدّ أقصى لعدد الأحرف التي يمكن عرضها في المقتطف:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [الإعدادات]

يمكنك تحديد الحدّ الأقصى لحجم معاينة الصورة لهذه الصفحة في نتائج البحث.

إذا لم تحدّد التوجيه max-image-preview، قد يعرض محرّك البحث Google معاينة للصورة بالحجم التلقائي.

القيم المقبولة في [الإعدادات]:

  • none: ما من معاينة صورة لعرضها.
  • standard: قد يتم عرض معاينة تلقائية للصورة.
  • large: قد يتم عرض معاينة أكبر للصورة بما يتناسب مع إطار العرض.

ينطبق ذلك على جميع أشكال نتائج البحث (مثل &quot;بحث الويب من Google&quot; و&quot;صور بحث Google&quot; وميزة &quot;اقتراحات&quot; و&quot;مساعد Google&quot;). ولا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوًى في شكل بيانات منظَّمة في الصفحة (مثل إصدار AMP والإصدارات الأساسية من مقالة) أو أبرم اتفاقية ترخيص مع Google، لن تؤثر هذه الإعدادات في تلك الاستخدامات المسموح بها والمحدّدة بشكل أدقّ.

إذا لم تكُن تريد أن يستخدم محرّك بحث Google الصور المصغّرة بحجم أكبر أثناء عرض صفحات AMP والنسخة الأساسية من المقالة في &quot;بحث Google‏&quot; أو في ميزة &quot;اقتراحات&quot;، حدِّد قيمة max-image-preview سواء باستخدام standard أم none.

مثال:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [عدد]

بالنسبة إلى الفيديوهات على هذه الصفحة من نتائج البحث، استخدِم مقتطف فيديو لا يزيد عن [عدد] ثانية.

إذا لم تحدّد التوجيه max-video-preview، قد يعرض محرّك البحث Google مقتطف فيديو في نتائج البحث، ويختار بنفسه مدة المعاينة.

القيم الخاصة:

  • 0: في الغالب، قد يتم استخدام الصورة الثابتة وفق الإعدادات max-image-preview.
  • -1: ما من حدّ أقصى.

ينطبق ذلك على جميع أشكال نتائج البحث (في &quot;بحث الويب من Google‏&quot; و&quot;صور بحث Google‏&quot; و&quot;فيديو Google‏&quot; وميزة &quot;اقتراحات&quot; و&quot;مساعد Google‏&quot;). يتم تجاهل هذا التوجيه في حال عدم تحديد [عدد] قابل للتحليل.

مثال:


<meta name="robots" content="max-video-preview:-1">

notranslate

لا تعرِض ترجمة لهذه الصفحة في نتائج البحث. إذا لم تحدّد هذا التوجيه، قد يقدّم محرّك البحث Google ترجمة لرابط العنوان والمقتطف الخاصَّين بنتيجة بحث من النتائج التي ليست بلغة طلب البحث. إذا نقر المستخدم على رابط العنوان المترجَم، سيتم إجراء أي تفاعل إضافي مع الصفحة من خلال خدمة &quot;ترجمة Google‏&quot; التي ستترجم تلقائيًّا أي روابط يتم تتبّعها.

noimageindex

لا تفهرس الصور على هذه الصفحة. إذا لم تحدّد هذه القيمة، قد تتم فهرسة الصور في الصفحة وعرضها في نتائج البحث.

unavailable_after: [التاريخ/الوقت]

لا تعرِض هذه الصفحة في نتائج البحث بعد التاريخ/الوقت المحدّد. يجب تحديد التاريخ/الوقت بتنسيق متعارَف عليه، بما في ذلك على سبيل المثال لا الحصر RFC 822 وRFC 850 وISO 8601. يتم تجاهل التوجيه في حال عدم تحديد تاريخ/وقت صالح. حسب الإعدادات التلقائية، ما مِن تاريخ انتهاء صلاحية للمحتوى.

إذا لم تحدّد هذا التوجيه، قد يتم عرض هذه الصفحة في نتائج البحث إلى أجل غير مسمى. سيعمل Googlebot على تخفيض معدل الزحف إلى عنوان URL بشكل كبير بعد التاريخ والوقت المحدّدَين.

مثال:


<meta name="robots" content="unavailable_after: 2020-09-21">

معالجة توجيهات الفهرسة والعرض المدمَجة

يمكنك إنشاء تعليمات تضم عدة توجيهات إما عن طريق دمج توجيهات العلامات الوصفية لبرامج الروبوت باستخدام الفواصل أو من خلال استخدام عدة علامات وصفية. إليك مثال على علامة وصفية لبرامج الروبوت توجِّه برامج زحف الويب إلى عدم فهرسة الصفحة وإلى عدم الزحف إلى أي روابط في الصفحة:

قائمة مفصولة بفواصل

<meta name="robots" content="noindex, nofollow">

علامات وصفية متعدّدة

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

في ما يلي مثال يتضمن حدًّا أقصى للمقتطف النصي يبلغ 20 حرفًا ويسمح بعرض معاينة كبيرة للصورة:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

بالنسبة إلى الحالات التي يتم فيها تحديد برامج زحف متعدّدة بالإضافة إلى توجيهات مختلفة، سيستخدم محرّك البحث مجموعة من التوجيهات السلبية. مثلاً:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

سيتم اعتبار الصفحة التي تحتوي على هذه العلامات الوصفية بأنها تشمل التوجيه noindex, nofollow عند زحف Googlebot إليها.

استخدام سمة HTML data-nosnippet

يمكنك تحديد أجزاء نصية من صفحة HTML كي لا يتم استخدامها في المقتطف. ويمكن إجراء ذلك على مستوى عنصر HTML في حال توفّر سمة HTML data-nosnippet للعناصر span وdiv وsection. تُعدّ data-nosnippet سمة منطقية. وكما هي الحال مع جميع السمات المنطقية، يتم تجاهل أي قيمة محدّدة. ولضمان قدرة الآلة على قراءة المحتوى، يجب أن يكون قسم HTML بلغة HTML صالحة وأن يتم إغلاق جميع العلامات المناسبة وفقًا لذلك.

أمثلة:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

يعرض محرّك البحث Google عادةً الصفحات لفهرستها، ولكنّ عملية العرض غير مضمونة. ولهذا السبب، قد يتم استخراج data-nosnippet قبل العرض وبعده. ولضمان عرض الصفحات، يُرجى عدم إضافة السمة data-nosnippet أو إزالتها من العُقَد الحالية في JavaScript. عند إضافة عناصر DOM في JavaScript، يُرجى تضمين السمة data-nosnippet بالشكل المناسب عند بدء إضافة العنصر إلى عناصر DOM الخاصة بالصفحة. وفي حال استخدام العناصر المخصّصة، عليك لفّها أو عرضها مع العناصر div أو span أو section إذا كنت تحتاج إلى استخدام data-nosnippet.

استخدام البيانات المنظَّمة

تتحكّم العلامات الوصفية لبرامج الروبوت في مقدار المحتوى الذي يستخرجه محرّك البحث Google تلقائيًا من صفحات الويب لعرضه ضمن نتائج البحث. ويستخدم العديد من الناشرين البيانات المنظَّمة schema.org لإتاحة معلومات محدّدة في نتائج البحث. ولا تؤثر قيود العلامات الوصفية لبرامج الروبوت في استخدام تلك البيانات المنظَّمة، باستثناء القيمتَين article.description وdescription في البيانات المنظَّمة المخصّصة لأعمال إبداعية أخرى. ولتحديد الحدّ الأقصى لطول معاينة ما بناءً على قيم description هذه، يمكنك استخدام العلامة الوصفية لبرامج الروبوت max-snippet. على سبيل المثال، تكون بيانات recipe المنظَّمة على إحدى الصفحات صالحة للتضمين في منصة عرض بعناصر متغيرة لوصفة طعام، حتى إذا فُرضت قيود على معاينة النص. يمكنك تحديد طول معاينة نص باستخدام max-snippet، ولكن لا تسري العلامة الوصفية لبرامج الروبوت هذه عند توفير المعلومات باستخدام بيانات منظَّمة لنتائج منسّقة.

لإدارة استخدام البيانات المنظَّمة على صفحات الويب، عليك تعديل أنواع البيانات المنظَّمة وقيمها وإضافة المعلومات أو إزالتها لتوفير البيانات التي تريد إتاحتها فقط. يُرجى العِلم أيضًا أنّ البيانات المنظَّمة تظل قابلة للاستخدام في نتائج البحث عند إدراجها ضمن عنصر data-nosnippet.

التطبيق العملي للعلامة X-Robots-Tag

يمكنك إضافة العلامة X-Robots-Tag إلى استجابات HTTP لموقع إلكتروني من خلال ملفات الإعداد على برنامج خادم الويب الخاص بموقعك الإلكتروني. على سبيل المثال، يمكنك استخدام ملفات ‎.htaccess وhttpd.conf على خوادم الويب المستندة إلى Apache. وتتمثّل الفائدة من استخدام X-Robots-Tag مع استجابات HTTP في أنه يمكنك تحديد توجيهات الزحف التي يتم تطبيقها بشكل شامل في موقع إلكتروني. ويمكن استخدام التعبيرات العادية، ما يوفّر مستوى عالٍ من المرونة.

على سبيل المثال، لإضافة noindex, nofollow X-Robots-Tag إلى استجابة HTTP لجميع الملفات بالامتداد ‎.PDF في جميع أقسام الموقع الإلكتروني، أضِف المقتطف التالي إلى ملف جذر الموقع الإلكتروني بالامتداد ‎.htaccess أو الملف بالامتداد httpd.conf على Apache أو الملف بالامتداد ‎.conf الخاص بالموقع الإلكتروني على NGINX.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>
location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

NGINX

يمكنك استخدام العلامة X-Robots-Tag لملفات ليست بتنسيق HTML، مثل ملفات الصور التي لا يمكن فيها استخدام العلامات الوصفية لبرامج الروبوت بتنسيق HTML. إليك مثال على إضافة التوجيه noindex X-Robots-Tag لملفات الصور (‎.png و‎.jpeg و‎.jpg و‎.gif) في جميع أقسام الموقع الإلكتروني:

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

يمكنك أيضًا ضبط عناوين X-Robots-Tag للملفات الثابتة الفردية:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

دمج توجيهات ملف robots.txt مع توجيهات الفهرسة والعرض

يتم اكتشاف العلامات الوصفية لبرامج الروبوت وعناوين HTTP التي تتضمن X-Robots-Tag عندما يتم الزحف إلى عنوان URL. في حال منع الزحف إلى إحدى الصفحات من خلال ملف robots.txt، لن يتم العثور على أي معلومات عن توجيهات الفهرسة أو العرض وبالتالي سيتم تجاهلها. وإذا كان يجب اتّباع توجيهات الفهرسة أو العرض، لا يمكن منع الزحف إلى عناوين URL التي تحتوي على هذه التوجيهات.