حظر فهرسة البحث باستخدام noindex
يمكنك منع ظهور صفحة أو مورد آخر في "بحث Google" من خلال تضمين العلامة الوصفية أو العنوان noindex
في استجابة
HTTP. وفي المرة التالية التي يزحف فيها Googlebot إلى هذه الصفحة ويرصد فيها العلامة أو العنوان، لن يعرض محرّك بحث Google
هذه الصفحة نهائيًا في نتائج البحث من Google، حتى لو كانت مواقع إلكترونية أخرى تتضمن روابط مؤدية إلى هذه الصفحة.
من المفيد استخدام علامة noindex إذا لم تتوفّر لديك إمكانية الدخول الكامل إلى الخادم، لأنّ ذلك
يسمح لك بالتحكّم في إتاحة الدخول إلى كل صفحة على حدة في موقعك الإلكتروني.
تنفيذ علامة noindex
ثمة طريقتان لتنفيذ علامة noindex: الطريقة الأولى هي استخدامها كعلامة وصفية، والطريقة الثانية هي
استخدامها كعنوان لاستجابة HTTP. وتؤدّي الطريقتان إلى النتيجة نفسها، لذلك يمكنك اختيار الطريقة الأنسب لموقعك الإلكتروني ونوع المحتوى الذي تقدّمه.
علامة <meta>
إذا أردت منع معظم محرّكات البحث من فهرسة صفحة على موقعك الإلكتروني، ضَع
العلامة الوصفية التالية في القسم <head> من صفحتك:
<meta name="robots" content="noindex">
إذا أردت منع زاحفي الويب من Google فقط من فهرسة صفحة معيّنة:
<meta name="googlebot" content="noindex">
عليك الانتباه إلى أنّ بعض محرّكات البحث قد تفسر
توجيه noindex بشكل مختلف. ونتيجة لذلك، من المحتمل أن تظهر صفحتك
في النتائج التي تعرضها محركّات البحث الأخرى.
المزيد من المعلومات حول علامة noindex الوصفية
عنوان استجابة HTTP
بدلاً من استخدام علامة وصفية، يمكنك أيضًا عرض عنوان X-Robots-Tag مع قيمة
noindex أو none في الاستجابة. ويمكن استخدام عنوان الاستجابة
للموارد التي ليست بتنسيق HTML، مثل ملفات PDF وملفات الفيديو وملفات الصور. في ما يلي مثال على استجابة HTTP حيث توجِّه علامة X-Robots-Tag محرّكات البحث إلى عدم فهرسة صفحة معيّنة:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
المزيد من المعلومات حول عنوان الاستجابة noindex
مساعدتنا في اكتشاف علاماتك الوصفية
يجب أن نزحف إلى صفحتك لرؤية العلامات الوصفية وعناوين HTTP. إذا كانت الصفحة لا تزال تظهر في النتائج، من الأرجح أننا لم نزحف إلى الصفحة منذ أن أضفت العلامة. يمكنك أن تطلب من محرّك البحث Google إعادة الزحف إلى صفحتك باستخدام أداة فحص عنوان URL. وقد يعود السبب أيضًا في استمرار ظهور صفحتك في النتائج إلى أنّ ملف robots.txt يمنع وصول زاحفي الويب من Google إلى عنوان URL، وبالتالي يتعذّر على برامج الزحف رؤية العلامة. لإزالة حظر وصول محرّك بحث Google إلى صفحتك، عليك تعديل ملف robots.txt. يمكنك تعديل ملف robots.txt واختباره باستخدام أداة اختبار robots.txt.