Aufnahme in den Suchindex mithilfe von noindex blockieren

Du kannst verhindern, dass eine Seite oder eine andere Ressource in der Google Suche erscheint, indem du in der HTTP-Antwort ein bzw. einen noindex-Meta-Tag oder -Header aufnimmst. Wenn der Googlebot das nächste Mal diese Seite crawlt und das Tag oder den Header erkennt, entfernt er diese Seite vollständig aus den Google-Suchergebnissen, unabhängig davon, ob andere Websites auf diese Seite verweisen.

Die Verwendung von noindex ist nützlich, wenn du keinen Rootzugriff auf deinen Server hast, da du damit den Zugriff auf einzelne Seiten deiner Website steuern kannst.

noindex implementieren

Es gibt zwei Möglichkeiten, noindex zu implementieren: als Meta-Tag und als HTTP-Antwortheader. Beide haben den gleichen Effekt. Wähle daher die für deine Website praktischere und für deinen Inhaltstyp passendere Methode aus.

<meta>-Tag

Wenn du verhindern möchtest, dass die Web-Crawler der meisten Suchmaschinen eine Seite auf deiner Website indexieren, platziere das folgende Meta-Tag in den Abschnitt <head> deiner Seite:

<meta name="robots" content="noindex">

Wenn nur die Google-Web-Crawler eine Seite nicht indexieren sollen:

<meta name="googlebot" content="noindex">

Beachte, dass die Web-Crawler einiger Suchmaschinen die Anweisung noindex unterschiedlich interpretieren. Daher ist es möglich, dass deine Seite immer noch in den Ergebnissen anderer Suchmaschinen erscheint.

Weitere Informationen zum noindex-Meta-Tag

HTTP-Antwortheader

Statt eines Meta-Tags kannst du auch einen X-Robots-Tag-Header mit dem Wert noindex oder none in deiner Antwort zurückgeben. Ein Antwortheader kann für Nicht-HTML-Ressourcen wie PDFs, Video- und Bilddateien verwendet werden. Hier ein Beispiel einer HTTP-Antwort mit einem X-Robots-Tag, die Crawler anweist, eine Seite nicht zu indexieren:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Weitere Informationen zum Antwortheader noindex

So erkennen wir deine Meta-Tags

Damit wir Meta-Tags und HTTP-Header sehen können, muss deine Seite gecrawlt werden. Wenn eine Seite weiterhin in den Ergebnissen erscheint, liegt das wahrscheinlich daran, dass sie seit dem Hinzufügen des Tags noch nicht wieder von uns gecrawlt wurde. Mit dem URL-Prüftool kannst du ein erneutes Crawlen einer Seite durch Google beantragen. Ein anderer Grund, warum deine Seite möglicherweise weiterhin in den Ergebnissen erscheint, ist, dass die robots.txt-Datei die URL für Google-Web-Crawler blockiert und das Tag deshalb nicht erkannt werden kann. Um die Blockierung deiner Seite bei Google aufzuheben, musst du deine robots.txt-Datei bearbeiten. Mit dem Tool robots.txt-Tester kannst du deine robots.txt-Datei bearbeiten und testen.