Spezifikationen für Robots-Meta-Tags, Data-Nosnippet- und X-Robots-Tags

In diesem Dokument wird beschrieben, wie du mithilfe der Einstellungen auf Seiten- und Textebene festlegst, wie Google deine Inhalte in den Suchergebnissen darstellt. Für Einstellungen auf Seitenebene kannst du ein Meta-Tag in HTML-Seiten oder in einen HTTP-Header einfügen. Einstellungen auf Textebene legst du mit dem data-nosnippet-Attribut für HTML-Elemente auf einer Seite fest.

Robots-Meta-Tag verwenden

Das Robots-Meta-Tag ermöglicht dir eine detaillierte, seitenspezifische Herangehensweise, bei der du angibst, wie eine bestimmte Seite indexiert und den Nutzern in Google-Suchergebnissen angezeigt werden soll. Platziere das Robots-Meta-Tag folgendermaßen im <head>-Abschnitt der jeweiligen Seite:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Das Robots-Meta-Tag im Beispiel oben weist Suchmaschinen an, die betreffende Seite nicht in den Suchergebnissen anzuzeigen. Der Wert des Attributs name (robots) gibt an, dass die Anweisung für alle Crawler gilt. Wenn du einen bestimmten Crawler ansprechen möchtest, ersetze den Wert robots des name-Attributs durch den Namen des entsprechenden Crawlers. Bestimmte Crawler werden auch als User-Agents bezeichnet. Ein Crawler verwendet seinen User-Agent zum Anfordern einer Seite. Der Standard-Web-Crawler von Google hat den User-Agent-Namen Googlebot. Wenn du nur den Googlebot am Indexieren deiner Seite hindern möchtest, aktualisiere das Tag folgendermaßen:

<meta name="googlebot" content="noindex" />

Dieses Tag weist Google an, diese Seite nicht in den Suchergebnissen anzuzeigen. Bei den Attributen name und content wird die Groß- und Kleinschreibung nicht beachtet.

Suchmaschinen setzen unter Umständen für unterschiedliche Zwecke unterschiedliche Crawler ein. Weitere Informationen findest du in der vollständigen Liste der Google-Crawler. Wenn du beispielsweise möchtest, dass eine Seite in den Ergebnissen der Google Websuche, aber nicht in Google News angezeigt wird, verwendest du dazu das folgende Meta-Tag:

<meta name="googlebot-news" content="noindex" />

Wenn du mehrere Crawler einzeln angeben möchtest, verwendest du mehrere Robots-Meta-Tags:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

HTTP-Header X-Robots-Tag in HTTP-Header-Antworten

Das X-Robots-Tag kann als Element der HTTP-Header-Antwort für die jeweilige URL verwendet werden. Jede Anweisung, die in einem Robots-Meta-Tag verwendet werden kann, kann auch als ein X-Robots-Tag angegeben werden. Hier ein Beispiel einer HTTP-Antwort mit einem X-Robots-Tag, das Crawler anweist, eine Seite nicht zu indexieren:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Du kannst in der HTTP-Antwort mehrere X-Robots-Tag-Header kombinieren oder eine durch Kommas getrennte Liste von Anweisungen bereitstellen. Hier ein Beispiel einer HTTP-Header-Antwort, in der ein noarchive X-Robots-Tag mit einem unavailable_after X-Robots-Tag kombiniert wird.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Im X-Robots-Tag kann bei Bedarf vor den Anweisungen ein User-Agent angegeben werden. Mit dem folgenden Satz von X-Robots-Tag-HTTP-Headern kann zum Beispiel das Anzeigen einer Seite in Suchergebnissen verschiedener Suchmaschinen unter bestimmten Bedingungen erlaubt werden:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Anweisungen, die ohne User-Agent angegeben werden, sind für alle Crawler gültig. Weder beim HTTP-Header noch beim User-Agent-Namen oder den angegebenen Werten ist die Groß- und Kleinschreibung von Bedeutung.

Gültige Indexierungs- und Bereitstellungsanweisungen

Mit den folgenden Anweisungen können die Indexierung und die Bereitstellung eines Snippets über das Robots-Meta-Tag und das X-Robots-Tag gesteuert werden. Ein Snippet ist ein kurzer Textauszug in den Suchergebnissen, anhand dessen der Nutzer sehen kann, wie relevant das Dokument für seine Suchanfrage ist. In der folgenden Tabelle werden alle Anweisungen, die von Google beachtet werden, und ihre jeweilige Bedeutung aufgeführt. Jeder Wert stellt eine spezifische Anweisung dar. Mehrere Anweisungen können in einer durch Kommas getrennten Liste kombiniert werden. Bei diesen Anweisungen muss die Groß- und Kleinschreibung nicht berücksichtigt werden.

Anweisungen

all

Es bestehen keine Einschränkungen hinsichtlich der Indexierung oder Bereitstellung. Diese Anweisung ist der Standardwert, sodass ihre explizite Auflistung ohne Auswirkungen bleibt.

noindex

Diese Seite nicht in den Suchergebnissen anzeigen. Wenn du diese Anweisung nicht angibst, kann die Seite indexiert und in den Suchergebnissen angezeigt werden.

nofollow

Den Links auf dieser Seite nicht folgen. Wenn du diese Anweisung nicht angibst, kann Google die Links auf der Seite verwenden, um die verlinkten Seiten zu finden. Weitere Informationen zum Attribut nofollow

none

Entspricht noindex, nofollow.

noarchive

In den Suchergebnissen keinen im Cache gespeicherten Link anzeigen. Wenn du diese Anweisung nicht angibst, kann Google eine im Cache gespeicherte Seite generieren und Nutzer greifen möglicherweise über die Suchergebnisse darauf zu.

nosnippet

In den Suchergebnissen für diese Seite kein Text-Snippet und keine Videovorschau anzeigen. Eine statische Miniaturansicht (falls verfügbar) ist weiterhin sichtbar, wenn dies dem Nutzer einen Mehrwert bietet. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder und Discover.

Wenn du diese Anweisung nicht angibst, kann Google ein Text-Snippet und eine Videovorschau generieren, die auf den auf der Seite gefundenen Informationen basieren.

max-snippet: [Zahl]

Als Text-Snippet für dieses Suchergebnis höchstens [Zahl] Zeichen verwenden. Bitte beachte, dass eine URL auf einer Suchergebnisseite möglicherweise über mehrere Ergebnisse hinweg angezeigt wird. Das hat keine Auswirkungen auf die Bild- oder Videovorschau. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus. Diese Anweisung wird ignoriert, wenn für [Zahl] kein parsbarer Wert angegeben wird.

Wenn du diese Anweisung nicht angibst, wählt Google die Snippet-Länge aus.

Spezielle Werte:

  • 0: Es soll kein Snippet angezeigt werden. Gleichbedeutend mit nosnippet.
  • -1: Google wählt die Snippet-Länge aus, mit der Nutzer am ehesten deine Inhalte finden und auf deine Website geleitet werden.

Beispiele:

So verhinderst du, dass ein Snippet in den Suchergebnissen angezeigt wird:


<meta name="robots" content="max-snippet:0">

So lässt du bis zu 20 Zeichen im Snippet zu:


<meta name="robots" content="max-snippet:20">

So legst du fest, dass die Anzahl der Zeichen im Snippet unbegrenzt ist:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [Einstellung]

Legt die maximale Größe fest, die eine Bildvorschau in den Suchergebnissen für diese Seite haben kann.

Wenn du die Anweisung max-image-preview nicht angibst, kann Google eine Bildvorschau in der Standardgröße anzeigen.

Akzeptierte Werte für [Einstellung]:

  • none: Es soll keine Bildvorschau angezeigt werden.
  • standard: Eine Standardbildvorschau darf angezeigt werden.
  • large: Es darf eine größere Bildvorschau angezeigt werden, die maximal so breit ist wie der Darstellungsbereich.

Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen (z. B. AMP- und kanonische Versionen eines Artikels) oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus.

Wenn du nicht möchtest, dass bei Google größere Miniaturansichten zu sehen sind, wenn deine AMP-Seiten und kanonische Versionen eines Artikels in der Google Suche und in Discover angezeigt werden, lege für max-image-preview den Wert standard oder none fest.

Beispiel:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [Zahl]

Erscheinen in Suchergebnissen Videos auf dieser Seite, wird ein Video-Snippet mit der durch [Zahl] angegebenen Länge in Sekunden angezeigt.

Wenn du die Anweisung max-video-preview nicht angibst, kann Google ein Video-Snippet in den Suchergebnissen anzeigen und entscheiden, wie lang die Vorschau ist.

Spezielle Werte:

  • 0: Entsprechend der Einstellung für max-image-preview darf lediglich ein statisches Bild verwendet werden.
  • -1: Es gibt kein Limit.

Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Google Videos, Discover und Assistant. Diese Anweisung wird ignoriert, wenn für [Zahl] kein parsbarer Wert angegeben wird.

Beispiel:


<meta name="robots" content="max-video-preview:-1">

notranslate

In Suchergebnissen keine Übersetzung dieser Seite anbieten. Wenn du diese Anweisung nicht angibst, kann Google neben dem Suchergebnis einen Link anzeigen, über den sich die Nutzer den Inhalt deiner Seite übersetzen lassen können.

noimageindex

Bilder auf dieser Seite nicht indexieren. Wenn du diesen Wert nicht angibst, können Bilder auf der Seite indexiert und in den Suchergebnissen angezeigt werden.

unavailable_after: [Datum/Uhrzeit]

Diese Seite nach dem angegebenen Zeitpunkt nicht mehr in den Suchergebnissen anzeigen. Datum und Uhrzeit müssen in einem gängigen Format angegeben werden, beispielsweise nach RFC 822, RFC 850 und ISO 8601. Diese Anweisung wird ignoriert, wenn kein gültiger Zeitpunkt angegeben wurde. Standardmäßig gibt es kein Ablaufdatum für Inhalte.

Wenn du diese Anweisung nicht angibst, wird diese Seite möglicherweise auf unbestimmte Zeit in den Suchergebnissen angezeigt.

Beispiel:


<meta name="robots" content="unavailable_after: 2020-09-21">

Umgang mit kombinierten Indexierungs- und Bereitstellungsanweisungen

Du kannst eine Anweisung mit mehreren Anweisungen erstellen, indem du Robots-Meta-Tag-Anweisungen mit Kommas kombinierst. Hier ein Beispiel für ein Robots-Meta-Tag, das Web-Crawler anweist, die Seite nicht zu indexieren und keinen der Links auf der Seite zu crawlen:

<meta name="robots" content="noindex, nofollow">

Hier ist ein Beispiel, das das Text-Snippet auf 20 Zeichen begrenzt und eine große Bildvorschau ermöglicht:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

Wenn mehrere Crawler mit unterschiedlichen Anweisungen angegeben sind, verwendet die Suchmaschine die Summe der negativen Anweisungen. Beispiel:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Wenn der Googlebot die Seite mit diesen Meta-Tags crawlt, wird sie so behandelt, als würde sie die Anweisung noindex, nofollow enthalten.

Das HTML-Attribut data-nosnippet

Du kannst auf einer HTML-Seite für bestimmte Textteile angeben, dass diese nicht als Snippet verwendet werden sollen. Auf HTML-Element-Ebene verwendest du dafür das HTML-Attribut data-nosnippet in den Elementen span, div und section. Das data-nosnippet wird als ein boolesches Attribut betrachtet. Wie bei allen booleschen Attributen werden alle angegebenen Werte ignoriert. Der HTML-Abschnitt muss aus gültigem HTML-Code bestehen und alle Tags müssen entsprechend geschlossen sein, um die Maschinenlesbarkeit zu gewährleisten.

Beispiele:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

In der Regel rendert Google Seiten, um sie zu indexieren. Das Rendern kann jedoch nicht garantiert werden. Das Extrahieren von data-nosnippet kann daher sowohl vor als auch nach dem Rendern stattfinden. Damit Ungewissheiten in Bezug auf das Rendern vermieden werden, solltest du das data-nosnippet-Attribut bestehender Knoten nicht über JavaScript hinzufügen oder entfernen. Schließe beim Hinzufügen von DOM-Elementen über JavaScript das Attribut data-nosnippet nach Bedarf ein, wenn du das Element zum ersten Mal dem DOM der Seite hinzufügst. Wenn du benutzerdefinierte Elemente verwendest und data-nosnippet verwenden musst, nutze die Elemente div, span oder section, um sie zusammenzufassen oder zu rendern.

Strukturierte Daten

Mit Robots-Meta-Tags wird die Menge der Inhalte gesteuert, die Google automatisch aus Webseiten extrahiert, um sie als Suchergebnisse anzuzeigen. Viele Publisher verwenden jedoch darüber hinaus strukturierte Daten, die auf schema.org-Vorgaben basieren, um bestimmte Informationen für die Präsentation in der Suche verfügbar zu machen. Einschränkungen für Robots-Meta-Tags wirken sich nicht auf die Verwendung dieser strukturierten Daten aus. Ausgenommen davon sind die Werte article.description und description für strukturierte Daten, die für andere Inhalte vom Typ „CreativeWork“ angegeben wurden. Verwende das Robots-Meta-Tag max-snippet, um die maximale Länge einer Vorschau anhand dieser description-Werte anzugeben. Beispielsweise können Daten, die als recipe strukturiert wurden, auf einer Ergebnisseite in das Rezeptkarussell aufgenommen werden, auch wenn die Textvorschau ansonsten eingeschränkt wäre. Du kannst die Länge einer Textvorschau mit max-snippet begrenzen, aber dieses Robots-Meta-Tag wird nicht angewendet, wenn die Informationen mithilfe von strukturierten Daten für Rich-Suchergebnisse bereitgestellt werden.

Wenn du die Verwendung strukturierter Daten für deine Webseiten verwalten möchtest, kannst du die Typen und Werte der strukturierten Daten ändern und dabei Informationen hinzufügen oder entfernen. So stellst du nur die Daten bereit, die du verfügbar machen möchtest. Beachte außerdem, dass strukturierte Daten auch dann noch für Suchergebnisse verwendet werden können, wenn sie in einem data-nosnippet-Element deklariert sind.

Praktische Implementierung von X-Robots-Tag

Du kannst das X-Robots-Tag den HTTP-Antworten einer Website über die Konfigurationsdateien der Webserver-Software hinzufügen. Auf Apache-basierten Webservern kannst du beispielsweise .htaccess- und httpd.conf-Dateien verwenden. Die Verwendung eines X-Robots-Tag in Verbindung mit HTTP-Antworten hat den Vorteil, dass du Crawling-Anweisungen angeben kannst, die für die gesamte Website gelten. Die Unterstützung regulärer Ausdrücke ermöglicht einen hohen Grad an Flexibilität.

Wenn du zum Beispiel das noindex, nofollow-X-Robots-Tag zur HTTP-Antwort für alle PDF-Dateien auf einer Website hinzufügen möchtest, fügst du das folgende Snippet in die .htaccess- oder httpd.conf-Stammdatei der Website in Apache oder in die .conf-Datei der Website in NGINX ein.

Apache:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Du kannst das X-Robots-Tag bei Nicht-HTML-Dateien wie z. B. Bilddateien einsetzen, bei denen die Verwendung von Robots-Meta-Tags in HTML nicht möglich ist. Hier ist ein Beispiel für das Hinzufügen einer noindex-X-Robots-Tag-Anweisung für PNG-, JPEG-, JPG- und GIF-Bilddateien auf der gesamten Website:

Apache:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Du kannst auch die X-Robots-Tag-Header für einzelne statische Dateien festlegen:

Apache:

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

Crawling mit Indexierungs-/Bereitstellungsanweisungen kombinieren

Robots-Meta-Tags und X-Robots-Tag-HTTP-Header werden beim Crawlen einer URL erfasst. Falls eine Seite aufgrund der robots.txt-Datei nicht gecrawlt werden darf, werden mögliche Informationen zur Indexierung oder Bereitstellung nicht gefunden und daher ignoriert. Falls Indexierungs- oder Bereitstellungsanweisungen befolgt werden müssen, darf kein Crawler daran gehindert werden, die URLs, die diese Anweisungen enthalten, zu crawlen.