Spezifikationen für Robots-Meta-Tags, das Data-Nosnippet-Attribut und X-Robots-Tags

In diesem Dokument wird beschrieben, wie du mithilfe der Einstellungen auf Seiten- und Textebene festlegst, wie Google deine Inhalte in den Suchergebnissen darstellt. Für Einstellungen auf Seitenebene kannst du ein Meta-Tag in HTML-Seiten oder in einen HTTP-Header einfügen. Einstellungen auf Textebene legst du mit dem data-nosnippet-Attribut für HTML-Elemente auf einer Seite fest.

Robots-Meta-Tag verwenden

Das Robots-Meta-Tag ermöglicht dir eine detaillierte, seitenspezifische Herangehensweise, bei der du angibst, wie eine bestimmte Seite indexiert und den Nutzern in Google-Suchergebnissen angezeigt werden soll. Platziere das Robots-Meta-Tag folgendermaßen im <head>-Abschnitt der jeweiligen Seite:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Das Robots-Meta-Tag im Beispiel oben weist Suchmaschinen an, die betreffende Seite nicht in den Suchergebnissen anzuzeigen. Der Wert des Attributs name (robots) gibt an, dass die Anweisung für alle Crawler gilt. Wenn du einen bestimmten Crawler ansprechen möchtest, ersetze den Wert robots des name-Attributs durch den Namen des entsprechenden Crawlers. Bestimmte Crawler werden auch als User-Agents bezeichnet. Ein Crawler verwendet seinen User-Agent zum Anfordern einer Seite. Der Standard-Web-Crawler von Google hat den User-Agent-Namen Googlebot. Wenn du nur den Googlebot am Indexieren deiner Seite hindern möchtest, aktualisiere das Tag folgendermaßen:

<meta name="googlebot" content="noindex" />

Dieses Tag weist Google an, diese Seite nicht in den Suchergebnissen anzuzeigen. Bei den Attributen name und content wird die Groß- und Kleinschreibung nicht beachtet.

Suchmaschinen setzen unter Umständen für unterschiedliche Zwecke unterschiedliche Crawler ein. Weitere Informationen findest du in der vollständigen Liste der Google-Crawler. Wenn du beispielsweise möchtest, dass eine Seite in den Ergebnissen der Google Websuche, aber nicht in Google News angezeigt wird, verwendest du dazu das folgende Meta-Tag:

<meta name="googlebot-news" content="noindex" />

Wenn du mehrere Crawler einzeln angeben möchtest, verwendest du mehrere Robots-Meta-Tags:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

HTTP-Header X-Robots-Tag verwenden

Das X-Robots-Tag kann als Element der HTTP-Header-Antwort für die jeweilige URL verwendet werden. Jede Anweisung, die in einem Robots-Meta-Tag verwendet werden kann, kann auch als X-Robots-Tag angegeben werden. Hier ein Beispiel einer HTTP-Antwort mit einem X-Robots-Tag, das Crawler anweist, eine Seite nicht zu indexieren:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Du kannst in der HTTP-Antwort mehrere X-Robots-Tag-Header kombinieren oder eine durch Kommas getrennte Liste von Anweisungen bereitstellen. Hier ein Beispiel einer HTTP-Header-Antwort, in der ein noarchive-X-Robots-Tag mit einem unavailable_after X-Robots-Tag kombiniert wird.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Im X-Robots-Tag kann bei Bedarf vor den Anweisungen ein User-Agent angegeben werden. Mit dem folgenden Satz von X-Robots-Tag-HTTP-Headern kann zum Beispiel das Anzeigen einer Seite in Suchergebnissen verschiedener Suchmaschinen unter bestimmten Bedingungen erlaubt werden:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Anweisungen, die ohne User-Agent angegeben werden, sind für alle Crawler gültig. Die Groß- und Kleinschreibung muss weder beim HTTP-Header noch beim User-Agent-Namen oder den angegebenen Werten beachtet werden.

Gültige Indexierungs- und Bereitstellungsanweisungen

Mit den folgenden Anweisungen können die Indexierung und die Bereitstellung eines Snippets über das Robots-Meta-Tag und das X-Robots-Tag gesteuert werden. Ein Snippet ist ein kurzer Textauszug in den Suchergebnissen, der zeigt, wie relevant ein Dokument für die jeweilige Suchanfrage ist. In der folgenden Tabelle werden alle Anweisungen, die von Google beachtet werden, und ihre jeweilige Bedeutung aufgeführt. Jeder Wert stellt eine spezifische Anweisung dar. Mehrere Anweisungen können in einer durch Kommas getrennten Liste kombiniert werden. Bei diesen Anweisungen muss die Groß- und Kleinschreibung nicht berücksichtigt werden.

Anweisungen

all

Es bestehen keine Einschränkungen hinsichtlich der Indexierung oder Bereitstellung. Diese Anweisung ist der Standardwert und hat keine Auswirkungen, wenn er explizit aufgelistet wird.

noindex

Diese Seite nicht in den Suchergebnissen anzeigen. Wenn du diese Anweisung nicht angibst, wird die Seite möglicherweise indexiert und in den Suchergebnissen angezeigt.

nofollow

Den Links auf dieser Seite nicht folgen. Wenn du diese Anweisung nicht angibst, kann Google die Links auf der Seite verwenden, um die verlinkten Seiten zu finden. Weitere Informationen zum Attribut nofollow.

none

Entspricht noindex, nofollow.

noarchive

Keinen im Cache gespeicherten Link in den Suchergebnissen anzeigen. Wenn du diese Anweisung nicht angibst, kann Google eine im Cache gespeicherte Seite generieren und Nutzer greifen möglicherweise über die Suchergebnisse darauf zu.

nosnippet

Kein Text-Snippet und keine Videovorschau in den Suchergebnissen für diese Seite anzeigen. Eine statische Miniaturansicht (falls verfügbar) ist weiterhin sichtbar, wenn dies dem Nutzer einen Mehrwert bietet. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder und Discover.

Wenn du diese Anweisung nicht angibst, kann Google ein Text-Snippet und eine Videovorschau generieren, die auf den auf der Seite gefundenen Informationen basieren.

max-snippet: [Zahl]

Höchstens [Zahl] Zeichen als Textauszug für dieses Suchergebnis verwenden. Bitte beachte, dass eine URL auf einer Suchergebnisseite möglicherweise über mehrere Ergebnisse hinweg angezeigt wird. Das hat keine Auswirkungen auf die Bild- oder Videovorschau. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus. Diese Anweisung wird ignoriert, wenn keine parsbare [Zahl] angegeben ist.

Wenn du diese Anweisung nicht angibst, wählt Google die Snippet-Länge aus.

Spezielle Werte:

  • 0: Es soll kein Snippet angezeigt werden. Gleichbedeutend mit nosnippet.
  • -1: Google wählt die Snippet-Länge aus, mit der Nutzer am ehesten deine Inhalte finden und auf deine Website geleitet werden.

Beispiele:

So verhinderst du, dass ein Snippet in den Suchergebnissen angezeigt wird:


<meta name="robots" content="max-snippet:0">

So lässt du bis zu 20 Zeichen im Snippet zu:


<meta name="robots" content="max-snippet:20">

So legst du fest, dass die Anzahl der Zeichen im Snippet unbegrenzt ist:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [Einstellung]

Legt die maximale Größe fest, die eine Bildvorschau in den Suchergebnissen für diese Seite haben kann.

Wenn du die Anweisung max-image-preview nicht angibst, kann Google eine Bildvorschau in der Standardgröße anzeigen.

Akzeptierte Werte für [Einstellung]:

  • none: Es soll keine Bildvorschau angezeigt werden.
  • standard: Eine Standardbildvorschau darf angezeigt werden.
  • large: Eine größere Bildvorschau, die maximal so breit ist wie der Darstellungsbereich, darf angezeigt werden.

Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen (z. B. AMP- und kanonische Versionen eines Artikels) oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus.

Wenn du nicht möchtest, dass bei Google größere Miniaturansichten zu sehen sind, wenn deine AMP-Seiten und kanonische Versionen eines Artikels in der Google Suche und in Discover angezeigt werden, lege für max-image-preview den Wert standard oder none fest.

Beispiel:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [Zahl]

Für Videos werden auf dieser Seite in den Suchergebnissen maximal [Zahl] Sekunden als Video-Snippet verwendet.

Wenn du die Anweisung max-video-preview nicht angibst, kann Google ein Video-Snippet in den Suchergebnissen anzeigen und entscheiden, wie lang die Vorschau ist.

Spezielle Werte:

  • 0: Entsprechend der Einstellung für max-image-preview darf maximal ein statisches Bild verwendet werden.
  • -1: Es gibt kein Limit.

Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Google Videos, Discover und Assistant. Diese Anweisung wird ignoriert, wenn keine parsbare [Zahl] angegeben ist.

Beispiel:


<meta name="robots" content="max-video-preview:-1">

notranslate

Keine Übersetzung dieser Seite in Suchergebnissen anbieten. Wenn du diese Anweisung nicht angibst, zeigt Google möglicherweise einen Link neben dem Suchergebnis an, damit Nutzer übersetzte Inhalte auf deiner Seite aufrufen können.

noimageindex

Bilder auf dieser Seite nicht indexieren. Wenn du diesen Wert nicht angibst, werden Bilder auf der Seite möglicherweise indexiert und in den Suchergebnissen angezeigt.

unavailable_after: [Datum/Uhrzeit]

Diese Seite nach dem angegebenen Datum bzw. der angegebenen Uhrzeit nicht mehr in den Suchergebnissen anzeigen. Das Datum bzw. die Uhrzeit muss in einem gängigen Format angegeben werden, beispielsweise nach RFC 822, RFC 850 und ISO 8601. Diese Anweisung wird ignoriert, wenn kein(e) gültige(s) Datum bzw. Uhrzeit angegeben ist. Standardmäßig gibt es kein Ablaufdatum für Inhalte.

Wenn du diese Anweisung nicht angibst, wird diese Seite möglicherweise auf unbestimmte Zeit in den Suchergebnissen angezeigt.

Beispiel:


<meta name="robots" content="unavailable_after: 2020-09-21">

Umgang mit kombinierten Indexierungs- und Bereitstellungsanweisungen

Du kannst eine Anweisung mit mehreren Anweisungen erstellen, indem du Robots-Meta-Tag-Anweisungen mit Kommas kombinierst. Hier ein Beispiel für ein Robots-Meta-Tag, das Web-Crawler anweist, die Seite nicht zu indexieren und keinen der Links auf der Seite zu crawlen:

<meta name="robots" content="noindex, nofollow">

Hier ist ein Beispiel, das das Text-Snippet auf 20 Zeichen begrenzt und eine große Bildvorschau ermöglicht:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

Wenn mehrere Crawler mit unterschiedlichen Anweisungen angegeben sind, verwendet die Suchmaschine die Summe der negativen Anweisungen. Beispiel:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Wenn der Googlebot die Seite mit diesen Meta-Tags crawlt, wird sie so behandelt, als würde sie die Anweisung noindex, nofollow enthalten.

Das HTML-Attribut data-nosnippet

Du kannst auf einer HTML-Seite für bestimmte Textteile angeben, dass diese nicht als Snippet verwendet werden sollen. Auf HTML-Element-Ebene verwendest du dafür das HTML-Attribut data-nosnippet in den Elementen span, div und section. Das data-nosnippet wird als boolesches Attribut betrachtet. Wie bei allen booleschen Attributen werden alle angegebenen Werte ignoriert. Der HTML-Abschnitt muss aus gültigem HTML-Code bestehen und alle Tags müssen entsprechend geschlossen sein, um die Maschinenlesbarkeit zu gewährleisten.

Beispiele:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

In der Regel rendert Google Seiten, um sie zu indexieren. Das Rendern kann jedoch nicht garantiert werden. Das Extrahieren von data-nosnippet kann daher sowohl vor als auch nach dem Rendern stattfinden. Damit Ungewissheiten beim Rendern vermieden werden, solltest du das data-nosnippet-Attribut bestehender Knoten nicht über JavaScript hinzufügen oder entfernen. Schließe beim Hinzufügen von DOM-Elementen über JavaScript das Attribut data-nosnippet nach Bedarf ein, wenn du das Element zum ersten Mal dem DOM der Seite hinzufügst. Wenn du benutzerdefinierte Elemente verwendest, renderst du sie oder fasst sie mit den Elementen div, span oder section zusammen, wenn du data-nosnippet verwenden musst.

Strukturierte Daten verwenden

Mit Robots-Meta-Tags wird die Menge der Inhalte gesteuert, die Google automatisch aus Webseiten extrahiert, um sie als Suchergebnisse anzuzeigen. Viele Publisher verwenden jedoch darüber hinaus mit schema.org strukturierte Daten, um bestimmte Informationen für die Präsentation in der Suche verfügbar zu machen. Einschränkungen für Robots-Meta-Tags wirken sich nicht auf die Verwendung dieser strukturierten Daten aus. Ausgenommen davon sind die Werte article.description und description für strukturierte Daten, die für andere Inhalte vom Typ „CreativeWork“ angegeben wurden. Verwende das Robots-Meta-Tag max-snippet, um die maximale Länge einer Vorschau anhand dieser description-Werte anzugeben. Beispielsweise können Daten, die als recipe strukturiert wurden, auf einer Ergebnisseite in das Rezeptkarussell aufgenommen werden, auch wenn die Textvorschau ansonsten eingeschränkt wäre. Du kannst die Länge einer Textvorschau mit max-snippet begrenzen, aber dieses Robots-Meta-Tag wird nicht angewendet, wenn die Informationen mithilfe von strukturierten Daten für Rich-Suchergebnisse bereitgestellt werden.

Wenn du die Verwendung strukturierter Daten für deine Webseiten verwalten möchtest, kannst du die Typen und Werte der strukturierten Daten ändern und dabei Informationen hinzufügen oder entfernen. So stellst du nur die Daten bereit, die du verfügbar machen möchtest. Beachte außerdem, dass strukturierte Daten auch dann noch für Suchergebnisse verwendet werden können, wenn sie in einem data-nosnippet-Element deklariert sind.

Praktische Implementierung von X-Robots-Tag

Du kannst das X-Robots-Tag den HTTP-Antworten einer Website über die Konfigurationsdateien der Webserver-Software hinzufügen. Auf Apache-basierten Webservern kannst du beispielsweise .htaccess- und httpd.conf-Dateien verwenden. Die Verwendung eines X-Robots-Tag in Verbindung mit HTTP-Antworten hat den Vorteil, dass du Crawling-Anweisungen angeben kannst, die für die gesamte Website gelten. Die Unterstützung regulärer Ausdrücke ermöglicht einen hohen Grad an Flexibilität.

Wenn du zum Beispiel der HTTP-Antwort das noindex, nofollow-X-Robots-Tag für alle PDF-Dateien auf einer Website hinzufügen möchtest, fügst du das folgende Snippet in die .htaccess- oder httpd.conf-Stammdatei der Website in Apache oder in die .conf-Datei der Website in NGINX ein.

Apache:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Du kannst X-Robots-Tag bei Nicht-HTML-Dateien wie z. B. Bilddateien einsetzen, bei denen die Verwendung von Robots-Meta-Tags in HTML nicht möglich ist. Hier ist ein Beispiel für das Hinzufügen einer noindex-X-Robots-Tag-Anweisung für PNG-, JPEG-, JPG- und GIF-Bilddateien auf der gesamten Website:

Apache:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Crawling mit Indexierungs-/Bereitstellungsanweisungen kombinieren

Robots-Meta-Tags und X-Robots-Tag-HTTP-Header werden beim Crawlen einer URL erfasst. Falls eine Seite aufgrund der robots.txt-Datei nicht gecrawlt werden darf, werden mögliche Informationen zur Indexierung oder Bereitstellung nicht gefunden und daher ignoriert. Falls Indexierungs- oder Bereitstellungsanweisungen befolgt werden müssen, darf kein Crawler daran gehindert werden, die URLs, die diese Anweisungen enthalten, zu crawlen.