robots.txt-Datei aktualisieren

Wenn du die Regeln in einer bestehenden robots.txt-Datei aktualisieren möchtest, lade eine Kopie der robots.txt-Datei von deiner Website herunter und nimm die erforderlichen Änderungen vor.

robots.txt-Datei herunterladen

Du kannst die robots.txt-Datei auf verschiedene Weise herunterladen, zum Beispiel mit einer der folgenden Methoden:

  • Rufe die robots.txt-Datei auf, z. B. https://example.com/robots.txt, und kopiere ihren Inhalt in eine neue Textdatei auf dem Computer. Folge beim Erstellen der neuen lokalen Datei den Richtlinien für das Dateiformat.
  • Lade eine Kopie deiner robots.txt-Datei mit einem Tool wie cURL herunter. Beispiel: 
    curl https://example.com/robots.txt -o robots.txt
  • Lade eine Kopie der robots.txt-Datei mit dem robots.txt-Tester in der Search Console herunter.
    1. Klicke im robots.txt-Editor rechts unten auf Senden. Dadurch wird das Dialogfeld „Senden“ geöffnet.
    2. Lade deinen robots.txt-Code von der Seite robots.txt-Tester herunter. Klicke dazu im Dialogfeld Senden auf Herunterladen.

robots.txt-Datei bearbeiten

Öffne die von deiner Website heruntergeladene robots.txt-Datei in einem Texteditor und nimm die erforderlichen Änderungen an den Regeln vor. Achte darauf, die richtige Syntax zu verwenden und die Datei mit UTF-8-Codierung zu speichern.

robots.txt-Datei hochladen

Lade die neue robots.txt-Datei in das Stammverzeichnis deiner Domain als Textdatei namens robots.txt hoch. Wie du eine Datei auf deine Website hochlädst, hängt von der jeweiligen Plattform und dem Server ab. Sieh dir unsere Tipps zum Hochladen einer robots.txt-Datei auf deine Website an.

robots.txt-Cache von Google aktualisieren

Während des automatischen Crawlings bemerken die Google-Crawler Änderungen an deiner robots.txt-Datei. Die im Cache gespeicherte Version wird alle 24 Stunden aktualisiert. Wenn du den Cache schneller aktualisieren möchtest, verwende die Funktion Senden im robots.txt-Tester.

  1. Klicke auf Hochgeladene Version ansehen, um festzustellen, ob es sich bei der bereitgestellten robots.txt-Datei um die Version handelt, die von Google gecrawlt werden soll.
  2. Klicke auf Senden, um Google mitzuteilen, dass deine robots.txt-Datei geändert wurde und nun gecrawlt werden soll.
  3. Prüfe, ob deine neueste Version von Google erfolgreich gecrawlt wurde. Aktualisiere dazu die Seite im Browser, um den Editor des Tools zu aktualisieren und den bereitgestellten robots.txt-Code anzusehen. Nach dem Aktualisieren der Seite kannst du auch auf das Drop-down-Menü klicken. Dort siehst du den Eintrag darüber, wann Google die aktuelle Version deiner robots.txt-Datei zum ersten Mal gesehen hat.