robots.txt-Datei aktualisieren

Wenn du die Regeln in einer bestehenden robots.txt-Datei aktualisieren möchtest, lade eine Kopie der robots.txt-Datei von deiner Website herunter und nimm die erforderlichen Änderungen vor.

robots.txt-Datei herunterladen

Du kannst die robots.txt-Datei auf verschiedene Weise herunterladen, zum Beispiel mit einer der folgenden Methoden:

• Rufe die robots.txt-Datei auf, z. B. https://example.com/robots.txt, und kopiere ihren Inhalt in eine neue Textdatei auf dem Computer. Folge beim Erstellen der neuen lokalen Datei den Richtlinien für das Dateiformat.
• Lade eine Kopie deiner robots.txt-Datei mit einem Tool wie cURL herunter. Beispiel:

  curl https://example.com/robots.txt -o robots.txt

• Verwende den robots.txt-Bericht in der Search Console, um den Inhalt deiner robots.txt-Datei zu kopieren, den du dann in eine Datei auf deinem Computer einfügen kannst.

robots.txt-Datei bearbeiten

Öffne die von deiner Website heruntergeladene robots.txt-Datei in einem Texteditor und nimm die erforderlichen Änderungen an den Regeln vor. Achte darauf, die richtige Syntax zu verwenden und die Datei mit UTF-8-Codierung zu speichern.

robots.txt-Datei hochladen

Lade die neue robots.txt-Datei in das Stammverzeichnis deiner Website als Textdatei namens robots.txt hoch. Wie du eine Datei auf deine Website hochlädst, hängt von der jeweiligen Plattform und dem Server ab. Sieh dir unsere Tipps zum Hochladen einer robots.txt-Datei auf deine Website an.

robots.txt-Cache von Google aktualisieren

Während des automatischen Crawlings bemerken die Google-Crawler Änderungen an deiner robots.txt-Datei. Die im Cache gespeicherte Version wird alle 24 Stunden aktualisiert. Wenn du den Cache schneller aktualisieren möchtest, verwende die Funktion Erneutes Crawling beantragen im robots.txt-Bericht.