Aktualizowanie pliku robots.txt

Aby zaktualizować reguły w istniejącym pliku robots.txt, pobierz jego kopię ze swojej witryny i wprowadź niezbędne zmiany.

Pobieranie pliku robots.txt

Plik robots.txt możesz pobrać na kilka sposobów:

  • Przejdź do pliku robots.txt, na przykład https://example.com/robots.txt, otwórz go i skopiuj jego zawartość do nowego pliku tekstowego na komputerze. Podczas tworzenia nowego pliku lokalnego pamiętaj o przestrzeganiu wytycznych związanych z formatem pliku.
  • Pobierz rzeczywistą kopię pliku robots.txt za pomocą odpowiedniego narzędzia, np. cURL. Na przykład:
    curl https://example.com/robots.txt -o robots.txt
  • Użyj testera pliku robots.txt w Search Console, aby pobrać kopię pliku robots.txt.
    1. Kliknij Prześlij w prawym dolnym rogu edytora pliku robots.txt. Otworzy się okno Prześlij.
    2. Aby pobrać kod pliku robots.txt ze strony Tester pliku robots.txt, kliknij Pobierz w oknie Prześlij.

Edytowanie pliku robots.txt

Otwórz w edytorze tekstu plik robots.txt pobrany z witryny i wprowadź odpowiednie zmiany w regułach. Upewnij się, że używasz prawidłowej składni i zapisujesz plik z kodowaniem UTF-8.

Przesyłanie pliku robots.txt

Prześlij nowy plik robots.txt do katalogu głównego domeny jako plik tekstowy o nazwie robots.txt. Sposób przesyłania pliku do witryny w znacznej mierze zależy od platformy i serwera. Zapoznaj się z naszymi wskazówkami, jak uzyskać pomoc dotyczącą przesyłania pliku robots.txt do witryny.

Odświeżanie pliku robots.txt w pamięci podręcznej Google

Podczas automatycznego indeksowania roboty Google zauważają zmiany wprowadzone w pliku robots.txt i aktualizują wersję przechowywaną w pamięci podręcznej co 24 godziny. Jeśli chcesz szybciej zaktualizować pamięć podręczną, użyj funkcji Prześlijtesterze pliku robots.txt.

  1. Kliknij Wyświetl przesłaną wersję, aby upewnić się, że wersja pliku robots.txt, którą ma zindeksować Google, jest aktywna w witrynie.
  2. Kliknij Prześlij, aby powiadomić Google o wprowadzeniu zmian w pliku robots.txt i poprosić o jego zindeksowanie.
  3. Sprawdź, czy najnowsza wersja została zindeksowana przez Google – odśwież stronę w przeglądarce, aby zaktualizować zawartość edytora w narzędziu i zobaczyć kod aktywnego pliku robots.txt. Po odświeżeniu strony możesz kliknąć menu, żeby wyświetlić sygnaturę czasową pobrania najnowszej wersji pliku robots.txt przez Google.