Aktualizowanie pliku robots.txt

Aby zaktualizować reguły w istniejącym pliku robots.txt, pobierz jego kopię ze swojej witryny i wprowadź niezbędne zmiany.

Pobieranie pliku robots.txt

Plik robots.txt możesz pobrać na kilka sposobów:

  • Przejdź do pliku robots.txt, na przykład https://example.com/robots.txt, otwórz go i skopiuj jego zawartość do nowego pliku tekstowego na komputerze. Podczas tworzenia nowego pliku lokalnego pamiętaj o przestrzeganiu wytycznych związanych z formatem pliku.
  • Pobierz rzeczywistą kopię pliku robots.txt za pomocą odpowiedniego narzędzia, np. cURL. Na przykład: 
    curl https://example.com/robots.txt -o robots.txt
  • Użyj testera pliku robots.txt w Search Console, aby pobrać kopię pliku robots.txt.
    1. Kliknij Prześlij w prawym dolnym rogu edytora pliku robots.txt. Otworzy się okno Prześlij.
    2. Aby pobrać kod pliku robots.txt ze strony Tester pliku robots.txt, kliknij Pobierz w oknie Prześlij.

Edytowanie pliku robots.txt

Otwórz w edytorze tekstu plik robots.txt pobrany z witryny i wprowadź odpowiednie zmiany w regułach. Upewnij się, że używasz prawidłowej składni i zapisujesz plik z kodowaniem UTF-8.

Przesyłanie pliku robots.txt

Prześlij nowy plik robots.txt do katalogu głównego domeny jako plik tekstowy o nazwie robots.txt. Sposób przesyłania pliku do witryny w znacznej mierze zależy od platformy i serwera. Zapoznaj się z naszymi wskazówkami, jak uzyskać pomoc dotyczącą przesyłania pliku robots.txt do witryny.

Odświeżanie pliku robots.txt w pamięci podręcznej Google

Podczas automatycznego indeksowania roboty Google zauważają zmiany wprowadzone w pliku robots.txt i aktualizują wersję przechowywaną w pamięci podręcznej co 24 godziny. Jeśli chcesz szybciej zaktualizować pamięć podręczną, użyj funkcji Prześlij w testerze pliku robots.txt.

  1. Kliknij Wyświetl przesłaną wersję, aby upewnić się, że wersja pliku robots.txt, którą ma zindeksować Google, jest aktywna w witrynie.
  2. Kliknij Prześlij, aby powiadomić Google o wprowadzeniu zmian w pliku robots.txt i poprosić o jego zindeksowanie.
  3. Sprawdź, czy najnowsza wersja została zindeksowana przez Google – odśwież stronę w przeglądarce, aby zaktualizować zawartość edytora w narzędziu i zobaczyć kod aktywnego pliku robots.txt. Po odświeżeniu strony możesz kliknąć menu, żeby wyświetlić sygnaturę czasową pobrania najnowszej wersji pliku robots.txt przez Google.