Optymalizacja budżetu indeksowania

Z tego przewodnika dowiesz się, jak zoptymalizować indeksowanie przez Google bardzo dużych i często aktualizowanych witryn.

Jeśli w Twojej witrynie nie ma wielu stron, które zmieniają się szybko, albo uważasz, że Twoje strony są indeksowane w dniu publikacji, nie musisz czytać tego przewodnika. W przypadku wyszukiwarki Google wystarczy aktualizować mapę witryny i regularnie sprawdzać raport Indeksowanie stron.

Komu przyda się ten przewodnik

Zalecenia zawarte w tym przewodniku to ogólnie sprawdzone metody, ale jest to przewodnik zaawansowany stworzony głównie z myślą o tych typach witryn:

dużych witrynach (ponad milion unikalnych stron) z treścią, która zmienia się z umiarkowaną częstotliwością (raz w tygodniu);
średnich lub większych witrynach (ponad 10 tys. unikalnych stron), których treść zmienia się bardzo szybko (codziennie).
witrynach z dużą częścią ogólnej liczby adresów URL sklasyfikowaną przez Search Console jako Strona wykryta – obecnie niezindeksowana;

Ogólnie o indeksowaniu

Internet to niemal nieograniczona przestrzeń, dlatego zbadanie wszystkich publicznie dostępnych adresów URL przekracza możliwości Google. W związku z tym ilość czasu i zasobów, jakie Google może poświęcić na indeksowanie poszczególnych witryn, jest ograniczona. Przydzielanie tych zasobów jest zwykle nazywane budżetem indeksowania witryny. W tym kontekście infrastruktura indeksowania Google definiuje witrynę jako unikalną nazwę hosta. Na przykład https://www.example.com/ i https://code.example.com/ są traktowane jako osobne witryny i mają osobne budżety indeksowania. Budżet indeksowania witryny zależy od 2 głównych czynników: limitu wydajności indeksowania i zapotrzebowania na indeksowanie.

Limit wydajności indeksowania

Googlebot stara się indeksować witryny bez obciążania serwerów. Aby temu zapobiec, roboty Google obliczają limit wydajności indeksowania (znany też jako obciążenie hosta). Ogranicza to łączny czas, przez jaki serwer utrzymuje otwarte połączenia z Google, biorąc pod uwagę zarówno liczbę połączeń równoległych, jak i ich czas trwania. Dzięki temu Google może objąć wszystkie ważne treści bez nadmiernego obciążenia serwerów.

Każda witryna zaczyna od tego samego domyślnego, konserwatywnego limitu wydajności indeksowania. Jeśli zapotrzebowanie na indeksowanie będzie większe, a witryna pozostanie w dobrej kondycji, systemy Google automatycznie dostosują ten limit z czasem.

Zwiększenie lub zmniejszenie limitu wydajności indeksowania zależy od kilku czynników:

Stan indeksowania: jeśli witryna reaguje w sposób spójny, a czasy odpowiedzi (w tym opóźnienie i czas do pierwszego bajtu) pozostają stabilne lub ulegają poprawie, limit się zwiększa, czyli do indeksowania można wykorzystać więcej połączeń. Jeśli czas reakcji witryny się wydłuży (wzrośnie opóźnienie lub wydłuży się czas odpowiedzi) albo wystąpią błędy serwera (kody stanu 5xx HTTP) lub sygnały ograniczania szybkości (np. HTTP 429), limit zostanie zmniejszony, a Google będzie indeksować mniej.
Limity indeksowania Google: zasoby Google są obszerne, ale ograniczone, dlatego musimy priorytetowo traktować ich przydzielanie w internecie.

Zapotrzebowanie na indeksowanie

Każdy robot ma własne „zapotrzebowanie” na indeksowanie internetu, które zależy od czynników unikalnych dla danego robota. Na przykład AdsBot ma zwykle większe zapotrzebowanie, gdy witryna wyświetla dynamiczne miejsca docelowe reklam, a Zakupy Google mają większe zapotrzebowanie na produkty, które masz w plikach danych sprzedawcy.

W przypadku Googlebot popyt zależy od rozmiaru witryny, częstotliwości aktualizacji, jakości stron i trafności w porównaniu z innymi witrynami. Główne czynniki, na które masz wpływ, to:

Domniemane zasoby: bez Twoich wskazówek Google będzie próbować indeksować wszystkie adresy URL, które znajdzie w Twojej witrynie, lub ich większość. Jeśli wiele z tych adresów URL to duplikaty lub adresy, które nie powinny być indeksowane z innego powodu (zostały usunięte, są nieistotne itd.), niepotrzebnie pochłania to czas, jaki Google przeznacza na skanowanie treści w Twojej witrynie. Jest to czynnik, nad którym masz największą kontrolę.
Popularność: adresy URL, które cieszą się większą popularnością w internecie, są indeksowane częściej, aby ich stan w naszym indeksie był aktualny.
Brak aktualizacji: nasze systemy starają się ponownie indeksować dokumenty wystarczająco często, aby wykryć wszelkie zmiany.

Poza tym zdarzenia dotyczące całej witryny (np. jej przeniesienie) mogą spowodować wzrost zapotrzebowania na indeksowanie w celu ponownego zindeksowania treści pod nowymi adresami URL.

Podsumowanie

Biorąc pod uwagę wydajność indeksowania i zapotrzebowanie na indeksowanie, Google określa budżet indeksowania witryny jako zestaw adresów URL, które Googlebot może i zamierza zindeksować. Nawet jeśli limit wydajności indeksowania nie zostanie osiągnięty, Googlebot będzie rzadziej indeksować Twoją witrynę, jeśli zapotrzebowanie na indeksowanie jest niskie.

Sprawdzone metody

Aby zmaksymalizować efektywność skanowania, postępuj zgodnie z tymi sprawdzonymi metodami:

Zarządzaj zasobami URL. Użyj odpowiednich narzędzi, aby poinformować Google, które strony ma indeksować, a które pomijać. Jeśli Google poświęca zbyt dużo czasu na indeksowanie adresów URL, których nie powinien, roboty Google mogą nie przeskanować reszty witryny lub nie zwiększyć budżetu indeksowania.
- Konsolidacja powielonych treści. Usuń powielone treści, by skupić się na indeksowaniu niepowtarzalnych treści, a nie unikalnych adresów URL.
- Blokuj indeksowanie adresów URL za pomocą pliku robots.txt. Niektóre strony mogą być ważne dla użytkowników, ale niekoniecznie powinny pojawiać się na platformach Google lub być ponownie przetwarzane przez systemy Google. Na przykład strony z przewijaniem nieskończonym, które powielają informacje na linkowanych stronach, lub różnie uporządkowane wersje tej samej strony. Jeśli nie możesz skonsolidować tych stron w sposób opisany w pierwszym punkcie, zablokuj te nieistotne (pod względem wyszukiwania) za pomocą pliku robots.txt. Blokowanie adresów URL za pomocą pliku robots.txt uniemożliwia Google ich skanowanie i znacznie zmniejsza szansę na ich przetworzenie przez inne systemy Google (np. zindeksowanie przez wyszukiwarkę Google).
  Nie używaj tagu noindex, bo Google nadal będzie wysyłać żądanie dotyczące strony i, choć ją pominie, gdy zauważy tag lub nagłówek noindex meta w odpowiedzi HTTP, zmarnuje czas przeznaczony na indeksowanie. Nie używaj pliku robots.txt do tymczasowego przydzielania budżetu indeksowania na potrzeby innych stron. Wykorzystaj ten plik, aby zablokować strony lub zasoby, które według Ciebie w ogóle nie powinny być skanowane przez Google. Google nie przeznaczy tego zwolnionego budżetu indeksowania na inne strony, chyba że osiągnie już limit wydajności indeksowania witryny.
- Zwracaj kod stanu 404 lub 410 w przypadku stron trwale usuniętych. Google nie zapomina poznanego adresu URL, ale kod stanu 404 to wyraźny sygnał, aby nie indeksować tego adresu URL ponownie. Zablokowane adresy URL pozostaną jednak w kolejce indeksowania znacznie dłużej i zostaną zeskanowane ponownie po usunięciu blokady.
- Wyeliminuj błędy soft 404. Strony z kodem błędu soft 404 nadal będziemy indeksować, co spowoduje niepotrzebne wykorzystanie budżetu. Poszukaj błędów soft 404 w Raporcie Indeksowanie stron.
- Aktualizuj mapy witryn. Google regularnie odczytuje mapę witryny, więc pamiętaj, aby uwzględnić w niej wszystkie treści, które Google ma indeksować. Jeśli Twoja witryna zawiera zaktualizowane treści, zalecamy dodanie tagu <lastmod>.
- Unikaj długich łańcuchów przekierowań, które mają negatywny wpływ na indeksowanie.
Zadbaj o sprawne wczytywanie stron. Jeśli wczytywanie i renderowanie stron odbywa się szybciej, Google może odczytać z witryny więcej treści.
- Zwiększ szybkość wczytywania: zoptymalizuj czas odpowiedzi serwera i zasoby, aby strony wczytywały się szybciej.
- Używaj buforowania HTTP: obsługuj kody stanu HTTP 304 (Not Modified). Jeśli strona nie zmieniła się od czasu ostatniego zindeksowania przez Google, zwrócenie kodu 304 informuje Google, że może ponownie użyć wersji z pamięci podręcznej, co pozwala zaoszczędzić przepustowość i zasoby serwera.
Debugowanie problemów z budżetem indeksowania Sprawdzaj, czy podczas indeksowania nie występują problemy z dostępnością witryny, i poszukaj sposobów na zwiększenie skuteczności indeksowania.

Jak zwiększyć budżet indeksowania?

Budżet indeksowania można zwiększyć na 2 sposoby:

Dodaj więcej zasobów serwera: jeśli Twoja witryna nie może być indeksowana z powodu ograniczonej pojemności serwera (np. w narzędziu do sprawdzania adresu URL pojawia się komunikat Przekroczono limit obciążenia hosta), dodaj więcej zasobów serwera, jeśli ma to sens w przypadku Twojej firmy.
Zoptymalizuj jakość treści pod kątem usługi Google, na którą kierujesz reklamy: Google określa zasoby indeksowania przydzielone do każdej witryny, biorąc pod uwagę elementy, które są istotne dla konkretnej usługi Google. W przypadku wyszukiwarki Google obejmuje to m.in. popularność, ogólną wartość dla użytkowników, niepowtarzalność treści i wydajność serwera.