Tarama bütçenizi optimize etme

Bu kılavuzda, Google'ın çok büyük ve sık güncellenen sitelerde yaptığı tarama işleminin nasıl optimize edileceği açıklanmaktadır.

Sitenizde hızla değişen çok sayıda sayfa yoksa veya sayfalarınız yayınlandıkları gün taranıyorsa bu kılavuzu okumanız gerekmez. Özellikle Google Arama için site haritanızı güncel tutmanız ve düzenli olarak dizin kapsamınızı kontrol etmeniz yeterlidir.

Bu kılavuz kimlere yöneliktir?

Bu kılavuzdaki öneriler genellikle iyi uygulamalar olsa da kılavuz, öncelikle aşağıdaki site türleri için tasarlanmış ileri düzey bir kaynaktır:

İçeriği sık sık (haftada bir) değişen büyük siteler (1 milyondan fazla benzersiz sayfaya sahip) veya
İçeriği çok hızlı değişen (her gün) orta ölçekli ya da büyük siteler (10.000'den fazla benzersiz sayfa)
Tüm URL'lerinin büyük bir kısmı Search Console tarafından Keşfedildi - şu anda dizine eklenmiş değil olarak sınıflandırılmış siteler

Genel tarama teorisi

Web, Google'ın her bir URL'yi keşfedip dizine eklemesini imkansız hale getiren neredeyse sınırsız bir alandır. Bu nedenle, Google tarayıcılarının bir siteyi taramaya ayırabileceği süre kısıtlıdır. Buradaki site, ana makine adıyla tanımlanır. Örneğin, https://www.example.com/ ve https://code.example.com/ iki farklı ana makine adı olduğu için ayrı tarama bütçelerine sahiptir. Google'ın bir siteyi taramak için harcadığı süre ve kaynaklar genellikle sitenin tarama bütçesi olarak adlandırılır ve iki ana öğeye göre belirlenir: tarama kapasitesi sınırı ve tarama talebi.

Tarama kapasitesi sınırı

Google, sunucularınızda aşırı yoğunluğa yol açmadan sitenizi taramak ister. Google tarayıcıları bunun için tarama kapasitesi sınırını (Google'ın bir siteyi taramak için kullanabileceği maksimum eş zamanlı paralel bağlantı sayısı) ve getirmeler arasındaki gecikme süresini hesaplar. Bu, sunucularınızda aşırı yoğunluğa yol açmadan tüm önemli içeriklerinizin kapsanmasını sağlamak için hesaplanır.

Tarama kapasitesi sınırı birkaç faktöre bağlı olarak artıp azalabilir:

Tarama durumu: Site bir süre hızlı yanıt verirse sınır artar, yani tarama için daha fazla bağlantı kullanılabilir. Site yavaşlar veya sunucu hatalarıyla yanıt verirse sınır azalır ve Google daha az tarama yapar.
Google'ın tarama sınırları: Google'ın makine sayısı çok fazla olsa da sınırsız değildir. Bu nedenle, sahip olduğumuz kaynakları kullanırken doğru seçim yapmamız gerekir.

Tarama talebi

Her tarayıcı, web'i tarama konusunda kendi "talebine" sahiptir. Örneğin, bir sitede dinamik reklam hedefleri yayınlandığında AdsBot'un talebi genellikle daha yüksek olur. Google Alışveriş, satıcı feed'lerinizde bulunan ürünler için daha yüksek talebe sahiptir. Googlebot'un talebi ise bir sitenin boyutu, güncelleme sıklığı, sayfa kalitesi ve diğer sitelere kıyasla alaka düzeyine göre değişir.

Genel olarak tarama talebini belirlemede önemli rol oynayan faktörler şunlardır:

Algılanan envanter: Google, siz yol göstermezseniz sitenizde bildiği URL'lerin tümünü veya çoğunu taramaya çalışır. Bu URL'lerin birçoğu birbirinin kopyasıysa veya başka bir nedenle (kaldırıldığı, önemsiz olduğu vb. için) taranmasını istemiyorsanız bu durum, Google'ın sitenizi tararken boşuna çok fazla vakit harcamasına neden olur. Bu, olumlu yönde en fazla kontrol edebileceğiniz faktördür.
Popülerlik: İnternette daha popüler olan URL'ler, sistemlerimizde daha güncel kalmaları için genellikle daha sık taranır.
Eskilik: Sistemlerimiz herhangi bir değişikliği tespit etmek için dokümanları sık sık yeniden taramak ister.

Ayrıca, site taşıma gibi site genelindeki etkinlikler, yeni URL'lerin içeriğini yeniden işlemek için tarama talebindeki artışı tetikleyebilir.

Özet olarak

Tarama kapasitesini ve tarama talebini birlikte değerlendiren Google, bir sitenin tarama bütçesini Google'ın tarayabileceği ve taramak istediği URL grubu olarak tanımlar. Tarama talebi düşükse tarama kapasitesi sınırına ulaşılmasa bile Google, sitenizi daha az tarar.

En iyi uygulamalar

Tarama verimliliğinizi en üst düzeye çıkarmak için aşağıdaki en iyi uygulamaları izleyin:

URL envanterinizi yönetin: Uygun araçları kullanarak Google'a hangi sayfaların taranıp hangilerinin taranmayacağını bildirin. Google, taramaması gereken URL'leri taramaya çok fazla vakit harcarsa Google tarayıcıları, sitenizin geri kalanına bakmaya (veya bunun için bütçenizi artırmaya) değmeyeceğine karar verebilir.
- Yinelenen içerikleri birleştirin. Benzersiz URL'lerden ziyade benzersiz içerikleri taramaya odaklanmak için yinelenen içerikleri kaldırın.
- Robots.txt dosyasını kullanarak URL'lerin taranmasını engelleyin. Bazı sayfalar kullanıcılar için önemli olsa da Google yüzeylerinde görünmesini veya Google'ın sistemleri tarafından yeniden işlenmesini istemeyebilirsiniz. Örneğin, bağlantı verilen sayfalardaki bilgileri veya aynı sayfanın farklı şekilde sıralanmış sürümlerini kopyalayan sonsuz kaydırma sayfaları. Bunları ilk maddede açıklandığı gibi birleştiremiyorsanız önemsiz olan bu sayfaları robots.txt dosyasını kullanarak engelleyin. URL'lerin robots.txt ile engellenmesi, Google'ın bu URL'leri taramasını önler ve URL'lerin diğer Google sistemleri (ör. Google Arama tarafından dizine eklenme) tarafından işlenme olasılığını önemli ölçüde azaltır.
  noindex etiketini kullanmayın. Kullandığınızda, Google yine de tarama isteği gönderecek, ancak HTTP yanıtında noindex meta etiketini veya üstbilgisini görünce sayfayı taramayı bırakacaktır. Bu da, tarama süresinin boşa harcanmasına neden olur. Diğer sayfalara geçici olarak tarama bütçesi tahsis etmek için robots.txt kullanmayın; robots.txt dosyasını Google'ın taramasını istemediğiniz sayfa veya kaynakları engellemek için kullanın. Google, sitenizin sunum sınırına ulaşmadığı sürece bu yeni kullanılabilir tarama bütçesini diğer sayfalara aktarmaz.
- Kalıcı olarak kaldırılan sayfalar için 404 veya 410 durum kodunu döndürün. Google bildiği bir URL'yi unutmaz ama 404 kodu bu URL'yi tekrar taramaması yönünde güçlü bir sinyaldir. Ancak engellenen URL'ler uzun süre tarama sıranızın bir parçası olarak kalır ve engelleme kaldırıldığında yeniden taranır.
- soft 404 hatayı kaldırın. soft 404 döndüren sayfalar taranmaya devam ederek bütçenizi boşa harcar. soft 404 hataları için Dizin Kapsamı raporunu kontrol edin.
- Site haritalarınızı güncel tutun. Google, site haritanızı düzenli olarak okur. Bu nedenle, Google'ın taramasını istediğiniz tüm içeriği eklediğinizden emin olun. Sitenizde güncellenen içerik varsa <lastmod> etiketini eklemenizi öneririz.
- Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerinden kaçının.
Sayfalarınızın etkin bir şekilde yüklenmesini sağlayın. Google, sayfalarınızı daha hızlı yükleyip oluşturabilirse sitenizden daha fazla içerik okuyabiliriz.
Tarama bütçesiyle ilgili hataları ayıklayın. Tarama sırasında sitenizin kullanılabilirlik sorunu olup olmadığını kontrol edip taramayı daha etkin hale getirmenin yollarını arayın.

Nasıl daha fazla tarama bütçesi alabilirim?

Tarama bütçesini iki şekilde artırabilirsiniz:

Daha fazla sunucu kaynağı ekleyin: Siteniz, kendi tarafınızdaki sunucu kapasitesi nedeniyle taranamıyorsa (örneğin, URL Denetleme aracında Ana makine yükü aşıldı hatası alıyorsanız) işletmeniz için uygunsa daha fazla sunucu kaynağı ekleyin.
İçeriğinizin kalitesini, hedeflediğiniz Google ürünü için optimize edin: Google, belirli Google ürünüyle alakalı öğeleri hesaba katarak her siteye ayrılan tarama kaynaklarını belirler. Örneğin, Google Arama için bu kapsamda popülerlik, genel kullanıcı değeri, içeriğin benzersizliği ve sunum kapasitesi gibi unsurlar bulunur.