Tarama bütçenizi optimize etme

Bu kılavuzda, Google'ın çok büyük ve sık güncellenen sitelerde yaptığı tarama işleminin nasıl optimize edileceği açıklanmaktadır.

Sitenizde hızla değişen çok sayıda sayfa yoksa veya sayfalarınız yayınlandıkları gün taranıyorsa bu kılavuzu okumanız gerekmez. Özellikle Google Arama için site haritanızı güncel tutmanız ve düzenli olarak Sayfa Dizine Ekleme raporunu kontrol etmeniz yeterlidir.

Bu kılavuz kimlere yöneliktir?

Bu kılavuzdaki öneriler genellikle iyi uygulamalar olsa da kılavuz, öncelikle aşağıdaki site türleri için tasarlanmış ileri düzey bir kaynaktır:

• İçeriği sık sık (haftada bir) değişen büyük siteler (1 milyondan fazla benzersiz sayfa) veya
• İçeriği çok hızlı değişen (her gün) orta ölçekli ya da büyük siteler (10.000'den fazla benzersiz sayfa)
• Tüm URL'lerinin büyük bir kısmı Search Console tarafından Keşfedildi - şu anda dizine eklenmiş değil olarak sınıflandırılmış siteler

Genel tarama teorisi

Web, Google'ın herkese açık her URL'yi keşfetmesini imkansız hale getiren neredeyse sınırsız bir alandır. Dolayısıyla, Google'ın bir siteyi taramaya ayırabileceği süre ve kaynaklar kısıtlıdır. Bu kaynakların tahsisine genellikle sitenin tarama bütçesi denir. Bu bağlamda, Google'ın tarama altyapısı bir siteyi benzersiz bir ana makine adı olarak tanımlar. Örneğin, https://www.example.com/ ve https://code.example.com/ ayrı siteler olarak değerlendirilir ve ayrı tarama bütçelerine sahiptir. Bir sitenin tarama bütçesi iki ana unsura göre belirlenir: tarama kapasitesi sınırı ve tarama talebi.

Tarama kapasitesi sınırı

Google, sunucularınızda aşırı yoğunluğa yol açmadan sitenizi taramak ister. Google tarayıcıları, bunu önlemek için tarama kapasitesi sınırını (ana makine yükü olarak da bilinir) hesaplar. Bu, paralel bağlantıların hem sayısını hem de sürelerini hesaba katarak sunucunuzun Google için bağlantıları açık tutmak üzere harcadığı toplam süreyi sınırlandırır. Bu sayede Google, sunucularınızda aşırı yoğunluğa yol açmadan tüm önemli içeriklerinizi gözden geçirebilir.

Her site aynı varsayılan, ölçülü tarama kapasitesi sınırıyla başlar. Daha fazla tarama talebi olursa ve site sağlıklı kalırsa Google'ın sistemleri zaman içinde bu sınırı otomatik olarak ayarlar.

Tarama kapasitesi sınırı birkaç faktöre bağlı olarak artıp azalabilir:

• Tarama durumu: Site tutarlı bir şekilde yanıt verirse ve yanıt süreleri (gecikme ve Time to First Byte dahil) sabit kalır veya iyileşirse sınır artar. Bu da, tarama için daha fazla bağlantının kullanılabileceği anlamına gelir. Site yavaşlarsa (gecikme süresi artar veya yanıt süreleri uzarsa) ya da sunucu hatalarıyla (5xx HTTP durum kodları) veya sıklık sınırlama sinyalleriyle (ör. HTTP 429) yanıt verirse sınır düşer ve Google daha az tarama yapar.
• Google'ın tarama sınırları: Google'ın kaynakları büyük ölçekli olsa da sınırlıdır ve web genelinde kaynak tahsisine öncelik vermemiz gerekir.

Tarama talebi

Her tarayıcının web'i tarama konusunda kendi "talebi" vardır. Bu talep, tarayıcıya özgü faktörlere göre belirlenir. Örneğin, bir sitede dinamik reklam hedefleri yayınlandığında AdsBot'un talebi genellikle daha yüksek olur. Google Alışveriş, satıcı feed'lerinizde bulunan ürünler için daha yüksek talebe sahiptir.

Googlebot talebi, bir sitenin boyutu, güncelleme sıklığı, sayfa kalitesi ve diğer sitelere kıyasla alaka düzeyine göre değişir. Etkileyebileceğiniz başlıca faktörler şunlardır:

• Algılanan envanter: Google, siz yol göstermezseniz sitenizde bildiği URL'lerin tümünü veya çoğunu taramaya çalışır. Bu URL'lerin birçoğu birbirinin kopyasıysa veya başka bir nedenle (kaldırıldığı, önemsiz olduğu vb. için) taranmasını istemiyorsanız bu durum, Google'ın sitenizi tararken boşuna çok fazla vakit harcamasına neden olur. Bu, olumlu yönde en fazla kontrol edebileceğiniz faktördür.
• Popülerlik: İnternette daha popüler olan URL'ler, sistemlerimizde daha güncel kalmaları için genellikle daha sık taranır.
• Eskilik: Sistemlerimiz herhangi bir değişikliği tespit etmek için dokümanları sık sık yeniden taramak ister.

Ayrıca, site taşıma gibi site genelindeki etkinlikler, yeni URL'lerin içeriğini yeniden işlemek için tarama talebindeki artışı tetikleyebilir.

Özet

Tarama kapasitesini ve tarama talebini birlikte değerlendiren Google, bir sitenin tarama bütçesini Google'ın tarayabileceği ve taramak istediği URL grubu olarak tanımlar. Tarama talebi düşükse tarama kapasitesi sınırına ulaşılmasa bile Google, sitenizi daha az tarar.

En iyi uygulamalar

Tarama verimliliğinizi en üst düzeye çıkarmak için aşağıdaki en iyi uygulamaları izleyin:

• URL envanterinizi yönetin: Uygun araçları kullanarak Google'a hangi sayfaların taranıp hangilerinin taranmayacağını bildirin. Google, taramaması gereken URL'leri taramaya çok fazla vakit harcarsa Google tarayıcıları, sitenizin geri kalanını keşfetmeyebilir veya tarama bütçenizi artırmayabilir.
  • Yinelenen içerikleri birleştirin. Benzersiz URL'lerden ziyade benzersiz içerikleri taramaya odaklanmak için yinelenen içerikleri kaldırın.
  • Robots.txt dosyasını kullanarak URL'lerin taranmasını engelleyin. Bazı sayfalar kullanıcılar için önemli olsa da Google yüzeylerinde görünmesini veya Google'ın sistemleri tarafından yeniden işlenmesini istemeyebilirsiniz. Bunun örnekleri arasında, bağlantı verilen sayfalardaki bilgileri veya aynı sayfanın farklı şekilde sıralanmış sürümlerini kopyalayan sonsuz kaydırma sayfaları bulunur. Bunları ilk maddede açıklandığı gibi birleştiremiyorsanız önemsiz olan bu sayfaları robots.txt dosyasını kullanarak engelleyin. URL'lerin robots.txt ile engellenmesi, Google'ın bu URL'leri taramasını önler ve URL'lerin diğer Google sistemleri (ör. Google Arama tarafından dizine eklenme) tarafından işlenme olasılığını önemli ölçüde azaltır.
  • Kalıcı olarak kaldırılan sayfalar için 404 veya 410 durum kodunu döndürün. Google bildiği bir URL'yi unutmaz ama 404 kodu bu URL'yi tekrar taramaması yönünde güçlü bir sinyaldir. Ancak engellenen URL'ler uzun süre tarama sıranızın bir parçası olarak kalır ve engelleme kaldırıldığında yeniden taranır.
  • soft 404 hatayı kaldırın. soft 404 döndüren sayfalar taranmaya devam ederek bütçenizi boşa harcar. soft 404 hataları için Sayfa Dizine Ekleme raporuna göz atın.
  • Site haritalarınızı güncel tutun. Google, site haritanızı düzenli olarak okur. Bu nedenle, Google'ın taramasını istediğiniz tüm içeriği eklediğinizden emin olun. Sitenizde güncellenen içerik varsa <lastmod> etiketini eklemenizi öneririz.
  • Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerinden kaçının.
• Sayfalarınızın etkin bir şekilde yüklenmesini sağlayın. Google, sayfalarınızı daha hızlı yükleyip oluşturabilirse sitenizden daha fazla içerik okuyabiliriz.
  • Yükleme hızını artırın: Sayfaların daha hızlı yüklenmesini sağlamak için sunucu yanıt sürelerinizi ve kaynaklarınızı optimize edin.
  • HTTP önbelleğe alma özelliğini kullanın: 304 (Not Modified) HTTP durum kodlarını destekleyin. Google'ın son taramasından bu yana değişmeyen bir sayfa için 304 kodu döndürmek Google'a, önbelleğe alınmış sürümü yeniden kullanmasını söyler. Bu sayede sunucu bant genişliğiniz ve kaynaklarınız korunur.
• Tarama bütçesiyle ilgili hataları ayıklayın. Tarama sırasında sitenizin kullanılabilirlik sorunu olup olmadığını kontrol edip taramayı daha etkin hale getirmenin yollarını arayın.

Nasıl daha fazla tarama bütçesi alabilirim?

Tarama bütçesini iki şekilde artırabilirsiniz:

• Daha fazla sunucu kaynağı ekleyin: Siteniz, kendi tarafınızdaki sunucu kapasitesi nedeniyle taranamıyorsa (örneğin, URL Denetleme aracında Ana makine yükü aşıldı hatası alıyorsanız) işletmeniz için uygunsa daha fazla sunucu kaynağı ekleyin.
• İçeriğinizin kalitesini, hedeflediğiniz Google ürünü için optimize edin: Google, belirli Google ürünüyle alakalı öğeleri hesaba katarak her siteye ayrılan tarama kaynaklarını belirler. Örneğin, Google Arama için bu kapsamda popülerlik, genel kullanıcı değeri, içeriğin benzersizliği ve sunum kapasitesi gibi unsurlar bulunur.