16 Ocak 2017 Pazartesi
Son zamanlarda, "tarama bütçesi" için bir dizi tanım duyduk ancak "tarama bütçesi" ifadesinin dışarıda taşıdığı tüm anlamları kapsayan bir terimimiz yok. Bu yayında, bizimle ilgili olan kısmını ve Googlebot için ne anlama geldiğini açıklayacağız.
Öncelikle, aşağıda açıklandığı gibi tarama bütçesinin çoğu yayıncı için önemli bir konu olmadığını vurgulamak isteriz. Yeni sayfalar yayınlandıkları gün taranıyorsa web yöneticilerinin tarama bütçesine odaklanmaları gerekmez. Benzer şekilde, birkaç binden az URL'si olan siteler, çoğu zaman verimli bir şekilde taranır.
Neyin ne zaman taranacağıyla ilgili öncelikler ve siteyi barındıran sunucunun taramaya ne kadar kaynak ayırabileceği konusu, örneğin, daha büyük siteler veya URL parametrelerine göre otomatik oluşturulan siteler açısından daha fazla önem taşır.
Tarama hızı sınırı
Googlebot, web’in iyi bir vatandaşı olacak şekilde tasarlanmıştır. Asıl önceliği tarama olmakla birlikte, siteyi ziyaret eden kullanıcıların deneyimini bozmaz. "Tarama hızı sınırı" adını verdiğimiz bu özellik, bir sitenin maksimum getirme hızını sınırlar.
Özetle bu ifade, Googlebot'un siteyi taramak için kullanabileceği maksimum eş zamanlı paralel bağlantı sayısını ve getirmeler arasında beklemesi gereken süreyi temsil eder. Tarama hızı, birkaç faktöre bağlı olarak artıp azalabilir:
- Tarama durumu: Site bir süre hızlı yanıt verirse sınır artar, yani tarama için daha fazla bağlantı kullanılabilir. Site yavaşlar veya sunucu hatalarıyla yanıt verirse sınır azalır ve Googlebot daha az tarama yapar.
- Search Console'da belirlenen sınır: Web sitesi sahipleri, Googlebot'un sitelerini tarama oranını düşürebilir. Daha yüksek sınırlar belirlemenin tarama oranını otomatik olarak artırmayacağını unutmayın.
Tarama talebi
Tarama hızı sınırına ulaşılmasa bile, dizine ekleme talebi yoksa Googlebot etkinliği düşük olur. Tarama talebini belirlemede önemli rol oynayan iki faktör şunlardır:
- Popülerlik: İnternette daha popüler olan URL'ler, dizinimizde daha güncel kalmaları için genellikle daha sık taranır.
- Eskilik: Sistemlerimiz, URL'lerin dizinde eskimesini önlemeye çalışır.
Ayrıca, site taşıma gibi site genelindeki etkinlikler, yeni URL'lerin içeriğini yeniden dizine eklemek için tarama talebindeki artışı tetikleyebilir.
Tarama hızını ve tarama talebini birlikte değerlendirerek tarama bütçesini, Googlebot'un tarayabileceği ve taramak istediği URL'lerin sayısı olarak tanımlıyoruz.
Tarama bütçesini etkileyen faktörler
Analizimize göre, bir sitede düşük değer sağlayan çok sayıda URL bulunması, sitenin taranmasını ve dizine eklenmesini olumsuz etkileyebilir. Düşük değer sağlayan URL'lerin önem düzeyine göre aşağıdaki kategorilere ayrıldığını belirledik:
- Filtreli (faceted) gezinme ve oturum tanımlayıcıları
- Site içinde yinelenen içerik
- Soft hata sayfaları
- Saldırıya uğramış sayfalar
- Sonsuz alanlar ve proxy'ler
- Düşük kaliteli ve spam içerik
Sunucu kaynaklarını bu gibi sa