Google tarama hızını azaltma
Google tarayıcısının altyapısı, bir sitedeki en iyi tarama hızını belirlemek için gelişmiş algoritmalar kullanır. Amacımız, sunucunuzda aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Bazı durumlarda Google'ın sitenizi taraması, altyapınızda önemli ölçüde yüke veya bir kesinti sırasında istenmeyen maliyetlere neden olabilir. Bu tür etkileri hafifletmek için Google tarayıcıları tarafından yapılan isteklerin sayısını azaltmaya karar verebilirsiniz.
Taramada ani artışın nedenini anlama
Taramada ani bir artış, sitenizin yapısındaki verimsizliklerden veya sitenizle ilgili diğer sorunlardan kaynaklanabilir. Geçmişte aldığımız raporlara göre en yaygın nedenler şunlardır:
-
Sitedeki URL'lerin verimsiz bir şekilde yapılandırılması. Bu durum genellikle sitenin belirli bir işlevinden kaynaklanır:
- Filtreli (faceted) gezinme veya diğer sıralama ve filtreleme işlevleri
- Belirli tarihler için çok sayıda URL içeren bir takvim
- Dinamik Arama Ağı Reklamı hedefi
Trafik kaynağını anlamak ve bunun, taramada ani artışın yukarıda belirtilen yaygın nedenlerine uyup uymadığını görmek için barındırma şirketinizle iletişime geçip sunucunuzun son erişim günlüklerine bakmanızı önemle tavsiye ederiz. Ardından, filtreli (faceted) gezinme URL'lerinin taranmasını yönetme ve tarama verimliliğini optimize etme ile ilgili kılavuzlarımızı inceleyin.
Tarayıcı trafiğini acilen azaltma (acil durumlar için)
Tarama hızını, kısa bir süreliğine (örneğin, birkaç saat veya 1-2 gün) acilen azaltmanız gerekiyorsa tarama isteklerine 200 yerine 500, 503 veya 429 HTTP yanıt durum kodu döndürün.
Google'ın tarama altyapısı, çok sayıda 500, 503 veya 429 HTTP yanıt durum koduna sahip URL ile karşılaştığında (örneğin, web sitenizi devre dışı bıraktığınızda):
-
Sitenizin ana makine adının tamamında tarama hızını düşürür (örneğin,
subdomain.example.com). Bu durum, hem hata döndüren URL'leri hem de içerik döndüren URL'leri etkiler. - Bu hataların sayısı azaltıldığında tarama hızı otomatik olarak tekrar artar.
503 veya 429 durum kodu döndürürken, Google tarayıcılarının isteği ne zaman yeniden deneyebileceğini belirtmek için saniye cinsinden bir gecikme değeri veya mutlak UTC tarih ve saati kullanarak bir Retry-After HTTP üstbilgisi de (RFC 9110 HTTP Semantics'te tanımlandığı şekilde) ekleyebilirsiniz:
-
Saniye cinsinden gecikme:
HTTP/1.1 503 Service Unavailable Retry-After: 120
-
Mutlak bir UTC tarihi ve saati:
HTTP/1.1 503 Service Unavailable Retry-After: Wed, 21 Oct 2026 07:28:00 GMT
Tarama hızını azaltmayla ilgili istisnai istekler
Google tarayıcılarına hata sunmak altyapınıza uygun değilse anormal derecede yüksek tarama hızıyla ilgili bir sorun bildirmek için özel istekte bulunun ve isteğinizde sitenize en uygun hızı belirtin. Tarama hızında artış isteğinde bulunamazsınız ve isteğin değerlendirilip karşılanması birkaç gün sürebilir.