Robots.txt dosyanızı güncelleyin

Mevcut robots.txt dosyanızdaki kuralları güncellemek için sitenizden robots.txt dosyanızın bir kopyasını indirip gerekli düzenlemeleri yapın.

Robots.txt dosyanızı indirme

Robots.txt dosyanızı çeşitli şekillerde indirebilirsiniz. Örneğin:

• Robots.txt dosyanıza gidip (örneğin, https://example.com/robots.txt) içeriğini bilgisayarınızda yeni bir metin dosyasına kopyalayın. Yeni yerel dosyayı oluştururken dosya biçimi ile ilgili kurallara uyduğunuzdan emin olun.
• cURL gibi bir araç kullanarak robots.txt dosyanızın bir kopyasını indirin. Örneğin:

  curl https://example.com/robots.txt -o robots.txt

• Search Console'daki robots.txt raporunu kullanarak robots.txt dosyanızın içeriğini kopyalayın. Daha sonra bu içeriği bilgisayarınızdaki bir dosyaya yapıştırabilirsiniz.

Robots.txt dosyanızı düzenleme

Sitenizden indirdiğiniz robots.txt dosyasını bir metin düzenleyiciyle açıp kurallarda gerekli değişiklikleri yapın. Doğru söz dizimini kullandığınızdan ve dosyayı UTF-8 kodlamasıyla kaydettiğinizden emin olun.

Robots.txt dosyanızı yükleme

Yeni robots.txt dosyanızı sitenizin kök dizinine robots.txt adlı bir metin dosyası olarak yükleyin. Sitenize dosya yüklemenin yolu büyük ölçüde platforma ve sunucuya bağlıdır. Sitenize robots.txt dosyası yükleme hakkında yardım almak için ipuçlarımıza göz atın.

Google'ın robots.txt önbelleğini yenileme

Otomatik tarama sürecinde Google'ın tarayıcıları, robots.txt dosyanızda yaptığınız değişiklikleri tespit eder ve önbelleğe alınan sürümü 24 saatte bir günceller. Önbelleği daha hızlı güncellemeniz gerekirse robots.txt raporunun Yeniden tarama isteğinde bulunma işlevini kullanın.