noindex ile Arama dizinine eklemeyi engelleme

noindex, <meta> etiketi veya HTTP yanıt başlığıyla belirlenen bir kuraldır ve Google gibi noindex kuralını destekleyen arama motorları tarafından içeriklerin dizine eklenmesini önlemek için kullanılır. Googlebot bu sayfayı taradığında ve etiketi ya da başlığı ayıkladığında, başka sitelerin bu sayfaya bağlantı verip vermemesinden bağımsız olarak sayfayı Google Arama sonuçlarından tamamen çıkarır.

noindex kullanımı, sitenize erişimi sayfa bazında kontrol etme olanağı sunduğundan, sunucunuzun kök dizinine erişiminiz olmadığında işe yarar.

noindex kullanımı

noindex iki şekilde kullanılabilir: <meta> etiket olarak ve HTTP yanıt başlığı olarak. İkisi de aynı etkiye sahiptir. Siteniz ve içerik türü için en uygun olan yöntemi seçin. noindex kuralının robots.txt dosyasında belirtilmesi Google tarafından desteklenmez.

noindex kuralını, dizine eklemeyi kontrol eden diğer kurallarla da birleştirebilirsiniz. Örneğin, nofollow ipucunu noindex kuralıyla birleştirebilirsiniz: <meta name="robots" content="noindex, nofollow" />.

<meta> etiketi

noindex kuralını destekleyen tüm arama motorlarının sitenizdeki bir sayfayı dizine eklemesini önlemek için aşağıdaki <meta> etiketini sayfanızın <head> bölümüne yerleştirin: 

<meta name="robots" content="noindex">

Sadece Google web tarayıcılarının bir sayfayı dizine eklemelerini önlemek için:

<meta name="googlebot" content="noindex">

Bazı arama motorlarının, noindex kuralını farklı yorumlayabileceğini unutmayın. Bunun sonucunda sayfanızın diğer arama motorlarının sonuçlarında görünmeye devam etmesi mümkündür.

noindex <meta> etiketi hakkında daha fazla bilgi edinin.

HTTP yanıt başlığı

<meta> etiketi yerine, yanıtınızda noindex veya none değerine sahip bir X-Robots-Tag HTTP üst bilgisi döndürebilirsiniz. Yanıt başlığı; PDF'ler, video dosyaları ve resim dosyaları gibi HTML olmayan kaynaklar için kullanılabilir. Arama motorlarına bir sayfayı dizine eklememelerini bildiren X-Robots-Tag üstbilgisinin yer aldığı bir HTTP yanıtı örneğini burada görebilirsiniz: 

HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)

noindex yanıt başlığı hakkında daha fazla bilgi edinin.

noindex hatalarını ayıklama

<meta> etiketlerini ve HTTP başlıklarını görebilmemiz için sayfanızı taramamız gerekir. Bir sayfa, sonuçlarda görünmeye devam ediyorsa bunun nedeni büyük olasılıkla noindex kuralını eklemenizden bu yana sayfayı taramamış olmamızdır. Sayfanın internetteki önem derecesine bağlı olarak Googlebot’un bir sayfayı tekrar ziyaret etmesi aylar sürebilir. URL Denetleme aracını kullanarak Google'dan sayfanızı yeniden taramasını isteyebilirsiniz.

Sitenizin bir sayfasını, Google'ın arama sonuçlarından hızlı bir şekilde kaldırmanız gerekiyorsa kaldırma işlemleriyle ilgili dokümanlarımıza bakın.

Bunun diğer bir nedeni de robots.txt dosyasının, Google web tarayıcılarının URL'ye erişmesini engellemesi olabilir. Tarayıcılar, böyle bir durumda etiketi göremez. Google'ın sayfalarınıza erişiminin engellenmesini kaldırmak için robots.txt dosyanızı düzenlemeniz gerekir.

Son olarak, noindex kuralının Googlebot tarafından görülebildiğinden emin olun. noindex uygulamanızın doğru olup olmadığını test etmek için URL Denetleme aracını kullanarak Googlebot'un sayfayı tararken aldığı HTML'ye bakın. Googlebot'un sitenizde noindex kuralını çıkardığı sayfaları izlemek için Search Console'daki sayfa dizine ekleme raporunu da kullanabilirsiniz.