Açıklamalı URL kaldırma, 1. bölüm: URL'ler ve dizinler

30 Mart 2010, Salı

Günümüzde internette çok fazla içerik bulunuyor. Hayatınızın bir noktasında, yayınladığınıza pişman olduğunuz tartışmalı bir blog yayınından yanlışlıkla açığa çıkan gizli verilere kadar, internette olmasını istemediğiniz bir içerik karşınıza çıkabilir. Çoğu durumda, bu içeriğin silinmesi veya içeriğe erişimin kısıtlanması, içeriğin bir süre sonra doğal olarak arama sonuçlarından kaldırılmasıyla sonuçlanır. Bununla birlikte, Google tarafından dizine eklenmiş ancak istemediğiniz bir içeriği acilen kaldırmanız gerekiyorsa ve içeriğin doğal olarak kaldırılmasını bekleyemiyorsanız belirli kriterleri (bunları aşağıda ele alacağız) karşıladığı takdirde içeriğin arama sonuçlarımızdan kaldırılmasını hızlandırmak için URL kaldırma aracımızı kullanabilirsiniz.

Çeşitli içerik türlerini başarılı bir şekilde nasıl kaldıracağınızı ve kaçınmanız gereken yaygın hataları açıklayan bir dizi blog yayınımız mevcuttur. Dizinin ilk yayını olan bu makalede, tek bir URL'nin kaldırılması, bir dizinin veya sitenin tamamının kaldırılması ve kaldırılan içeriğin yeniden eklenmesi gibi birkaç temel senaryoya değineceğim. Ayrıca, sizinle ilgili internette bulunan bilgileri yönetme hakkında yazılmış önceki yayınımızı da okumanızı kesinlikle tavsiye ederim.

Tek bir URL'yi kaldırma

Genel olarak, kaldırma isteklerinizin başarılı olması için söz konusu URL'lerin sahibi (siz veya başkası), ilgili içeriği kaldırmanın sorun olmadığını belirtmelidir. Tek bir URL için bunu üç şekilde belirtebilirsiniz:

Kaldırma isteği göndermeden önce URL'nin doğru şekilde engellenip engellenmediğini kontrol edebilirsiniz:

  • robots.txt: Web Yöneticisi Araçları'nda Googlebot gibi getir veya Test robots.txt özelliklerini kullanarak URL'nin doğru şekilde engellenip engellenmediğini kontrol edebilirsiniz.
  • noindex meta etiketi: meta etiketin, <head> ve </head> etiketleri arasında bir yerde göründüğünden emin olmak için Googlebot gibi getir özelliğini kullanabilirsiniz. Web Yöneticisi Araçları'nda doğrulayamadığınız bir sayfayı kontrol etmek istiyorsanız URL'yi bir tarayıcıda açıp Görünüm > Sayfa kaynağı'na giderek meta etiketi, <head> ve </head> etiketleri arasında gördüğünüzden emin olun.
  • 404 ve 410 durum kodu: Googlebot gibi getir özelliğini veya Canlı HTTP Üstbilgileri ya da web-sniffer.net gibi araçları kullanarak URL'nin gerçekten doğru kodu döndürüp döndürmediğini görebilirsiniz. Bazen "silinen" sayfalar "404" veya "Bulunamadı" ifadesini gösterse de sayfa başlığında 200 durum kodu döndürebilir. Bu nedenle, uygun bir başlık kontrol aracıyla tekrar kontrol etmenizde yarar vardır.

İstenmeyen içerik bir sayfadan kaldırılmış ancak sayfa yukarıdaki yöntemlerden herhangi biriyle engellenmemişse, arama sonuçlarımızdan ilgili URL'yi tamamen kaldıramazsınız. Bu durum genellikle, içeriği barındıran sitenin sahibi olmadığınız durumlarda görülür. Kaldırma dizimizin 2. bölümünde, bu durumda yapılması gerekenleri ele alacağız.

Yukarıdaki ölçütlerden birini karşılayan URL'leri kaldırmak için Kaldırma aracına gidip ilgili URL'yi girerek "Web yöneticisi zaten sayfayı engelledi" seçeneğini işaretleyin. İçeriğin görüldüğü Google Arama URL'sini değil, içeriğin barındırıldığı URL'yi girmeniz gerektiğini unutmayın. Örneğin, https://www.google.com/search?q=embarrassing+stuff değil https://www.example.com/embarrassing-stuff.html URL'sini girin.

Doğru URL'yi girdiğinizden emin olmak için ayrıntılı bilgileri yardım merkezi makalemizde bulabilirsiniz. Tam olarak sizi rahatsız eden URL'yi bildirmediğiniz takdirde aklınızdan geçen URL'yi kaldıramayacağımızı unutmayın.

Bir dizinin veya sitenin tamamını kaldırma

Bir dizinin veya site genelinde kaldırma işleminin başarılı olabilmesi için sitenin robots.txt dosyasında dizine veya siteye izin verilmemesi gerekir. Örneğin, https://www.example.com/secret/ dizinini kaldırmak için robots.txt dosyanızın şunları içermesi gerekir: 

User-agent: *
Disallow: /secret/

Bir dizin 404 döndürürdüğü halde altındaki dosyaları sunabileceği için, dizin kökünün 404 durum kodu döndürmesi yeterli değildir. Bir dizini (veya sitenin tamamını) engellemek için robots.txt dosyasını kullanmak, o dizinin (veya sitenin) altındaki tüm URL'lerin de engellenmesini sağlar. Web Yöneticisi Araçları'nda Googlebot gibi getir veya Test robots.txt özelliklerini kullanarak bir dizinin doğru şekilde engellenip engellenmediğini test edebilirsiniz.

Web Yöneticisi Araçları'nda yalnızca sitenin doğrulanmış sahipleri, sitenin veya dizinin tamamının kaldırılmasını isteyebilir. Bir dizinin veya sitenin kaldırılmasını istemek için söz konusu siteyi tıkladıktan sonra Site yapılandırma > Tarayıcı erişimi > URL'yi kaldır bölümüne gidin. Kaldırmak istediğiniz URL olarak sitenizin kök dizinini girerseniz sitenin tamamını kaldırmak isteyip istemediğinizi onaylamanız gerekir. Alt dizin girerseniz de açılır menüdeki "Dizini kaldır" seçeneğini kullanın.

İçeriği yeniden ekleme

Sahip olduğunuz herhangi bir siteyle ilgili kaldırma isteklerini (diğer kullanıcılar tarafından gönderilenler de dahil), istediğiniz zaman iptal edebilirsiniz. Bunu yapmak için Web Yöneticisi Araçları'nda bu sitenin doğrulanmış sahibi olmanız gerekir. Sahipliği doğruladıktan sonra Site yapılandırma > Tarayıcı erişimi > URL'yi kaldır > Kaldırılan URL'ler (veya > Başkaları tarafından yapılan istekler) bölümüne gidip iptal etmek istediğiniz isteklerin yanındaki "İptal"i tıklayabilirsiniz.

Başka sorularınız mı var? Google'ın arama sonuçlarından içerik kaldırma konulu dizimizin diğer bölümlerini de kaçırmayın. Diğer bölümleri beklemek istemiyorsanız Yardım Forumu'ndan da URL kaldırma ve herhangi bir konuyla ilgili sorunları giderme hakkında bilgi edinebilirsiniz. Başka kullanıcıların deneyimlerini okuduktan sonra hâlâ sorularınız olursa bize sorabilirsiniz. Çoğu durumda, söz konusu siteyi veya URL'yi bilmeden belirli bir kaldırma işlemi hakkında alakalı tavsiye vermenin zor olduğunu unutmayın. İstemediğiniz URL'nin, yayınınızın bir parçası olarak dizine eklenmemesi için URL'nizi URL kısaltma hizmeti kullanarak paylaşmanızı öneririz. Bazı kısaltma hizmetleri, sorununuz çözüldükten sonra kısayolu devre dışı bırakmanıza da izin verir.

Son olarak, sizinle ilgili internette bulunan bilgileri yönetme hakkında bilgi edinmek isteyebilirsiniz.

Yayınlayan: Susan Moskwa, Webmaster Trends Analyst