Senin, 2 Mei 2011
  Ketika Anda sedang memeriksa situs menggunakan Alat WebMaster untuk melihat seberapa bagus
  situs Anda... eh, ternyata ada masalah! Halaman
  Error crawl
  dipenuhi dengan
  error 404 (Not found).
  Apakah masalah ini tidak bisa dihindari??
 
  Tidak perlu khawatir, wahai penuntut ilmu. Mari kita lihat error 404 dan apakah ada pengaruhnya (atau tidak) bagi
  situs Anda:
  T: Apakah error 404 yang dilaporkan di Alat WebMaster memengaruhi peringkat situs saya?
  J: Adanya error 404 di bagian web merupakan hal yang sangat normal; internet selalu
  berubah, konten baru muncul, konten lama dihapus, dan ketika dihapus, konten tersebut (idealnya) menampilkan
  kode respons HTTP 404. Mesin telusur menyadari hal ini; kami sendiri memiliki error 404
  di situs kami, seperti yang terlihat di atas, dan semua itu ada di seluruh web. Bahkan, kami
  sebenarnya menyarankan hal itu. Jadi, ketika Anda menghapus suatu halaman dari situs, pastikan bahwa halaman tersebut
  menampilkan kode respons 404 atau 410 yang sesuai (bukan soft
  404). Ingat, agar crawler kami dapat melihat kode respons HTTP di sebuah URL,
  URL tersebut harus dapat di-crawl oleh crawler kami. Jika URL diblokir oleh file robots.txt Anda, kami tidak akan
  dapat mengcrawl dan melihat kode responsnya. Meskipun beberapa URL di situs Anda sudah tidak ada lagi atau
  menampilkan error 404, hal ini tidak akan memengaruhi performa URL lain (URL yang menampilkan
  kode status
  200 (Success)) di situs Anda dalam hasil penelusuran kami.
  T: Artinya error 404 sama sekali tidak berdampak buruk bagi situs saya?
  J: Jika beberapa URL di situs Anda menampilkan 404, pada dasarnya hal ini tidak merugikan Anda atau diperhitungkan
  dalam hasil penelusuran Google. Namun, mungkin ada alasan lain yang perlu Anda perhatikan
  karena tergolong sebagai error 404 jenis tertentu. Misalnya, jika beberapa halaman yang menampilkan
  404 adalah halaman yang penting bagi Anda, Anda harus mencari tahu mengapa kami melihat
  error 404 saat meng-crawl-nya. Jika Anda melihat kesalahan pengejaan URL yang valid
  (www.example.com/awsome, padahal seharusnya www.example.com/awesome), kemungkinan seseorang bermaksud
  menautkan ke situs Anda tetapi kemudian salah mengetik. Daripada menampilkan 404, Anda dapat membuat pengalihan
  301 pada URL yang salah eja ke URL yang benar dan menangkap traffic yang diinginkan
  dari link tersebut. Anda juga dapat memastikan bahwa, saat pengguna membuka halaman 404 di
  situs, Anda
  membantu mereka menemukan hal yang mereka cari,
  bukan hanya menampilkan "404 Tidak ditemukan".
  T: Beri tahu selengkapnya tentang "error soft 404".
  J: soft 404
  adalah ketika server web menampilkan kode respons selain 404 (atau 410) untuk
  URL yang tidak ada. Contoh umumnya adalah saat pemilik situs ingin menampilkan
  halaman 404 yang bagus dengan informasi yang bermanfaat bagi penggunanya,
  dan menganggap bahwa dia harus menampilkan kode respons 200
  untuk menayangkan konten ke pengguna. Bukan begitu. Anda dapat menampilkan kode respons 404 sambil menayangkan
  konten apa pun yang diinginkan. Contoh lainnya adalah saat situs mengalihkan URL yang tidak dikenal ke halaman beranda
  alih-alih menampilkan error 404. Kedua kasus ini dapat berdampak negatif
  pada pengindeksan dan pemahaman kami terhadap situs Anda, jadi sebaiknya pastikan server Anda
  menampilkan kode respons yang tepat jika kontennya tidak ada. Perhatikan bahwa hanya karena
  halaman menampilkan "404 Tidak Ditemukan", bukan berarti halaman tersebut benar-benar menampilkan
  kode respons HTTP 404—gunakan fitur
  Fetch as Googlebot
  di Alat WebMaster untuk memeriksa kembali. Jika tidak tahu cara mengonfigurasi server untuk
  menampilkan kode respons yang tepat, lihat dokumentasi bantuan host web Anda.
  T: Bagaimana cara mengetahui apakah URL harus menampilkan 404, atau 301, atau
    410?
  J: Saat Anda menghapus suatu halaman dari situs, pikirkan apakah konten tersebut dipindahkan ke halaman
  lain, atau apakah Anda berencana untuk tidak lagi memiliki jenis konten tersebut di situs Anda. Jika Anda memindahkan
  konten tersebut ke URL baru, Anda harus membuat pengalihan 301 dari URL lama ke URL baru. Dengan
  begitu, saat pengguna membuka URL lama untuk mencari konten tersebut, mereka akan otomatis dialihkan
  ke halaman yang relevan dengan sesuatu yang mereka cari. Jika Anda menghapus konten tersebut
  sepenuhnya dan tidak memiliki sesuatu pun di situs yang akan memenuhi kebutuhan pengguna yang sama, berarti URL lama
  harus menampilkan 404 atau 410. Saat ini, perlakuan Google terhadap
  410 (Gone) sama dengan 404 (Not found), sehingga tidak masalah jika Anda
  menampilkan salah satunya.
  T: Sebagian besar error 404 saya ditujukan untuk URL aneh yang tidak pernah ada di situs saya.
    Kenapa ini terjadi? Dari mana asalnya?
  J: Jika Google menemukan link di suatu halaman di web yang mengarah ke URL di domain Anda, Google mungkin akan mencoba
  meng-crawl link tersebut, terlepas apakah benar-benar ada konten di sana atau tidak; dan saat Google melakukannya, server Anda
  akan menampilkan 404 jika tidak ada konten yang ditemukan. Beberapa contoh alasannya: link ini mungkin muncul
  karena ada orang yang salah mengeja link saat menautkan ke halaman Anda, sejenis kesalahan konfigurasi (jika link
  dibuat otomatis, misalnya, oleh CMS), atau karena upaya Google yang ditingkatkan untuk mengenali
  dan meng-crawl link yang disematkan di JavaScript atau konten sematan lain; atau link tersebut mungkin merupakan bagian dari pemeriksaan
  singkat yang kami lakukan untuk melihat cara server Anda menangani URL tidak dikenal. Jika Anda melihat
  error 404 dilaporkan di Alat WebMaster untuk URL yang tidak ada di situs, Anda dapat
  dengan aman mengabaikannya. Kami tidak tahu URL mana yang penting bagi Anda dan mana yang seharusnya menampilkan
  404, jadi kami menampilkan semua error 404 yang kami temukan di situs dan
  membiarkan Anda memutuskan mana yang perlu diperhatikan, jika ada.
  T: Seseorang telah menyalin situs saya dan menyebabkan munculnya beberapa error 404 saat dalam
    proses. Semua URL tersebut merupakan URL "asli" dengan kode lain yang ditempel, seperti
    https://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/>
    Apakah hal ini akan berdampak buruk bagi situs saya?
  J: Umumnya, Anda tidak perlu khawatir karena "link rusak" seperti ini tidak akan memberi dampak buruk bagi situs Anda. Kami
  mengerti bahwa pemilik situs hanya sedikit atau sama sekali tidak dapat mengontrol orang yang menyalin situs mereka, atau orang yang
  menautkan ke situs mereka dengan cara aneh. Jika Anda sudah familier dengan
  ekspresi reguler,
  Anda dapat mempertimbangkan untuk
  mengalihkan URL ini, tetapi umumnya
  Anda tidak perlu khawatir. Ingat bahwa Anda juga dapat mengajukan
  permintaan penghapusan
  jika yakin seseorang mencuri konten asli dari situs Anda.
  T: Minggu lalu, saya telah memperbaiki semua error 404 yang dilaporkan Alat WebMaster, tetapi
    error tersebut masih tercantum di akun saya. Apakah ini berarti saya tidak memperbaikinya dengan benar? Berapa lama waktu yang dibutuhkan
    agar error tersebut benar-benar hilang?
  J: Lihat kolom 'Terdeteksi' di halaman Error crawl—kolom ini berisi tanggal terbaru saat
  error terdeteksi. Jika tanggal di kolom tersebut mencantumkan waktu sebelum Anda memperbaiki
  error, artinya kami belum menemukan error ini lagi sejak tanggal tersebut. Jika tanggalnya
  baru-baru ini, artinya kami masih melihat error 404 ini saat melakukan crawling.
Setelah menerapkan perbaikan, Anda dapat memeriksa apakah crawler kami melihat kode respons yang baru menggunakan Fetch as Googlebot. Uji beberapa URL dan, jika semuanya terlihat normal, error ini akan segera menghilang dari daftar Error crawl Anda.
  T: Bisakah saya menggunakan alat penghapusan URL Google untuk menghilangkan error 404 dari akun
    saya lebih cepat?
  
  J: Tidak; alat penghapusan URL hanya menghapus URL dari hasil penelusuran Google, bukan dari akun
  Alat WebMaster Anda. Alat ini hanya ditujukan untuk permintaan penghapusan mendesak, dan Anda tidak perlu menggunakannya jika
  URL sudah menampilkan 404, karena URL tersebut akan dihapus dari hasil penelusuran kami
  dengan sendirinya seiring waktu. Lihat bagian bawah
  postingan blog ini
  untuk mengetahui detail selengkapnya tentang apa saja yang dapat dan tidak dapat dilakukan oleh alat penghapusan URL.
  Masih ingin tahu lebih banyak tentang error 404? Lihat
  cara mengatasi 404 di blog kami,
  atau buka
  Forum Bantuan Webmaster.