Feedfetcher

Feedfetcher adalah cara Google meng-crawl feed RSS atau Atom untuk Google Berita dan PubSubHubbub. Feedfetcher menyimpan dan secara berkala memperbarui feed yang diminta oleh pengguna aplikasi atau layanan. Hanya feed podcast yang diindeks di Google Penelusuran. Namun, jika suatu feed tidak mengikuti spesifikasi Atom atau RSS, feed tersebut mungkin masih diindeks. Berikut adalah beberapa jawaban atas sebagian besar pertanyaan umum mengenai cara pengambil feed yang dikontrol pengguna ini berfungsi.

Bagaimana cara meminta agar Google tidak mengambil beberapa atau semua feed situs saya?

Saat pengguna menambahkan layanan atau aplikasi yang menggunakan data Feedfetcher, Feedfetcher Google berupaya mendapatkan konten feed untuk menampilkannya. Karena permintaan Feedfetcher berasal dari tindakan eksplisit oleh pengguna manusia, dan bukan dari crawler otomatis, Feedfetcher mengabaikan aturan robots.txt.

Jika feed tersedia untuk publik, Google tidak dapat membatasi akses pengguna. Salah satu solusinya adalah mengonfigurasi situs agar menampilkan pesan status error 404, 410, atau yang lainnya ke agen pengguna Feedfetcher-Google.

Jika feed Anda disediakan oleh layanan hosting situs atau blog, harap bekerja sama langsung dengan layanan tersebut untuk membatasi akses ke feed.

Seberapa sering Feedfetcher mengambil feed saya?

Feedfetcher seharusnya tidak mengambil feed dari kebanyakan situs lebih dari satu kali tiap jam secara rata-rata. Beberapa situs yang sering diperbarui mungkin lebih sering dimuat ulang. Namun, perlu diketahui bahwa karena adanya penundaan jaringan, Feedfetcher mungkin akan sesaat terlihat lebih sering mengambil feed Anda.

Feedfetcher mengambil feed sesuai dengan permintaan layanan atau aplikasi yang diinstal pengguna. Kemungkinan pengguna telah meminta URL feed yang tidak ada.

Mengapa Feedfetcher mendownload informasi dari server web "rahasia" saya?

Feedfetcher mengambil feed sesuai dengan permintaan layanan atau aplikasi yang diinstal pengguna. Kemungkinan permintaan tersebut berasal dari pengguna yang mengetahui server "rahasia" Anda atau tidak sengaja mengetikkannya.

Mengapa Feedfetcher tidak mematuhi file robots.txt saya?

Feedfetcher hanya mengambil feed setelah pengguna secara eksplisit memulai layanan atau aplikasi yang meminta data dari feed. Feedfetcher bertindak sebagai agen langsung pengguna manusia, bukan robot, jadi Feedfetcher akan mengabaikan entri robots.txt. Karena bertindak sebagai agen untuk beberapa pengguna, Feedfetcher akan menghemat bandwidth dengan membuat permintaan untuk feed umum satu kali saja untuk semua pengguna yang meminta feed melalui aplikasi atau layanan. Feed yang umum adalah RSS dan Atom.

Anda dapat mencegah Feedfetcher meng-crawl situs dengan mengonfigurasi server agar menampilkan pesan status error 404, 410, atau yang lainnya ke agen pengguna Feedfetcher-Google.

Mengapa ada kunjungan dari beberapa mesin di Google.com, yang semuanya memiliki agen pengguna Feedfetcher?

Feedfetcher dirancang untuk didistribusikan ke beberapa mesin untuk meningkatkan performa dan skalanya seiring pertumbuhan web. Untuk mengurangi penggunaan bandwidth, mesin yang digunakan sering kali berada di dekat situs yang diambilnya dalam jaringan.

Apakah Anda dapat memberi tahu saya alamat IP tempat asal Feedfetcher membuat permintaan sehingga saya dapat memfilter log?

Alamat IP yang digunakan oleh Feedfetcher disertakan dalam objek user-triggered-fetchers-google.json.

Mengapa Feedfetcher beberapa kali mendownload halaman yang sama di situs saya?

Secara umum, Feedfetcher hanya mendownload satu salinan dari setiap file di situs Anda selama pengambilan feed tertentu. Dalam kasus yang sangat jarang terjadi, mesin bisa saja dihentikan dan dimulai ulang, sehingga menyebabkannya kembali mengambil halaman yang baru dikunjunginya.

Tidak seperti web crawler pada umumnya, Feedfetcher tidak mengikuti link sama sekali. Sebagai gantinya, Feedfetcher mengikuti permintaan yang diberikan oleh pengguna layanan atau aplikasi yang menggunakan Feedfetcher.

Pertanyaan saya terkait Feedfetcher tidak terjawab di sini. Di mana saya bisa mendapatkan bantuan lainnya?

Jika Anda masih mengalami kesulitan, coba posting pertanyaan Anda di forum Pusat Penelusuran.