Feedfetcher는 Google에서 Google 뉴스 및 PubSubHubbub의 RSS 또는 Atom 피드를 크롤링하는 방식입니다.
Feedfetcher는 앱 또는 서비스의 사용자가 요청한 피드를 저장하고 정기적으로 새로고침합니다. Google 검색에서는 팟캐스트 피드만 색인이 생성됩니다. 하지만 피드가 Atom 또는 RSS 사양을 준수하지 않아도 색인이 생성될 수 있습니다. 다음은 사용자가 제어하는 이 피드 수집기의 작동 방식에 관해 자주 묻는 질문에 대한 답변입니다.
Google에서 내 사이트 피드의 일부나 전체를 검색하지 못하도록 요청하려면 어떻게 해야 하나요?
사용자가 Feedfetcher 데이터를 사용하는 서비스나 앱을 추가하면 Google의 Feedfetcher가 피드의 콘텐츠를 가져와서 표시합니다. Feedfetcher 요청은 자동화된 크롤러가 아닌 실제 사용자의 작업으로 실행되기 때문에 Feedfetcher는 robots.txt 규칙을 무시합니다.
공개적으로 사용할 수 있는 피드인 경우 Google에서는 사용자가 이 피드에 액세스하는 것을 제한할 수 없습니다. 이를 해결하는 한 가지 방법은 Feedfetcher-Google 사용자 에이전트를 대상으로 404, 410 또는 기타 오류 상태 메시지를 게재하도록 사이트를 구성하는 것입니다.
블로그나 사이트 호스팅 서비스로 피드를 제공한다면 해당 서비스에 직접 문의하여 피드 액세스 권한을 제한하세요.
Feedfetcher는 얼마나 자주 내 피드를 검색하나요?
Feedfetcher는 대부분의 사이트에서 평균 1시간에 두 번 이상 피드를 검색하지 않습니다. 자주 업데이트되는 일부 사이트의 경우 더 자주 새로고침되기도 합니다. 하지만 네트워크 지연으로 인해 잠시 Feedfetcher가 피드를 더 자주 검색하는 것으로 보일 수도 있습니다.
Feedfetcher가 내 서버 또는 존재하지 않는 도메인에서 잘못된 링크를 다운로드하는 이유는 무엇인가요?
Feedfetcher는 사용자가 설치한 서비스나 앱의 요청이 있을 때 피드를 검색합니다. 사용자가 존재하지 않는 피드 URL을 요청했을 수 있습니다.
Feedfetcher가 내 '비밀' 웹 서버에서 정보를 다운로드하는 이유는 무엇인가요?
Feedfetcher는 사용자가 설치한 서비스나 앱의 요청이 있을 때 피드를 검색합니다. '비밀' 서버에 관해 알고 있는 사용자가 요청했거나 실수로 잘못 입력했을 수 있습니다.
왜 Feedfetcher가 내 robots.txt 파일을 따르지 않나요?
Feedfetcher는 사용자가 피드에서 데이터를 요청하는 서비스나 앱을 명시적으로 시작한 후에만 피드를 검색합니다. Feedfetcher는 로봇이 아니라 실제 사용자의 직접 에이전트로서 작동하므로 robots.txt 항목을 무시합니다. Feedfetcher는 여러 사용자의 에이전트 역할을 하므로 앱이나 서비스를 통해 피드를 요청한 모든 사용자의 공통 피드를 한 번만 요청함으로써 대역폭을 절약합니다. 공통 피드는 RSS 및 Atom입니다.
404, 410 또는 다른 오류 상태 메시지를 Feedfetcher-Google 사용자 에이전트에 게재하도록 서버를 구성하여 Feedfetcher가 사이트를 크롤링하지 못하게 할 수 있습니다.
모두 사용자 에이전트 Feedfetcher가 있는 Google.com의 여러 컴퓨터에서 사이트를 방문하는 이유는 무엇인가요?
Feedfetcher는 웹이 확대됨에 따라 성능과 규모를 개선하기 위해 여러 컴퓨터에 분산되도록 설계되었습니다. 대역폭 사용량을 줄이기 위해 사용된 컴퓨터가 네트워크에서 검색 중인 사이트의 근처에 위치하는 경우가 많습니다.
내 로그를 필터링할 수 있도록 Feedfetcher가 요청을 실행하는 IP 주소를 알려 줄 수 있나요?
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["필요한 정보가 없음","missingTheInformationINeed","thumb-down"],["너무 복잡함/단계 수가 너무 많음","tooComplicatedTooManySteps","thumb-down"],["오래됨","outOfDate","thumb-down"],["번역 문제","translationIssue","thumb-down"],["샘플/코드 문제","samplesCodeIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-08-04(UTC)"],[[["\u003cp\u003eFeedfetcher is Google's tool for crawling RSS or Atom feeds for Google News and PubSubHubbub, primarily used by apps and services to display feed content.\u003c/p\u003e\n"],["\u003cp\u003eFeedfetcher acts as a user agent, ignoring robots.txt; to block it, configure your server to return a 404, 410, or other error status to the \u003ccode\u003eFeedfetcher-Google\u003c/code\u003e user agent.\u003c/p\u003e\n"],["\u003cp\u003eFeedfetcher typically refreshes feeds hourly, though frequency may vary based on update frequency and network conditions.\u003c/p\u003e\n"],["\u003cp\u003eFeedfetcher requests originate from user actions in apps or services, occasionally leading to requests for nonexistent or "secret" URLs.\u003c/p\u003e\n"],["\u003cp\u003eFeedfetcher operates from various IP addresses, which are publicly listed in a JSON file for filtering purposes.\u003c/p\u003e\n"]]],["Feedfetcher crawls RSS/Atom feeds for Google News and PubSubHubbub, storing and refreshing them for app/service users. It ignores robots.txt due to user-initiated requests. To block Feedfetcher, serve a 404 or 410 error to the `Feedfetcher-Google` user agent. Retrieval typically occurs hourly, but may be more frequent for frequently updated feeds. Feedfetcher operates across multiple machines and fetches only user-provided URLs. IP addresses are listed in `user-triggered-fetchers-google.json`.\n"],null,["# Google Feedfetcher | Google Search Central\n\nFeedfetcher\n===========\n\n\nFeedfetcher is how Google crawls RSS or Atom feeds for\n[Google News](https://play.google.com/store/apps/details?id=com.google.android.apps.magazines)\nand [PubSubHubbub](https://en.wikipedia.org/wiki/PubSubHubbub).\nFeedfetcher stores and periodically refreshes feeds that are requested by users of an app or\nservice. Only podcast feeds get indexed in Google Search; however, if a feed doesn't follow the\n[Atom](https://www.rfc-editor.org/rfc/rfc4287.txt) or\n[RSS](https://cyber.harvard.edu/rss/rss.html) specification, it\nmay still be indexed. Here are some answers to the most commonly asked questions about how this\nuser-controlled feed grabber works.\n\nHow do I request that Google not retrieve some or all of my site's feeds?\n-------------------------------------------------------------------------\n\n\nWhen users add a service or app that uses Feedfetcher data, Google's Feedfetcher attempts to\nobtain the content of the feed in order to display it. Since Feedfetcher requests come from\nexplicit action by human users, and not from automated crawlers, Feedfetcher ignores robots.txt\nrules.\n\n\nIf your feed is publicly available, Google can't restrict users from accessing it. One\nsolution is to configure your site to serve a `404`, `410`, or other error\nstatus message to `Feedfetcher-Google` user agent.\n\n\nIf your feed is provided by a blog or site hosting service, work directly with that service to\nrestrict access to your feed.\n\nHow often will Feedfetcher retrieve my feeds?\n---------------------------------------------\n\n\nFeedfetcher shouldn't retrieve feeds from most sites more than once every hour on average. Some\nfrequently updated sites may be refreshed more often. Note, however, that due to network delays,\nit's possible that Feedfetcher may briefly appear to retrieve your feeds more frequently.\n\nWhy is Feedfetcher trying to download incorrect links from my server, or from a domain that\ndoesn't exist?\n----------------------------------------------------------------------------------------------------------\n\n\nFeedfetcher retrieves feeds at the request of services or apps installed by users. It is\npossible that a user has requested a feed URL that does not exist.\n\nWhy is Feedfetcher downloading information from my \"secret\" web server?\n-----------------------------------------------------------------------\n\n\nFeedfetcher retrieves feeds at the request of services or apps installed by users. It is\npossible that the request came from a user who knows about your \"secret\" server or typed it in\nby mistake.\n\nWhy isn't Feedfetcher obeying my robots.txt file?\n-------------------------------------------------\n\n\nFeedfetcher retrieves feeds only after users have explicitly started a service or app that\nrequests data from the feed. Feedfetcher behaves as a direct agent of the human user, not as a\nrobot, so it ignores robots.txt entries. Since Feedfetcher acts as an agent for multiple\nusers, it conserves bandwidth by making requests for common feeds only once for all users who\nrequested the feed through an app or service. The common feeds are\n[RSS](https://en.wikipedia.org/wiki/RSS) and\n[Atom](https://en.wikipedia.org/wiki/Atom_(Web_standard)).\n\n\nYou can prevent Feedfetcher from crawling your site by configuring your server to serve a\n`404`, `410`, or other error status message to the\n`Feedfetcher-Google` user agent.\n\nWhy are there visits from multiple machines at Google.com, all with user-agent Feedfetcher?\n-------------------------------------------------------------------------------------------\n\n\nFeedfetcher was designed to be distributed on several machines to improve performance and scale as\nthe web grows. To cut down on bandwidth usage, the machines used are often located near the sites\nthat they're retrieving in the network.\n\nCan you tell me the IP addresses from which Feedfetcher makes requests so that I can filter my\nlogs?\n----------------------------------------------------------------------------------------------------\n\n\nThe IP addresses used by Feedfetcher are included in the\n[user-triggered-fetchers-google.json](https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json)\nobject.\n\nWhy is Feedfetcher downloading the same page on my site multiple times?\n-----------------------------------------------------------------------\n\n\nIn general, Feedfetcher only downloads one copy of each file from your site during a given feed\nretrieval. Very occasionally, the machines are stopped and restarted, which may cause it to again\nretrieve pages that it's recently visited.\n\nWhat kinds of links does Feedfetcher crawl?\n-------------------------------------------\n\n\nUnlike normal web crawlers, Feedfetcher isn't discovering links to crawl at all; instead, it\ncrawls a single URL that's provided to it by users of a service or app that uses Feedfetcher.\n\nMy Feedfetcher question isn't answered here. Where can I get more help?\n-----------------------------------------------------------------------\n\n\nIf you're still having trouble, try posting your question in the Search Central\n[forum](https://support.google.com/webmasters/community)."]]
