비즈니스를 위해 웹마스터 도구를 사용해 사이트가 얼마나 멋진지 확인하고 계시는군요. 하지만, 잠시 멈추세요! 크롤링 오류 페이지에 404 (Not found) 오류가 가득합니다.
곧 큰 일이 벌어지는 건가요?
두려워 마시게, 어린 견습생이여. 404 오류는 무엇인지, 이 오류가 사이트에 어떤 영향을 미치는지, 또는 미치지 않는지에 관해 한 번 살펴보겠습니다.
Q: 웹마스터 도구에 보고된 404 오류가 사이트 순위에 영향을 미치나요? A: 404 오류는 웹에서 완전히 정상적인 부분입니다. 인터넷은 항상 변화하고, 새로운 콘텐츠가 생성되고, 오래된 콘텐츠가 소멸되는데 콘텐츠가 소멸될 때 404 HTTP 응답 코드를 (이상적으로는) 반환합니다. 검색엔진은 이를 알고 있습니다. 위에서 볼 수 있듯이 사이트에 404 오류가 있으며 웹 전체에서 오류를 찾습니다. 실제로 Google에서는 사이트에서 페이지를 삭제할 때 페이지가 적절한 404 또는 410 응답 코드(soft
404 아님)를 반환하는 것을 선호합니다. 크롤러에서 URL의 HTTP 응답 코드를 보려면 해당 URL을 크롤링할 수 있어야 합니다. robots.txt 파일이 URL을 차단한 경우에는 URL을 크롤링할 수 없으며 응답 코드를 볼 수 없습니다. 사이트의 일부 URL이 더 이상 존재하지 않거나 404 에러를 반환하는 것은 사이트의 다른 URL(200 (Success) 상태 코드를 반환하는 URL)이 검색결과에서 수행되는 방식에는 영향을 미치지 않습니다.
Q: 그렇다면 404 오류는 웹사이트에 전혀 해가 되지 않나요? A: 사이트의 일부 URL이 404인 경우, 이 사실만으로는 Google 검색결과에서 사용자의 웹사이트에 부정적이거나 불리한 영향을 미치지 않습니다. 그러나 특정 유형의 404 오류를 해결해야 하는 다른 이유가 있을 수도 있습니다. 예를 들어 404 페이지 중 일부가 실제로 중요한 페이지라면, Google에서 크롤링할 때 404 오류가 나타나는지 알아봐야 합니다. URL(www.example.com/awesome 대신 www.example.com/awsome)에 오타가 있는 경우 사이트로 연결되는 링크를 의도했으나 단순히 철자를 잘못 입력했을 가능성이 있습니다. 404를 반환하는 대신 오타가 있는 URL을 올바른 URL로 301 리디렉션하고 해당 링크에서 의도한 트래픽을 유도할 수 있습니다. 또한 사용자가 사이트의 404 페이지를 방문했을 때 '찾을 수 없음(404)' 대신 원하는 정보를 찾을 수 있도록 도와야 합니다.
Q: 'soft 404 오류'에 관해 자세히 알려주세요. A: soft 404는 웹 서버에서 존재하지 않는 URL에 대해 404 또는 410 이외의 응답 코드를 반환하는 경우입니다. 일반적인 예를 하나 들어보면, 사이트 소유자는 사용자에게 유용한 정보가 포함된 멋진 404 페이지를 반환하고 싶지만 사용자에게 콘텐츠를 제공하려면 200 응답 코드를 반환해야 한다고 생각합니다. 그렇지 않습니다. 원하는 콘텐츠를 제공함과 동시에404 응답 코드를 반환할 수 있습니다. 알 수 없는 URL에 대해 사이트에서 404 오류를 반환하는 대신 홈페이지로 리디렉션하는 경우도 또 다른 예가 될 수 있습니다. 두 경우 모두 Google에서 사이트를 이해하고 색인을 생성하는 데 부정적인 영향을 미칠 수 있으므로 존재하지 않는 콘텐츠에 대하여 서버에서 적절한 응답 코드를 반환하도록 하는 것이 좋습니다. 페이지에 '404 찾을 수 없음'이라고 표시된다고 해서 반드시 404 HTTP 응답 코드를 반환하는 것은 아닙니다. 웹마스터 도구의 Fetch as Googlebot 기능을 사용해 한 번 더 확인하세요. 올바른 응답 코드를 반환하도록 서버를 구성하는 방법을 모른다면 웹 호스트의 도움말 문서를 참고하세요.
Q: URL이 404, 301, 410 중에서 어느 것에 해당하는지 어떻게 알 수 있나요?
A: 사이트에서 페이지를 삭제할 때는 해당 콘텐츠를 다른 곳으로 이동할지, 아니면 사이트에 해당 유형의 콘텐츠를 더 이상 표시할 계획이 없는지 생각해 보아야 합니다. 콘텐츠를 새 URL로 옮기는 경우 이전 URL을 새 URL로 301 리디렉션해야 합니다. 이렇게 하면 사용자가 해당 콘텐츠를 찾기 위해 이전 URL을 방문하면 사용자가 찾고 있는 내용과 관련된 항목으로 자동 리디렉션됩니다. 해당 콘텐츠를 완전히 없애고 동일한 사용자 요구사항을 충족할 어떠한 콘텐츠도 사이트에 두지 않으려면 이전 URL이 404 또는 410를 표시해야 합니다. 현재 Google은 410 (Gone)을 404 (Not found)와 동일하게 취급하므로 둘 중 무엇을 반환하든 Google에는 중요하지 않습니다.
Q: Search Console에 표시되는 404 오류 중에서 대부분이 사이트에 존재한 적이 없는 bizarro URL과 관련된 오류입니다.
왜 이런 문제가 생기죠? 이유가 무엇인가요? A: Google이 웹 어딘가에서 도메인의 URL로 연결되는 링크를 발견하면 콘텐츠의 실제 존재 여부와 관계없이 링크를 크롤링하려고 할 수 있습니다. 링크가 크롤링되었을 때 콘텐츠가 없는 경우 서버에서 404를 반환해야 합니다. 이러한 링크는 누군가 URL로 이동하려다가 오타를 내거나, 구성이 질못되었을 때(예를 들어 CMS에 의해 링크가 자동 생성된 경우) 발생할 수 있습니다. 또한 Google에서 자바스크립트에 삽입된 링크 또는 다른 삽입된 콘텐츠를 보다 효과적으로 인식하고 크롤링하기 위한 노력을 강화하고 있는데 이로 인해 생긴 부산물일 수도 있고, Google에서 웹마스터님의 서버가 알 수 없는 URL을 어떻게 처리하고 있는지 확인하는 과정에서 깨진 링크가 발생할 수도 있습니다. 웹마스터 도구에 내 사이트에 존재하지 않는 URL의 404 오류가 보고되면 무시해도 됩니다. Google에서는 어떤 URL이 사용자에게 중요한지 또는 404로 간주되어야 하는지를 알 수 없으므로 사이트에서 발견된 모든404 오류를 표시합니다. 표시된 오류를 살펴보면서 주의를 기울여야 하는 오류가 있는지 판단하세요.
Q: 누군가 내 사이트를 스크랩했으며 그 과정에서 404 오류가 많이 발생했습니다. https://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/>와 같이 다른 코드가 추가된 '실제' URL입니다. 사이트에 해가 될까요?
A: 일반적으로 '깨진 링크'는 사이트에 피해를 주지 않습니다. 사이트 소유자가 사이트를 스크래핑하거나 이상한 방식으로 링크를 연결하는 사용자를 거의 또는 전혀 통제할 수 없다는 것을 알고 있습니다. 정규식을 잘 아는 경우에는 이러한 URL을 리디렉션하는 것을 고려할 수 있지만 일반적으로 걱정할 필요가 없습니다. 누군가가 웹사이트의 원본 콘텐츠를 도용하고 있다고 생각되면 게시 중단 요청을 제출할 수도 있습니다.
Q: 지난주에 웹마스터 도구에 보고된 404 오류를 전부 수정했는데도 계정에 계속 표시됩니다. 제가 올바르게 수정하지 않은 걸까요? 이 오류가 사라지는 데 얼마나 걸리나요?
A: 크롤링 오류 페이지의 '감지됨' 열을 확인하세요. 이는 각각의 오류가 감지된 가장 최근 날짜입니다. 이 열의 날짜가 오류를 수정한 시점 이전이라면 해당 날짜 이후에는 이러한 오류가 발생하지 않은 것입니다. 이 날짜가 오류를 수정한 시점보다 최근인 경우 크롤링할 때 이 404 오류가 계속 표시됨을 나타냅니다.
오류를 수정한 다음 Fetch as Googlebot을 사용하여 Google 크롤러에 새 응답 코드가 표시되는지 확인할 수 있습니다.
몇 가지 URL을 테스트하여 정상적으로 표시되는지 확인하세요. 정상적으로 표시되면 크롤링 오류 목록에서 이러한 오류가 곧 사라질 것입니다.
Q: Google URL 삭제 도구를 사용해 계정에서 404 오류가 더 빠르게 사라지게 할 수 있나요?
A: 아니요. URL 삭제 도구는 웹마스터 도구 계정이 아닌 Google 검색결과에서 URL을 삭제합니다. URL 삭제 도구는 긴급 삭제를 요청할 수 있도록 마련된 도구로, URL에서 이미 404를 반환한다면 사용할 필요가 없습니다. 시간이 지남에 따라 URL이 검색결과에서 자연스럽게 삭제되기 때문입니다. 이 블로그 게시물의 하단에서 URL 삭제 도구에서 할 수 있는 작업과 할 수 없는 작업에 관해 자세히 알아보세요.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["필요한 정보가 없음","missingTheInformationINeed","thumb-down"],["너무 복잡함/단계 수가 너무 많음","tooComplicatedTooManySteps","thumb-down"],["오래됨","outOfDate","thumb-down"],["번역 문제","translationIssue","thumb-down"],["샘플/코드 문제","samplesCodeIssue","thumb-down"],["기타","otherDown","thumb-down"]],[],[[["\u003cp\u003e404 errors on your site generally do not negatively impact your site's search ranking in Google.\u003c/p\u003e\n"],["\u003cp\u003eSoft 404 errors, where a page displays a 404 message but returns a success code like 200, can negatively impact your site's indexing and should be addressed.\u003c/p\u003e\n"],["\u003cp\u003eIf you move content to a new URL, implement a 301 redirect to guide users and search engines to the correct location.\u003c/p\u003e\n"],["\u003cp\u003eYou can safely ignore 404 errors for URLs that never existed on your site, as Google might crawl linked URLs regardless of their existence.\u003c/p\u003e\n"],["\u003cp\u003eGoogle's URL removal tool is not designed for removing 404 errors from Webmaster Tools but rather for removing specific URLs from search results.\u003c/p\u003e\n"]]],["`404` errors are normal and don't directly harm a site's search ranking. Ensure old content returns a `404` or `410` code, and redirect misspelled URLs with `301` to capture traffic. Soft `404` errors, where a non-404 code is used for non-existent pages, should be avoided. If content is moved, use `301` redirects; otherwise, use `404` or `410`. Ignore `404` errors for URLs that never existed. Fixing errors can be confirmed using \"Fetch as Googlebot.\" The URL removal tool doesn't affect Webmaster Tools' error reports.\n"],null,["# Do 404 errors hurt my site?\n\nMonday, May 02, 2011\n\n\nSo there you are, minding your own business, using Webmaster Tools to check out how awesome your\nsite is... but, wait! The\n[Crawl errors](https://support.google.com/webmasters/answer/7440203)\npage is full of\n[`404 (Not found)` errors](/search/blog/2008/08/its-404-week-at-webmaster-central)!\n*Is disaster imminent??*\n\n\nFear not, my young padawan. Let's take a look at `404` errors and how they do (or do\nnot) affect your site:\n\n\n**Q: Do the `404` errors reported in Webmaster Tools affect my site's ranking?** \n\nA: `404` errors are a perfectly normal part of the web; the Internet is always\nchanging, new content is born, old content dies, and when it dies it (ideally) returns a\n`404` HTTP response code. Search engines are aware of this; we have `404`\nerrors on our own sites, as you can see above, and we find them all over the web. In fact, we\nactually *prefer* that, when you get rid of a page on your site, you make sure that it\nreturns a proper `404` or `410` response code (rather than a `soft\n404`). Keep in mind that in order for our crawler to see the HTTP response code of a\nURL, it has to be able to crawl that URL---if the URL is blocked by your robots.txt file we won't be\nable to crawl it and see its response code. The fact that some URLs on your site no longer exist or\nreturn `404` errors does not affect how your site's other URLs (the ones that return\n[`200 (Success)`\nstatus codes](https://en.wikipedia.org/wiki/List_of_HTTP_status_codes)) perform in our search results.\n\n\n**Q: So `404` errors don't hurt my website at all?** \n\nA: If some URLs on your site `404`, this fact alone does not hurt you or count against\nyou in Google's search results. However, there may be other reasons that you'd want to address\ncertain types of `404` errors. For example, if some of the pages that\n`404` are pages you actually care about, you should look into why we're seeing\n`404` errors when we crawl them! If you see a misspelling of a legitimate URL\n(www.example.com/awsome instead of www.example.com/awesome), it's likely that someone intended to\nlink to you and simply made a typo. Instead of returning a `404`, you could\n`301` redirect the misspelled URL to the correct URL and capture the intended traffic\nfrom that link. You can also make sure that, when users do land on a `404` page on\nyour site, you\n[help them find what they were looking for](/search/docs/crawling-indexing/http-network-errors#pagegone)\nrather than just saying \"`404` Not found.\"\n\n\n**Q: Tell me more about \"`soft 404` errors.\"** \n\nA: A\n[`soft 404`](/search/docs/crawling-indexing/http-network-errors#soft-404-errors)\nis when a web server returns a response code other than `404` (or `410`) for\na URL that doesn't exist. A common example is when a site owner wants to return\n[a pretty `404` page with helpful information for their users](/search/blog/2008/08/make-your-404-pages-more-useful),\nand thinks that in order to serve content to users, they have to return a `200`\nresponse code. Not so! You can return a `404` response code *while* serving\nwhatever content you want. Another example is when a site redirects any unknown URLs to their\nhome page instead of returning `404` errors. Both of these cases can have negative\neffects on our understanding and indexing of your site, so we recommend making sure your server\nreturns the proper response codes for nonexistent content. Keep in mind that *just because a\npage **says** \"`404` Not Found,\" doesn't mean it's actually returning a\n`404` HTTP response code* ---use the\n[Fetch as Googlebot](https://www.google.com/support/webmasters/bin/answer.py?answer=158587)\nfeature in Webmaster Tools to double-check. If you don't know how to configure your server to\nreturn the right response codes, check out your web host's help documentation.\n\n\n**Q: How do I know whether a URL should `404`, or `301`, or\n`410`?** \n\nA: When you remove a page from your site, think about whether that content is moving somewhere\nelse, or whether you no longer plan to have that type of content on your site. If you're moving\nthat content to a new URL, you should `301` redirect the old URL to the new URL---that\nway when users come to the old URL looking for that content, they'll be automatically redirected\nto something relevant to what they were looking for. If you're getting rid of that content\nentirely and don't have anything on your site that would fill the same user need, then the old URL\nshould return a `404` or `410`. Currently Google treats\n`410 (Gone)` the same as `404 (Not found)`, so it's immaterial to us whether\nyou return one or the other.\n\n\n**Q: Most of my `404` errors are for bizarro URLs that never existed on my site.\nWhat's up with that? Where did they come from?** \n\nA: If Google finds a link somewhere on the web that points to a URL on your domain, it may try to\ncrawl that link, whether any content actually exists there or not; and when it does, your server\n*should* return a `404` if there's nothing there to find. These links could be\ncaused by someone making a typo when linking to you, some type of misconfiguration (if the links\nare automatically generated, for example, by a CMS), or by Google's increased efforts to recognize\nand crawl links embedded in JavaScript or other embedded content; or they may be part of a quick\ncheck from our side to see how your server handles unknown URLs, to name just a few. If you see\n`404` errors reported in Webmaster Tools for URLs that don't exist on your site, you\ncan safely ignore them. We don't know which URLs are important to you vs. which are supposed to\n`404`, so we show you *all* the `404` errors we found on your site and\nlet you decide which, if any, require your attention.\n\n\n**Q: Someone has scraped my site and caused a bunch of `404` errors in the\nprocess. They're all \"real\" URLs with other code tacked on, like\n`https://www.example.com/images/kittens.jpg\" width=\"100\" height=\"300\" alt=\"kittens\"/\u003e`\nWill this hurt my site?** \n\nA: Generally you don't need to worry about \"broken links\" like this hurting your site. We\nunderstand that site owners have little to no control over people who scrape their site, or who\nlink to them in strange ways. If you're a whiz with the\n[regex](https://www.google.com/search?q=define:regex),\nyou could consider\n[redirecting these URLs](/search/docs/crawling-indexing/301-redirects), but generally\nit's not worth worrying about. Remember that you can also file a\n[takedown request](https://www.google.com/dmca)\nwhen you believe someone is stealing original content from your website.\n\n\n**Q: Last week I fixed all the `404` errors that Webmaster Tools reported, but\nthey're still listed in my account. Does this mean I didn't fix them correctly? How long will it\ntake for them to disappear?** \n\nA: Take a look at the 'Detected' column on the Crawl errors page---this is the most recent date on\nwhich we detected each error. If the date(s) in that column are from before the time you fixed the\nerrors, that means we haven't encountered these errors since that date. If the dates are more\nrecent, it means we're continuing to see these `404` errors when we crawl.\n\n\nAfter implementing a fix, you can check whether our crawler is seeing the new response code by\nusing\n[Fetch as Googlebot](https://www.google.com/support/webmasters/bin/answer.py?answer=158587).\nTest a few URLs and, if they look good, these errors should soon start to disappear from your\nlist of Crawl errors.\n\n\n**Q: Can I use Google's URL removal tool to make `404` errors disappear from my\naccount faster?**\n\n\nA: No; the URL removal tool removes URLs from Google's search results, not from your Webmaster\nTools account. It's designed for urgent removal requests only, and using it isn't necessary when a\nURL already returns a `404`, as such a URL will drop out of our search results\nnaturally over time. See the bottom half of\n[this blog post](/search/blog/2010/05/url-removal-explained-part-iv-tracking)\nfor more details on what the URL removal tool can and can't do for you.\n\n\nStill want to know more about `404` errors? Check out\n[`404` week](/s/results/search/blog?q=%22404+week%22) from our blog, or drop\nby our\n[Webmaster Help Forum](https://support.google.com/webmasters/community).\n\n\nPosted by\n[Susan Moskwa](/search/blog/authors/susan-moskwa),\nWebmaster Trends Analyst"]]
