SEO的建议:URL标准化

2007年11月9日星期五

译自: Matt Cutts博客

(译者按: Matt Cutts, 谷歌反网络作弊组的带头人, 于2006年1月4日在他的个人博客上发表了" SEO advice: url canonicalization "一文。尽管已快两年了,Google也为网站管理员提供了 站长工具 ,我们发现对很多站长来说该文仍是一篇很好的SEO文章。)


在我开始收集关于Bigdaddy数据中心的反馈之前,我想简略地谈一谈有关标准化、“www相对于非www”、重新定向、重复URLs、302“劫持”等问题的看法,这样我们的讨论才有共同的基础。

问:什么是一个标准化URL?为什么要用这么一个奇怪的字眼?
答:很抱歉,这是一个奇怪的词汇;这是谷歌内部对它的称呼。标准化是一个在若干选项中选取最佳URL的过程,这里通常是指主页。例如,多数人会将下列URL看作相同性质的:

* www.example.com
* example.com/
* www.example.com/index.html
* example.com/home.asp

但是从技术角度看,这些URL都是互不相同的。对于上述URLs,Web服务器会返回完全不同的内容。当谷歌“标准化”特定的URL时,我们试图从一整套同类URL中选出看起来最具代表性的一个。

问:那么我如何能确保谷歌能挑选出我所想要的URL?
答:挑选出你想要的URL,并且在此后一直使用这个URL访问特定网站,这是很有帮助的。例如,不要让同一个输入的链接一半指向https://example.com/而另一半则指向https://www.example.com/ 。相反,挑选一个你喜欢的URL,并且在你的内部链接中总是使用这个格式。
(译者注:现在你可以使用 站长工具 来通过“控制台 > 工具 > 设置首选域名”)。

问:除此之外,我还能做什么?
答:比如,如果你希望你的默认URL为https://www.example.com/。那么,你可以设置你的web服务器,这样如果有人请求https://example.com/,它就会产生一个301的(永久性)重新定向,链接到https://www.example.com/。这样可以帮助谷歌了解到你希望将哪个URL作为自己的标准。如果您的网站常有变更(例如动态内容和博客等),那么加入一个301重新定向可能更便于搜索引擎的定位和捕获。

问:如果我希望去掉domain.com,但希望保留www.domain.com,我是否应该使用URL清除工具来删除这个域名?
答:不要,绝对不要这样做。对于任何一个www域名,或非www 域名,一旦删除其结果可能导致该域名在未来六个月内无法恢复。绝对不要这样做。如果你本想使用URL清除工具删除www域名或者非www域名,但实际上却删除了你所有的域名,请发送一个 重新收录请求 ,并声明你用URL清除工具不小心删除了整个域名,现在要求重新收录。

问:我注意到,你自己并没有使用301重新定向将你的站点从非www版本转向www版本,为何没有这样做?
答:实际上我是故意这样做的。我几个月之前就注意到了这一点,但决定不自行调整,或者请求谷歌员工帮我搞定它。我或许最终会加入一个301,但至少到目前为止,它还是一个有帮助的实验案例。

问: 那么在讨论“www与非www”时,你也认为这是一种标准化的类型吗?还有没有别的方法能实现URL的标准化?
答:确实还有很多方法,但是多数人不会也无需注意到这些。搜索引擎能够自动完成诸如保留或者删除末尾的斜杠、将URL从大写格式转换为小写格式,或者将session ID从BBS或其他软件上删除等任务(即使你省略了session ID,许多BBS依然能够正常运行)。

问:让我们谈谈"inurl:"操作符。为何每个人都认为如果inurl:mydomain.com显示出某些并非来自mydomain.com的结果,那么他一定是被人劫持了?
答:早先,如果你看到someresult.com/search2.php?url=mydomain.com,有时候其中会包含来自mydomain的内容。如果someresult.com url是一个指向mydomain.com的302重新定向,而我们决定显示一个来自someresult.com的结果,就会产生这种情况。从那以后,我们已经改变了我们的启发方式,大大降低了302重新定向源URL的显示几率。我们逐渐采纳了一个用于处理重新定向的框架,它几乎总是显示目的地URL。雅虎通常采用显示目的地URL的方式来处理302重新定向,而我们正处于逐步过渡到一套类似启发方式的过程中。请注意,雅虎保留了在重新定向的过程中处理所出现的例外的权力,而谷歌也会这样做。根据我们的分析,我们将在302重新定向过程中显示URL源的总概率不到0.5%(基本上,当我们有足够的理由相信URL源正确无误时才会显示)。

问:那么,补充材料又如何呢?补充材料是否会招致谷歌的惩罚?
答:不会。
(译者注:补充材料已成为历史。请阅读 补充材料转为主流 一文)。

问:在补充性结果中有我的一些网页,但这些网页已经很老旧了。我该怎么办?
答:如果换了我,就不会在这方面花太多的精力。如果网页已经删除,我会确保有一个301重新定向,指向新网页的位置。如果的确彻底消失了,我会确保服务器返回一个关于这些网页的404错误信息。此后,我不会再花费任何精力。当谷歌最终重新抓取那些网页时,就会发现其中的变化。但是由于我们自己爬取补充性结果的时间间隔要长一些,所以你可能在一段时间内看不到更新。

目前我能想到的只有这些。很快,我会更详细地谈论一些关于302和inurl:的范例,帮助大家更具体地理解这个问题。