robots.txt 簡介

robots.txt 檔案能夠告訴搜尋引擎檢索器，可存取網站上的哪些網址。 這個檔案主要用來避免網站因要求過多而超載，而不是讓特定網頁無法出現在 Google 搜尋結果。如要防止自己的網頁出現在搜尋結果，請使用 noindex 指令，或使用密碼保護網頁。

robots.txt 檔案的用途是什麼？

robots.txt 檔案主要用於管理檢索器對您網站造成的流量；取決於以下檔案類型，「通常」可以讓 Google 搜尋結果不顯示特定檔案：

robots.txt 對不同檔案類型產生的影響
網頁

如果您認為 Google 檢索器提出的要求會讓伺服器不堪負荷，或者想避免 Google 檢索網站上不重要或類似的網頁，可以使用 robots.txt 檔案管理網頁的檢索流量，適用的網頁類型包括 HTML、PDF 或其他 Google 可讀取的非媒體格式。

如果您透過 robots.txt 檔案禁止網頁出現在搜尋結果中，搜尋結果仍會顯示該網頁的網址，但不會提供網頁說明。在這種情況下，系統也會排除遭封鎖網頁中嵌入的圖片檔、影片檔案、PDF 和其他非 HTML 檔案，除非其他允許檢索的網頁參照這些檔案。如果不想讓搜尋結果以這種方式顯示您的網頁，請移除封鎖該網頁的 robots.txt 項目來加以修正。如果想在搜尋結果中完全隱藏您的網頁結果，請採用其他方法。

媒體檔案

您可以使用 robots.txt 管理檢索流量，並防止圖片、影片和音訊檔案出現在 Google 搜尋結果中。不過，這麼做無法防止其他網頁或使用者連結至您的圖片、影片或音訊檔案。
資源檔案 如果您認為在載入網頁時略過不重要的圖片、指令碼或樣式檔案等資源，並不會造成太大的影響，那麼可以使用 robots.txt 檔案來封鎖這些資源檔案。但如果缺少這些資源會造成 Google 檢索器難以瞭解網頁內容，請不要封鎖這些資源，否則 Google 會無法正確分析仰賴這些資源的網頁。

瞭解 robots.txt 檔案的限制

建立或編輯 robots.txt 檔案之前，請務必瞭解這個網址封鎖方式的限制。您可以視目標和狀況而改用其他機制，確保無人能透過網路搜尋到您的網址。

  • 並非所有搜尋引擎都能支援 robots.txt 規則。
    robots.txt 檔案中的指示無法強制規範檢索器對網站所採取的行為，檢索器能夠決定是否遵循這些指示。雖然 Googlebot 和一些值得信任的網路檢索器都會遵循 robots.txt 檔案中的指示，但並非每個檢索器都是如此。因此，如要確保特定資訊不會受到網路檢索器存取，建議您使用其他封鎖方式，例如使用密碼保護伺服器上的私人檔案。
  • 各種檢索器解讀語法的方式有所不同。
    雖然值得信任的網路檢索器都會遵循 robots.txt 檔案中的規則，但各個檢索器解讀規則的方式可能有所不同。有些網路檢索器可能無法理解特定指示，因此請對不同網路檢索器採用合適的語法。
  • 如果其他網站連結到 robots.txt 所封鎖的網頁，系統仍然可以為該網頁建立索引。
    雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引，但如果我們透過網路上其他網頁的連結發現封鎖的網址，仍然會建立這些網址的索引。在這種情況下，網頁網址或者網頁連結中的錨定文字這類公開資訊，仍會顯示在 Google 搜尋結果中。如要完全避免這種情形，建議您使用密碼保護伺服器上的檔案、使用 noindex meta 標記或回應標頭，或是完全移除網頁。

建立或更新 robots.txt 檔案

如果您決定使用 robots.txt 檔案，請參閱這篇文章，瞭解如何建立 robots.txt 檔案。或者，如果您已經具有該檔案，也可以瞭解如何更新。

如需更多資訊，歡迎查看以下資源：