更新 robots.txt 檔案
如要更新現有 robots.txt 檔案中的規則,請從您的網站下載 robots.txt 檔案副本,並進行必要編輯。
下載 robots.txt 檔案
您可以透過多種方式下載 robots.txt 檔案,例如:
-
前往 robots.txt 檔案 (例如
https://example.com/robots.txt
),並將其中內容複製到電腦上的新文字檔中。建立新的本機檔案時,請務必遵循檔案格式相關規範。 -
使用 cURL 等工具下載 robots.txt 檔案的實際副本,例如:
curl https://example.com/robots.txt -o robots.txt
-
使用 Search Console 中的 [robots.txt 測試工具] 下載 robots.txt 檔案副本。
- 按一下 robots.txt 編輯器右下角的 [提交],開啟 [提交] 對話方塊。
- 在 [robots.txt 測試工具] 頁面中,按一下 [提交] 對話方塊中的 [下載],即可下載 robots.txt 程式碼。
編輯 robots.txt 檔案
使用文字編輯器開啟您從網站下載的 robots.txt 檔案,並對規則進行所需編輯。請務必使用正確的語法,並以 UTF-8 編碼儲存檔案。
上傳 robots.txt 檔案
將新的 robots.txt 檔案上傳到網域根目錄,該檔案必須是名為 robots.txt 的文字檔。 視平台和伺服器種類,上傳檔案到網站的方式各有不同。如需相關協助,請參閱將 robots.txt 檔案上傳到網站的提示說明。
重新整理 Google 的 robots.txt 快取
在自動檢索程序中,Google 檢索器會注意到您對 robots.txt 檔案所做的變更,且每 24 小時就會更新快取版本。如果您需要盡早更新快取,請使用 [robots.txt 測試工具] 的 [提交] 功能。
- 按一下 [查看上傳的版本],確認現行的 robots.txt 是您希望 Google 檢索的版本。
- 按一下 [提交],告知 Google 您的 robots.txt 檔案已經變更,並要求 Google 進行檢索。
- 如要檢查 Google 是否已成功檢索最新版的 robots.txt,請在瀏覽器中重新整理該頁面以更新工具的編輯器;如此一來就能查看 robots.txt 的即時程式碼。重新整理頁面後,您也可以點選下拉式清單,查看 Google 首次看到最新版 robots.txt 檔案時的時間戳記。