本頁面由 Cloud Translation API 翻譯而成。

部署 Norconex HTTP 收集器索引工具外掛程式

本指南適用於 Google Cloud Search Norconex HTTP 收集器索引外掛程式管理員，也就是負責下載、部署、設定及維護索引器外掛程式的人員。本指南假設您熟悉 Linux 作業系統、網頁檢索、XML 和 Norconex HTTP 收集器的基礎知識。

本指南說明如何執行與索引工具外掛程式部署相關的重要工作：

下載索引器外掛程式軟體
設定 Google Cloud Search
設定 Norconex HTTP 收集器和網頁檢索
開始網頁檢索並上傳內容

Google Workspace 管理員必須執行的工作相關資訊，才能將 Google Cloud Search 對應至 Norconex HTTP 收集器索引外掛程式。如要瞭解這些工作，請參閱「管理第三方資料來源」。

Cloud Search Norconex HTTP 收集器索引外掛程式總覽

根據預設，Cloud Search 可以探索 Google Workspace 產品 (例如 Google 文件和 Gmail) 中的內容，並為其建立索引。您可以為 Norconex HTTP Collector (開放原始碼企業網路檢索器) 部署索引器外掛程式，藉此擴大 Google Cloud Search 的涵蓋範圍，為使用者提供網路內容。

設定屬性檔案

如要讓索引器外掛程式執行網路檢索，並將內容上傳至 indexing API，您必須以索引器外掛程式管理員，在本文所述的部署步驟設定步驟期間，提供特定資訊。

如要使用索引器外掛程式，您必須在兩個設定檔中設定屬性：

{gcs-crawl-config.xml}：包含 Norconex HTTP 收集器的設定。
sdk-configuration.properties：包含 Google Cloud Search 設定。

每個檔案中的屬性可讓 Google Cloud Search 索引器外掛程式和 Norconex HTTP 收集器相互通訊。

網頁檢索和內容上傳

填入設定檔後，備妥啟動網路檢索的必要設定。Norconex HTTP 收集器會檢索網路，探索與其設定相關的文件內容，並將文件內容的原始二進位檔版本 (或文字) 版本上傳至 Cloud Search 索引 API，供系統建立索引，最終提供給使用者。

支援的作業系統

Google Cloud Search Norconex HTTP 收集器索引器外掛程式必須安裝在 Linux 上。

支援的 Norconex HTTP 收集器版本

Google Cloud Search Norconex HTTP 收集器索引外掛程式支援 2.8.0 版。

ACL 支援

索引器外掛程式支援使用存取控制清單 (ACL)，控管 Google Workspace 網域中的文件存取權。

如果 Google Cloud Search 外掛程式設定中的預設 ACL 已啟用 (將 defaultAcl.mode 設為 none 以外的設定，並以 defaultAcl.* 設定)，索引器外掛程式會先嘗試建立和套用預設 ACL。

如未啟用預設 ACL，外掛程式會改回將讀取權限授予整個 Google Workspace 網域。

如需 ACL 設定參數的詳細說明，請參閱 Google 提供的連接器參數。

先備知識

部署索引器外掛程式之前，請確認具備下列必要元件：

在執行索引器外掛程式的電腦上安裝 Java JRE 1.8
在 Cloud Search 與 Norconex HTTP 收集器之間建立關係所需的 Google Workspace 資訊：
- Google Workspace 私密金鑰 (包含服務帳戶 ID)
- Google Workspace 資料來源 ID
一般來說，網域的 Google Workspace 管理員可為您提供這些憑證。

部署步驟

如要部署索引器外掛程式，請按照下列步驟操作：

安裝 Norconex HTTP 收集器和索引外掛程式外掛程式軟體
設定 Google Cloud Search
設定 Norconex HTTP 收集器
設定網頁檢索
開始網頁檢索和上傳內容

步驟 1：安裝 Norconex HTTP 收集器和索引外掛程式外掛程式軟體

前往這個頁面下載 Norconex 修訂者軟體。
將已下載的軟體解壓縮至 ~/norconex/ 資料夾
從 GitHub 複製修訂版本外掛程式外掛程式。git clone https://github.com/google-cloudsearch/norconex-committer-plugin.git，之後是 cd norconex-committer-plugin
查看需要的修訂器外掛程式版本，並建構 ZIP 檔案：git checkout tags/v1-0.0.3 和 mvn package (如要在建構連接器時略過測試，請使用 mvn package -DskipTests)。
cd target
將已建構的外掛程式 jar 檔案複製到 norconex lib 目錄。cp google-cloudsearch-norconex-committer-plugin-v1-0.0.3.jar ~/norconex/norconex-collector-http-{version}/lib
請解壓縮剛建立的 ZIP 檔案，然後將檔案解壓縮：unzip google-cloudsearch-norconex-committer-plugin-v1-0.0.3.zip
執行安裝指令碼，將外掛程式的 .jar 和所有必要程式庫複製到 http 收集器的目錄：
1. 變更為在上方解壓縮的修訂版本工具外掛程式：cd google-cloudsearch-norconex-committer-plugin-v1-0.0.3
2. 執行 $ sh install.sh，並在系統提示時提供 norconex/norconex-collector-http-{version}/lib 的「完整路徑」做為目標目錄。
3. 如果發現重複的 jar 檔案，請選取 1 選項 (只有在重新命名目標 Jar 後，才複製來源 Jar，或是與目標 Jar 相同的版本)。

步驟 2：設定 Google Cloud Search

為了讓索引器外掛程式連線至 Norconex HTTP 收集器，並為相關內容建立索引，您必須在安裝 Norconex HTTP Collector 的 Norconex 目錄中建立 Cloud Search 設定檔。Google 建議您將 Cloud Search 設定檔命名為 sdk-configuration.properties。

這個設定檔必須包含定義參數的鍵/值組合。設定檔至少須指定下列參數，這是存取 Cloud Search 資料來源的必要參數。

設定	參數
資料來源 ID	`api.sourceId = 1234567890abcdef` 這是必要欄位。Google Workspace 管理員設定的 Cloud Search 來源 ID。
服務帳戶	`api.serviceAccountPrivateKeyFile = ./PrivateKey.json` 這是必要欄位。Google Workspace 管理員為了存取索引外掛程式而建立的 Cloud Search 服務帳戶金鑰檔案。

以下範例顯示的是 sdk-configuration.properties 檔案。

#
# data source access
api.sourceId=1234567890abcdef
api.serviceAccountPrivateKeyFile=./PrivateKey.json
#

設定檔也可以包含 Google 提供的設定參數。這些參數會影響這個外掛程式將資料推送至 Google Cloud Search API 的方式。例如，batch.* 參數集可以識別連接器如何合併要求。

如果您未在設定檔中定義參數，系統就會使用預設值 (如果有的話)。如需每個參數的詳細說明，請參閱 Google 提供的連接器參數。

您可以設定索引器外掛程式，為要建立索引的內容填入中繼資料和結構化資料。要填入中繼資料和結構化資料欄位的值，可以從索引的 HTML 內容中繼標記擷取，或在設定檔中指定預設值。

設定	參數
標題	`itemMetadata.title.field=movieTitle` `itemMetadata.title.defaultValue=Gone with the Wind` 根據預設，外掛程式會使用 `HTML title` 做為要建立索引的文件標題。如果缺少標題，您可以參照中繼資料屬性，其中包含文件標題對應的值，或是設定預設值。
建立時間戳記	`itemMetadata.createTime.field=releaseDate` `itemMetadata.createTime.defaultValue=1940-01-17` 中繼資料屬性，其中包含文件建立時間戳記的值。
上次修改時間	`itemMetadata.updateTime.field=releaseDate` `itemMetadata.updateTime.defaultValue=1940-01-17` 中繼資料屬性，包含文件上次修改時間戳記的值。
文件語言	`itemMetadata.contentLanguage.field=languageCode` `itemMetadata.contentLanguage.defaultValue=en-US` 編入索引文件的內容語言。
結構定義物件類型	`itemMetadata.objectType=movie` 網站使用的物件類型，如資料來源結構定義物件定義中所述。如未指定這項屬性，連接器就不會為任何結構化資料建立索引。注意：這個設定屬性指向的值而非中繼資料屬性，且不支援 `.field` 和 `.defaultValue` 後置字串。

日期時間格式

日期時間格式可指定中繼資料屬性中預期的格式。如果設定檔不含這個參數，則會使用預設值。下表顯示此參數。

設定

參數

其他日期時間模式

structuredData.dateTimePatterns=MM/dd/uuuu HH:mm:ssXXX

其他 java.time.format.DateTimeFormatter 模式的分號分隔清單。剖析中繼資料或結構定義中任何日期或日期時間欄位的字串值時，會使用這些模式。預設值為空白清單，但一律支援 RFC 3339 和 RFC 1123 格式。

步驟 3：設定 Norconex HTTP 收集器

ZIP 封存檔 norconex-committer-google-cloud-search-{version}.zip 包含範例設定檔 minimum-config.xml。

Google 建議您先複製範例檔案，開始進行設定：

變更為 Norconex HTTP 收集器目錄：
$ cd ~/norconex/norconex-collector-http-{version}/
複製設定檔：
$ cp examples/minimum/minimum-config.xml gcs-crawl-config.xml
請編輯新建立的檔案 (在此範例中為 gcs-crawl-config.xml)，並新增或取代現有的 <committer> 和 <tagger> 節點，如下表所述。

設定	參數
`<committer> node`	`<committer class="com.norconex.committer.googlecloudsearch. GoogleCloudSearchCommitter">` 必填。如要啟用外掛程式，您必須將 `<committer>` 節點新增為根 `<httpcollector>` 節點的子項。
`<UploadFormat>`	`<uploadFormat>raw</uploadFormat>` 選用。索引外掛程式外掛程式將文件內容推送至 Google Cloud Search 索引器 API 的格式。有效值如下： `raw`：索引外掛程式會推送未轉換的原始文件內容。 `text`：索引外掛程式會推送擷取的文字內容。預設值為 `raw`。
`BinaryContent Tagger <tagger> node`	`<tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/>` 如果 `<UploadFormat>` 的值為 `raw`，則為必要欄位。在此情況下，索引外掛程式外掛程式需要文件的二進位內容欄位才可供使用。您必須將 `BinaryContentTagger <tagger>` 節點新增為 `<importer> / <preParseHandlers>` 節點的子項元素。

以下範例顯示必須修改為 gcs-crawl-config.xml。

<committer class="com.norconex.committer.googlecloudsearch.GoogleCloudSearchCommitter">
    <configFilePath>/full/path/to/gcs-sdk-config.properties</configFilePath>
    
    <uploadFormat>raw</uploadFormat>
</committer>
<importer>
  <preParseHandlers>
    <tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/>
  </preParseHandlers>
</importer>

步驟 4：設定網頁檢索

啟動網路檢索之前，您必須先設定檢索，讓檢索只包含貴機構希望在搜尋結果中顯示的資訊。網頁檢索最重要的設定是 <crawler> 節點的一部分，可能包括：

起始網址
檢索深度上限
執行緒數量

您可以根據需求變更這些設定值。如要進一步瞭解如何設定網頁檢索，以及完整的可用設定參數清單，請參閱 HTTP 收集器的「Configuration」(設定) 頁面。

步驟 5：開始檢索網頁並上傳內容

安裝並設定索引器外掛程式後，即可在本機模式中自行執行。

以下範例假設必要元件位於 Linux 系統的本機目錄中。請執行下列指令：

$ ./collector-http[.bat|.sh] -a start -c gcs-crawl-config.xml

使用 JEF Monitor 監控檢索器

Norconex JEF (工作執行架構) 監控是一項圖形工具，可用來監控 Norconex Web Crawler (HTTP 收集器) 處理程序和工作的進度。如需設定這個公用程式的完整教學課程，請參閱「使用 JEF Monitor 監控檢索器進度」一文。