このページは Cloud Translation API によって翻訳されました。

Apache Nutch インデクサプラグインのデプロイ

Google Cloud Search を設定し、ユーザーにウェブコンテンツを提供するには、オープンソースのウェブクローラーである Apache Nutch 用の Google Cloud Search インデクサプラグインをデプロイします。

ウェブクロールを開始すると、Apache Nutch はウェブをクロールし、インデクサプラグインを使用してドキュメントコンテンツの元のバイナリ（またはテキスト）バージョンを Google Cloud Search Indexing API にアップロードします。Indexing API は、コンテンツをインデックスに登録し、その結果をユーザーに表示します。

重要な考慮事項

システム要件

システム要件
オペレーティングシステム	Linux のみ: Ubuntu Red Hat Enterprise Linux 5.0 SUSE Enterprise Linux 10（64 ビット）
ソフトウェア	Apache Nutch バージョン 1.15。インデクサプラグインソフトウェアには、このバージョンの Nutch が含まれています。インデクサプラグインを実行するコンピュータに Java JRE 1.8 がインストールされていること
Apache Tika ドキュメントタイプ	Apache Tika 1.18 でサポートされているドキュメント形式

インデクサプラグインをデプロイする

次の手順では、インデクサプラグインをインストールし、指定された URL をクロールして結果を Cloud Search に返すようにそのコンポーネントを構成する方法について説明します。

前提条件

Cloud Search Apache Nutch インデクサプラグインをデプロイする前に、Google Cloud Search とデータソースの接続に必要な情報を収集します。

Google Workspace の秘密鍵（サービスアカウント ID を含む）。秘密鍵を取得する方法については、 Google Cloud Search API へのアクセスを構成するをご覧ください。
Google Workspace データソースの ID。データソース ID を取得する方法については、検索対象のデータソースを追加するをご覧ください。

ステップ 1: プラグインソフトウェアと Apache Nutch をビルドしてインストールする

GitHub からインデクサプラグインリポジトリのクローンを作成します。

$ git clone https://github.com/google-cloudsearch/apache-nutch-indexer-plugin.git
$ cd apache-nutch-indexer-plugin

必要なバージョンのインデクサプラグインを確認します。

$ git checkout tags/v1-0.0.5

インデクサプラグインをビルドする。

$ mvn package

インデクサプラグインをビルドするときにテストをスキップするには、mvn package -DskipTests を使用します。

Apache Nutch 1.15 をダウンロードし、Apache Nutch のインストール手順に沿って操作します。
手順 2 で作成した target/google-cloudsearch-apache-nutch-indexer-plugin-v1.0.0.5.zip をフォルダに抽出します。plugins/indexer-google-cloudsearch フォルダを Apache Nutch インストールプラグインフォルダ（apache-nutch-1.15/plugins）にコピーします。

ステップ 2: インデクサプラグインを構成する

Apache Nutch インデクサプラグインを構成するには、plugin-configuration.properties というファイルを作成します。

構成ファイルでは、Google Cloud Search データソースにアクセスするために必要な次のパラメータを指定する必要があります。

設定	パラメータ
データソースの ID	`api.sourceId = 1234567890abcdef` 必須。Google Workspace 管理者がインデクサプラグイン用に設定した Google Cloud Search ソースの ID。
サービスアカウント	`api.serviceAccountPrivateKeyFile = ./PrivateKey.json` 必須。インデクサプラグインのアクセシビリティを確保するために Google Workspace 管理者が作成した Google Cloud Search サービスアカウントキーファイル。

次の例は、必須パラメータを含む構成ファイルの例を示しています。

#
# data source access
api.sourceId=1234567890abcdef
api.serviceAccountPrivateKeyFile=./PrivateKey.json
#

構成ファイルには、インデクサプラグインの動作を制御する他のパラメータを含めることもできます。プラグインが Cloud Search API（defaultAcl.* と batch.*）にデータを push する方法を構成できます。インデクサプラグインがメタデータと構造化データを入力する方法を構成することもできます。

これらのパラメータの説明については、Google 提供のコネクタパラメータをご覧ください。

ステップ 3: Apache Nutch を構成する

conf/nutch-site.xml を開き、次のパラメータを追加します。

設定パラメータ

プラグインに含まれるもの

plugin.includes = text

必須。使用するプラグインのリスト。少なくとも次の要素を含める必要があります。

index-basic
index-more
indexer-google-cloudsearch

conf/nutch-default.xml では、このプロパティのデフォルト値が提供されますが、手動で indexer-google-cloudsearch も追加する必要があります。

メタタグ名

metatags.names = text

省略可。対応するデータソースのスキーマのプロパティにマッピングされるタグのカンマ区切りのリスト。メタタグ用に Apache Nutch を設定する方法については、Nutch のメタタグを解析するをご覧ください。

次の例は、nutch-site.xml に必要な変更を示しています。

<property>
  <name>plugin.includes</name>
  <value>protocol-(http|httpclient)|urlfilter-regex|index-(basic|more| metadata)|query-(basic|site|url|lang)|indexer-google-cloudsearch|nutch-extensionpoints|parse-(text|html|msexcel|msword|mspowerpoint|pdf|metatags)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)|parse-(html|tika|metatags)|index-(basic|anchor|more|metadata)</value>
</property>

conf/index-writers.xml を開き、次のセクションを追加します。

<writer id="indexer_google_cloud_search_1" class="org.apache.nutch.indexwriter.gcs.GoogleCloudSearchIndexWriter">
  <parameters>
    <param name="gcs.config.file" value="path/to/sdk-configuration.properties"/>
  </parameters>
  <mapping>
    <copy />
    <rename />
    <remove />
  </mapping>
</writer>

<writer> セクションには、次のパラメータが含まれています。

設定パラメータ

Google Cloud Search 構成ファイルのパス

gcs.config.file = path

必須。Google Cloud Search 構成ファイルのフル（絶対）パス。

アップロード形式

gcs.uploadFormat = text

省略可。インデクサプラグインがドキュメントコンテンツを Google Cloud Search インデクサ API に push する形式。指定できる値は次のとおりです。

raw: インデクサプラグインは、変換されていない元のドキュメントコンテンツを push します。
text: インデクサプラグインは、抽出されたテキストコンテンツを push します。デフォルト値は raw です。

ステップ 4: ウェブクロールを設定する

ウェブクロールを開始する前に、組織が検索結果に表示させたい情報のみが含まれるようにクロールを構成します。このセクションでは、概要を説明します。ウェブクロールの設定方法について詳しくは、Nutch のチュートリアルをご覧ください。

開始 URL を設定します。

開始 URL では、Apache Nutch ウェブクローラがコンテンツのクロールを開始する場所を制御します。開始 URL は、ウェブクローラーがリンクをたどって特定のクロールに含めるすべてのコンテンツにアクセスできるようにします。開始 URL は必須です。

開始 URL を設定するには:
1. 作業ディレクトリを nutch インストールディレクトリに変更します。
```
$ cd ~/nutch/apache-nutch-X.Y/
```
2. URL 用のディレクトリを作成します。
```
$ mkdir urls
```
3. seed.txt という名前のファイルを作成し、URL を 1 行に 1 つずつ入力してください。
「従う」ルールと「従わない」ルールを設定する。

「URL をフォロー」ルールは、どの URL をクロールして Google Cloud Search インデックスに含めるかを管理します。ウェブクローラーは、URL を次の URL ルールに照らしてチェックします。これらのルールに適合した URL のみがクロールされて、インデックスに登録されます。

「従わない」ルールでは、URL をクロールの対象から Google Cloud Search インデックスから除外します。クロールしないパターンが URL に含まれている場合、ウェブクローラはその URL をクロールしません。

「対象にする URL」ルールと「除外する URL」ルールを設定するには:
1. 作業ディレクトリを nutch インストールディレクトリに変更します。
```
$ cd ~/nutch/apache-nutch-X.Y/
```
2. 「従う/従わない」ルールを変更するには conf/regex-urlfilter.txt を編集します: \
```
$ nano conf/regex-urlfilter.txt
```
3. 次の例に示すように、URL パターンと拡張子の後に「+」または「-」を付けて正規表現を入力します。自由形式の式は使用できます。
```
# skip file extensions
-\.(gif|GIF|jpg|JPG|png|PNG|ico)

# skip protocols (file: ftp: and mailto:)
    -^(file|ftp|mailto):

# allow urls starting with https://support.google.com/gsa/
+^https://support.google.com/gsa/

# accept anything else
# (commented out due to the single url-prefix allowed above)
#+.
```
クロールスクリプトを編集します。

gcs.uploadFormat パラメータが指定されていないか、「raw」に設定されている場合は、nutch index コマンドに渡す「-addBinaryContent -base64」引数を追加する必要があります。これらの引数により、Nutch Indexer モジュールは、インデクサプラグインを呼び出すときにバイナリコンテンツを Base64 に含めるように指示します。./bin/crawl スクリプトには、これらの引数がデフォルトでありません。
1. apache-nutch-1.15/bin で crawl スクリプトを開きます。
2. 次の例のように、-addBinaryContent -base64 オプションをスクリプトに追加します。
```
      if $INDEXFLAG; then
          echo "Indexing $SEGMENT to index"
          __bin_nutch index $JAVA_PROPERTIES "$CRAWL_PATH"/crawldb -addBinaryContent -base64 -linkdb "$CRAWL_PATH"/linkdb "$CRAWL_PATH"/segments/$SEGMENT

          echo "Cleaning up index if possible"
          __bin_nutch clean $JAVA_PROPERTIES "$CRAWL_PATH"/crawldb
      else
          echo "Skipping indexing ..."
```

ステップ 5: ウェブクロールとコンテンツのアップロードを開始する

インデクサプラグインをインストールして設定したら、ローカルモードで単独で実行できます。./bin のスクリプトを使用して、クロールジョブまたは個々の Nutch コマンドを実行します。

次の例では、必要なコンポーネントがローカルディレクトリにあることを前提としています。apache-nutch-1.15 ディレクトリから次のコマンドを使用して Nutch を実行します。

$ bin/crawl -i -s urls/ crawl-test/ 5

クロールログは、標準出力（ターミナル）または logs/ ディレクトリで確認できます。ロギング出力を送信する場合や、より詳細なロギングを行う場合は、conf/log4j.properties を編集します。