Datenbankconnector bereitstellen

Sie können Google Cloud Search so einrichten, dass Daten in den Datenbanken mithilfe des Datenbank-Connectors von Google Cloud Search.

• Privater Google Workspace-Schlüssel, der auch die Dienstkonto-ID enthält. Informationen zum Abrufen eines privaten Schlüssels finden Sie unter Zugriff auf die Google Cloud konfigurieren Search REST API.
• ID der Google Workspace-Datenquelle. Informationen zum Abrufen einer Datenquellen-ID finden Sie unter Fügen Sie eine Datenquelle für die Suche hinzu.

Schritt 1: Software für den Datenbank-Connector herunterladen und erstellen

1. Klonen Sie das Connector-Repository von GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. Sehen Sie sich die gewünschte Version des Connectors an:
   

   $ git checkout tags/v1-0.0.3

3. Erstellen Sie den Connector.

   $ mvn package

   Wenn Sie die Tests beim Erstellen des Connectors überspringen möchten, verwenden Sie mvn package -DskipTests.
4. Kopieren Sie die ZIP-Datei des Connectors in Ihr lokales Installationsverzeichnis und entpacken Sie sie:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. Erstellen Sie eine Textdatei und nennen Sie sie connector-config.properties (Standardeinstellung) oder ähnlich. Google empfiehlt dass Sie Konfigurationsdateien mit dem .properties benennen, oder .config und belassen Sie die Datei im selben Verzeichnis wie der Connector. Falls Sie einen anderen Namen oder Pfad verwenden, müssen Sie den Pfad beim Ausführen des Connectors angeben.
2. Fügen Sie dem Dateiinhalt Parameter als Schlüssel/Wert-Paare hinzu. In der Konfigurationsdatei muss Folgendes angegeben werden: die Parameter für den Zugriff auf Datenquellen, den Datenbankzugriff, eine SQL-Anweisung für den vollständigen Durchlauf den Titel des Inhaltsfelds und Spaltendefinitionen. Sie können auch ein anderes Connector-Verhalten konfigurieren mit optionalen Parametern. Beispiel:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   Ausführliche Beschreibungen der datenbankspezifischen Parameter finden Sie in der Referenz zu den Konfigurationsparametern am Ende dieses Artikels.

   Weitere Informationen zu den Parametern, die für alle Cloud Search-Anwendungen gelten Connectors wie Metadatenkonfiguration, Datums-/Uhrzeitformate und ACL-Optionen <ph type="x-smartling-placeholder"></ph> Von Google bereitgestellte Connector-Parameter.

   Geben Sie gegebenenfalls Attribute des Schemaobjekts in der Durchlauf-SQL an. Suchparametern. Normalerweise können Sie dem SQL-Code . Wenn Sie z. B. einen Film haben, Datenbank und das Schema der Datenquelle eine Property-Definition mit dem Namen „ActorName“ verwenden, könnte eine SQL-Anweisung das Format SELECT …, last_name AS ActorName, … FROM … haben.

Schritt 3: Datenbank-Connector ausführen

Im folgenden Beispiel wird davon ausgegangen, dass sich die erforderlichen Komponenten in der lokalen auf einem Linux-System.

Geben Sie den folgenden Befehl ein, um den Connector über die Befehlszeile auszuführen:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

Wobei:

• google-cloud-search-database-connector-v1-0.0.3.jar ist die JAR-Datei des Datenbank-Connectors
• mysql-connector-java-5.1.41-bin.jar ist der verwendete JDBC-Treiber für den Zugriff auf die Datenbank
• mysql.config ist eine benutzerdefinierte Konfigurationsdatei. Um sicherzustellen, dass der Connector Ihre Konfigurationsdatei ihren Pfad in der Befehlszeile angeben. Andernfalls verwendet der Connector connector-config.properties in Ihrer Region als Standarddateiname.

Der Connector meldet Konfigurationsfehler, sobald er sie erkennt. Einige Fehler werden gemeldet, wenn vom Connector initialisiert wird, z. B. wenn eine Datenbankspalte als Teil des Eintragsinhalts definiert ist (in db.allColumns), aber die Spalte wird nicht in der Durchlauf-SQL-Abfrage der Datenbank (in db.allRecordsSql). Andere Fehler werden nur erkannt und gemeldet, wenn Der Connector versucht, für den ersten Durchlauf auf die Datenbank zuzugreifen, beispielsweise eine ungültige SQL-Anweisung in der Syntax.

Der Connector führt diese Durchläufe gemäß den Zeitplänen aus, die Sie in den Durchlaufzeitplan

Beispiele für Durchlauf-SQL-Abfragen

• Grundlegende Abfrage mit vollständigem Durchlauf, die jeden relevanten Datensatz in einer Mitarbeiterdatenbank zur Indexierung liest:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• Legen Sie die Paginierung mit Offset fest und teilen Sie einen Durchlauf mit vollständiger Indexierung in mehrere Abfragen auf.

  Für SQL Server 2012 oder Oracle 12c (Standard-SQL 2008-Syntax):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  oder für MySQL oder Google Cloud SQL:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• Abfrage für vollständigen Durchlauf, bei der einzelne ACLs mit Aliasnamen angewendet werden:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• Einfache Abfrage für inkrementellen Durchlauf:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• Abfrage für inkrementellen Durchlauf, bei der einzelne ACLs mit Aliassen angewendet werden:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• Abfrage für inkrementellen Durchlauf, bei der der Datenbankzeitstempel und nicht die aktuelle Zeit verwendet wird:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

Parameter zur Spaltendefinition

Die folgenden Parameter geben die Spalten an, die Sie in den Durchlaufanweisungen verwenden und jeden Datensatz eindeutig identifiziert.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

Beispiele für URL-Spalten

So legen Sie die in Durchlaufabfragen verwendeten Spalten und das Format der Ansichts-URL fest:

• So verwenden Sie eine statische URL ohne Datenbankeintragswerte:

  url.format = https://www.example.com

• So verwenden Sie einen einzelnen Spaltenwert, der die Ansichts-URL ist:

  url.format = {0}
  url.columns = customer_id

• So verwenden Sie einen einzelnen Spaltenwert, der in der Ansichts-URL an Position {0} ersetzt wird:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• So verwenden Sie mehrere Spaltenwerte zum Erstellen der Ansichts-URL (Spalten sind reihenfolgeabhängig):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

Inhaltsfelder

Mit Inhaltsoptionen definieren Sie, welche Eintragswerte Teil des durchsuchbaren Inhalts sein sollten.