Menerapkan konektor database

Anda dapat menyiapkan Google Cloud Search untuk menemukan dan mengindeks data dari database menggunakan konektor database Google Cloud Search.

• Kunci pribadi Google Workspace, yang juga berisi ID akun layanan. Untuk mempelajari cara mendapatkan kunci pribadi, buka Mengonfigurasi akses ke Google Cloud Telusuri REST API.
• ID sumber data Google Workspace. Untuk mempelajari cara mendapatkan ID sumber data, buka Tambahkan sumber data untuk penelusuran.

Langkah 1. Mendownload dan membangun software konektor database

1. Clone repositori konektor dari GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. Lihat versi konektor yang diinginkan:
   

   $ git checkout tags/v1-0.0.3

3. Buat konektor.

   $ mvn package

   Untuk melewati pengujian saat membuat konektor, gunakan mvn package -DskipTests.
4. Salin file zip konektor ke direktori penginstalan lokal Anda dan ekstrak file tersebut:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. Buat file teks dan beri nama connector-config.properties (default) atau yang serupa. Google merekomendasikan memberi nama file konfigurasi dengan .properties atau ekstensi .config dan simpan file di direktori yang sama dengan konektor. Jika menggunakan nama atau jalur yang berbeda, Anda harus menentukan jalur tersebut saat menjalankan konektor.
2. Tambahkan parameter sebagai key-value pair ke konten file. File konfigurasi harus menentukan parameter untuk akses sumber data, akses {i>database<i}, pernyataan SQL traversal penuh {i>database<i}, judul {i>field<i} konten, dan definisi kolom. Anda juga dapat mengonfigurasi perilaku konektor lainnya dengan parameter opsional. Contoh:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   Untuk deskripsi mendetail tentang parameter spesifik per database, buka Referensi parameter konfigurasi di akhir artikel ini.

   Untuk mempelajari parameter yang umum di semua Cloud Search konektor, seperti konfigurasi metadata, format penanggalan, dan opsi ACL, buka Parameter konektor yang disediakan Google.

   Jika berlaku, tentukan properti objek skema dalam SQL traversal parameter kueri. Biasanya Anda dapat menambahkan alias ke SQL pernyataan pribadi Anda. Misalnya, jika Anda memiliki film dalam database dan skema sumber data berisi definisi properti bernama "ActorName", pernyataan SQL dapat memiliki bentuk: SELECT …, last_name AS ActorName, … FROM … .

Langkah 3. Jalankan konektor database

Contoh berikut mengasumsikan bahwa komponen yang diperlukan berada di direktori lokal pada sistem Linux.

Untuk menjalankan konektor dari command line, masukkan perintah berikut:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

Dengan keterangan:

• google-cloud-search-database-connector-v1-0.0.3.jar sama dengan file .jar konektor database
• mysql-connector-java-5.1.41-bin.jar adalah driver JDBC yang digunakan untuk mengakses {i>database<i}
• mysql.config adalah file konfigurasi dengan nama khusus. Untuk memastikan konektor mengenali file konfigurasi khusus, tentukan jalurnya pada baris perintah. Jika tidak, konektor akan menggunakan connector-config.properties di lokal Anda sebagai nama {i>file<i} {i>default<i}.

Konektor akan melaporkan error konfigurasi saat mendeteksinya. Beberapa error dilaporkan saat konektor melakukan inisialisasi, seperti saat kolom database ditentukan sebagai bagian dari konten record (di db.allColumns), tetapi kolom tersebut tidak digunakan dalam kueri SQL traversal dari database (di db.allRecordsSql). Error lainnya hanya terdeteksi dan dilaporkan saat konektor mencoba mengakses {i>database<i} untuk traversal pertama, seperti sintaks pernyataan SQL yang tidak valid.

Konektor menjalankan traversal ini sesuai dengan jadwal yang Anda tentukan di parameter jadwal traversal.

Contoh kueri SQL traversal

• Kueri traversal penuh dasar yang membaca setiap catatan minat dalam database karyawan untuk pengindeksan:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• Tentukan penomoran halaman berdasarkan offset, dan bagi satu traversal penuh menjadi beberapa kueri.

  Untuk SQL Server 2012 atau Oracle 12c (sintaks SQL 2008 standar):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  atau, untuk MySQL atau Google Cloud SQL:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• Kueri traversal penuh yang menerapkan ACL individual dengan alias:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• Kueri traversal inkremental dasar:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• Kueri traversal inkremental yang menerapkan ACL individual dengan alias:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• Kueri traversal inkremental yang menggunakan stempel waktu database, bukan waktu saat ini:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

Parameter definisi kolom

Parameter berikut menentukan kolom yang Anda gunakan dalam pernyataan traversal dan secara unik mengidentifikasi setiap {i>record<i}.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

Contoh kolom URL

Untuk menentukan kolom yang digunakan dalam kueri traversal dan format URL tampilan:

• Untuk menggunakan URL statis yang tidak menggunakan nilai record database apa pun:

  url.format = https://www.example.com

• Untuk menggunakan nilai kolom tunggal yang merupakan URL tampilan:

  url.format = {0}
  url.columns = customer_id

• Untuk menggunakan nilai kolom tunggal yang diganti menjadi URL tampilan di posisi {0}:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• Untuk menggunakan beberapa nilai kolom guna membuat URL tampilan (kolom bergantung pada urutan):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

Kolom konten

Gunakan opsi konten untuk menentukan nilai record mana yang harus dijadikan bagian dari konten yang dapat ditelusuri.