Triển khai trình kết nối cơ sở dữ liệu

Bạn có thể thiết lập Google Cloud Search để khám phá và lập chỉ mục dữ liệu từ bằng cách sử dụng trình kết nối cơ sở dữ liệu Google Cloud Search.

• Khoá riêng tư của Google Workspace, cũng chứa mã tài khoản dịch vụ. Để tìm hiểu cách lấy khoá riêng tư, hãy truy cập Thiết lập quyền truy cập vào Google Cloud Tìm kiếm API REST.
• Mã nguồn dữ liệu Google Workspace. Để tìm hiểu cách tải mã nguồn dữ liệu, hãy truy cập vào Thêm một nguồn dữ liệu để tìm kiếm.

Bước 1. Tải xuống và xây dựng phần mềm trình kết nối cơ sở dữ liệu

1. Sao chép kho lưu trữ trình kết nối trên GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. Kiểm tra phiên bản trình kết nối mong muốn:
   

   $ git checkout tags/v1-0.0.3

3. Xây dựng trình kết nối.

   $ mvn package

   Để bỏ qua các kiểm thử khi tạo trình kết nối, hãy sử dụng mvn package -DskipTests.
4. Sao chép tệp zip của trình kết nối vào thư mục cài đặt trên máy và giải nén tệp đó:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. Tạo một tệp văn bản và đặt tên tệp đó là connector-config.properties (mặc định) hoặc tương tự. Google đề xuất mà bạn đặt tên cho các tệp cấu hình bằng .properties hoặc .config và giữ tệp trong cùng thư mục với trình kết nối. Nếu bạn sử dụng tên hoặc đường dẫn khác, bạn phải chỉ định đường dẫn khi chạy trình kết nối.
2. Thêm thông số dưới dạng cặp khoá/giá trị vào nội dung tệp. Tệp cấu hình phải chỉ định các tham số truy cập nguồn dữ liệu, truy cập cơ sở dữ liệu, câu lệnh SQL truyền tải toàn bộ cơ sở dữ liệu, tiêu đề trường nội dung và định nghĩa cột. Bạn cũng có thể định cấu hình hành vi khác của trình kết nối với các tham số không bắt buộc. Ví dụ:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   Để biết nội dung mô tả chi tiết về các tham số dành riêng cho cơ sở dữ liệu, hãy truy cập Tài liệu tham khảo về thông số cấu hình ở cuối bài viết này.

   Để tìm hiểu về các thông số chung cho tất cả Cloud Search trình kết nối, ví dụ như cấu hình siêu dữ liệu, định dạng ngày giờ và tuỳ chọn ACL, truy cập Các thông số của trình kết nối do Google cung cấp.

   Nếu có thể, hãy chỉ định các thuộc tính của đối tượng giản đồ trong SQL truyền tải tham số truy vấn. Thông thường, bạn có thể thêm bí danh vào SQL tuyên bố. Ví dụ: nếu bạn có một bộ phim cơ sở dữ liệu và giản đồ nguồn dữ liệu chứa định nghĩa thuộc tính có tên là "ActorName", câu lệnh SQL có thể có dạng: SELECT …, last_name AS ActorName, … FROM … .

Bước 3. Chạy trình kết nối cơ sở dữ liệu

Ví dụ sau đây giả định các thành phần bắt buộc được đặt trong thư mục trên hệ thống Linux.

Để chạy trình kết nối từ dòng lệnh, hãy nhập lệnh sau:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

Trong trường hợp:

• google-cloud-search-database-connector-v1-0.0.3.jar là tệp .jar của trình kết nối cơ sở dữ liệu
• mysql-connector-java-5.1.41-bin.jar là trình điều khiển JDBC đang được sử dụng để truy cập cơ sở dữ liệu
• mysql.config là một tệp cấu hình có tên tuỳ chỉnh. Để đảm bảo trình kết nối nhận ra tệp cấu hình, hãy chỉ định đường dẫn của tệp trên dòng lệnh. Nếu không, trình kết nối sẽ sử dụng connector-config.properties tại địa phương của bạn làm tên tệp mặc định.

Trình kết nối báo cáo các lỗi cấu hình khi phát hiện thấy lỗi. Một số lỗi được báo cáo khi trình kết nối khởi chạy, chẳng hạn như khi một cột cơ sở dữ liệu được xác định là một phần của nội dung bản ghi (trong db.allColumns), nhưng cột này không được dùng trong truy vấn SQL truyền tải của (trong db.allRecordsSql). Các lỗi khác chỉ được phát hiện và báo cáo khi trình kết nối cố gắng truy cập cơ sở dữ liệu cho lần truyền tải đầu tiên, chẳng hạn như cú pháp câu lệnh SQL không hợp lệ.

Trình kết nối thực thi những lần truyền tải này theo lịch biểu mà bạn xác định trong tham số lịch biểu truyền tải.

Ví dụ về truy vấn SQL truyền tải

• Truy vấn truyền tải đầy đủ cơ bản đọc mọi bản ghi quan tâm trong cơ sở dữ liệu của nhân viên nhằm lập chỉ mục:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• Chỉ định phân trang theo độ lệch và chia toàn bộ truyền tải thành nhiều truy vấn.

  Đối với SQL Server 2012 hoặc Oracle 12c (cú pháp SQL 2008 chuẩn):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  hoặc đối với MySQL hoặc Google Cloud SQL:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• Truy vấn truyền tải đầy đủ áp dụng các ACL riêng lẻ với bí danh:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• Truy vấn truyền tải gia tăng cơ bản:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• Truy vấn truyền tải gia tăng áp dụng các ACL riêng lẻ với bí danh:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• Truy vấn truyền tải gia tăng sử dụng dấu thời gian của cơ sở dữ liệu thay vì thời gian hiện tại:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

Tham số định nghĩa cột

Những tham số sau đây chỉ định các cột mà bạn sử dụng trong câu lệnh truyền tải và để xác định duy nhất từng bản ghi.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

Ví dụ về cột URL

Để chỉ định các cột được dùng trong truy vấn truyền tải và định dạng của URL chế độ xem:

• Cách dùng URL tĩnh không dùng giá trị của bản ghi cơ sở dữ liệu:

  url.format = https://www.example.com

• Cách sử dụng giá trị cột duy nhất là URL chế độ xem:

  url.format = {0}
  url.columns = customer_id

• Để sử dụng một giá trị cột duy nhất được thay thế vào URL chế độ xem tại vị trí {0}:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• Để sử dụng nhiều giá trị cột nhằm tạo URL chế độ xem (các cột phụ thuộc vào thứ tự):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

Trường nội dung

Dùng lựa chọn nội dung để xác định giá trị bản ghi nên nằm trong nội dung có thể tìm kiếm.