데이터베이스 커넥터 배포

Google Cloud Search 데이터베이스 커넥터를 사용하여 조직의 데이터베이스에서 데이터를 탐색하고 색인을 생성하도록 Google Cloud Search를 설정할 수 있습니다.

• Google Workspace 비공개 키입니다. 여기에는 서비스 계정 ID도 포함됩니다. 비공개 키를 얻는 방법을 알아보려면 Google Cloud Search REST API에 대한 액세스 구성을 참조하세요.
• Google Workspace 데이터 소스 ID입니다. 데이터 소스 ID를 가져오는 방법을 알아보려면 검색할 데이터 소스 추가하기로 이동하세요.

1단계: 데이터베이스 커넥터 소프트웨어 다운로드 및 빌드

1. GitHub의 커넥터 저장소를 클론합니다.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. 원하는 버전의 커넥터를 체크아웃합니다.
   

   $ git checkout tags/v1-0.0.3

3. 커넥터를 빌드합니다.

   $ mvn package

   커넥터를 빌드할 때 테스트를 건너뛰려면 mvn package -DskipTests을 사용합니다.
4. 커넥터 ZIP 파일을 로컬 설치 디렉터리에 복사하고 압축을 풉니다.

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. 텍스트 파일을 만들고 이름을 connector-config.properties (기본값) 또는 이와 유사한 이름으로 지정합니다. 구성 파일의 이름을 .properties 또는 .config 확장자로 지정하고 파일을 커넥터와 같은 디렉터리에 유지하는 것이 좋습니다. 다른 이름이나 경로를 사용하는 경우 커넥터를 실행할 때 경로를 지정해야 합니다.
2. 매개변수를 파일 콘텐츠에 키-값 쌍으로 추가합니다. 구성 파일은 데이터 소스 액세스, 데이터베이스 액세스, 데이터베이스 전체 순회 SQL 문, 콘텐츠 필드 제목, 열 정의에 대한 매개변수를 지정해야 합니다. 선택적 매개변수를 사용하여 다른 커넥터 동작을 구성할 수도 있습니다. 예를 들면 다음과 같습니다.

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   데이터베이스별 매개변수에 대한 자세한 설명은 이 문서 끝부분의 구성 매개변수 참조를 확인하세요.

   메타데이터 구성, 날짜/시간 형식, ACL 옵션 등 모든 Cloud Search 커넥터에 공통된 매개변수에 대해 알아보려면 Google 제공 커넥터 매개변수로 이동하세요.

   해당하는 경우 순회 SQL 쿼리 매개변수에 스키마 객체의 속성을 지정합니다. 일반적으로 SQL 문에 별칭을 추가할 수 있습니다. 예를 들어 영화 데이터베이스가 있고 데이터 소스 스키마에 'ActorName'이라는 속성 정의가 포함된 경우 SQL 문은 SELECT …, last_name AS ActorName, … FROM … 형식일 수 있습니다.

3단계: 데이터베이스 커넥터 실행

다음 예에서는 Linx 시스템의 로컬 디렉터리에 필수 구성요소가 있다고 가정합니다.

명령줄에서 커넥터를 실행하려면 다음 명령어를 입력하세요.

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

각 항목의 의미는 다음과 같습니다.

• google-cloud-search-database-connector-v1-0.0.3.jar은 데이터베이스 커넥터 .jar 파일입니다.
• mysql-connector-java-5.1.41-bin.jar는 데이터베이스 액세스에 사용되는 JDBC 드라이버입니다.
• mysql.config은 커스텀 이름이 지정된 구성 파일입니다. 커넥터가 구성 파일을 인식할 수 있도록 명령줄에서 경로를 지정합니다. 그렇지 않으면 커넥터는 로컬 디렉터리의 connector-config.properties을 기본 파일 이름으로 사용합니다.

커넥터는 구성 오류가 감지되면 이를 보고합니다. 데이터베이스 열이 레코드 콘텐츠의 일부로 정의된 경우(db.allColumns)와 같이 커넥터가 초기화될 때 일부 오류가 보고되지만 데이터베이스의 순회 SQL 쿼리에는 열이 사용되지 않습니다 (db.allRecordsSql). 다른 오류는 커넥터가 첫 번째 순회 구문으로 데이터베이스에 액세스하려고 시도할 때만 감지되고 보고됩니다.

커넥터는 사용자가 순회 일정 매개변수에 정의한 일정에 따라 이러한 순회를 실행합니다.

순회 SQL 쿼리 예시

• 색인 생성을 위해 직원 데이터베이스에서 관심 있는 모든 레코드를 읽는 기본 전체 순회 쿼리:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• 오프셋으로 페이지로 나누기를 지정하고 전체 순회를 여러 쿼리로 나눕니다.

  SQL Server 2012 또는 Oracle 12c (표준 SQL 2008 구문)의 경우:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  또는 MySQL 또는 Google Cloud SQL의 경우:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• 별칭이 있는 개별 ACL을 적용하는 전체 순회 쿼리:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• 기본 증분 순회 쿼리:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• 별칭이 있는 개별 ACL을 적용하는 증분 순회 쿼리:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• 현재 시간이 아닌 데이터베이스 타임스탬프를 사용하는 증분 순회 쿼리:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

열 정의 매개변수

다음 매개변수는 순회 문에서 사용하는 열을 지정하고 각 레코드를 고유하게 식별합니다.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

URL 열 예시

순회 쿼리에 사용되는 열과 뷰 URL 형식을 지정하려면 다음 안내를 따르세요.

• 데이터베이스 레코드 값을 사용하지 않는 정적 URL을 사용하려면

  url.format = https://www.example.com

• 단일 열 값인 뷰 URL을 사용하려면 다음 안내를 따르세요.

  url.format = {0}
  url.columns = customer_id

• {0} 위치에서 뷰 URL로 대체되는 단일 열 값을 사용하려면 다음 안내를 따르세요.

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• 여러 열 값을 사용하여 뷰 URL을 작성하려면 다음을 실행합니다 (열은 순서에 따라 다름).

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

콘텐츠 필드

다음 콘텐츠 옵션을 사용하면 검색 가능한 콘텐츠에 포함시킬 레코드 값을 정의할 수 있습니다.