डेटाबेस कनेक्टर को डिप्लॉय करना

आपके संगठन के डेटा का पता लगाने और उसे इंडेक्स करने के लिए, Google Cloud Search को सेट अप किया जा सकता है डेटाबेस को इकट्ठा करने में मदद करता है.

• Google Workspace निजी पासकोड, जिसमें सेवा खाता आईडी भी होता है. निजी पासकोड पाने का तरीका जानने के लिए यहां जाएं Google Cloud का ऐक्सेस कॉन्फ़िगर करना REST API खोजें.
• Google Workspace डेटा सोर्स आईडी. डेटा सोर्स आईडी पाने का तरीका जानने के लिए, यहां जाएं खोजने के लिए कोई डेटा सोर्स जोड़ें.

पहला चरण. डेटाबेस कनेक्टर सॉफ़्टवेयर डाउनलोड करें और बनाएं

1. GitHub से कनेक्टर रिपॉज़िटरी का क्लोन बनाएं.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. कनेक्टर का मनचाहा वर्शन देखें:
   

   $ git checkout tags/v1-0.0.3

3. कनेक्टर बनाएं.

   $ mvn package

   कनेक्टर बनाते समय, टेस्ट स्किप करने के लिए, mvn package -DskipTests का इस्तेमाल करें.
4. कनेक्टर की ZIP फ़ाइल को अपने लोकल इंस्टॉलेशन डायरेक्ट्री में कॉपी करें और उसे अनज़िप करें:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. एक टेक्स्ट फ़ाइल बनाएं और इसे connector-config.properties (डिफ़ॉल्ट) या इससे मिलता-जुलता नाम दें. Google के सुझाव कि आप .properties के साथ कॉन्फ़िगरेशन फ़ाइलों को नाम देते हैं या .config एक्सटेंशन का इस्तेमाल करके, फ़ाइल को उसी डायरेक्ट्री में रखें जिसमें कनेक्टर है. अगर किसी दूसरे नाम या पाथ का इस्तेमाल किया जाता है, तो कनेक्टर चलाते समय आपको पाथ की जानकारी देनी होगी.
2. फ़ाइल के कॉन्टेंट में पैरामीटर को की/वैल्यू पेयर के तौर पर जोड़ें. कॉन्फ़िगरेशन फ़ाइल में यह बताना ज़रूरी है डेटा सोर्स ऐक्सेस, डेटाबेस ऐक्सेस, डेटाबेस फ़ुल ट्रेवर्सल एसक्यूएल स्टेटमेंट के लिए पैरामीटर, और कॉलम की परिभाषाएं. आपके पास अन्य कनेक्टर के व्यवहार को भी कॉन्फ़िगर करने का विकल्प होता है पैरामीटर होना चाहिए. उदाहरण के लिए:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   डेटाबेस के हिसाब से पैरामीटर के बारे में ज़्यादा जानकारी के लिए, यहां जाएं इस लेख के आखिर में कॉन्फ़िगरेशन पैरामीटर के बारे में जानकारी दी गई है.

   उन पैरामीटर के बारे में जानने के लिए जो Cloud Search के लिए आम हैं कनेक्टर, जैसे कि मेटाडेटा कॉन्फ़िगरेशन, तारीख और समय के फ़ॉर्मैट, और एसीएल विकल्प Google से मिले कनेक्टर पैरामीटर.

   अगर लागू हो, तो ट्रेवर्सल एसक्यूएल में स्कीमा ऑब्जेक्ट की प्रॉपर्टी बताएं क्वेरी पैरामीटर की तरह नहीं है. आम तौर पर, एसक्यूएल में उपनामों को जोड़ा जा सकता है स्टेटमेंट का इस्तेमाल करें. उदाहरण के लिए, अगर आपके पास कोई फ़िल्म है डेटाबेस और डेटा सोर्स स्कीमा में एक प्रॉपर्टी डेफ़िनिशन होती है, जिसका नाम "ActorName", एक SQL स्टेटमेंट का यह फ़ॉर्म हो सकता है: SELECT …, last_name AS ActorName, … FROM … .

तीसरा चरण. डेटाबेस कनेक्टर चलाएं

नीचे दिए गए उदाहरण में माना गया है कि ज़रूरी कॉम्पोनेंट, डायरेक्ट्री पर क्लिक करें.

कमांड लाइन से कनेक्टर को चलाने के लिए, यह कमांड डालें:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

कहां:

• google-cloud-search-database-connector-v1-0.0.3.jar है डेटाबेस कनेक्टर .jar फ़ाइल
• mysql-connector-java-5.1.41-bin.jar इस्तेमाल किया जा रहा JDBC ड्राइवर है डेटाबेस को ऐक्सेस करने के लिए
• mysql.config एक कस्टम नाम वाली कॉन्फ़िगरेशन फ़ाइल है. यह पक्का करने के लिए कि कनेक्टर आपकी कॉन्फ़िगरेशन फ़ाइल है, तो कमांड लाइन पर इसका पाथ बताएं. इसके अलावा, कनेक्टर आपके स्थानीय भाषा में connector-config.properties डायरेक्ट्री को डिफ़ॉल्ट फ़ाइल नाम के रूप में सेट करें.

कनेक्टर, कॉन्फ़िगरेशन की गड़बड़ियों का पता लगाते ही उनकी रिपोर्ट करता है. कुछ गड़बड़ियों की शिकायत तब की जाती है, जब कनेक्टर शुरू हो जाता है, जैसे कि जब रिकॉर्ड कॉन्टेंट के हिस्से के रूप में डेटाबेस कॉलम तय किया जाता है (db.allColumns में), लेकिन इस कॉलम का इस्तेमाल डेटाबेस (db.allRecordsSql में). अन्य गड़बड़ियों का पता सिर्फ़ तब लगाया और उन्हें रिपोर्ट किया जाता है, जब कनेक्टर पहले ट्रैवर्सल के लिए, डेटाबेस को ऐक्सेस करने की कोशिश करता है, जैसे कि अमान्य एसक्यूएल स्टेटमेंट सिंटैक्स.

कनेक्टर इन ट्रैवर्सल को उन शेड्यूल के मुताबिक एक्ज़ीक्यूट करता है जो आपने तय किए हैं ट्रैवर्सल शेड्यूल पैरामीटर.

ट्रैवर्सल एसक्यूएल क्वेरी के उदाहरण

• सामान्य पूरी ट्रैवर्सल क्वेरी, जो इंडेक्स करने के लिए कर्मचारी के डेटाबेस में दिलचस्पी के सभी रिकॉर्ड को पढ़ती है:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• ऑफ़सेट के हिसाब से, पेज नंबर डालें और पूरे ट्रेवर्सल को एक से ज़्यादा क्वेरी में बांटें.

  SQL Server 2012 या Oracle 12c (मानक SQL 2008 सिंटैक्स) के लिए:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  इसके अलावा, MySQL या Google Cloud SQL के लिए:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• पूरी ट्रैवर्सल क्वेरी जो उपनाम वाले अलग-अलग ACL लागू करती है:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• बेसिक इंक्रीमेंटल ट्रैवर्सल क्वेरी:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• ऐसी इंक्रीमेंटल ट्रैवर्सल क्वेरी जो उपनाम के साथ अलग-अलग ACL लागू करती है:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• इंक्रीमेंटल ट्रैवर्सल क्वेरी, जो मौजूदा समय के बजाय डेटाबेस टाइमस्टैंप का इस्तेमाल करती है:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

कॉलम की परिभाषा के पैरामीटर

ये पैरामीटर उन कॉलमों की जानकारी देते हैं जिनका इस्तेमाल आप ट्रैवर्सल स्टेटमेंट में और हर रिकॉर्ड को अच्छी तरह से पहचानने में मदद मिलती है.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

यूआरएल कॉलम के उदाहरण

ट्रैवर्सल क्वेरी में इस्तेमाल किए जाने वाले कॉलम और व्यू यूआरएल का फ़ॉर्मैट तय करने के लिए:

• डेटाबेस रिकॉर्ड वैल्यू का इस्तेमाल न करने वाले स्टैटिक यूआरएल का इस्तेमाल करने के लिए:

  url.format = https://www.example.com

• किसी सिंगल कॉलम वैल्यू का इस्तेमाल करने के लिए, जो व्यू यूआरएल है:

  url.format = {0}
  url.columns = customer_id

• {0} स्थिति पर दृश्य URL में बदले जाने वाले एकल कॉलम मान का उपयोग करने के लिए:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• व्यू यूआरएल बनाने के लिए, एक से ज़्यादा कॉलम की वैल्यू का इस्तेमाल करने के लिए (कॉलम, क्रम पर निर्भर होते हैं):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

कॉन्टेंट फ़ील्ड

रिकॉर्ड की कौनसी वैल्यू तय करनी हैं, यह तय करने के लिए, कॉन्टेंट के विकल्पों का इस्तेमाल करें उसे खोजे जाने लायक कॉन्टेंट का हिस्सा बनाया जाना चाहिए.