نشر موصِّل قاعدة بيانات

يمكنك إعداد Google Cloud Search لاكتشاف البيانات وفهرستها من قواعد بيانات مؤسستك باستخدام موصِّل قاعدة بيانات Google Cloud Search.

• مفتاح Google Workspace الخاص الذي يحتوي أيضًا على رقم تعريف حساب الخدمة. للتعرّف على كيفية الحصول على مفتاح خاص، يُرجى الانتقال إلى ضبط إمكانية الوصول إلى واجهة برمجة تطبيقات Google Cloud Search REST.
• رقم تعريف مصدر بيانات Google Workspace للتعرّف على كيفية الحصول على رقم تعريف مصدر بيانات، انتقِل إلى إضافة مصدر بيانات إلى البحث.

الخطوة 1. تنزيل برنامج موصِّل قاعدة البيانات وإنشائه

1. استنسِخ مستودع الموصِّل من GitHub.

   $ git clone https://github.com/google-cloudsearch/database-connector.git
   $ cd database-connector

2. اطّلِع على الإصدار المطلوب من الموصِّل:
   

   $ git checkout tags/v1-0.0.3

3. صمم أداة الربط.

   $ mvn package

   لتخطّي الاختبارات عند إنشاء الموصِّل، استخدِم mvn package -DskipTests.
4. انسخ الملف المضغوط للموصِّل إلى دليل التثبيت المحلي وفك ضغطه:

   $ cp target/google-cloudsearch-database-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-database-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-database-connector-v1-0.0.3

1. أنشئ ملفًا نصيًا وحدِّد اسمه connector-config.properties (الملفّات التلقائية) أو ما شابه. تنصح Google بتسمية ملفات الإعداد بالامتداد .properties أو .config والاحتفاظ بالملف في الدليل نفسه مع الموصِّل. إذا كنت تستخدم اسمًا أو مسارًا مختلفًا، يجب تحديد المسار عند تشغيل الموصِّل.
2. أضِف معلَمات كأزواج مفتاح/قيمة إلى محتوى الملف. ويجب أن يحدّد ملف الإعداد المعلَمات للوصول إلى مصدر البيانات، والوصول إلى قاعدة البيانات، وعبارة SQL للاجتياز الكامل لقاعدة البيانات، وعنوان حقل المحتوى، وتعريفات الأعمدة. يمكنك أيضًا ضبط سلوك موصِّل آخر باستخدام مَعلمات اختيارية. مثلاً:

   # Required parameters for data source access
   api.sourceId=1234567890abcdef
   api.identitySourceId=0987654321lmnopq
   api.serviceAccountPrivateKeyFile=./PrivateKey.json
   #
   # Required parameters for database access
   db.url=jdbc:mysql://localhost:3306/mysql_test
   db.user=root
   db.password=passw0rd
   #
   # Required full traversal SQL statement parameter
   db.allRecordsSql=select customer_id, first_name, last_name, phone, change_timestamp from address_book
   #
   # Required parameters for column definitions and URL format
   db.allColumns=customer_id, first_name, last_name, phone, change_timestamp
   db.uniqueKeyColumns=customer_id
   url.columns=customer_id
   #
   # Required content field parameter
   contentTemplate.db.title=customer_id
   #
   # Optional parameters to set ACLs to "entire domain" access
   defaultAcl.mode=fallback
   defaultAcl.public=true
   #
   # Optional parameters for schedule traversals
   schedule.traversalIntervalSecs=36000
   schedule.performTraversalOnStart=true
   schedule.incrementalTraversalIntervalSecs=3600
   

   للحصول على أوصاف تفصيلية للمعلَمات الخاصة بقاعدة البيانات، انتقِل إلى مرجع مَعلمات الإعدادات في نهاية هذه المقالة.

   للتعرّف على المَعلمات الشائعة في جميع موصلات Cloud Search، مثل ضبط البيانات الوصفية وتنسيقات التاريخ وخيارات قائمة التحكم بالوصول، انتقِل إلى مَعلمات الموصِّلات التي توفّرها Google.

   إذا أمكن، حدد خصائص كائن المخطط في مَعلمات طلب بحث SQL للاجتياز. يمكنك عادةً إضافة أسماء مستعارة إلى عبارة SQL. على سبيل المثال، إذا كانت لديك قاعدة بيانات أفلام وكان مخطط مصدر البيانات يحتوي على تعريف سمة باسم "ActorName"، يمكن أن تكون عبارة SQL على النحو التالي: SELECT …, last_name AS ActorName, … FROM … .

الخطوة 3. تشغيل موصِّل قاعدة البيانات

يفترض المثال التالي أن المكونات المطلوبة موجودة في الدليل المحلي على نظام Linux.

لتشغيل الموصل من سطر الأوامر، أدخل الأمر التالي:

java \
   -cp "google-cloudsearch-database-connector-v1-0.0.3.jar:mysql-connector-java-5.1.41-bin.jar" \
   com.google.enterprise.cloudsearch.database.DatabaseFullTraversalConnector \
   [-Dconfig=mysql.config]

المكان:

• google-cloud-search-database-connector-v1-0.0.3.jar هو ملف .jar لموصل قاعدة البيانات
• mysql-connector-java-5.1.41-bin.jar هو برنامج تشغيل JDBC الذي يتم استخدامه للوصول إلى قاعدة البيانات
• mysql.config هو ملف إعداد ذو اسم مخصّص. لضمان تعرُّف الموصل على ملف الإعداد، حدِّد مساره في سطر الأوامر. وبخلاف ذلك، يستخدم الموصِّل connector-config.properties في الدليل المحلي كاسم الملف التلقائي.

يبلغ الموصِّل عن أخطاء الضبط عند اكتشافها. يتم الإبلاغ عن بعض الأخطاء عند إعداد الموصِّل، مثلاً عند تحديد عمود قاعدة بيانات كجزء من محتوى السجلّ (في db.allColumns)، ولكن لا يتم استخدام العمود في طلب SQL للاجتياز لقاعدة البيانات (في db.allRecordsSql). ويتم رصد أخطاء أخرى والإبلاغ عنها فقط عندما يحاول الموصل الوصول إلى قاعدة البيانات خلال عملية الاجتياز الأولى، مثل بنية عبارة SQL غير صالحة.

ينفّذ الموصل عمليات الاجتياز هذه وفقًا للجداول الزمنية التي تحدّدها في معلمات جدول الاجتياز.

أمثلة على طلبات بحث لغة الاستعلامات البنيوية (SQL)

• طلب بحث الاجتياز الكامل الأساسي الذي يقرأ كل سجل اهتمام في قاعدة بيانات الموظفين للفهرسة:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee

• تحديد التقسيم على صفحات حسب الإزاحة، وتقسيم الاجتياز الكامل إلى استعلامات متعددة.

  بالنسبة إلى SQL Server 2012 أو Oracle 12c (بنية SQL 2008 القياسية):

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id OFFSET ? ROWS FETCH FIRST 1000 ROWS ONLY
  db.allRecordsSql.pagination = offset
  

  أو بالنسبة إلى MySQL أو Google Cloud SQL:

  db.allRecordsSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field \
      FROM employee \
      ORDER BY customer_id LIMIT 1000 OFFSET ?
  db.allRecordsSql.pagination = offset

• طلب الاجتياز الكامل الذي يطبق قوائم التحكم بالوصول (ACL) الفردية باستخدام الأسماء المستعارة:

  db.allRecordsSql = SELECT customer_id, first_name, last_name,  employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee

• طلب الاجتياز التدريجي الأساسي:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time \
       FROM employee \
       WHERE last_update_time > ?

• طلب الاجتياز الإضافي الذي يطبّق قوائم التحكم بالوصول (ACL) الفردية بأسماء مستعارة:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, last_update_time, \
       permitted_readers AS readers_users, \
       denied_readers AS denied_users, \
       permitted_groups AS readers_groups, \
       denied_groups AS denied_groups \
       FROM employee \
       WHERE last_update_time > ?

• طلب الاجتياز الإضافي الذي يستخدم الطابع الزمني لقاعدة البيانات بدلاً من الوقت الحالي:

  db.incrementalUpdateSql = SELECT customer_id, first_name, last_name, employee_id, interesting_field, \
       last_update_time AS timestamp_column \
       FROM employee \
       WHERE last_update_time > ?

مَعلمات تعريف الأعمدة

تحدّد المَعلمات التالية الأعمدة التي تستخدمها في عبارات الاجتياز ولتحديد كل سجلّ بشكل فريد.

db.allColumns = customer_id, first_name, last_name, phone, change_timestamp

db.uniqueKeyColumns = customer_id
# or
db.uniqueKeyColumns = last_name, first_name

أمثلة على أعمدة عناوين URL

لتحديد الأعمدة المستخدمة في طلبات بحث الاجتياز وتنسيق عنوان URL للعرض:

• لاستخدام عنوان URL ثابت لا يستخدم أي قيم لسجلّ قاعدة البيانات:

  url.format = https://www.example.com

• لاستخدام قيمة عمود واحد تمثل عنوان URL للملف الشخصي:

  url.format = {0}
  url.columns = customer_id

• لاستخدام قيمة عمود واحد يتم استبدالها في عنوان URL للملف الشخصي في الموضع {0}:

  url.format = https://www.example.com/customer/id={0}
  url.columns = customer_id
  url.columnsToEscape = customer_id

• لاستخدام قيم أعمدة متعددة لإنشاء عنوان URL للملف الشخصي (تعتمد الأعمدة على الترتيب):

  url.format = {1}/customer={0}
  url.columns = customer_id, linked_url
  url.columnsToEscape = customer_id

حقول المحتوى

واستخدِم خيارات المحتوى لتحديد قيم السجلّ التي يجب جعلها جزءًا من المحتوى القابل للبحث.