ทำให้เครื่องมือเชื่อมต่อ CSV ใช้งานได้

คู่มือนี้มีไว้สำหรับผู้ดูแลระบบเครื่องมือเชื่อมต่อ CSV (ค่าที่คั่นด้วยคอมมา) ของ Google Cloud Search ซึ่งมีหน้าที่รับผิดชอบในการดาวน์โหลด กำหนดค่า เรียกใช้ และตรวจสอบเครื่องมือเชื่อมต่อ

คู่มือนี้มีวิธีการสำหรับงานสำคัญต่อไปนี้

• ดาวน์โหลดซอฟต์แวร์เครื่องมือเชื่อมต่อ CSV ของ Cloud Search
• กำหนดค่าเครื่องมือเชื่อมต่อสำหรับแหล่งข้อมูล CSV ที่เฉพาะเจาะจง
• ติดตั้งใช้งานและเรียกใช้เครื่องมือเชื่อมต่อ

หากต้องการทำความเข้าใจแนวคิดในเอกสารนี้ คุณควรมีความคุ้นเคยกับ Google Workspace, ไฟล์ CSV และรายการควบคุมการเข้าถึง (ACL)

ภาพรวมของเครื่องมือเชื่อมต่อ CSV ของ Cloud Search

ตัวเชื่อมต่อ CSV ของ Cloud Search ทำงานกับไฟล์ข้อความค่าที่คั่นด้วยคอมมา (CSV) ไฟล์ CSV จะจัดเก็บข้อมูลแบบตาราง โดยแต่ละบรรทัดคือ บันทึกข้อมูล

เครื่องมือเชื่อมต่อจะดึงข้อมูลแถวจากไฟล์ CSV และจัดทำดัชนีใน Cloud Search โดยใช้ Indexing API เมื่อจัดทำดัชนีแล้ว แถวจะ ค้นหาได้ผ่านไคลเอ็นต์ Cloud Search หรือ Query API นอกจากนี้ ตัวเชื่อมต่อยังรองรับ ACL เพื่อควบคุมการเข้าถึงเนื้อหาของผู้ใช้ด้วย

คุณติดตั้งตัวเชื่อมต่อใน Linux หรือ Windows ได้ ก่อนการติดตั้งใช้งาน โปรดตรวจสอบว่าคุณมีคอมโพเนนต์ต่อไปนี้

• ติดตั้ง Java JRE 1.8 ในคอมพิวเตอร์ที่เรียกใช้ตัวเชื่อมต่อ
• ข้อมูล Google Workspace ที่ใช้สร้างการเชื่อมต่อมีดังนี้
  • คีย์ส่วนตัวของ Google Workspace (มีรหัสบัญชีบริการ)
  • รหัสแหล่งข้อมูล Google Workspace

โดยปกติแล้ว ผู้ดูแลระบบ Google Workspace สำหรับโดเมนจะเป็นผู้ให้ข้อมูลเข้าสู่ระบบเหล่านี้

ขั้นตอนการติดตั้งใช้งาน

ทำตามขั้นตอนต่อไปนี้เพื่อติดตั้งใช้งานตัวเชื่อมต่อ CSV ของ Cloud Search

1. ติดตั้งซอฟต์แวร์ตัวเชื่อมต่อ
2. ระบุการกำหนดค่าเครื่องมือเชื่อมต่อ
3. กำหนดค่าการเข้าถึงแหล่งข้อมูล Cloud Search
4. กำหนดค่าการเข้าถึงไฟล์ CSV
5. ระบุชื่อคอลัมน์ คีย์ที่ไม่ซ้ำกัน และคอลัมน์วันที่เวลา
6. ระบุคอลัมน์สำหรับ URL ของผลการค้นหาที่คลิกได้
7. ระบุรูปแบบข้อมูลเมตาและคอลัมน์
8. กำหนดเวลาการไปยังส่วนต่างๆ ของข้อมูล
9. ระบุตัวเลือก ACL

1. ติดตั้ง SDK

ติดตั้ง SDK ลงในที่เก็บ Maven ในเครื่อง

1. โคลนที่เก็บ SDK จาก GitHub

   $ git clone https://github.com/google-cloudsearch/connector-sdk.git
   $ cd connector-sdk/csv

2. ดูเวอร์ชันที่คุณเลือกโดยทำดังนี้

   $ git checkout tags/v1-0.0.3

3. สร้างเครื่องมือเชื่อมต่อ

   $ mvn package

4. แตกไฟล์และติดตั้งตัวเชื่อมต่อ

   $ cp target/google-cloudsearch-csv-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-csv-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-csv-connector-v1-0.0.3

2. ระบุการกำหนดค่าเครื่องมือเชื่อมต่อ CSV

คุณควบคุมลักษณะการทำงานของตัวเชื่อมต่อผ่านพารามิเตอร์ในไฟล์การกำหนดค่า พารามิเตอร์ที่กำหนดค่าได้ ได้แก่

• การเข้าถึงแหล่งข้อมูล
• ตำแหน่งและคำจำกัดความของไฟล์ CSV
• คอลัมน์รหัสที่ไม่ซ้ำกัน
• ตัวเลือกการส่งผ่านและการควบคุมการเข้าถึง

วิธีสร้างไฟล์การกำหนดค่า

1. เปิดเครื่องมือแก้ไขข้อความและตั้งชื่อไฟล์เป็น connector-config.properties
2. เพิ่มพารามิเตอร์การกำหนดค่าเป็นคู่ key=value โดยแต่ละคู่จะอยู่ในบรรทัดใหม่ ดูตัวอย่างไฟล์การกำหนดค่าได้ที่ ตัวอย่างไฟล์การกำหนดค่า

เก็บไฟล์การกำหนดค่าไว้ในไดเรกทอรีเดียวกับตัวเชื่อมต่อเพื่อลดความซับซ้อน ในการติดตาม หากต้องการให้ตัวเชื่อมต่อรู้จักไฟล์ ให้ระบุเส้นทางของไฟล์ในบรรทัดคำสั่ง มิเช่นนั้น ตัวเชื่อมต่อจะใช้ connector-config.properties ในไดเรกทอรีภายในเครื่องโดยค่าเริ่มต้น ดูหัวข้อ เรียกใช้เครื่องมือเชื่อมต่อ

3. กำหนดค่าการเข้าถึงแหล่งข้อมูล Cloud Search

ไฟล์การกำหนดค่าต้องระบุพารามิเตอร์เพื่อเข้าถึงแหล่งข้อมูล Cloud Search คุณต้องมีรหัสแหล่งข้อมูล รหัสบัญชีบริการ และเส้นทางไปยังไฟล์คีย์ส่วนตัวของบัญชีบริการ

4. กำหนดค่าพารามิเตอร์ไฟล์ CSV

ระบุเส้นทาง รูปแบบ และการเข้ารหัสของไฟล์

5. ระบุชื่อคอลัมน์ที่จะจัดทำดัชนีและคอลัมน์คีย์ที่ไม่ซ้ำกัน

ระบุข้อมูลคอลัมน์ในไฟล์การกำหนดค่า

6. ระบุคอลัมน์สำหรับ URL ของผลการค้นหาที่คลิกได้

เปิดใช้ URL ที่คลิกได้สำหรับผลการค้นหา

7. ระบุข้อมูลเมตา รูปแบบคอลัมน์ และคุณภาพการค้นหา

คุณเพิ่มพารามิเตอร์ลงในไฟล์การกำหนดค่าเพื่อระบุสิ่งต่อไปนี้ได้

• พารามิเตอร์การกำหนดค่าข้อมูลเมตา
• รูปแบบคอลัมน์
• คุณภาพในการค้นหา

พารามิเตอร์การกำหนดค่าข้อมูลเมตา

พารามิเตอร์เหล่านี้อธิบายคอลัมน์สำหรับการป้อนข้อมูลเมตาของสินค้า

รูปแบบเวลาและวันที่

พารามิเตอร์นี้ระบุรูปแบบวันที่และเวลาเพิ่มเติมสําหรับการแยกวิเคราะห์ค่าสตริง เป็นช่องวันที่หรือวันที่และเวลา

รูปแบบคอลัมน์

พารามิเตอร์เหล่านี้จะระบุวิธีแยกวิเคราะห์คอลัมน์ในไฟล์ CSV

คุณภาพการค้นหา

ตัวเชื่อมต่อใช้เทมเพลตเนื้อหาเพื่อจัดรูปแบบระเบียน ฟิลด์ชื่อมีลำดับความสำคัญสูงสุด คุณกำหนดระดับลำดับความสำคัญ (สูง ปานกลาง ต่ำ) ให้กับ ฟิลด์อื่นๆ ได้

8. กำหนดเวลาการไปยังส่วนต่างๆ ของข้อมูล

การส่งผ่าน คือกระบวนการค้นพบเนื้อหา ตัวเชื่อมต่อจะข้ามแถว CSV และจัดทำดัชนีโดยใช้ Indexing API ตัวเชื่อมต่อ CSV จะดำเนินการ การสำรวจแบบเต็มเท่านั้น

9. ระบุตัวเลือก ACL

เครื่องมือเชื่อมต่อจะใช้ ACL เพื่อควบคุมการเข้าถึง หากที่เก็บมี ACL ให้ อัปโหลด หรือกำหนดค่า ACL เริ่มต้น ตั้งค่า defaultAcl.mode เป็นค่าอื่น ที่ไม่ใช่ none

คำจำกัดความของสคีมา

หากต้องการรองรับการค้นหา Structured Data ให้ ตั้งค่าสคีมา สำหรับแหล่งข้อมูล

ตัวอย่างเช่น พิจารณาไฟล์ CSV ที่มีข้อมูลต่อไปนี้เกี่ยวกับภาพยนตร์

1. movieId
2. movieTitle
3. คำอธิบาย
4. ปี
5. releaseDate
6. นักแสดง (หลายค่าคั่นด้วยคอมมา (,))
7. ประเภท (หลายค่า)
8. การให้คะแนน

คุณสามารถกำหนดสคีมาต่อไปนี้สำหรับแหล่งข้อมูลโดยอิงตามโครงสร้างนี้

{
  "objectDefinitions": [
    {
      "name": "movie",
      "propertyDefinitions": [
        {
          "name": "actors",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "textPropertyOptions": {
            "operatorOptions": {
              "operatorName": "actor"
            }
          }
        },
        {
          "name": "releaseDate",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "datePropertyOptions": {
            "operatorOptions": {
              "operatorName": "released",
              "lessThanOperatorName": "releasedbefore",
              "greaterThanOperatorName": "releasedafter"
            }
          }
        },
        {
          "name": "movieTitle",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "textPropertyOptions": {
            "retrievalImportance": {
              "importance": "HIGHEST"
            },
            "operatorOptions": {
              "operatorName": "title"
            }
          }
        },
        {
          "name": "genre",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "enumPropertyOptions": {
            "operatorOptions": {
              "operatorName": "genre"
            },
            "possibleValues": [
              {
                "stringValue": "Action"
              },
              {
                "stringValue": "Documentary"
              },
              {
                "stringValue": "Drama"
              },
              {
                "stringValue": "Crime"
              },
              {
                "stringValue": "Sci-fi"
              }
            ]
          }
        },
        {
          "name": "userRating",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": true,
          "integerPropertyOptions": {
            "orderedRanking": "ASCENDING",
            "maximumValue": "10",
            "operatorOptions": {
              "operatorName": "score",
              "lessThanOperatorName": "scorebelow",
              "greaterThanOperatorName": "scoreabove"
            }
          }
        }
      ]
    }
  ]
}

ตัวอย่างไฟล์การกำหนดค่า

ไฟล์การกำหนดค่าตัวอย่างต่อไปนี้แสดงคู่พารามิเตอร์ key=value ที่กำหนดลักษณะการทำงานของตัวเชื่อมต่อตัวอย่าง

# data source access
api.sourceId=1234567890abcd
api.serviceAccountPrivateKeyFile=./PrivateKey.json

# CSV data structure
csv.filePath=./movie_content.csv
csv.csvColumns=movieId,movieTitle,description,releaseYear,genre,actors,ratings,releaseDate
csv.skipHeaderRecord=true
url.format=https://mymoviesite.com/movies/{0}
url.columns=movieId
csv.datetimeFormat.releaseDate=yyyy-mm-dd
csv.multiValueColumns=genre,actors
csv.multiValue.genre=;
contentTemplate.csv.title=movieTitle

# metadata structured data and content
itemMetadata.title.field=movieTitle
itemMetadata.createTime.field=releaseDate
itemMetadata.contentLanguage.defaultValue=en-US
itemMetadata.objectType.defaultValue=movie
contentTemplate.csv.quality.medium=description
contentTemplate.csv.unmappedColumnsMode=IGNORE

#ACLs
defaultAcl.mode=fallback
defaultAcl.public=true

เรียกใช้เครื่องมือเชื่อมต่อ

วิธีเรียกใช้ตัวเชื่อมต่อจากบรรทัดคำสั่ง

$ java -jar google-cloudsearch-csv-connector-v1-0.0.3.jar -Dconfig=my.config

โดยค่าเริ่มต้น บันทึกของเครื่องมือเชื่อมต่อจะพร้อมใช้งานในเอาต์พุตมาตรฐาน คุณบันทึกลงในไฟล์ได้ โดยระบุ logging.properties