פריסת מחבר CSV

המדריך הזה מיועד לאדמינים של מחבר CSV (ערכים מופרדים בפסיקים) של Google Cloud Search, שאחראים על הורדה, הגדרה, הפעלה ומעקב של המחבר.

במדריך הזה מפורטות הוראות לביצוע המשימות העיקריות הבאות:

• מורידים את תוכנת המחבר CSV ל-Cloud Search.
• מגדירים את המחבר למקור נתונים ספציפי של קובץ CSV.
• פורסים את המחבר ומריצים אותו.

כדי להבין את המושגים במסמך הזה, צריך להכיר את Google Workspace, קובצי CSV ורשימות בקרת גישה (ACL).

סקירה כללית על המחבר CSV של Cloud Search

מחבר ה-CSV של Cloud Search פועל עם כל קובץ טקסט של ערכים מופרדים בפסיקים (CSV). בקובץ CSV מאוחסנים נתונים בטבלה, כאשר כל שורה היא רשומה של נתונים.

המחבר מחלץ שורות מקובץ CSV ומאנדקס אותן ב-Cloud Search באמצעות Indexing API. אחרי שהשורות נוספות לאינדקס, אפשר לחפש אותן דרך לקוחות Cloud Search או Query API. המחבר תומך גם ברשימות ACL כדי לשלוט בגישת המשתמשים לתוכן.

אפשר להתקין את המחבר ב-Linux או ב-Windows. לפני הפריסה, חשוב לוודא שיש לכם את הרכיבים הבאים:

• ‫Java JRE 1.8 מותקן במחשב שבו פועל המחבר.
• פרטי Google Workspace להגדרת חיבורים:
  • מפתח פרטי של Google Workspace (שכולל את מזהה חשבון השירות).
  • מזהה מקור הנתונים של Google Workspace.

בדרך כלל, האדמין של Google Workspace בדומיין מספק את פרטי הכניסה האלה.

שלבי הפריסה

כדי לפרוס את מחבר ה-CSV של Cloud Search:

1. התקנת תוכנת המחבר
2. ציון הגדרות המחבר
3. הגדרת גישה למקור נתונים של Cloud Search
4. הגדרת גישה לקובץ CSV
5. ציון שמות של עמודות, מפתחות ייחודיים ועמודות של תאריך ושעה
6. ציון עמודות לכתובות URL של תוצאות חיפוש שאפשר ללחוץ עליהן
7. הגדרת מטא-נתונים ופורמטים של עמודות
8. תזמון של מעבר על נתונים
9. ציון אפשרויות של רשימת ACL

1. התקנת ה-SDK

מתקינים את ה-SDK במאגר Maven המקומי.

1. משכפלים את מאגר ה-SDK מ-GitHub.

   $ git clone https://github.com/google-cloudsearch/connector-sdk.git
   $ cd connector-sdk/csv

2. כדי לבדוק את הגרסה שבחרתם:

   $ git checkout tags/v1-0.0.3

3. בניית המחבר:

   $ mvn package

4. מחילוץ והתקנה של המחבר:

   $ cp target/google-cloudsearch-csv-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-csv-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-csv-connector-v1-0.0.3

2. ציון ההגדרה של מחבר ה-CSV

אתם קובעים את אופן הפעולה של המחבר באמצעות פרמטרים בקובץ ההגדרות שלו. הפרמטרים שניתן להגדיר כוללים:

• גישה למקור הנתונים.
• המיקום של קובץ ה-CSV וההגדרות שלו.
• עמודות עם מזהים ייחודיים.
• אפשרויות של מעבר ו-ACL.

כדי ליצור קובץ תצורה:

1. פותחים כלי לעריכת טקסט ונותנים לקובץ את השם connector-config.properties.
2. מוסיפים פרמטרים של הגדרה כזוגות key=value, כשכל זוג נמצא בשורה חדשה. דוגמה לקובץ הגדרות מופיעה במאמר קובץ הגדרות לדוגמה.

כדי לפשט את המעקב, כדאי לשמור את קובץ ההגדרות באותה ספרייה שבה נמצא המחבר. כדי לוודא שהמחבר מזהה את הקובץ, מציינים את הנתיב שלו בשורת הפקודה. אחרת, מחבר ברירת המחדל הוא connector-config.properties בספרייה המקומית. ראו הפעלת המחבר.

3. הגדרת גישה למקור הנתונים של Cloud Search

בקובץ ההגדרה צריך לציין פרמטרים לגישה למקור הנתונים של Cloud Search. צריך את מזהה מקור הנתונים, מזהה חשבון השירות והנתיב לקובץ המפתח הפרטי של חשבון השירות.

4. הגדרת פרמטרים של קובץ CSV

מאתרים את הנתיב, הפורמט והקידוד של הקובץ.

5. מציינים את שמות העמודות לאינדקס ואת העמודות של המפתח הייחודי

מספקים את פרטי העמודות בקובץ ההגדרות.

6. ציון עמודות לכתובות URL של תוצאות חיפוש שאפשר ללחוץ עליהן

הפעלת כתובות URL שניתן ללחוץ עליהן בתוצאות החיפוש.

7. ציון מטא-נתונים, פורמטים של עמודות ואיכות החיפוש

אפשר להוסיף לקובץ ההגדרות פרמטרים שמציינים:

• פרמטרים להגדרת מטא-נתונים
• פורמטים של עמודות
• איכות החיפוש

פרמטרים להגדרת מטא-נתונים

הפרמטרים האלה מתארים עמודות לאכלוס מטא-נתונים של פריטים.

פורמטים של תאריך ושעה

הפרמטר הזה מציין פורמטים נוספים של תאריך ושעה לניתוח של ערכי מחרוזת לשדות של תאריך או של תאריך ושעה.

פורמטים של עמודות

הפרמטרים האלה מציינים איך לנתח עמודות בקובץ ה-CSV.

איכות החיפוש

המחבר משתמש בתבנית תוכן כדי לעצב רשומות. לשדה השם יש את העדיפות הכי גבוהה. אפשר להקצות רמות עדיפות (גבוהה, בינונית, נמוכה) לשדות אחרים.

8. תזמון של סריקת נתונים

המעבר הוא התהליך של גילוי תוכן. המחבר עובר על שורות CSV ומוסיף אותן לאינדקס באמצעות Indexing API. מחבר ה-CSV מבצע רק סריקות מלאות.

9. בחירת אפשרויות ACL

המחבר משתמש ברשימות ACL כדי לשלוט בגישה. אם המאגר מספק רשימות ACL, צריך להעלות אותן. אחרת, מגדירים רשימות ACL שמשמשות כברירת מחדל. צריך להגדיר את הערך של defaultAcl.mode לערך שונה מ-none.

הגדרת סכימה

כדי לתמוך בשאילתות של נתונים מובנים, צריך להגדיר סכמה למקור הנתונים.

לדוגמה, קובץ CSV עם הפרטים הבאים על סרטים:

1. movieId
2. movieTitle
3. תיאור
4. שנה
5. releaseDate
6. שחקנים (כמה ערכים מופרדים בפסיק (,))
7. ז'אנר (כמה ערכים)
8. דירוגים

על סמך המבנה הזה, אפשר להגדיר את הסכימה הבאה למקור הנתונים:

{
  "objectDefinitions": [
    {
      "name": "movie",
      "propertyDefinitions": [
        {
          "name": "actors",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "textPropertyOptions": {
            "operatorOptions": {
              "operatorName": "actor"
            }
          }
        },
        {
          "name": "releaseDate",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "datePropertyOptions": {
            "operatorOptions": {
              "operatorName": "released",
              "lessThanOperatorName": "releasedbefore",
              "greaterThanOperatorName": "releasedafter"
            }
          }
        },
        {
          "name": "movieTitle",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "textPropertyOptions": {
            "retrievalImportance": {
              "importance": "HIGHEST"
            },
            "operatorOptions": {
              "operatorName": "title"
            }
          }
        },
        {
          "name": "genre",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "enumPropertyOptions": {
            "operatorOptions": {
              "operatorName": "genre"
            },
            "possibleValues": [
              {
                "stringValue": "Action"
              },
              {
                "stringValue": "Documentary"
              },
              {
                "stringValue": "Drama"
              },
              {
                "stringValue": "Crime"
              },
              {
                "stringValue": "Sci-fi"
              }
            ]
          }
        },
        {
          "name": "userRating",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": true,
          "integerPropertyOptions": {
            "orderedRanking": "ASCENDING",
            "maximumValue": "10",
            "operatorOptions": {
              "operatorName": "score",
              "lessThanOperatorName": "scorebelow",
              "greaterThanOperatorName": "scoreabove"
            }
          }
        }
      ]
    }
  ]
}

קובץ תצורה לדוגמה

בקובץ התצורה הבא לדוגמה מוצגים זוגות הפרמטרים key=value שמגדירים את ההתנהגות של מחבר לדוגמה.

# data source access
api.sourceId=1234567890abcd
api.serviceAccountPrivateKeyFile=./PrivateKey.json

# CSV data structure
csv.filePath=./movie_content.csv
csv.csvColumns=movieId,movieTitle,description,releaseYear,genre,actors,ratings,releaseDate
csv.skipHeaderRecord=true
url.format=https://mymoviesite.com/movies/{0}
url.columns=movieId
csv.datetimeFormat.releaseDate=yyyy-mm-dd
csv.multiValueColumns=genre,actors
csv.multiValue.genre=;
contentTemplate.csv.title=movieTitle

# metadata structured data and content
itemMetadata.title.field=movieTitle
itemMetadata.createTime.field=releaseDate
itemMetadata.contentLanguage.defaultValue=en-US
itemMetadata.objectType.defaultValue=movie
contentTemplate.csv.quality.medium=description
contentTemplate.csv.unmappedColumnsMode=IGNORE

#ACLs
defaultAcl.mode=fallback
defaultAcl.public=true

הפעלת המחבר

כדי להריץ את המחבר משורת הפקודה:

$ java -jar google-cloudsearch-csv-connector-v1-0.0.3.jar -Dconfig=my.config

כברירת מחדל, יומני המחברים זמינים בפלט רגיל. אפשר להיכנס לקבצים על ידי ציון logging.properties.