একটি CSV সংযোগকারী স্থাপন করুন

এই নির্দেশিকাটি গুগল ক্লাউড সার্চ সিএসভি (কমা-বিভাজিত মান) কানেক্টরের সেইসব প্রশাসকদের জন্য, যারা কানেক্টরটি ডাউনলোড, কনফিগার, পরিচালনা এবং পর্যবেক্ষণের দায়িত্বে আছেন।

এই নির্দেশিকায় নিম্নলিখিত মূল কাজগুলোর জন্য নির্দেশনা অন্তর্ভুক্ত রয়েছে:

• ক্লাউড সার্চ সিএসভি কানেক্টর সফটওয়্যারটি ডাউনলোড করুন।
• একটি নির্দিষ্ট CSV ডেটা সোর্সের জন্য কানেক্টরটি কনফিগার করুন।
• কানেক্টরটি স্থাপন ও চালু করুন।

এই নথিতে থাকা ধারণাগুলো বোঝার জন্য গুগল ওয়ার্কস্পেস, সিএসভি ফাইল এবং অ্যাক্সেস কন্ট্রোল লিস্ট (এসিএল) সম্পর্কে পরিচিত হতে হবে।

ক্লাউড সার্চ CSV কানেক্টরের সংক্ষিপ্ত বিবরণ

ক্লাউড সার্চ CSV কানেক্টর যেকোনো কমা-বিভাজিত মান (CSV) টেক্সট ফাইলের সাথে কাজ করে। একটি CSV ফাইলে সারণিবদ্ধ ডেটা সংরক্ষিত থাকে, যেখানে প্রতিটি লাইন একটি ডেটা রেকর্ড।

কানেক্টরটি একটি CSV ফাইল থেকে সারিগুলো বের করে এবং ইনডেক্সিং এপিআই (Indexing API) ব্যবহার করে সেগুলোকে ক্লাউড সার্চে (Cloud Search) ইনডেক্স করে। একবার ইনডেক্স হয়ে গেলে, সারিগুলো ক্লাউড সার্চ ক্লায়েন্ট বা কোয়েরি এপিআই (Query API) এর মাধ্যমে অনুসন্ধানযোগ্য হয়। কানেক্টরটি কন্টেন্টে ব্যবহারকারীর অ্যাক্সেস নিয়ন্ত্রণের জন্য এসিএল (ACL) সমর্থন করে।

আপনি লিনাক্স বা উইন্ডোজে কানেক্টরটি ইনস্টল করতে পারেন। স্থাপনের আগে, নিশ্চিত করুন যে আপনার কাছে নিম্নলিখিত উপাদানগুলি রয়েছে:

• কানেক্টরটি চালিত কম্পিউটারে জাভা জেআরই ১.৮ ইনস্টল করা আছে।
• সংযোগ স্থাপনের জন্য গুগল ওয়ার্কস্পেস সম্পর্কিত তথ্য:
  • গুগল ওয়ার্কস্পেস প্রাইভেট কী (সার্ভিস অ্যাকাউন্ট আইডি ধারণকারী)।
  • গুগল ওয়ার্কস্পেস ডেটা সোর্স আইডি ।

সাধারণত, ডোমেইনটির গুগল ওয়ার্কস্পেস অ্যাডমিনিস্ট্রেটর এই ক্রেডেনশিয়ালগুলো সরবরাহ করেন।

স্থাপনের ধাপগুলি

ক্লাউড সার্চ CSV কানেক্টরটি স্থাপন করতে এই ধাপগুলো অনুসরণ করুন:

1. কানেক্টর সফটওয়্যার ইনস্টল করুন
2. সংযোগকারী কনফিগারেশন নির্দিষ্ট করুন
3. ক্লাউড সার্চ ডেটা সোর্সে অ্যাক্সেস কনফিগার করুন
4. CSV ফাইল অ্যাক্সেস কনফিগার করুন
5. কলামের নাম, অনন্য কী এবং ডেটটাইম কলাম নির্দিষ্ট করুন।
6. ক্লিকযোগ্য অনুসন্ধান ফলাফলের URL-গুলির জন্য কলাম নির্দিষ্ট করুন
7. মেটাডেটা এবং কলাম ফরম্যাট নির্দিষ্ট করুন
8. সময়সূচী ডেটা ট্র্যাভার্সাল
9. ACL বিকল্পগুলি নির্দিষ্ট করুন

১. এসডিকে ইনস্টল করুন

আপনার স্থানীয় Maven রিপোজিটরিতে SDK-টি ইনস্টল করুন।

1. গিটহাব থেকে এসডিকে রিপোজিটরিটি ক্লোন করুন।

   $ git clone https://github.com/google-cloudsearch/connector-sdk.git
   $ cd connector-sdk/csv

2. আপনার নির্বাচিত সংস্করণটি দেখুন:

   $ git checkout tags/v1-0.0.3

3. সংযোগকারীটি তৈরি করুন:

   $ mvn package

4. কানেক্টরটি বের করে ইনস্টল করুন:

   $ cp target/google-cloudsearch-csv-connector-v1-0.0.3.zip installation-dir
   $ cd installation-dir
   $ unzip google-cloudsearch-csv-connector-v1-0.0.3.zip
   $ cd google-cloudsearch-csv-connector-v1-0.0.3

২. CSV সংযোগকারী কনফিগারেশন নির্দিষ্ট করুন

আপনি কানেক্টরটির কনফিগারেশন ফাইলে থাকা প্যারামিটারগুলোর মাধ্যমে এর আচরণ নিয়ন্ত্রণ করেন। কনফিগারযোগ্য প্যারামিটারগুলো হলো:

• ডেটা উৎসে প্রবেশাধিকার।
• CSV ফাইলের অবস্থান এবং সংজ্ঞা।
• অনন্য আইডি কলাম।
• ট্র্যাভার্সাল এবং এসিএল বিকল্পসমূহ।

একটি কনফিগারেশন ফাইল তৈরি করতে:

1. একটি টেক্সট এডিটর খুলুন এবং ফাইলটির নাম connector-config.properties দিন।
2. কনফিগারেশন প্যারামিটারগুলো key=value জোড়া হিসেবে যোগ করুন এবং প্রতিটি জোড়া একটি নতুন লাইনে রাখুন। কনফিগারেশন ফাইলের একটি উদাহরণের জন্য, উদাহরণ কনফিগারেশন ফাইল দেখুন।

ট্র্যাকিং সহজ করার জন্য কনফিগারেশন ফাইলটি কানেক্টরের সাথে একই ডিরেক্টরিতে রাখুন। কানেক্টর যাতে আপনার ফাইলটি চিনতে পারে, তা নিশ্চিত করতে কমান্ড লাইনে এর পাথ উল্লেখ করুন। অন্যথায়, কানেক্টরটি ডিফল্টভাবে আপনার লোকাল ডিরেক্টরিতে থাকা connector-config.properties ব্যবহার করবে। কানেক্টরটি চালান (Run the connector) দেখুন।

৩. ক্লাউড সার্চ ডেটা সোর্সে অ্যাক্সেস কনফিগার করুন।

ক্লাউড সার্চ ডেটা সোর্স অ্যাক্সেস করার জন্য কনফিগারেশন ফাইলে অবশ্যই প্যারামিটার উল্লেখ করতে হবে। আপনার ডেটা সোর্স আইডি, সার্ভিস অ্যাকাউন্ট আইডি এবং সার্ভিস অ্যাকাউন্টের প্রাইভেট কী ফাইলের পাথ প্রয়োজন হবে।

৪. CSV ফাইলের প্যারামিটার কনফিগার করুন

ফাইলটির পাথ, ফরম্যাট এবং এনকোডিং শনাক্ত করুন।

৫. ইনডেক্স এবং ইউনিক কী কলামের নাম উল্লেখ করুন।

কনফিগারেশন ফাইলে কলামের তথ্য প্রদান করুন।

৬. ক্লিকযোগ্য অনুসন্ধান ফলাফলের URL-গুলির জন্য কলাম নির্দিষ্ট করুন

অনুসন্ধানের ফলাফলের জন্য ইউআরএল ক্লিকযোগ্য করুন।

৭. মেটাডেটা, কলাম ফরম্যাট এবং সার্চ কোয়ালিটি নির্দিষ্ট করুন।

আপনি কনফিগারেশন ফাইলে এমন প্যারামিটার যোগ করতে পারেন যা নির্দিষ্ট করে:

• মেটাডেটা কনফিগারেশন প্যারামিটার
• কলাম ফরম্যাট
• অনুসন্ধানের গুণমান

মেটাডেটা কনফিগারেশন প্যারামিটার

এই প্যারামিটারগুলো আইটেমের মেটাডেটা পূরণের জন্য কলামগুলোর বর্ণনা দেয়।

তারিখ ও সময় ফর্ম্যাট

এই প্যারামিটারটি স্ট্রিং ভ্যালুগুলোকে ডেট বা ডেট-টাইম ফিল্ডে পার্স করার জন্য অতিরিক্ত ডেটটাইম ফরম্যাট নির্দিষ্ট করে।

কলাম ফরম্যাট

এই প্যারামিটারগুলো নির্দিষ্ট করে দেয় যে CSV ফাইলের কলামগুলো কীভাবে পার্স করতে হবে।

অনুসন্ধানের গুণমান

কানেক্টরটি রেকর্ড ফরম্যাট করার জন্য একটি কন্টেন্ট টেমপ্লেট ব্যবহার করে। টাইটেল ফিল্ডটির অগ্রাধিকার সর্বোচ্চ। আপনি অন্যান্য ফিল্ডগুলোতে অগ্রাধিকারের স্তর (উচ্চ, মাঝারি, নিম্ন) নির্ধারণ করতে পারেন।

৮. সময়সূচী ডেটা ট্রাভার্সাল

ট্রাভার্সাল হলো কন্টেন্ট খুঁজে বের করার প্রক্রিয়া। কানেক্টরটি CSV-এর সারিগুলো ট্রাভার্স করে এবং ইনডেক্সিং এপিআই (Indexing API) ব্যবহার করে সেগুলোকে ইনডেক্স করে। CSV কানেক্টরটি শুধুমাত্র সম্পূর্ণ ট্রাভার্সাল সম্পাদন করে।

৯. ACL বিকল্পগুলি নির্দিষ্ট করুন

কানেক্টরটি অ্যাক্সেস নিয়ন্ত্রণের জন্য ACL ব্যবহার করে। যদি আপনার রিপোজিটরি ACL সরবরাহ করে, তবে সেগুলি আপলোড করুন। অন্যথায়, ডিফল্ট ACL কনফিগার করুন। defaultAcl.mode মান none ছাড়া অন্য কোনো মানে সেট করুন।

স্কিমা সংজ্ঞা

কাঠামোগত ডেটা কোয়েরি সমর্থন করার জন্য, আপনার ডেটা সোর্সের জন্য একটি স্কিমা সেট আপ করুন ।

উদাহরণস্বরূপ, সিনেমা সম্পর্কিত নিম্নলিখিত তথ্যসহ একটি CSV ফাইল বিবেচনা করুন:

1. মুভিআইডি
2. চলচ্চিত্রের শিরোনাম
3. বর্ণনা
4. বছর
5. মুক্তির তারিখ
6. অভিনেতা (একাধিক মান কমা (,) দ্বারা পৃথক করা)
7. ধরণ (একাধিক মান)
8. রেটিং

এই কাঠামোর উপর ভিত্তি করে, আপনি আপনার ডেটা সোর্সের জন্য নিম্নলিখিত স্কিমাটি সংজ্ঞায়িত করতে পারেন:

{
  "objectDefinitions": [
    {
      "name": "movie",
      "propertyDefinitions": [
        {
          "name": "actors",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "textPropertyOptions": {
            "operatorOptions": {
              "operatorName": "actor"
            }
          }
        },
        {
          "name": "releaseDate",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "datePropertyOptions": {
            "operatorOptions": {
              "operatorName": "released",
              "lessThanOperatorName": "releasedbefore",
              "greaterThanOperatorName": "releasedafter"
            }
          }
        },
        {
          "name": "movieTitle",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": false,
          "textPropertyOptions": {
            "retrievalImportance": {
              "importance": "HIGHEST"
            },
            "operatorOptions": {
              "operatorName": "title"
            }
          }
        },
        {
          "name": "genre",
          "isReturnable": true,
          "isRepeatable": true,
          "isFacetable": true,
          "enumPropertyOptions": {
            "operatorOptions": {
              "operatorName": "genre"
            },
            "possibleValues": [
              {
                "stringValue": "Action"
              },
              {
                "stringValue": "Documentary"
              },
              {
                "stringValue": "Drama"
              },
              {
                "stringValue": "Crime"
              },
              {
                "stringValue": "Sci-fi"
              }
            ]
          }
        },
        {
          "name": "userRating",
          "isReturnable": true,
          "isRepeatable": false,
          "isFacetable": true,
          "integerPropertyOptions": {
            "orderedRanking": "ASCENDING",
            "maximumValue": "10",
            "operatorOptions": {
              "operatorName": "score",
              "lessThanOperatorName": "scorebelow",
              "greaterThanOperatorName": "scoreabove"
            }
          }
        }
      ]
    }
  ]
}

উদাহরণ কনফিগারেশন ফাইল

নিম্নলিখিত উদাহরণ কনফিগারেশন ফাইলটিতে প্যারামিটার key=value জোড়াগুলো দেখানো হয়েছে, যা একটি উদাহরণ কানেক্টরের আচরণ নির্ধারণ করে।

# data source access
api.sourceId=1234567890abcd
api.serviceAccountPrivateKeyFile=./PrivateKey.json

# CSV data structure
csv.filePath=./movie_content.csv
csv.csvColumns=movieId,movieTitle,description,releaseYear,genre,actors,ratings,releaseDate
csv.skipHeaderRecord=true
url.format=https://mymoviesite.com/movies/{0}
url.columns=movieId
csv.datetimeFormat.releaseDate=yyyy-mm-dd
csv.multiValueColumns=genre,actors
csv.multiValue.genre=;
contentTemplate.csv.title=movieTitle

# metadata structured data and content
itemMetadata.title.field=movieTitle
itemMetadata.createTime.field=releaseDate
itemMetadata.contentLanguage.defaultValue=en-US
itemMetadata.objectType.defaultValue=movie
contentTemplate.csv.quality.medium=description
contentTemplate.csv.unmappedColumnsMode=IGNORE

#ACLs
defaultAcl.mode=fallback
defaultAcl.public=true

সংযোগকারীটি চালান

কমান্ড লাইন থেকে কানেক্টরটি চালাতে:

$ java -jar google-cloudsearch-csv-connector-v1-0.0.3.jar -Dconfig=my.config

ডিফল্টরূপে, কানেক্টরের লগ স্ট্যান্ডার্ড আউটপুটে পাওয়া যায়। আপনি logging.properties নির্দিষ্ট করে ফাইলগুলিতে লগ করতে পারেন।