উদ্দেশ্য
হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন টিউটোরিয়াল আপনাকে বিভিন্ন পরিস্থিতিতে নির্দেশনা দেবে যেখানে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন ব্যবহার করা যেতে পারে। এই টিউটোরিয়ালে, আমরা আপনাকে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন চালানোর জন্য গুগল ক্লাউড প্ল্যাটফর্মের মধ্যে বিভিন্ন ডিজাইন প্যাটার্নের সাথে পরিচয় করিয়ে দেব।
আমরা গুগল ক্লাউড প্ল্যাটফর্মে ক্লাউড রান, কম্পিউট ইঞ্জিন বা গুগল কুবারনেটস ইঞ্জিনের মাধ্যমে এককালীন কার্যকরকরণের জন্য হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন চালানোর একটি সারসংক্ষেপ দিয়ে শুরু করব। এরপর আমরা দেখব কিভাবে এই ক্ষমতাটি ডেটা পাইপলাইনের অংশ হিসেবে অন্তর্ভুক্ত করা যেতে পারে।
এই প্রবন্ধের শেষে আপনার গুগল ক্লাউড পরিবেশে উচ্চ ভলিউমে ঠিকানা যাচাইকরণ চালানোর বিভিন্ন বিকল্প সম্পর্কে আপনার ভালো ধারণা থাকা উচিত।
গুগল ক্লাউড প্ল্যাটফর্মে রেফারেন্স আর্কিটেকচার
এই বিভাগটি গুগল ক্লাউড প্ল্যাটফর্ম ব্যবহার করে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশনের জন্য বিভিন্ন ডিজাইন প্যাটার্নের গভীরে তলিয়ে যায়। গুগল ক্লাউড প্ল্যাটফর্মে চালানোর মাধ্যমে, আপনি আপনার বিদ্যমান প্রক্রিয়া এবং ডেটা পাইপলাইনের সাথে একীভূত করতে পারেন।
গুগল ক্লাউড প্ল্যাটফর্মে একবারে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন চালানো হচ্ছে
গুগল ক্লাউড প্ল্যাটফর্মে কীভাবে এককালীন অপারেশন বা পরীক্ষার জন্য আরও উপযুক্ত একটি ইন্টিগ্রেশন তৈরি করতে হয় তার একটি রেফারেন্স আর্কিটেকচার নীচে দেখানো হয়েছে।
এই ক্ষেত্রে, আমরা CSV ফাইলটি একটি ক্লাউড স্টোরেজ বাকেটে আপলোড করার পরামর্শ দিচ্ছি। হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন স্ক্রিপ্টটি তখন ক্লাউড রান পরিবেশ থেকে চালানো যেতে পারে। তবে আপনি এটি অন্য যেকোনো রানটাইম পরিবেশ যেমন Compute Engine বা Google Kubernetes Engine ব্যবহার করতে পারেন। আউটপুট CSV ক্লাউড স্টোরেজ বাকেটেও আপলোড করা যেতে পারে।
গুগল ক্লাউড প্ল্যাটফর্ম ডেটা পাইপলাইন হিসেবে চলছে
পূর্ববর্তী বিভাগে দেখানো ডিপ্লয়মেন্ট প্যাটার্নটি একবার ব্যবহারের জন্য দ্রুত হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন পরীক্ষা করার জন্য দুর্দান্ত। তবে যদি আপনার এটি নিয়মিত ডেটা পাইপলাইনের অংশ হিসাবে ব্যবহার করার প্রয়োজন হয়, তাহলে আপনি এটিকে আরও শক্তিশালী করার জন্য গুগল ক্লাউড প্ল্যাটফর্মের নেটিভ ক্ষমতাগুলিকে আরও ভালভাবে কাজে লাগাতে পারেন। আপনি যে কিছু পরিবর্তন করতে পারেন তার মধ্যে রয়েছে:
- এই ক্ষেত্রে, আপনি CSV ফাইলগুলি ক্লাউড স্টোরেজ বাকেটগুলিতে ডাম্প করতে পারেন।
- একটি ডেটাফ্লো কাজ প্রক্রিয়াকরণের জন্য ঠিকানাগুলি সংগ্রহ করতে পারে এবং তারপর BigQuery এ ক্যাশে করতে পারে।
- ডেটাফ্লো পাইথন লাইব্রেরিটি ডেটাফ্লো জব থেকে ঠিকানাগুলি যাচাই করার জন্য হাই ভলিউম অ্যাড্রেস ভ্যালিডেশনের জন্য লজিক ধারণ করার জন্য প্রসারিত করা যেতে পারে।
একটি দীর্ঘস্থায়ী পুনরাবৃত্তি প্রক্রিয়া হিসেবে ডেটা পাইপলাইন থেকে স্ক্রিপ্ট চালানো
আরেকটি সাধারণ পদ্ধতি হল স্ট্রিমিং ডেটা পাইপলাইনের অংশ হিসেবে ঠিকানাগুলির একটি ব্যাচকে একটি পুনরাবৃত্ত প্রক্রিয়া হিসেবে যাচাই করা। আপনার ঠিকানাগুলি একটি bigquery ডেটাস্টোরেও থাকতে পারে। এই পদ্ধতিতে আমরা দেখব কিভাবে একটি পুনরাবৃত্ত ডেটা পাইপলাইন তৈরি করা যায় (যা দৈনিক/সাপ্তাহিক/মাসিকভাবে ট্রিগার করতে হবে)।
- প্রাথমিক CSV ফাইলটি একটি ক্লাউড স্টোরেজ বাকেটে আপলোড করুন।
- দীর্ঘমেয়াদী প্রক্রিয়ার জন্য মধ্যবর্তী অবস্থা বজায় রাখার জন্য মেমোরিস্টোরকে একটি স্থায়ী ডেটাস্টোর হিসেবে ব্যবহার করুন।
- একটি BigQuery ডেটাস্টোরে চূড়ান্ত ঠিকানাগুলি ক্যাশে করুন।
- স্ক্রিপ্টটি পর্যায়ক্রমে চালানোর জন্য ক্লাউড শিডিউলার সেট আপ করুন।
এই স্থাপত্যের নিম্নলিখিত সুবিধা রয়েছে:
- ক্লাউড শিডিউলার ব্যবহার করে, ঠিকানা যাচাইকরণ পর্যায়ক্রমে করা যেতে পারে। আপনি মাসিক ভিত্তিতে ঠিকানাগুলি পুনঃপ্রমাণ করতে চাইতে পারেন অথবা মাসিক/ত্রৈমাসিক ভিত্তিতে কোনও নতুন ঠিকানা যাচাই করতে চাইতে পারেন। এই স্থাপত্যটি সেই ব্যবহারের ক্ষেত্রে সমাধান করতে সহায়তা করে।
যদি গ্রাহকের ডেটা BigQuery তে থাকে, তাহলে যাচাইকৃত ঠিকানাগুলি অথবা যাচাইকরণ ফ্ল্যাগগুলি সরাসরি সেখানে ক্যাশে করা যেতে পারে। দ্রষ্টব্য: কী ক্যাশে করা যেতে পারে এবং কীভাবে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন নিবন্ধে বিস্তারিতভাবে বর্ণনা করা হয়েছে।
মেমোরিস্টোর ব্যবহার করলে আরও বেশি স্থিতিস্থাপকতা এবং আরও ঠিকানা প্রক্রিয়া করার ক্ষমতা পাওয়া যায়। এই পদক্ষেপগুলি পুরো প্রক্রিয়াকরণ পাইপলাইনে একটি স্থিতিশীলতা যোগ করে যা খুব বড় ঠিকানা ডেটাসেট পরিচালনার জন্য প্রয়োজনীয়। ক্লাউড SQL[https://cloud.google.com/sql] বা গুগল ক্লাউড প্ল্যাটফর্ম অফার করে এমন অন্য কোনও ডাটাবেস প্রযুক্তিও এখানে ব্যবহার করা যেতে পারে। তবে আমরা বিশ্বাস করি মেমোরিস্টোর নিখুঁতভাবে স্কেলিং এবং সরলতার প্রয়োজনীয়তার ভারসাম্য বজায় রাখে, তাই এটি প্রথম পছন্দ হওয়া উচিত।
উপসংহার
এখানে বর্ণিত প্যাটার্নগুলি প্রয়োগ করে, আপনি বিভিন্ন ব্যবহারের ক্ষেত্রে এবং গুগল ক্লাউড প্ল্যাটফর্মের বিভিন্ন ব্যবহারের ক্ষেত্রে ঠিকানা যাচাইকরণ API ব্যবহার করতে পারেন।
উপরে বর্ণিত ব্যবহারের ক্ষেত্রে আপনাকে সাহায্য করার জন্য আমরা একটি ওপেন-সোর্স পাইথন লাইব্রেরি লিখেছি। এটি আপনার কম্পিউটারের একটি কমান্ড লাইন থেকে ব্যবহার করা যেতে পারে অথবা এটি গুগল ক্লাউড প্ল্যাটফর্ম বা অন্যান্য ক্লাউড প্রদানকারী থেকে ব্যবহার করা যেতে পারে।
এই নিবন্ধটি থেকে লাইব্রেরি কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও জানুন।
পরবর্তী পদক্ষেপ
নির্ভরযোগ্য ঠিকানা সহ চেকআউট, ডেলিভারি এবং অপারেশন উন্নত করুন শ্বেতপত্র ডাউনলোড করুন এবং ঠিকানা যাচাইকরণ ওয়েবিনার সহ চেকআউট, ডেলিভারি এবং অপারেশন উন্নত করুন দেখুন।
আরও পড়ার পরামর্শ দেওয়া হচ্ছে:
অবদানকারীরা
গুগল এই নিবন্ধটি সংরক্ষণ করে। নিম্নলিখিত অবদানকারীরা মূলত এটি লিখেছিলেন।
প্রধান লেখক:
হেনরিক ভালভ | সলিউশন ইঞ্জিনিয়ার
টমাস অ্যাংলারেট | সলিউশন ইঞ্জিনিয়ার
সার্থক গাঙ্গুলি | সমাধান প্রকৌশলী