أنماط تصميم التحقّق من صحة العناوين ذات الحجم الكبير

الهدف

أرشدك البرنامج التعليمي التحقّق من صحة العناوين بكميات كبيرة إلى سيناريوهات مختلفة يمكن فيها استخدام التحقّق من صحة العناوين بكميات كبيرة. في هذا البرنامج التعليمي، سنعرّفك على أنماط تصميم مختلفة ضمن Google Cloud Platform لتشغيل Address Validation على نطاق واسع.

سنبدأ بنظرة عامة على تشغيل High Volume Address Validation في Google Cloud Platform باستخدام Cloud Run أو Compute Engine أو Google Kubernetes Engine لعمليات التنفيذ لمرة واحدة. سنرى بعد ذلك كيف يمكن تضمين هذه الإمكانية كجزء من مسار بيانات.

في نهاية هذه المقالة، من المفترض أن تكون لديك فكرة جيدة عن الخيارات المختلفة لتشغيل Address Validation بكميات كبيرة في بيئة Google Cloud.

البنية المرجعية على Google Cloud Platform

يتناول هذا القسم بالتفصيل أنماط التصميم المختلفة لخدمة "التحقّق من العناوين" على نطاق واسع باستخدام Google Cloud Platform. من خلال تشغيل هذه الأداة على Google Cloud Platform، يمكنك دمجها مع عملياتك الحالية ومسارات البيانات.

تشغيل High Volume Address Validation لمرة واحدة على Google Cloud Platform

في ما يلي بنية مرجعية لكيفية إنشاء عملية دمج على Google Cloud Platform، وهي أكثر ملاءمةً للعمليات أو الاختبارات التي تتم لمرة واحدة.

الصورة

في هذه الحالة، ننصحك بتحميل ملف CSV إلى حزمة Cloud Storage. يمكن بعد ذلك تشغيل نص High Volume Address Validation البرمجي من بيئة Cloud Run. ومع ذلك، يمكنك تنفيذها في أي بيئة تشغيل أخرى، مثل Compute Engine أو Google Kubernetes Engine. يمكن أيضًا تحميل ملف CSV الناتج إلى حزمة Cloud Storage.

يتم تشغيلها كمسار بيانات على Google Cloud Platform

يُعدّ نمط النشر الموضّح في القسم السابق رائعًا لاختبار واجهة برمجة التطبيقات High Volume Address Validation بسرعة للاستخدام لمرة واحدة. ومع ذلك، إذا كنت بحاجة إلى استخدامها بانتظام كجزء من مسار بيانات، يمكنك الاستفادة بشكل أفضل من الإمكانات الأصلية في Google Cloud Platform لجعلها أكثر فعالية. تشمل بعض التغييرات التي يمكنك إجراؤها ما يلي:

الصورة

  • في هذه الحالة، يمكنك تفريغ ملفات CSV في حِزم Cloud Storage.
  • يمكن لمهمة Dataflow اختيار العناوين التي ستتم معالجتها ثم تخزينها مؤقتًا في BigQuery.
  • يمكن توسيع نطاق مكتبة Dataflow Python لتشمل منطقًا لخدمة High Volume Address Validation من أجل التحقّق من صحة العناوين من مهمة Dataflow.

تشغيل النص البرمجي من مسار بيانات كعملية متكررة طويلة الأمد

هناك طريقة شائعة أخرى تتمثل في التحقّق من صحة مجموعة من العناوين كجزء من مسار بيانات متواصلة كعملية متكرّرة. قد تكون العناوين محفوظة أيضًا في مخزن بيانات BigQuery. في هذا النهج، سنرى كيفية إنشاء مسار بيانات متكرر (يجب تشغيله يوميًا/أسبوعيًا/شهريًا)

الصورة

  • حمِّل ملف CSV الأولي إلى حزمة Cloud Storage.
  • استخدِم Memorystore كمخزن بيانات دائم للحفاظ على الحالة المتوسطة للعملية التي تستغرق وقتًا طويلاً.
  • تخزين العناوين النهائية مؤقتًا في مخزن بيانات BigQuery
  • أعِدّ Cloud Scheduler لتشغيل النص البرمجي بشكل دوري.

تتوفّر في هذه البنية المزايا التالية:

  • باستخدام Cloud Scheduler، يمكن التحقّق من صحة العناوين بشكل دوري. قد تحتاج إلى إعادة التحقّق من العناوين على أساس شهري أو التحقّق من أي عناوين جديدة على أساس شهري أو ربع سنوي. تساعد هذه البنية في حلّ حالة الاستخدام هذه.

  • إذا كانت بيانات العملاء في BigQuery، يمكن تخزين العناوين التي تم التحقّق منها أو علامات التحقّق مؤقتًا هناك مباشرةً. ملاحظة: يمكنك الاطّلاع على تفاصيل حول البيانات التي يمكن تخزينها مؤقتًا وكيفية تخزينها في مقالة "التحقّق من صحة العناوين بكميات كبيرة".

  • يوفّر استخدام Memorystore مرونة أكبر وقدرة على معالجة المزيد من العناوين. تضيف هذه الخطوة حالة إلى مسار المعالجة بأكمله، وهو أمر ضروري للتعامل مع مجموعات بيانات العناوين الكبيرة جدًا. يمكن أيضًا استخدام تكنولوجيات قواعد البيانات الأخرى، مثل Cloud SQL‏[https://cloud.google.com/sql] أو أي نوع آخر من قواعد البيانات التي توفّرها Google Cloud Platform. ومع ذلك، نعتقد أنّ Memorystore يحقّق التوازن المثالي بين احتياجات التوسّع والبساطة، وبالتالي يجب أن يكون الخيار الأول.

الخاتمة

من خلال تطبيق الأنماط الموضّحة هنا، يمكنك استخدام Address Validation API لحالات استخدام مختلفة ومن حالات استخدام مختلفة على Google Cloud Platform.

لقد كتبنا مكتبة Python مفتوحة المصدر لمساعدتك في البدء في حالات الاستخدام الموضّحة أعلاه. ويمكن استدعاؤها من سطر أوامر على الكمبيوتر أو من Google Cloud Platform أو من مقدّمي خدمات السحابة الإلكترونية الآخرين.

يمكنك الاطّلاع على مزيد من المعلومات حول كيفية استخدام المكتبة في هذه المقالة.

الخطوات التالية

نزِّل المستند التعريفي تحسين عمليات الدفع والتسليم والعمليات باستخدام عناوين موثوقة واطّلِع على البرنامج التعليمي على الويب تحسين عمليات الدفع والتسليم والعمليات باستخدام Address Validation .

قراءات إضافية مقترَحة:

المساهمون

وتتولى Google صيانة هذه المقالة. وقد كتبه في الأصل المساهمون التاليون.
المؤلفون الرئيسيون:

هنريك فالف | مهندس حلول
توماس أنغلاريت | مهندس حلول
سارثاك غانغولي | مهندس حلول