Ziel
In der Anleitung Adressvalidierung für große Datenmengen wurden verschiedene Szenarien vorgestellt, in denen die Adressvalidierung für große Datenmengen verwendet werden kann. In dieser Anleitung stellen wir Ihnen verschiedene Designmuster in der Google Cloud Platform vor, mit denen Sie die Address Validation API für große Adressmengen ausführen können.
Wir beginnen mit einem Überblick über die Ausführung der High Volume Address Validation in der Google Cloud Platform mit Cloud Run, Compute Engine oder Google Kubernetes Engine für einmalige Ausführungen. Anschließend sehen wir uns an, wie diese Funktion in eine Datenpipeline eingebunden werden kann.
Am Ende dieses Artikels sollten Sie ein gutes Verständnis der verschiedenen Optionen für die Ausführung der Address Validation in großem Umfang in Ihrer Google Cloud-Umgebung haben.
Referenzarchitektur auf der Google Cloud Platform
In diesem Abschnitt werden verschiedene Designmuster für die Address Validation mit hohem Volumen mithilfe der Google Cloud Platform näher erläutert. Durch die Ausführung auf der Google Cloud Platform können Sie die Integration in Ihre vorhandenen Prozesse und Datenpipelines vornehmen.
Address Validation mit hohem Volumen einmalig auf der Google Cloud Platform ausführen
Unten sehen Sie eine Referenzarchitektur für die Erstellung einer Integration auf der Google Cloud Platform, die sich besser für einmalige Vorgänge oder Tests eignet.
In diesem Fall empfehlen wir, die CSV-Datei in einen Cloud Storage-Bucket hochzuladen. Das Script für die Address Validation API für große Mengen kann dann in einer Cloud Run-Umgebung ausgeführt werden. Sie können ihn jedoch in jeder anderen Laufzeitumgebung wie Compute Engine oder Google Kubernetes Engine ausführen. Die Ausgabe-CSV-Datei kann auch in den Cloud Storage-Bucket hochgeladen werden.
Ausführung als Google Cloud Platform-Datenpipeline
Das im vorherigen Abschnitt gezeigte Bereitstellungsmuster eignet sich hervorragend, um die High Volume Address Validation für die einmalige Verwendung schnell zu testen. Wenn Sie es jedoch regelmäßig als Teil einer Datenpipeline verwenden müssen, können Sie die nativen Funktionen der Google Cloud Platform besser nutzen, um es robuster zu machen. Sie können unter anderem folgende Änderungen vornehmen:
- In diesem Fall können Sie CSV-Dateien in Cloud Storage-Buckets ablegen.
- Ein Dataflow-Job kann die zu verarbeitenden Adressen abrufen und dann in BigQuery im Cache speichern.
- Die Dataflow-Python-Bibliothek kann um Logik für die Adressvalidierung mit hohem Volumen erweitert werden, um die Adressen aus dem Dataflow-Job zu validieren.
Ausführen des Skripts aus einer Datenpipeline als langwieriger wiederkehrender Prozess
Ein weiterer gängiger Ansatz ist die Validierung einer Gruppe von Adressen als Teil einer Streaming-Datenpipeline als wiederkehrender Prozess. Möglicherweise haben Sie die Adressen auch in einem BigQuery-Datenspeicher. Bei diesem Ansatz sehen wir uns an, wie eine wiederkehrende Datenpipeline erstellt wird, die täglich, wöchentlich oder monatlich ausgelöst werden muss.
- Laden Sie die ursprüngliche CSV-Datei in einen Cloud Storage-Bucket hoch.
- Verwenden Sie Memorystore als nichtflüchtigen Datenspeicher, um den Zwischenstatus für den lang laufenden Prozess beizubehalten.
- Die endgültigen Adressen in einem BigQuery-Datenspeicher im Cache speichern.
- Richten Sie Cloud Scheduler ein, um das Script regelmäßig auszuführen.
Diese Architektur bietet folgende Vorteile:
- Mit Cloud Scheduler kann die Adressvalidierung regelmäßig durchgeführt werden. Möglicherweise möchten Sie die Adressen monatlich neu validieren oder neue Adressen monatlich/vierteljährlich validieren. Diese Architektur hilft, diesen Anwendungsfall zu lösen.
Wenn sich die Kundendaten in BigQuery befinden, können die validierten Adressen oder die Validierungs-Flags direkt dort im Cache gespeichert werden. Hinweis: Was im Cache gespeichert werden kann und wie, wird im Artikel Address Validation mit hohem Volumen ausführlich beschrieben.
Die Verwendung von Memorystore bietet eine höhere Ausfallsicherheit und die Möglichkeit, mehr Adressen zu verarbeiten. Durch diesen Schritt wird die gesamte Verarbeitungspipeline zustandsorientiert, was für die Verarbeitung sehr großer Adress-Datasets erforderlich ist. Andere Datenbanktechnologien wie Cloud SQL [https://cloud.google.com/sql] oder andere Datenbankvarianten, die die Google Cloud Platform bietet, können hier ebenfalls verwendet werden. Wir sind jedoch der Meinung, dass Memorystore die Anforderungen an Skalierung und Einfachheit perfekt erfüllt und daher die erste Wahl sein sollte.
Fazit
Wenn Sie die hier beschriebenen Muster anwenden, können Sie die Address Validation API für verschiedene Anwendungsfälle und aus verschiedenen Anwendungsfällen auf der Google Cloud Platform verwenden.
Wir haben eine Open-Source-Python-Bibliothek geschrieben, die Ihnen den Einstieg in die oben beschriebenen Anwendungsfälle erleichtert. Sie kann über eine Befehlszeile auf Ihrem Computer oder über die Google Cloud Platform oder andere Cloud-Anbieter aufgerufen werden.
Weitere Informationen zur Verwendung der Mediathek
Nächste Schritte
Laden Sie das Whitepaper Improve checkout, delivery, and operations with reliable addresses herunter und sehen Sie sich das Webinar Improving checkout, delivery, and operations with Address Validation an.
Empfohlene weitere Informationen:
Beitragende
Dieser Artikel wird von Google gepflegt. Die folgenden Mitwirkenden haben ihn ursprünglich verfasst.
Hauptautoren:
Henrik Valve | Solutions Engineer
Thomas Anglaret | Solutions Engineer
Sarthak Ganguly | Solutions Engineer