Wenn Sie mit Ihrem Vertriebs- oder Supportkontakt zusammenarbeiten, um den Zugriff auf Data Transfer v2.0 einzurichten, erhalten Sie einen Bucket-Namen. Sie müssen Ihrem Vertriebskontakt eine Google-Gruppe, über die Sie Ihre auf Ihre Datendateien in Google Cloud Storage zugreifen können.
Sie können über ein Dienstprogramm auf Ihre Daten zugreifen. oder Sie schreiben Ihren eigenen Code.
Mit gsutil auf Daten zugreifen
Das gsutil-Tool ist eine in Python geschriebene Befehlszeilenanwendung, können Sie ganz ohne Programmieren auf Ihre Daten zugreifen. Ich können Sie beispielsweise gsutil als Teil eines Skripts oder einer Batch-Datei verwenden, benutzerdefinierte Anwendungen erstellen.
Lesen Sie für den Einstieg in gsutil die gsutil Dokumentation. Sie werden beim ersten Mal vom Tool zur Eingabe Ihrer Anmeldedaten aufgefordert. und speichern sie zur späteren Verwendung.
gsutil-Beispiele
Mit gsutil können Sie alle Dateien so auflisten:
gsutil ls gs://[bucket_name]/[object name/file name]
gsutil verwendet eine ähnliche Syntax wie UNIX, einschließlich des Platzhalters. Sternchen (*) ein, sodass Sie alle NetworkImpression-Dateien auflisten können:
gsutil ls gs://[bucket_name]/dcm_account6837_impression_*
Sie können eine Datei auch ganz einfach herunterladen:
gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz
Sie können Ihre Dateien aus den verteilten DT-Google-Buckets in Ihren eigenen GCS-Bucket für die Google API kopieren. Mit einem Unix-Shell-Skript haben Sie zwei Möglichkeiten:
Wenn Sie ein Unix-System verwenden, führen Sie in gsutil täglich für alle Buckets den folgenden Befehl aus:
$ day=$(date --date="1 days ago" +"%m-%d-%Y") $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
Alternativ ist die Verwendung einer Bash-Datei eine etwas schwierigere Lösung:
#!/bin/bash set -x buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids day=$(date --date="1 days ago" +"%m-%d-%Y") for b in ${buckets[@]}; do / gsutil -m cp gs://$b/*$day*.log.gz gs://
_bucket>/ / done
Programmatisch auf Daten zugreifen
Google Cloud Storage bietet APIs und Beispiele für viele Programmierungen. Sprachen, mit denen Sie programmatisch auf Ihre Daten zugreifen können. Unten sehen Sie die spezifischen Schritte für Data Transfer v2.0, die Sie ausführen müssen, funktionieren.
Dienstkonten abrufen
Für die Verwendung von Data Transfer v2.0 müssen Sie zuerst verwenden das Einrichtungstool, das Sie durch die Erstellung eines Projekts im Google API Console, um die API zu aktivieren und Anmeldedaten zu erstellen
So richten Sie ein neues Dienstkonto ein:
- Klicken Sie auf Anmeldedaten erstellen > Dienstkontoschlüssel.
- Wählen Sie aus, ob Sie den öffentlichen/privaten Schlüssel des Dienstkontos als Standard-P12-Datei oder als JSON-Datei, die von einem Google API-Client geladen werden kann Bibliothek.
Ihr neues öffentliches/privates Schlüsselpaar wird generiert und auf Ihren Computer heruntergeladen. Dies ist die einzige Kopie dieses Schlüssels. Sie sind dafür verantwortlich, sie aufzubewahren. sicher.
Lassen Sie dieses Fenster geöffnet, da Sie die E-Mail-Adresse des Dienstkontos benötigen. im nächsten Schritt an.
Dienstkonto zur Gruppe hinzufügen
- Rufen Sie die Google-Gruppe auf.
- Klicken Sie auf „Meine Gruppen“ und wählen Sie die Gruppe aus, die Sie für die Zugriffsverwaltung verwenden. zu Ihrem DT v2.0 Cloud Storage-Bucket
- Klicken Sie auf „Verwalten“.
- Klicken Sie nicht auf „Mitglieder einladen“.
- Klicken Sie auf „Mitglieder direkt hinzufügen“.
- Kopieren Sie die E-Mail-Adresse des Dienstkontos aus dem vorherigen Schritt in den Mitgliederfeld
- Wählen Sie Keine E-Mail-Adresse aus.
- Klicken Sie auf die Schaltfläche Hinzufügen .
Ich habe versehentlich auf "Mitglieder einladen" geklickt
<ph type="x-smartling-placeholder">Umfang
Alle an Cloud Storage übergebenen Bereiche müssen schreibgeschützt sein
Wenn Sie beispielsweise die Java-Client-Bibliothek verwenden, zu verwenden ist:
StorageScopes.DEVSTORAGE_READ_ONLY