Informationen für Einsteiger

Wenn Sie mit Ihrem Vertriebs- oder Supportkontakt zusammenarbeiten, um den Zugriff auf Data Transfer v2.0 einzurichten, erhalten Sie einen Bucket-Namen. Sie müssen Ihrem Vertriebskontakt eine Google-Gruppe, über die Sie Ihre auf Ihre Datendateien in Google Cloud Storage zugreifen können.

Sie können über ein Dienstprogramm auf Ihre Daten zugreifen. oder Sie schreiben Ihren eigenen Code.

Mit gsutil auf Daten zugreifen

Das gsutil-Tool ist eine in Python geschriebene Befehlszeilenanwendung, können Sie ganz ohne Programmieren auf Ihre Daten zugreifen. Ich können Sie beispielsweise gsutil als Teil eines Skripts oder einer Batch-Datei verwenden, benutzerdefinierte Anwendungen erstellen.

Lesen Sie für den Einstieg in gsutil die gsutil Dokumentation. Sie werden beim ersten Mal vom Tool zur Eingabe Ihrer Anmeldedaten aufgefordert. und speichern sie zur späteren Verwendung.

gsutil-Beispiele

Mit gsutil können Sie alle Dateien so auflisten:

gsutil verwendet eine ähnliche Syntax wie UNIX, einschließlich des Platzhalters. Sternchen (*) ein, sodass Sie alle NetworkImpression-Dateien auflisten können:

Sie können eine Datei auch ganz einfach herunterladen:

Sie können Ihre Dateien aus den verteilten DT-Google-Buckets in Ihren eigenen GCS-Bucket für die Google API kopieren. Mit einem Unix-Shell-Skript haben Sie zwei Möglichkeiten:

• Wenn Sie ein Unix-System verwenden, führen Sie in gsutil täglich für alle Buckets den folgenden Befehl aus:

  $ day=$(date --date="1 days ago" +"%m-%d-%Y")
  $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
  

• Alternativ ist die Verwendung einer Bash-Datei eine etwas schwierigere Lösung:

  #!/bin/bash
  
  set -x
  
  buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
  day=$(date --date="1 days ago" +"%m-%d-%Y")
  for b in ${buckets[@]}; do /
      gsutil -m cp gs://$b/*$day*.log.gz gs://_bucket>/ /
  done
  

Programmatisch auf Daten zugreifen

Google Cloud Storage bietet APIs und Beispiele für viele Programmierungen. Sprachen, mit denen Sie programmatisch auf Ihre Daten zugreifen können. Unten sehen Sie die spezifischen Schritte für Data Transfer v2.0, die Sie ausführen müssen, funktionieren.

Dienstkonten abrufen

Für die Verwendung von Data Transfer v2.0 müssen Sie zuerst verwenden das Einrichtungstool, das Sie durch die Erstellung eines Projekts im Google API Console, um die API zu aktivieren und Anmeldedaten zu erstellen

So richten Sie ein neues Dienstkonto ein:

1. Klicken Sie auf Anmeldedaten erstellen > Dienstkontoschlüssel.
2. Wählen Sie aus, ob Sie den öffentlichen/privaten Schlüssel des Dienstkontos als Standard-P12-Datei oder als JSON-Datei, die von einem Google API-Client geladen werden kann Bibliothek.

Ihr neues öffentliches/privates Schlüsselpaar wird generiert und auf Ihren Computer heruntergeladen. Dies ist die einzige Kopie dieses Schlüssels. Sie sind dafür verantwortlich, sie aufzubewahren. sicher.

Lassen Sie dieses Fenster geöffnet, da Sie die E-Mail-Adresse des Dienstkontos benötigen. im nächsten Schritt an.

Dienstkonto zur Gruppe hinzufügen

• Rufen Sie die Google-Gruppe auf.
• Klicken Sie auf „Meine Gruppen“ und wählen Sie die Gruppe aus, die Sie für die Zugriffsverwaltung verwenden. zu Ihrem DT v2.0 Cloud Storage-Bucket
• Klicken Sie auf „Verwalten“.
• Klicken Sie nicht auf „Mitglieder einladen“.
• Klicken Sie auf „Mitglieder direkt hinzufügen“.
• Kopieren Sie die E-Mail-Adresse des Dienstkontos aus dem vorherigen Schritt in den Mitgliederfeld
• Wählen Sie Keine E-Mail-Adresse aus.
• Klicken Sie auf die Schaltfläche Hinzufügen .

Ich habe versehentlich auf "Mitglieder einladen" geklickt

Umfang

Alle an Cloud Storage übergebenen Bereiche müssen schreibgeschützt sein

Wenn Sie beispielsweise die Java-Client-Bibliothek verwenden, zu verwenden ist:

StorageScopes.DEVSTORAGE_READ_ONLY