Rozpocznij

Gdy współpracujesz z działem sprzedaży lub pomocy, aby skonfigurować dostęp do Przenoszenia danych w wersji 2.0, otrzymasz nazwę zasobnika. Musisz podać kontaktowi ds. sprzedaży Grupa dyskusyjna Google, która umożliwia Ci kontrolowanie dostęp do plików danych w Google Cloud Storage.

Możesz uzyskać dostęp do swoich danych za pomocą programu lub napisać własny kod.

Dostęp do danych za pomocą narzędzia gsutil

Narzędzie gsutil to aplikacja wiersza poleceń napisana w Pythonie, umożliwia dostęp do danych bez konieczności kodowania. Ty możesz na przykład użyć polecenia gsutil jako części skryptu lub pliku wsadowego zamiast tworzenia niestandardowych aplikacji.

Aby zacząć korzystać z gsutil, przeczytaj polecenie gsutil dokumentacji. Przy pierwszym razem z narzędziem wyświetli się prośba o podanie danych logowania aby potem użyć tych danych i zapisać je do późniejszego użycia.

Przykłady polecenia gsutil

Aby wyświetlić listę wszystkich plików, użyj polecenia gsutil w ten sposób:

gsutil ls gs://[bucket_name]/[object name/file name]

Polecenie gsutil wykorzystuje składnię podobną do systemu UNIX, z uwzględnieniem symbolu wieloznacznego gwiazdka (*), dzięki czemu możesz wymienić wszystkie pliki Networkimpression:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Możesz też łatwo pobrać plik:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Pliki z rozproszonych zasobników Google DT możesz skopiować do własnego zasobnika GCS Google API, korzystając z skryptu powłoki Unix. Do wyboru masz 2 opcje:

  • Jeśli używasz systemu Unix, w przypadku wszystkich zasobników codziennie uruchamiaj w gsutil następujące polecenia:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
    $ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/
  • Innym, nieco bardziej skomplikowanym rozwiązaniem jest użycie pliku bash:

    #!/bin/bash
    
    set -x
    
    buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
    day=$(date --date="1 days ago" +"%m-%d-%Y")
    for b in ${buckets[@]}; do /
        gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
    done

Dostęp do danych za pomocą kodu

Google Cloud Storage udostępnia interfejsy API i przykłady do wielu programowania które umożliwiają zautomatyzowany dostęp do danych. Poniżej znajdziesz czynności związane z przenoszeniem danych w wersji 2.0, które należy wykonać, aby utworzyć działającą integrację.

Uzyskiwanie dostępu do konta usługi

Aby zacząć korzystać z Przenoszenia danych w wersji 2.0, najpierw musisz: użyj w narzędziu konfiguracji, które przeprowadzi Cię przez proces tworzenia projektu w Konsola interfejsów API Google, włączenie interfejsu API i tworzenie danych logowania.

Aby skonfigurować nowe konto usługi:

  1. Kliknij Utwórz dane logowania > Klucz konta usługi.
  2. Wybierz, czy chcesz pobrać klucz publiczny lub prywatny konta usługi jako standardowy plik P12, czy jako plik JSON, który może być wczytywany przez bibliotekę klienta interfejsu API Google.

Nowa para kluczy publicznych/prywatnych zostanie wygenerowana i pobrana na Twoje urządzenie. To jedyny egzemplarz tego klucza. Twoim obowiązkiem jest bezpieczne przechowywanie danych.

Nie zamykaj tego okna, bo będziesz potrzebować adresu e-mail konta usługi w następnym kroku.

Dodawanie konta usługi do grupy

  • Otwórz Grupa dyskusyjna Google.
  • Kliknij Moje grupy i wybierz grupę, której używasz do zarządzania dostępem do zasobnika Cloud Storage DT w wersji 2.0.
  • Kliknij Zarządzaj.
  • Nie klikaj przycisku Zaproś członków.
  • Kliknij Dodaj członków bezpośrednio.
  • Skopiuj adres e-mail konta usługi z poprzedniego kroku do pola członkowie.
  • Wybierz Bez e-maila.
  • Kliknij przycisk Dodaj.

Kliknąłem/kliknęłam Zaproś osoby

Zakres

Wszystkie zakresy przekazywane do Cloud Storage muszą być tylko do odczytu

Na przykład podczas korzystania z biblioteki klienta w języku Java prawidłowy zakres to:

StorageScopes.DEVSTORAGE_READ_ONLY