Başlarken

Veri Aktarımı 2.0 sürümüne erişimi ayarlamak için satış veya destek temsilcinizle birlikte çalışırken, size bir paket adı verilir. Satış temsilcinizle iletişime geçmeniz için kontrol etmenizi sağlayan Google Grubu Google Cloud Storage'daki veri dosyalarınıza erişebilir.

Verilerinize bir yardımcı program kullanarak erişmeyi seçebilirsiniz İsterseniz kendi kodunuzu yazabilirsiniz.

gsutil'i kullanarak verilere erişme

gsutil aracı, Python'da yazılmış bir komut satırı uygulamasıdır ve sayesinde kodlamaya gerek kalmadan verilerinize erişebilirsiniz. Siz gsutil komutu yerine bir komut dosyasının veya toplu dosyanın parçası olarak ve özel uygulamalar oluşturmaktır.

gsutil'i kullanmaya başlamak için gsutil dokümanlarına göz atın. Araç, ilk seferde kimlik bilgilerinizi girmenizi ister bunları kullanabilir ve daha sonra kullanmak üzere saklayabilirsiniz.

gsutil örnekleri

gsutil'i kullanarak tüm dosyalarınızı aşağıdaki şekilde listeleyebilirsiniz:

gsutil ls gs://[bucket_name]/[object name/file name]

gsutil, UNIX ile hemen hemen aynı söz dizimini kullanır, yıldız (*) kullanarak tüm NetworkImpression dosyalarını listeleyebilirsiniz:

gsutil ls gs://[bucket_name]/dcm_account6837_impression_*

Dosyaları kolayca indirebilirsiniz:

gsutil cp gs://[bucket_name]/dcm_account6837_impression_2015120100.log.gz

Farklı dağılmış DT Google paketlerindeki dosyalarınızı kendi Google API GCS Paketinize kopyalayabilirsiniz Unix kabuk komut dosyası kullanıyorsanız iki seçenek vardır:

  • gsutil'de Unix Sistemi kullanıyorsanız tüm paketleriniz için günlük olarak aşağıdaki komutu çalıştırın:

    $ day=$(date --date="1 days ago" +"%m-%d-%Y")
$ gsutil -m cp gs://{<dcmhashid_A>,<dcmhashid_B>,etc.}/*$day*.log.gz gs://<client_bucket>/

  • Daha karmaşık bir çözüm olarak bash dosyası da kullanabilirsiniz:

    #!/bin/bash

set -x

buckets={dfa_-hasid_A dfa_-hashid_B,...} #include all hash ids
day=$(date --date="1 days ago" +"%m-%d-%Y")
for b in ${buckets[@]}; do /
    gsutil -m cp gs://$b/*$day*.log.gz gs:/// /
done

Verilere programatik olarak erişme

Google Cloud Storage'da pek çok programlama için API'ler ve örnekler bulunur. verilerinize programatik bir şekilde erişmenize olanak tanıyan dillerdir. Aşağıdakiler Veri Aktarımı 2.0 sürümüne özel adımları içerir. en iyi uygulamaları paylaşacağım.

Hizmet hesabı alın

Veri Aktarımı 2.0 sürümünü kullanmaya başlamak için kullan kurulum aracını kullanın. Bu araç, Google API Konsolu, API'yi etkinleştirme ve kimlik bilgileri oluşturma.

Yeni bir hizmet hesabı oluşturmak için aşağıdakileri yapın:

  1. Kimlik bilgileri oluştur > Hizmet hesabı anahtarı.
  2. Hizmet hesabının ortak/özel anahtarının standart P12 dosyası veya bir Google API istemcisi tarafından yüklenebilen bir JSON dosyası olarak kitaplığını açar.

Yeni herkese açık/özel anahtar çiftiniz oluşturulur ve makinenize indirilir; bu anahtarın tek kopyası olarak işlev görür. Bu bilgilerin depolanmasından siz sorumlu olursunuz. .

Bu pencereyi açık tutmayı unutmayın. Hizmet hesabı e-posta adresine ihtiyacınız olacak. adım adım anlatacağız.

Grubunuza bir hizmet hesabı ekleme

  • Google Grubu'na gidin.
  • Gruplarım'ı tıklayın ve erişimi yönetmek için kullandığınız grubu seçin DT v2.0 Cloud Storage Paketinize ekleyin
  • Yönet'i tıklayın
  • Üye Davet Et'i tıklamayın.
  • Doğrudan üye ekle'yi tıklayın
  • Önceki adımda bulunan hizmet hesabı e-postasını üyeler kutusu
  • E-posta yok'u seçin
  • Ekle düğmesini tıklayın

Yanlışlıkla Üye Davet Et'i tıkladım

Kapsam

Cloud Storage'a iletilen tüm kapsamlar Salt Okunur olmalıdır

Örneğin, Java istemci kitaplığını kullandığınızda kullanım şekli: 

StorageScopes.DEVSTORAGE_READ_ONLY
.