Menggunakan Server SFTP Generik

Server SFTP feed Umum memungkinkan beberapa jenis feed diupload ke satu server SFTP per lingkungan. Panduan ini akan membahas cara menggunakan server SFTP Generik dan memberikan link ke panduan yang sesuai untuk masing-masing feed yang akan Anda gunakan.

Server SFTP Generik mengandalkan dua upload terpisah:

1. File deskriptor: menjelaskan jenis feed yang akan Anda upload
2. File feed: konten feed sebenarnya

Menyusun kolom deskriptor

File deskriptor diupload untuk memberi tahu sistem kami jenis feed yang Anda upload. Hal ini memungkinkan kami memvalidasi dan memproses feed dengan benar. File deskriptor harus diupload sebelum konten feed dan harus mengikuti persyaratan penamaan berikut:

• Anda harus menggunakan ekstensi file .filesetdesc.json untuk file deskriptor.
• Setiap nama file deskriptor harus unik dan tidak dapat digunakan kembali di seluruh upload. Sebaiknya sertakan stempel waktu pembuatan dan nama feed dalam nama file.
  • Contoh: offers_1524606581.filesetdesc.json
• Setiap file deskriptor harus mencantumkan semua file data dalam feed terbaru untuk nama feed yang relevan.

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Nilai yang mungkin untuk kolom name mencakup:

Contoh file deskriptor JSON untuk feed penawaran dengan dua shard tersedia di bawah:

{
  "generation_timestamp": 1524606581,
  "name": "promote.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Menyusun konten feed

Setelah mengupload file deskriptor, Anda akan mengupload semua file feed untuk jenis data feed yang sesuai dengan file konfigurasi feed yang dinamai oleh file deskriptor Anda. Nama file dan lokasi jalur (relatif dalam server SFTP) harus sama persis dengan yang disertakan dalam kolom data_file. Jika ada file yang tidak ada, diberi nama yang tidak tepat, atau diupload ke lokasi yang berbeda, seluruh feed tidak akan diproses.

Isi file data feed ini harus sesuai dengan spesifikasi feed yang relevan yang ditentukan dalam file deskriptor.

Setiap nama file feed harus unik dan tidak dapat digunakan kembali di seluruh upload. Sebaiknya sertakan stempel waktu pembuatan dan nomor partisi (ID inkremental) dalam nama file.

• Contoh: offers_1524606581_1.json

Ukuran file feed dan frekuensi upload

• Pertahankan ukuran file feed di bawah 200 MB (setelah kompresi).
• Ukuran setiap file data yang didekompresi tidak boleh lebih dari 2 GB.
• Sebagian besar integrasi hanya perlu menggunakan satu shard. Anda harus menggunakan shard sesedikit mungkin. Maksimal ada 1.000 shard per feed.
• Setiap catatan yang dikirim dalam satu shard tidak perlu dikirim dalam nomor shard yang sama di feed mendatang.
• Untuk mendapatkan performa yang lebih baik, bagi data secara merata di antara shard sehingga semua file yang di-sharding memiliki ukuran yang serupa.
• Jika perlu, gunakan gzip untuk mengompresi feed. Namun, lakukan hal tersebut untuk setiap shard feed.

Pemecahan masalah dan proses debug

Setelah mengupload file (file deskriptor dan feed), buka Ingestion Viewer (dokumentasi) di Partner Portal (buka Penyerapan > Histori) untuk mengikuti progres penyerapan feed Anda.

Cari name yang telah Anda masukkan dalam file deskriptor di kolom "Nama feed" untuk menemukan feed Anda.

Setelah feed diproses (statusnya Success atau Fail), Anda dapat mengklik barisnya untuk melihat detail error dan peringatan.