File feed shard

Bergantung pada inventaris Anda, sharding (atau membagi feed menjadi beberapa file) mungkin diperlukan.

Kapan harus menggunakan sharding

• Feed melebihi 200 MB untuk 1 file (setelah kompresi gzip).

  • Contoh: Feed ketersediaan yang dihasilkan adalah 1 GB. File ini harus di-shard ke 5 file terpisah (atau shard).

• Inventaris partner didistribusikan di seluruh sistem dan/atau region sehingga menyulitkan rekonsiliasi inventaris.

  • Contoh: Partner memiliki inventaris AS dan Uni Eropa yang berada di sistem terpisah. Feed dapat dibuat dengan 2 file (atau shard), 1 untuk AS, dan 1 untuk Uni Eropa dengan nonce dan generation_timestamp yang sama.

Peraturan umum

• Setiap shard tidak boleh melebihi 200 MB untuk 1 file (setelah kompresi gzip).
• Sebaiknya jangan gunakan lebih dari 20 shard per feed. Jika Anda memiliki justifikasi bisnis yang memerlukan lebih dari jumlah tersebut, hubungi dukungan untuk mendapatkan petunjuk lebih lanjut.
• Setiap kumpulan data (misalnya, satu objek Merchant) harus dikirim dalam satu shard, dan tidak dapat dibagi di beberapa shard. Namun, iklan ini tidak harus dikirim dalam shard dengan shard_number yang sama untuk feed mendatang.
• Untuk mendapatkan performa yang lebih baik, data Anda harus dibagi secara merata di antara shard sehingga semua file yang di-sharding memiliki ukuran yang serupa.

Cara melakukan sharding feed

Untuk setiap file (atau shard), tetapkan FeedMetadata ke hal berikut:

• processing_instruction ditetapkan ke PROCESS_AS_COMPLETE.
• shard_number ditetapkan ke shard feed saat ini (mulai dari 0 hingga total_shards - 1 tanpa diskontinuitas)
• total_shards ditetapkan ke jumlah total shard untuk feed (mulai dari 1).
• nonce ditetapkan ke ID unik yang sama di semua shard feed yang sama, tetapi berbeda dengan nilai feed lain. nonce harus berupa int positif (uint64).
• generation_timestamp adalah stempel waktu dalam format UNIX dan EPOCH. Nilai ini harus sama di semua shard feed.

Direkomendasikan: Untuk setiap file (atau shard), tetapkan nama file untuk menunjukkan jenis feed, stempel waktu, nomor shard, dan jumlah total shard. Ukuran shard harus kira-kira sama dan diproses setelah semua shard diupload.

• Example: “availability_feed_1574117613_001_of_002.json.gz”

Contoh feed Ketersediaan yang di-shard

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 0,
    "total_shards": 3,
    "nonce": 111111,
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577275200,
          "merchant_id": "merchant1",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 1,
    "total_shards": 3,
    "nonce": 111111,
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577620800,
          "merchant_id": "merchant2",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 2,
    "total_shards": 3,
    "nonce": 111111,
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1576670400,
          "merchant_id": "merchant3",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

Menggunakan sharding untuk inventaris yang didistribusikan partner

Partner mungkin kesulitan untuk menggabungkan inventaris yang didistribusikan di beberapa sistem dan atau wilayah ke dalam satu feed. Sharding dapat digunakan untuk menyelesaikan tantangan rekonsiliasi dengan menetapkan setiap shard agar cocok dengan setiap set inventaris sistem terdistribusi.

Misalnya, inventaris partner dipisahkan menjadi 2 wilayah (inventaris Amerika Serikat dan Uni Eropa), yang berada di 2 sistem terpisah.

Partner dapat membagi setiap feed menjadi 2 file (atau shard):

• Feed penjual: 1 shard untuk AS, 1 shard untuk Uni Eropa
• Feed layanan: 1 shard untuk AS, 1 shard untuk Uni Eropa
• Feed ketersediaan: 1 shard untuk AS, 1 shard untuk Uni Eropa

Ikuti langkah-langkah di bawah untuk memastikan feed diproses dengan benar:

1. Tentukan jadwal upload, dan konfigurasikan setiap instance inventaris untuk mengikuti jadwal.
2. Tetapkan nomor shard unik untuk setiap instance (misalnya, AS = N, Uni Eropa = N + 1). Tetapkan total_shards ke jumlah total shard.
3. Pada setiap waktu upload terjadwal, tentukan generation_timestamp dan nonce. Di FeedMetadata, tetapkan semua instance untuk menyimpan nilai yang sama untuk kedua kolom ini.
   • generation_timestamp harus saat ini atau baru-baru ini (idealnya, stempel waktu database baca partner)
4. Setelah semua shard diupload, Google mengelompokkan shard melalui generation_timestamp dan nonce.

Google akan memproses feed sebagai satu meskipun setiap shard mewakili wilayah inventaris partner yang berbeda dan dapat diupload pada waktu yang berbeda selama generation_timestamp sama di semua shard.

Contoh feed Ketersediaan yang di-shard menurut wilayah

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 0,
    "total_shards": 2,
    "nonce": 111111,
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577275200,
          "merchant_id": "US_merchant_1",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}

{
  "metadata": {
    "processing_instruction": "PROCESS_AS_COMPLETE",
    "shard_number": 1,
    "total_shards": 2,
    "nonce": 111111,
    "generation_timestamp": 1524606581
  },
  "service_availability": [
    {
      "availability": [
        {
          "spots_total": 1,
          "spots_open": 1,
          "duration_sec": 3600,
          "service_id": "1000",
          "start_sec": 1577620800,
          "merchant_id": "EU_merchant_1",
          "confirmation_mode": "CONFIRMATION_MODE_SYNCHRONOUS"
        }
      ]
    }
  ]
}