Utiliser la boîte de dépôt du flux générique

La boîte de dépôt des flux génériques permet d'importer plusieurs types de flux dans une seule boîte de dépôt par environnement. Ce guide explique comment utiliser la boîte de dépôt générique et fournit des liens vers le guide approprié pour le flux que vous prévoyez d'utiliser.

(consultez la section Exporter des flux (de bout en bout) ou Flux (débutant) de la documentation).

La boîte de dépôt générique repose sur deux importations distinctes:

  1. Fichier de descripteur:décrit le type de flux que vous allez importer.
  2. Fichiers de flux : contenu du flux

Structurer le champ de descripteur

Le fichier descripteur est importé pour indiquer à notre système le type de flux que vous importez. Cela nous permet de valider et de traiter correctement le flux. Le fichier de descripteur doit être importé avant le contenu du flux et doit respecter les exigences de dénomination suivantes:

  • Vous devez utiliser l'extension de fichier .filesetdesc.json pour le fichier descripteur.
  • Chaque nom de fichier de descripteur doit être unique et ne peut pas être réutilisé d'une importation à l'autre. Nous vous recommandons d'inclure le code temporel de génération et le nom du flux dans le nom du fichier.
    • Exemple: offers_1524606581.filesetdesc.json
  • Chaque fichier de descripteur doit lister tous les fichiers de données du dernier flux pour le nom de flux approprié.
message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Les valeurs possibles pour le champ name sont les suivantes:

Vous trouverez ci-dessous un exemple de fichier de descripteur JSON pour un flux d'offres avec deux segments:

{
  "generation_timestamp": 1524606581,
  "name": "promote.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Structurer le contenu du flux

Après avoir importé le fichier descripteur, importez tous les fichiers de flux pour le type de données de flux correspondant au fichier de configuration du flux nommé par votre fichier descripteur. Les noms de fichier et les chemins d'accès (relatifs dans la zone de dépôt) doivent correspondre exactement à ce qui était inclus dans le champ data_file. Si un fichier est manquant, mal nommé ou importé à un autre emplacement, l'intégralité du flux ne sera pas traitée.

Le contenu de ces fichiers de données de flux doit respecter les spécifications du flux spécifiées dans le fichier descripteur.

Chaque nom de fichier de flux doit être unique et ne peut pas être réutilisé d'une importation à l'autre. Nous vous recommandons d'inclure le code temporel de génération et le numéro de fragment (identifiant incrémental) dans le nom de fichier.

  • Exemple: offers_1524606581_1.json

Tailles des fichiers de flux et fréquence d'importation

  • Assurez-vous que la taille du fichier de flux ne dépasse pas 200 Mo (après compression).
  • La taille de chaque fichier de données décompressé doit être inférieure à 2 Go.
  • La plupart des intégrations n'auront besoin que d'un seul fragment. Vous devez utiliser le moins de fragments possible. Un flux est limité à 1 000 segments.
  • Les enregistrements individuels envoyés dans un segment ne doivent pas nécessairement être envoyés dans le même numéro de segment dans les flux à venir.
  • Pour de meilleures performances, répartissez les données de manière égale entre les segments, afin que la taille de tous les fichiers segmentés soit la même.
  • Si nécessaire, utilisez gzip pour compresser les flux. Toutefois, faites-le pour chaque segment de vos flux.

Dépannage et débogage

Une fois que vous avez importé vos fichiers (fichiers de descripteur et de flux), accédez au tableau de bord "Historique des flux" (documentation) sur le Partner Portal (accédez à Historique > Flux) pour suivre la progression de l'ingestion de votre flux.

Recherchez le name que vous avez saisi dans le fichier de description dans la colonne "Nom du flux" pour trouver votre flux.

Une fois le flux ingéré (état Success ou Fail), vous pouvez cliquer sur sa ligne pour afficher les détails des erreurs et des avertissements.