Utiliser le serveur SFTP générique

Le serveur SFTP de flux génériques permet d'importer plusieurs types de flux sur un seul serveur SFTP par environnement. Ce guide vous explique comment utiliser le serveur SFTP générique et fournit des liens vers le guide approprié pour le flux que vous prévoyez d'utiliser.

Le serveur SFTP générique repose sur deux importations distinctes :

1. Fichier descripteur : décrit le type de flux que vous allez importer.
2. Fichier(s) de flux : contenu du flux

Structurer le champ du descripteur

Le fichier descripteur est importé pour indiquer à notre système le type de flux que vous importez. Cela nous permet de valider et de traiter correctement le flux. Le fichier descripteur doit être importé avant le contenu du flux et doit respecter les exigences de dénomination suivantes :

• Vous devez utiliser l'extension de fichier .filesetdesc.json pour le fichier descripteur.
• Chaque nom de fichier de descripteur doit être unique et ne peut pas être réutilisé lors d'importations. Nous vous recommandons d'inclure l'horodatage de la génération et le nom du flux dans le nom du fichier.
  • Exemple : offers_1524606581.filesetdesc.json
• Chaque fichier descripteur doit lister tous les fichiers de données du dernier flux pour le nom de flux concerné.

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Les valeurs possibles pour le champ name sont les suivantes :

Vous trouverez ci-dessous un exemple de fichier de descripteur JSON pour un flux d'offres comportant deux partitions :

{
  "generation_timestamp": 1524606581,
  "name": "promote.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Structurer le contenu du flux

Après avoir importé le fichier descripteur, vous devez importer tous les fichiers de flux pour le type de données de flux correspondant au fichier de configuration de flux nommé par votre fichier descripteur. Les noms de fichiers et les chemins d'accès (relatifs au serveur SFTP) doivent correspondre exactement à ce qui a été inclus dans le champ data_file. Si un fichier est manquant, mal nommé ou importé à un autre emplacement, l'intégralité du flux ne sera pas traitée.

Le contenu de ces fichiers de données de flux doit être conforme aux spécifications du flux indiqué dans le fichier descripteur.

Chaque nom de fichier de flux doit être unique et ne peut pas être réutilisé lors des importations. Nous vous recommandons d'inclure le code temporel de génération et le numéro de fragment (ID incrémental) dans le nom du fichier.

• Exemple : offers_1524606581_1.json

Tailles des fichiers de flux et fréquence d'importation

• Assurez-vous que la taille du fichier de flux ne dépasse pas 200 Mo (après compression).
• La taille de chaque fichier de données décompressé doit être inférieure à 2 Go.
• La plupart des intégrations n'ont besoin que d'un seul fragment. Vous devez utiliser le moins de fragments possible. Un flux est limité à 1 000 segments.
• Les enregistrements individuels envoyés dans un segment ne doivent pas nécessairement être envoyés dans le même segment dans les flux à venir.
• Pour de meilleures performances, répartissez les données de manière égale entre les segments, afin que la taille de tous les fichiers segmentés soit la même.
• Si nécessaire, utilisez gzip pour compresser les flux. Toutefois, faites-le pour chaque segment de vos flux.

Dépannage et débogage

Après avoir importé vos fichiers (fichiers de description et de flux), accédez au lecteur d'ingestion (documentation) sur le portail des partenaires (accédez à Ingestion > Historique) pour suivre la progression de l'ingestion de votre flux.

Recherchez le name que vous avez saisi dans le fichier descripteur dans la colonne "Nom du flux" pour trouver votre flux.

Une fois le flux ingéré (état Success ou Fail), vous pouvez cliquer sur sa ligne pour afficher les détails des erreurs et des avertissements.