Utiliser le serveur SFTP générique

Le serveur SFTP de flux générique permet d'importer plusieurs types de flux sur un seul serveur SFTP par environnement. Ce guide explique comment utiliser le serveur SFTP générique et fournit des liens vers le guide approprié pour le flux que vous prévoyez d'utiliser.

Le serveur SFTP générique repose sur deux importations distinctes :

1. Fichier de descripteur : décrit le type de flux que vous allez importer.
2. Fichier(s) de flux : contenu du flux proprement dit.

Structure du champ de descripteur

Le fichier de descripteur est importé pour informer notre système du type de flux que vous importez. Cela nous permet de valider et de traiter correctement le flux. Le fichier de descripteur doit être importé avant le contenu du flux et doit respecter les exigences de nommage suivantes :

• Vous devez utiliser l'extension de fichier .filesetdesc.json pour le fichier de descripteur.
• Chaque nom de fichier de descripteur doit être unique et ne peut pas être réutilisé lors des importations. Nous vous recommandons d'inclure l'horodatage de génération et le nom du flux dans le nom de fichier.
  • Exemple : offers_1524606581.filesetdesc.json
• Chaque fichier de descripteur doit répertorier tous les fichiers de données du dernier flux pour le nom de flux concerné.

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Les valeurs possibles pour le champ name incluent les suivantes :

Vous trouverez ci-dessous un exemple de fichier de descripteur JSON pour un flux d'offres comportant deux segments :

{
  "generation_timestamp": 1524606581,
  "name": "google.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Structure du contenu du flux

Après avoir importé le fichier de descripteur, vous importerez tous les fichiers de flux pour le type de données de flux correspondant au fichier de configuration de flux nommé par votre fichier de descripteur. Les noms de fichiers et les emplacements des chemins d'accès (relatifs au serveur SFTP) doivent correspondre exactement à ce qui a été inclus dans le data_file champ. Si un fichier est manquant, mal nommé ou importé dans un autre emplacement, l'intégralité du flux ne sera pas traitée.

Le contenu de ces fichiers de données de flux doit être conforme aux spécifications pertinentes de le flux spécifié dans le fichier de descripteur.

Chaque nom de fichier de flux doit être unique et ne peut pas être réutilisé lors des importations. Nous vous recommandons d'inclure l'horodatage de génération et le numéro de segment (ID incrémental) dans le nom de fichier.

• Exemple : offers_1524606581_1.json

Tailles de fichiers et fréquence d'importation

• Assurez-vous que la taille du fichier de flux ne dépasse pas 200 Mo (après compression).
• La taille de chaque fichier de données décompressé doit être inférieure à 2 Go.
• La plupart des intégrations n'ont besoin d'utiliser qu'un seul segment. Vous devez utiliser le moins de segments possible. Un flux est limité à 1 000 segments.
• Les enregistrements individuels envoyés dans un segment ne doivent pas nécessairement être envoyés dans le même numéro de segment dans les flux à venir.
• Pour de meilleures performances, répartissez les données de manière égale entre les segments, afin que la taille de tous les fichiers segmentés soit la même.
• Si nécessaire, utilisez gzip pour compresser les flux. Toutefois, faites-le pour chaque segment de vos flux.

Dépannage et débogage

Après avoir importé vos fichiers (fichier de descripteur et fichiers de flux), accédez à l' outil de visualisation de l'ingestion (documentation) sur le portail des partenaires (accédez à Ingestion > Historique) pour suivre la progression de l'ingestion de votre flux.

Recherchez le name que vous avez saisi dans le fichier de descripteur dans la colonne "Nom du flux" pour trouver votre flux.

Une fois le flux ingéré (état Success ou Fail), vous pouvez cliquer sur sa ligne pour afficher les détails des erreurs et des avertissements.