Allgemeines SFTP

Auf dem SFTP-Server für generische Feeds können mehrere Feedtypen pro Umgebung auf einen einzelnen SFTP-Server hochgeladen werden. In dieser Anleitung wird beschrieben, wie Sie den generischen SFTP-Server verwenden. Außerdem finden Sie Links zur entsprechenden Anleitung für den jeweiligen Feed, den Sie verwenden möchten.

Für den generischen SFTP-Server sind zwei separate Uploads erforderlich:

1. Deskriptordatei: Beschreibt, welchen Feedtyp Sie hochladen
2. Feeddateien : Der Inhalt des eigentlichen Feeds

Deskriptorfeld strukturieren

Die Deskriptordatei wird hochgeladen, um unser System darüber zu informieren, welchen Feedtyp Sie hochladen. So können wir den Feed richtig validieren und verarbeiten. Die Deskriptordatei muss vor den Feedinhalten hochgeladen werden und die folgenden Anforderungen an die Benennung erfüllen:

• Verwenden Sie für die Deskriptordatei die Dateiendung .filesetdesc.json.
• Jeder Deskriptordateiname muss eindeutig sein und kann nicht für mehrere Uploads verwendet werden. Wir empfehlen, den Zeitstempel der Generierung und den Feednamen in den Dateinamen aufzunehmen.
  • Beispiel: offers_1524606581.filesetdesc.json
• In jeder Deskriptordatei müssen alle Datendateien im neuesten Feed für den entsprechenden Feednamen aufgeführt sein.

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Mögliche Werte für das Feld name sind:

• reservewithgoogle.entity
• google.offer

Unten sehen Sie ein Beispiel für eine JSON-Deskriptordatei für einen Angebotsfeed mit zwei Shards: verfügbar:

{
  "generation_timestamp": 1524606581,
  "name": "google.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Feedinhalte strukturieren

Nach dem Hochladen der Deskriptordatei laden Sie alle Feeddateien für den Feeddatentyp hoch, der der Feedkonfigurationsdatei entspricht, die in der Deskriptordatei angegeben ist. Die Dateinamen und Pfade (relativ zum SFTP-Server) müssen genau mit den Angaben im data_file Feld übereinstimmen. Wenn eine Datei fehlt, einen falschen Namen hat oder an einen anderen Speicherort hochgeladen wird, wird der gesamte Feed nicht verarbeitet.

Die Inhalte dieser Feeddatendateien müssen der entsprechenden Spezifikation des Feeds entsprechen, der in der Deskriptordatei angegeben wurde.

Jeder Feeddateiname muss eindeutig sein und kann nicht für mehrere Uploads verwendet werden. Wir empfehlen den Zeitstempel der Generierung und die Shard-Nummer (inkrementelle ID) in den Dateinamen aufzunehmen.

• Beispiel: offers_1524606581_1.json

Feeddateigrößen und Uploadhäufigkeit

• Komprimierte Feeddateien dürfen maximal 200 MB groß sein.
• Jede dekomprimierte Datendatei darf maximal 2 GB groß sein.
• Bei den meisten Integrationen ist nur ein Shard erforderlich. Verwenden Sie so wenige Shards wie möglich. Pro Feed sind maximal 1.000 Shards zulässig.
• Einzelne Datensätze, die in einem Shard gesendet werden, müssen in zukünftigen Feeds nicht dieselbe Shard-Nummer haben.
• Für eine bessere Leistung sollten die Daten gleichmäßig auf die Shards aufgeteilt werden, sodass alle die Shard-Dateien eine ähnliche Größe haben.
• Bei Bedarf können Sie gzip verwenden, um Feeds zu komprimieren. Das muss für jeden einzelnen Feed-Shard erledigt werden.

Fehlerbehebung

Nachdem Sie Ihre Dateien (Deskriptor- und Feeddateien) hochgeladen haben, rufen Sie im Partner-Portal den Ingestion Viewer (Dokumentation) auf. Gehen Sie dazu zu Ingestion > Verlauf , um den Fortschritt der Feedaufnahme zu verfolgen.

Suchen Sie in der Spalte „Feedname“ nach dem name, das Sie in der Deskriptordatei eingegeben haben.

Sobald der Feed aufgenommen wurde (Status ist Success oder Fail), können Sie auf die entsprechende Zeile klicken, um die Details zu den Fehlern und Warnungen zu sehen.