Korzystanie z serwera SFTP

Serwer SFTP ogólnego pliku danych umożliwia przesyłanie wielu typów plików danych na jeden serwer SFTP w danym środowisku. Z tego przewodnika dowiesz się, jak korzystać z ogólnego serwera SFTP, i znajdziesz linki do odpowiednich przewodników dotyczących plików danych, których zamierzasz używać.

Ogólny serwer SFTP wymaga 2 oddzielnych przesyłań:

1. Plik opisowy: opisuje typ pliku danych, który prześlesz
2. Pliki danych: zawartość właściwego pliku danych.

Struktura pola opisowego

Plik opisowy jest przesyłany, aby poinformować nasz system o typie pliku danych, który ty przesyłasz. Dzięki temu możemy prawidłowo zweryfikować i przetworzyć plik danych. Plik opisowy należy przesłać przed zawartością pliku danych i musi on spełniać te wymagania dotyczące nazewnictwa:

• W przypadku pliku opisowego musisz użyć rozszerzenia .filesetdesc.json.
• Każda nazwa pliku opisowego musi być unikalna i nie może być ponownie użyta w przypadku innych przesyłań. Zalecamy, aby nazwa pliku zawierała sygnaturę czasową generowania i nazwę pliku danych.
  • Przykład: offers_1524606581.filesetdesc.json
• Każdy plik opisowy musi zawierać listę wszystkich plików danych w najnowszym pliku danych dla odpowiedniej nazwy pliku danych.

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Możliwe wartości pola name:

Poniżej znajdziesz przykład pliku opisowego w formacie JSON dla pliku danych ofert z 2 fragmentami:

{
  "generation_timestamp": 1524606581,
  "name": "google.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Struktura zawartości pliku danych

Po przesłaniu pliku opisowego prześlesz wszystkie pliki danych dla typu danych pliku danych odpowiadającego plikowi konfiguracyjnemu pliku danych o nazwie podanej w pliku opisowym. Nazwy plików i lokalizacje ścieżek (względne w obrębie serwera SFTP) muszą być dokładnie takie same jak te podane w polu data_file. Jeśli brakuje jakiegokolwiek pliku, ma on nieprawidłową nazwę lub został przesłany do innej lokalizacji, cały plik danych nie zostanie przetworzony.

Zawartość tych plików danych musi być zgodna z odpowiednią specyfikacją pliku danych podaną w pliku opisowym.

Każda nazwa pliku danych musi być unikalna i nie może być ponownie użyta w przypadku innych przesyłań. Zalecamy aby nazwa pliku zawierała sygnaturę czasową generowania i numer fragmentu (identyfikator przyrostowy).

• Przykład: offers_1524606581_1.json

Rozmiary plików danych i częstotliwość przesyłania

• Rozmiar pliku danych (po skompresowaniu) nie może przekraczać 200 MB.
• Rozmiar każdego rozpakowanego pliku danych powinien być mniejszy niż 2 GB.
• Większość integracji będzie wymagać tylko jednego fragmentu. Używaj jak najmniejszej liczby fragmentów. Maksymalna liczba fragmentów na plik danych to 1000.
• Poszczególne rekordy wysyłane w jednym fragmencie nie muszą być wysyłane w przyszłych plikach danych w tym samym fragmencie.
• Aby uzyskać lepsze wyniki, podziel dane równomiernie między fragmenty, tak aby wszystkie pliki fragmentów miały podobny rozmiar.
• W razie potrzeby użyj gzip do skompresowania plików danych. Zrób to jednak w przypadku każdego indywidualnego fragmentu pliku danych.

Rozwiązywanie problemów i debugowanie

Po przesłaniu plików (opisowego i plików danych) otwórz przeglądarkę przetwarzania (dokumentacja) w Portalu dla partnerów (kliknij Przetwarzanie > Historia), aby śledzić postępy przetwarzania pliku danych.

Aby znaleźć plik danych, w kolumnie „Nazwa pliku danych” wyszukaj nazwę name, którą wpisano w pliku opisowym.

Gdy plik danych zostanie przetworzony (stan to Success lub Fail), możesz kliknąć jego wiersz, aby wyświetlić szczegóły błędów i ostrzeżeń.