Skrzynka na pliki danych ogólnych umożliwia przesyłanie wielu typów plików danych do jednej skrzynki na dane na środowisko. Z tego przewodnika dowiesz się, jak korzystać z ogólną skrzynkę referencyjną i podać linki do odpowiednich przewodników dla poszczególnych kanału, którego zamierzasz użyć.
. (Zapoznaj się z Eksportowanie plików danych (kompleksowo) i plików danych (start) w dokumentacji.Ogólna skrzynka referencyjna opiera się na 2 osobnych operacjach przesyłania:
- Plik z informacjami: określa, jaki typ pliku danych będziesz przesyłać.
- Pliki pliku danych: zawartość rzeczywistego pliku danych.
Tworzenie struktury pola deskryptora
Przesłany plik deskryptora informuje nasz system o typie pliku danych, które przesyłasz. Dzięki temu możemy prawidłowo zweryfikować i przetworzyć plik danych. plik deskryptora należy przesłać przed treścią pliku danych i musi spełniać te wymagania dotyczące nazw:
- Plik opisu musi mieć rozszerzenie
.filesetdesc.json. - Nazwa pliku każdego deskryptora musi być niepowtarzalna i nie można jej ponownie użyć w przypadku innych przesyłanych plików. Śr
zalecamy umieszczenie w nazwie pliku sygnatury czasowej generowania i nazwy pliku danych.
- Przykład: offer_1524606581.filesetdesc.json
- Każdy plik opisu musi zawierać listę wszystkich plików danych w najnowszym pliku danych o odpowiedniej nazwie.
message FilesetDescriptor {
// The timestamp at which this feed was generated, in Unix time format
// (seconds since the epoch). (required)
int64 generation_timestamp = 1;
// Identifies the name of this feed. (required)
string name = 2;
// Paths (relative to the dropbox root) specifying data files included in this
// feed. (required)
repeated string data_file = 3;
}
Możliwe wartości pola name:
Przykładowy plik deskryptora JSON dla pliku danych ofert z 2 fragmentami to dostępne poniżej:
{
"generation_timestamp": 1524606581,
"name": "promote.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}
Struktura treści w pliku danych
Po przesłaniu pliku deskryptora prześlij też wszystkie pliki danych
dla typu danych kanału odpowiadającego plikowi konfiguracji pliku danych o nazwie
w pliku deskryptora. Nazwy plików i lokalizacje ścieżek (względna w tagu
skrzynki referencyjnej) musi dokładnie odpowiadać informacjom zawartym w
data_file. Jeśli brakuje któregoś pliku, jego nazwa jest nieprawidłowa lub został on przesłany do innej lokalizacji, cały plik nie zostanie przetworzony.
Zawartość tych plików danych musi spełniać wymagania z pliku danych określonego w pliku deskryptora.
Każda nazwa pliku danych musi być unikalna i nie może być użyta w innych przesyłaniu. Zalecamy łącznie z sygnaturą czasową generowania i numerem fragmentu (identyfikatorem przyrostowym) w nazwie pliku.
- Przykład: offers_1524606581_1.json
Rozmiary plików danych i częstotliwość przesyłania
- Rozmiar pliku danych nie może przekraczać 200 MB (po skompresowaniu).
- Rozmiar każdego skompresowanego pliku danych powinien być mniejszy niż 2 GB.
- Większość integracji potrzebuje tylko 1 fragmentu. Należy używać jak najmniejszej liczby fragmentów. Możesz mieć maksymalnie 1000 fragmentów na kanał.
- Poszczególne rekordy wysłane w ramach jednego fragmentu nie muszą być wysyłane pod tym samym numerem fragmentu w przyszłych plikach danych.
- Aby uzyskać lepszą wydajność, podziel dane równomiernie między fragmenty, aby wszystkie pliki fragmentów miały podobny rozmiar.
- W razie potrzeby użyj gzip do skompresowania plików danych. Zrób to jednak dla każdego osobnego fragmentu pliku danych.
Rozwiązywanie problemów i debugowanie
Po przesłaniu plików (plików opisu i plików danych) przejdź do panelu historii plików danych (dokumentacja) w Portalu Partnera (kliknij Historia > Pliki danych), aby śledzić postępy przetwarzania pliku danych.
Odszukaj element name podany w pliku deskryptora w kolumnie „Nazwa pliku danych”. .
Gdy plik danych zostanie przetworzony (stan Success lub Fail), możesz kliknąć jego wiersz, aby wyświetlić szczegóły błędów i ostrzeżeń.