Przetwarzanie wsadowe

Dzięki plikom danych możesz kompleksowo udostępnić restaurację, usługi i menu.

Z tego dokumentu dowiesz się, jak hostować zasoby reklamowe w piaskownicy i produkcyjnych oraz jak korzystać z pozyskiwania wsadowego do kompleksowego aktualizowania zasobów.

Środowiska pliku danych

Do programowania integracji dostępne są 3 środowiska pliku danych:

Pliki danych w Hostingu

Aby kompleksowo przetwarzać pliki danych piaskownicy i wersji produkcyjnej przez przetwarzanie wsadowe, musisz przechowywać pliki danych w Google Cloud Storage, Amazon S3 lub HTTPS za pomocą mapy witryny.

Zalecamy oddzielne hostowanie plików danych dla środowiska piaskownicy i środowiska produkcyjnego. Ta metoda umożliwia programowanie i testowanie w środowisku pliku danych piaskownicy przed wdrożeniem zmian w środowisku produkcyjnym.

Jeśli na przykład jako opcję hostingu używasz Google Cloud Storage, uzyskasz te ścieżki:

• Kanał piaskownicy: gs://foorestaurant-google-feed-sandbox/
• Kanał produkcyjny: gs://foorestaurant-google-feed-prod/

Aby hostować zasoby reklamowe, wykonaj te czynności:

1. Wygeneruj pliki danych.
2. Wybierz rozwiązanie hostingowe.
3. Hostuj pliki danych.
4. Pamiętaj, aby regularnie aktualizować pliki danych. Pliki danych produkcyjnych muszą być aktualizowane codziennie.

Szczegółowe informacje o tworzeniu pliku danych o asortymencie znajdziesz w dokumentacji elementów Restaurant, Service i Menu, a także w sekcji Tworzenie pliku danych.

Wytyczne dotyczące plików danych

Rozmiar pliku, który może zawierać wiele elementów, nie może przekraczać 200 MB. Elementy najwyższego poziomu Restaurant, Service i Menu oraz ich elementy podrzędne nie mogą przekraczać 4 MB łącznie.

Wybierz rozwiązanie hostingowe

W tabeli poniżej znajdziesz opcje hostowania plików danych i sposób, w jaki te hosty współpracują z kompleksowym zamówieniem:

Połącz swoje pliki danych na potrzeby pozyskiwania wsadowego

Po hostowaniu plików danych musisz połączyć je z projektem w Centrum działań. Początkową konfigurację produkcyjnych plików danych wykonuje się na stronie Zadania wprowadzające. Później konfigurację produkcyjnych i piaskownicy plików danych będzie można w każdej chwili zaktualizować na stronie Konfiguracja > Pliki danych przez dowolnego użytkownika portalu z rolą administracyjną. Środowisko piaskownicy jest używane do programowania i testowania, a pliki danych produkcyjnych są wyświetlane użytkownikom.

Jeśli hostujesz pliki danych na platformie Amazon S3

1. W Centrum działań kliknij Konfiguracja > Kanały.

2. Kliknij Edytuj i wypełnij formularz aktualizowania pliku danych:

   • Metoda przesyłania pliku danych: ustaw Amazon S3.
   • Marker File: podaj adres URL pliku marker.txt.
   • Pliki danych: podaj adres URL zasobnika S3 zawierającego pliki danych.
   • Identyfikator dostępu: wpisz identyfikator klucza dostępu uprawnień z uprawnieniami do odczytu z zasobów S3.
   • Klucz dostępu: wpisz tajny klucz dostępu uprawnień z uprawnieniami do odczytu z zasobów S3.
3. Kliknij Prześlij.
4. Po 1–2 godzinach sprawdź, czy przetwarzanie wsadowe pobiera pliki kanału.

Jeśli przechowujesz pliki danych w Google Cloud Storage

1. W Centrum działań kliknij Konfiguracja > Kanały.

2. Kliknij Edytuj i wypełnij formularz aktualizowania pliku danych:

   • Metoda przesyłania pliku danych: ustaw Google Cloud Storage.
   • Marker File: podaj adres URL pliku marker.txt.
   • Pliki danych: podaj adres URL zasobnika GCS zawierającego pliki danych.
3. Kliknij Prześlij.
4. Aby uzyskać dostęp do zasobnika GCS, zostanie utworzone konto usługi. Nazwę konta znajdziesz w sekcji Konfiguracja > Pliki danych po zakończeniu zadań wprowadzających. To konto usługi wymaga roli „Odczytujący starsze obiekty Cloud Storage”. Tę rolę można przypisać do konta usługi na stronie uprawnień w konsoli Google Cloud.
5. Po 1–2 godzinach sprawdź, czy przetwarzanie wsadowe pobiera pliki kanału.

Jeśli pliki danych hostujesz za pomocą protokołu HTTPS

1. W Centrum działań kliknij Konfiguracja > Kanały.

2. Kliknij Edytuj i wypełnij formularz aktualizowania pliku danych:

   • Metoda przesyłania pliku danych: ustaw HTTPS.
   • Plik mapy witryny: podaj adres URL pliku sitemap.xml.
   • Nazwa użytkownika: wpisz dane logowania, aby uzyskać dostęp do serwera HTTPS.
   • Hasło: wpisz hasło, aby uzyskać dostęp do serwera HTTPS.
3. Kliknij Prześlij.
4. Po 1–2 godzinach sprawdź, czy przetwarzanie wsadowe pobiera pliki kanału.

Przykładowe ścieżki

Poniższa tabela zawiera przykładowe ścieżki dla każdej opcji hostingu:

Mapy witryn na potrzeby hostingu HTTPS

Definiując mapy witryn, postępuj zgodnie z tymi wskazówkami:

• Linki w mapie witryny muszą wskazywać na same pliki.
• Jeśli mapa witryny zawiera odwołania do dostawcy chmury, a nie do Twojej nazwy domeny, upewnij się, że początek adresów URL (np. https://www.yourcloudprovider.com/your_id) jest stabilny i unikalny dla Twojego zadania wsadowego.
• Uważaj, by nie przesyłać częściowych map witryn (np. w przypadku częściowego przesłania danych). Jeśli to zrobisz, Google przetworzy tylko pliki z mapy witryny. Spowoduje to obniżenie zasobów reklamowych i może spowodować zablokowanie przetwarzania kanału.
• Upewnij się, że ścieżki do plików, do których odwołuje się mapa witryny, się nie zmieniają. Załóżmy np., że odwołanie do mapy witryny https://www.yourcloudprovider.com/your_id/10000.json nie jest dzisiaj, a jutro https://www.yourcloudprovider.com/your_id/20000.json.

Przykładowa mapa witryny

Oto przykładowy plik sitemap.xml, który obsługuje pliki danych:

Przykład 1: elementy pogrupowane według sprzedawców (zalecane).

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_1.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_2.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/restaurant_3.ndjson</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Przykład 2. Elementy pogrupowane według typów.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://your_fulfillment_url.com/restaurant.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/menu.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
 <url>
   <loc>https://your_fulfillment_url.com/service.json</loc>
   <lastmod>2018-06-11T10:46:43+05:30</lastmod>
 </url>
</urlset>

Zaktualizuj pliki danych

Po połączeniu plików danych Google sprawdza dostępność aktualizacji raz na godzinę, ale przetwarzamy wszystkie pliki danych tylko wtedy, gdy pliki marker.txt lub sitemap.xml zostały zmodyfikowane. Oczekujemy, że będziesz aktualizować pliki danych raz dziennie, aby uniknąć nieaktualnych zasobów reklamowych.

Aby określić, że pliki danych zostały zmodyfikowane i są gotowe do przetwarzania wsadowego, zaktualizuj pole metadanych obiektu last-modified w pliku marker.txt (w przypadku GCP i S3) lub nagłówek odpowiedzi last-modified pliku sitemap.xml. Na podstawie tych wartości Google określa aktualność pliku danych.

Podczas przetwarzania zbiorczego pliku danych

• Wstawione zostaną nowe jednostki, które nie istnieją w bieżącym porządkowaniu zasobów reklamowych i nie zawierają żadnych błędów.
• Elementy, które znajdują się już w zasobach reklamowych, w przypadku których nie ma żadnych błędów podczas przetwarzania, a ich wartość dateModified jest późniejsza od bieżącego wpisu lub jeśli nie ma parametru dateModified, czas rozpoczęcia przetwarzania pliku danych przypada później niż bieżący wpis. W przeciwnym razie zostałyby oznaczone jako nieaktualne.
• Elementy, które były częścią poprzedniego pliku danych, które nie są już uwzględnione w przetwarzanym pliku wsadowym, zostaną usunięte, o ile w pliku danych nie będzie błędów na poziomie pliku.

Sygnaturę czasową lub nagłówek odpowiedzi last-modified trzeba zaktualizować dopiero po wygenerowaniu i zaktualizowaniu wszystkich plików danych. Ogranicz zadania wsadowe, które aktualizują pliki danych, do uruchamiania tylko raz dziennie. Możesz też ustawić przerwy między każdym zadaniem wsadowym o co najmniej 3 godziny. Jeśli nie wykonasz tych czynności, Google może pobierać nieaktualne pliki.