Hộp thư mục nguồn cấp dữ liệu chung cho phép tải nhiều loại nguồn cấp dữ liệu lên một hộp thư mục duy nhất cho mỗi môi trường. Hướng dẫn này sẽ hướng dẫn cách sử dụng hộp thả dữ liệu chung và cung cấp đường liên kết đến hướng dẫn phù hợp cho nguồn cấp dữ liệu tương ứng mà bạn dự định sử dụng.
(Vui lòng tham khảo phần Xuất nguồn cấp dữ liệu (toàn diện) hoặc Nguồn cấp dữ liệu (bắt đầu) trong tài liệu).Hộp thả dữ liệu chung dựa trên việc có hai lần tải lên riêng biệt:
- Tệp mô tả: mô tả loại nguồn cấp dữ liệu mà bạn sẽ tải lên
- (Các) tệp nguồn cấp dữ liệu: nội dung của nguồn cấp dữ liệu thực tế
Định cấu trúc trường chỉ số mô tả
Tệp mô tả được tải lên để thông báo cho hệ thống của chúng tôi về loại nguồn cấp dữ liệu bạn đang tải lên. Điều này cho phép chúng tôi xác thực và xử lý nguồn cấp dữ liệu một cách chính xác. Bạn phải tải tệp mô tả lên trước nội dung nguồn cấp dữ liệu và tệp này phải tuân thủ các yêu cầu đặt tên sau:
- Bạn phải sử dụng đuôi tệp
.filesetdesc.jsoncho tệp mô tả. - Mỗi tên tệp nội dung mô tả phải là duy nhất và không được sử dụng lại trong các lần tải lên. Bạn nên thêm dấu thời gian tạo và tên nguồn cấp dữ liệu vào tên tệp.
- Ví dụ: offers_1524606581.filesetdesc.json
- Mỗi tệp mô tả phải liệt kê tất cả tệp dữ liệu trong nguồn cấp dữ liệu mới nhất cho tên nguồn cấp dữ liệu có liên quan.
message FilesetDescriptor {
// The timestamp at which this feed was generated, in Unix time format
// (seconds since the epoch). (required)
int64 generation_timestamp = 1;
// Identifies the name of this feed. (required)
string name = 2;
// Paths (relative to the dropbox root) specifying data files included in this
// feed. (required)
repeated string data_file = 3;
}Các giá trị có thể có cho trường name bao gồm:
Dưới đây là ví dụ về tệp mô tả JSON cho nguồn cấp dữ liệu mặt hàng có hai phân mảnh:
{
"generation_timestamp": 1524606581,
"name": "promote.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}Định cấu trúc nội dung nguồn cấp dữ liệu
Sau khi tải tệp mô tả lên, bạn sẽ tải tất cả tệp nguồn cấp dữ liệu lên cho loại dữ liệu nguồn cấp dữ liệu tương ứng với tệp cấu hình nguồn cấp dữ liệu do tệp mô tả của bạn đặt tên. Tên tệp và vị trí đường dẫn (tương đối trong hộp thư) phải khớp chính xác với nội dung có trong trường data_file. Nếu thiếu tệp, tên tệp không chính xác hoặc tải lên một vị trí khác, thì toàn bộ nguồn cấp dữ liệu sẽ không được xử lý.
Nội dung của các tệp dữ liệu nguồn cấp dữ liệu này phải tuân thủ thông số kỹ thuật liên quan của nguồn cấp dữ liệu được chỉ định trong tệp mô tả.
Mỗi tên tệp nguồn cấp dữ liệu phải là duy nhất và không được sử dụng lại trong các lần tải lên. Bạn nên thêm dấu thời gian tạo và số phân đoạn (mã nhận dạng tăng dần) vào tên tệp.
- Ví dụ: offers_1524606581_1.json
Kích thước tệp nguồn cấp dữ liệu và tần suất tải lên
- Giữ kích thước tệp nguồn cấp dữ liệu dưới 200 MB (sau khi nén).
- Mỗi tệp dữ liệu đã giải nén phải có kích thước nhỏ hơn 2 GB.
- Hầu hết các hoạt động tích hợp sẽ chỉ cần sử dụng một mảnh. Bạn nên sử dụng ít phân mảnh nhất có thể. Mỗi nguồn cấp dữ liệu có tối đa 1.000 mảnh.
- Các bản ghi riêng lẻ được gửi trong một phân mảnh không cần phải được gửi trong cùng một số phân mảnh trong các nguồn cấp dữ liệu trong tương lai.
- Để có hiệu suất tốt hơn, hãy chia dữ liệu đều cho các phân đoạn để tất cả các tệp phân đoạn có kích thước tương tự nhau.
- Nếu cần, hãy dùng gzip để nén nguồn cấp dữ liệu. Tuy nhiên, hãy làm như vậy cho từng mảnh nguồn cấp dữ liệu riêng lẻ.
Khắc phục sự cố và gỡ lỗi
Sau khi tải tệp lên (tệp mô tả và tệp nguồn cấp dữ liệu), hãy chuyển đến trang tổng quan Nhật ký nguồn cấp dữ liệu (tài liệu) trên Partner Portal (Chuyển đến Nhật ký > Nguồn cấp dữ liệu) để theo dõi tiến trình nhập nguồn cấp dữ liệu.
Tìm name mà bạn đã nhập trong tệp mô tả trong cột "Tên nguồn cấp dữ liệu" để tìm nguồn cấp dữ liệu của bạn.
Sau khi nguồn cấp dữ liệu được nhập (trạng thái là Success hoặc Fail), bạn có thể nhấp vào hàng của nguồn cấp dữ liệu đó để xem thông tin chi tiết về các lỗi và cảnh báo.