Máy chủ SFTP nguồn cấp dữ liệu chung cho phép tải nhiều loại nguồn cấp dữ liệu lên một máy chủ SFTP duy nhất cho mỗi môi trường. Hướng dẫn này sẽ trình bày cách sử dụng máy chủ SFTP chung và cung cấp đường liên kết đến hướng dẫn phù hợp cho nguồn cấp dữ liệu tương ứng mà bạn dự định sử dụng.
(Vui lòng tham khảo phần Xuất nguồn cấp dữ liệu (toàn diện) hoặc Nguồn cấp dữ liệu (dành cho người mới bắt đầu) trong tài liệu).Máy chủ SFTP chung dựa vào hai lượt tải lên riêng biệt:
- Tệp mô tả: mô tả loại nguồn cấp dữ liệu mà bạn sẽ tải lên
- (Các) tệp nguồn cấp dữ liệu: nội dung của nguồn cấp dữ liệu thực tế
Cấu trúc trường mô tả
Bạn tải tệp mô tả lên để thông báo cho hệ thống của chúng tôi biết loại nguồn cấp dữ liệu mà bạn đang tải lên. Điều này giúp chúng tôi xác thực và xử lý nguồn cấp dữ liệu một cách chính xác. Bạn phải tải tệp mô tả lên trước nội dung nguồn cấp dữ liệu và phải tuân thủ các yêu cầu về tên sau:
- Bạn phải sử dụng đuôi tệp
.filesetdesc.jsoncho tệp mô tả. - Mỗi tên tệp mô tả phải là duy nhất và không được dùng lại trong các lần tải lên. Bạn nên thêm dấu thời gian tạo và tên nguồn cấp dữ liệu vào tên tệp.
- Ví dụ: offers_1524606581.filesetdesc.json
- Mỗi tệp mô tả phải liệt kê tất cả tệp dữ liệu trong nguồn cấp dữ liệu mới nhất cho tên nguồn cấp dữ liệu có liên quan.
message FilesetDescriptor {
// The timestamp at which this feed was generated, in Unix time format
// (seconds since the epoch). (required)
int64 generation_timestamp = 1;
// Identifies the name of this feed. (required)
string name = 2;
// Paths (relative to the dropbox root) specifying data files included in this
// feed. (required)
repeated string data_file = 3;
}Các giá trị có thể có cho trường name bao gồm:
Sau đây là ví dụ về tệp JSON mô tả cho một nguồn cấp dữ liệu sản phẩm có 2 phân đoạn:
{
"generation_timestamp": 1524606581,
"name": "promote.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}Cấu trúc nội dung nguồn cấp dữ liệu
Sau khi tải tệp mô tả lên, bạn sẽ tải tất cả các tệp nguồn cấp dữ liệu lên cho loại dữ liệu nguồn cấp dữ liệu tương ứng với tệp cấu hình nguồn cấp dữ liệu có tên theo tệp mô tả. Tên tệp và vị trí đường dẫn (tương đối trong máy chủ SFTP) phải khớp chính xác với những gì có trong trường data_file. Nếu thiếu tệp, tên tệp không chính xác hoặc tệp được tải lên một vị trí khác thì toàn bộ nguồn cấp dữ liệu sẽ không được xử lý.
Nội dung của các tệp dữ liệu nguồn cấp dữ liệu này phải tuân thủ quy cách có liên quan của nguồn cấp dữ liệu được chỉ định trong tệp mô tả.
Mỗi tên tệp nguồn cấp dữ liệu phải là giá trị duy nhất và không được dùng lại trong các lần tải lên. Bạn nên thêm dấu thời gian tạo và số phân đoạn (mã nhận dạng tăng dần) vào tên tệp.
- Ví dụ: offers_1524606581_1.json
Kích thước tệp nguồn cấp dữ liệu và tần suất tải lên
- Giữ kích thước tệp nguồn cấp dữ liệu dưới 200 MB (sau khi nén).
- Kích thước của mỗi tệp dữ liệu đã giải nén phải nhỏ hơn 2 GB.
- Hầu hết các hoạt động tích hợp sẽ chỉ cần sử dụng một phân đoạn. Bạn nên sử dụng ít phân đoạn nhất có thể. Mỗi nguồn cấp dữ liệu có tối đa 1.000 phân đoạn.
- Bạn không cần gửi các bản ghi riêng lẻ trong một phân đoạn theo cùng số phân đoạn trong các nguồn cấp dữ liệu sau này.
- Để có hiệu suất tốt hơn, hãy chia đều dữ liệu giữa các phân đoạn để tất cả các tệp phân đoạn có kích thước tương tự nhau.
- Nếu cần, hãy dùng gzip để nén nguồn cấp dữ liệu. Tuy nhiên, hãy làm như vậy cho từng phân đoạn nguồn cấp dữ liệu riêng lẻ.
Khắc phục sự cố và gỡ lỗi
Sau khi tải tệp lên (tệp mô tả và tệp nguồn cấp dữ liệu), hãy chuyển đến Ingestion Viewer (Trình xem quy trình tiếp nhận) (tài liệu) trên Cổng đối tác (chuyển đến Tiếp nhận > Nhật ký) để theo dõi tiến trình tiếp nhận nguồn cấp dữ liệu.
Tìm name mà bạn đã nhập trong tệp mô tả ở cột "Tên nguồn cấp dữ liệu" để tìm nguồn cấp dữ liệu.
Sau khi nguồn cấp dữ liệu được nhập (trạng thái là Success hoặc Fail), bạn có thể nhấp vào hàng của nguồn cấp dữ liệu đó để xem thông tin chi tiết về các lỗi và cảnh báo.