Como usar o servidor SFTP genérico

O servidor SFTP de feed genérico permite que vários tipos de feed sejam enviados para um único servidor SFTP por ambiente. Este guia explica como usar o servidor SFTP genérico e fornece links para o guia adequado do respectivo feed que você planeja usar.

O servidor SFTP genérico depende de dois uploads separados:

1. Arquivo de descritor:descreve o tipo de feed que você vai enviar.
2. Arquivos de feed : o conteúdo do feed real.

Estruturar o campo de descritor

O arquivo de descritor é enviado para informar ao nosso sistema o tipo de feed que você está enviando. Isso nos permite validar e processar o feed corretamente. O arquivo de descritor precisa ser enviado antes do conteúdo do feed e seguir estes requisitos de nomenclatura:

• Você precisa usar a extensão de arquivo .filesetdesc.json para o arquivo de descritor.
• Cada nome de arquivo de descritor precisa ser exclusivo e não pode ser reutilizado em uploads. Recomendamos incluir o carimbo de data/hora de geração e o nome do feed no nome do arquivo.
  • Exemplo: offers_1524606581.filesetdesc.json
• Cada arquivo de descritor precisa listar todos os arquivos de dados no feed mais recente para o nome de feed relevante.

message FilesetDescriptor {
  // The timestamp at which this feed was generated, in Unix time format
  // (seconds since the epoch). (required)
  int64 generation_timestamp = 1;

  // Identifies the name of this feed. (required)
  string name = 2;

  // Paths (relative to the dropbox root) specifying data files included in this
  // feed. (required)
  repeated string data_file = 3;
}

Os valores possíveis para o campo name incluem:

Confira abaixo um exemplo de arquivo de descritor JSON para um feed de ofertas com dois fragmentos:

{
  "generation_timestamp": 1524606581,
  "name": "google.offer",
  "data_file": [
    "offers_1524606581_1.json",
    "offers_1524606581_2.json"
  ]
}

Estruturar o conteúdo do feed

Depois de enviar o arquivo de descritor, você vai enviar todos os arquivos de feed para o tipo de dados de feed correspondente ao arquivo de configuração de feed nomeado por seu arquivo de descritor. Os nomes de arquivo e os locais do caminho (relativos no servidor SFTP) precisam corresponder exatamente ao que foi incluído no data_file campo. Se algum arquivo estiver faltando, com nome incorreto ou enviado para um local diferente, todo o feed não será processado.

O conteúdo desses arquivos de dados de feed precisa estar em conformidade com a especificação relevante de o feed especificado no arquivo de descritor.

Cada nome de arquivo de feed precisa ser exclusivo e não pode ser reutilizado em uploads. Recomendamos incluir o carimbo de data/hora de geração e o número do fragmento (ID incremental) no nome do arquivo.

• Exemplo: offers_1524606581_1.json

Tamanhos de arquivo de feed e frequência de upload

• O arquivo de feed precisa ter até 200 MB (após a compactação).
• Cada arquivo de dados descompactado precisa ter menos de 2 GB.
• A maioria das integrações só precisa usar um único fragmento. Use o menor número possível de fragmentos. Há um máximo de 1.000 fragmentos por feed.
• Registros individuais enviados em um fragmento não precisam ser enviados no mesmo número de fragmento em feeds futuros.
• Para melhorar o desempenho, divida os dados uniformemente entre os arquivos fragmentos para deixar todos os arquivos fragmentos semelhantes.
• Se necessário, use o gzip para compactar feeds. No entanto, faça isso para cada individual fragmento de feed.

Solução de problemas e depuração

Depois de enviar os arquivos (descritor e feed), acesse o Ingestion Viewer (documentação) no Partner Portal (navegue até Ingestion > History) para acompanhar o progresso da ingestão do feed.

Procure o name que você inseriu no arquivo de descritor na coluna "Nome do feed" para encontrar seu feed.

Depois que o feed for ingerido (o status é Success ou Fail), clique na linha dele para conferir os detalhes dos erros e avisos.