Как получить набор данных

После того, как вы создадите набор данных и загрузите в него данные, вы можете использовать HTTP-запросы GET для доступа к набору данных. В этой статье рассказывается, как получить список всех наборов данных, информацию об определенном наборе данных и как скачать данные из набора.

О версиях наборов данных

После успешной загрузки данных набор данных получает статус STATE_COMPLETED и становится активной версией. Это означает, что набор данных готов к использованию в приложении. Чтобы определить state набора данных, вы можете вывести список всех наборов данных или получить определенный набор данных.

Вы можете загрузить в набор данных новые данные, чтобы создать его новую версию:

  • Если загрузка новых данных пройдет успешно, новая версия станет активной и будет использоваться в вашем приложении.

  • Если при загрузке произойдет ошибка, активной останется предыдущая версия набора данных, которая была загружена успешно. Именно она будет использоваться в вашем приложении.

Подробнее о том, как загрузить новые данные в набор данных…

Как получить список всех наборов данных

Чтобы получить список всех наборов данных, отправьте HTTP-запрос GET конечной точке list datasets:

https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets

Этот запрос возвращает информацию о последних версиях всех наборов данных, независимо от того, являются ли они активными. Если вы хотите получить список только активных версий каждого набора данных, добавьте в запрос параметр tag=active:

https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets?tag=active

Например, этот вызов возвращает информацию о последних версиях всех наборов данных:

curl -X GET \
-H 'X-Goog-User-Project: PROJECT_NUMBER_OR_ID' \
-H 'Authorization: Bearer $TOKEN' \
"https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets"

Этот вызов возвращает ответ в следующем формате:

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e8a9e4f9fc46",
      "displayName": "My Test Dataset",
      "versionId": "5fb34e-1405-4ecd-8f81-31f1c07",
      "usage": [
        "USAGE_DATA_DRIVEN_STYLING"
      ],
      "gcsSource": {
        "inputUri": "gs://mybucket/my.csv",
        "fileFormat": "FILE_FORMAT_CSV"
      },
      "createTime": "2023-03-24T14:47:37.308977Z",
      "updateTime": "2023-03-24T14:48:05.053114Z",
      "versionCreateTime": "2023-03-24T14:48:05.053114Z",
      "status": {
        "state": "STATE_COMPLETED"
      }
    },
    {
      "name": "projects/PROJECT_NUMBER_OR_ID/datasets/2c8ae479-96704-89c6435ca959",
      "displayName": "My Other Test Dataset",
      "versionId": "0d2e3-b9da-47cc-819f-7ac67562",
      "usage": [
        "USAGE_DATA_DRIVEN_STYLING"
      ],
      "localFileSource": {
        "fileFormat": "FILE_FORMAT_CSV"
      },
      "createTime": "2023-03-24T14:41:52.579755Z",
      "updateTime": "2023-03-24T14:42:56.784122Z",
      "versionCreateTime": "2023-03-24T14:42:56.784122Z",
      "status": {
        "state": "STATE_COMPLETED"
      }
    }
  ]
}

Как получить информацию о наборе данных

Чтобы получить информацию об определенном наборе данных, отправьте HTTP-запрос GET конечной точке get dataset, указав идентификатор набора данных:

https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID

Этот запрос возвращает информацию о последней версии набора данных, независимо от того, является ли она активной. Если вам нужна информация об активной версии набора данных, добавьте в запрос тег @active:

https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID@active

Пример:

curl -X GET \
-H 'X-Goog-User-Project: PROJECT_NUMBER_OR_ID' \
-H 'Authorization: Bearer $TOKEN' \
"https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e8a9e4f9fc46@active"

Этот запрос возвращает ответ в следующем формате:

{
  "name": "projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e8a9e4f9fc46",
  "displayName": "My Test Dataset",
  "versionId": "5fb34e-1405-4ecd-8f81-31f1c07",
  "usage": [
    "USAGE_DATA_DRIVEN_STYLING"
  ],
  "gcsSource": {
    "inputUri": "gs://mybucket/my.csv",
    "fileFormat": "FILE_FORMAT_CSV"
  },
  "createTime": "2023-03-24T14:47:37.308977Z",
  "updateTime": "2023-03-24T14:48:05.053114Z",
  "versionCreateTime": "2023-03-24T14:48:05.053114Z",
  "status": {
    "state": "STATE_COMPLETED"
  }
}

Как скачать набор данных

Чтобы скачать данные из последней версии набора данных, отправьте HTTP-запрос GET конечной точке download dataset, указав идентификатор набора данных:

https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID:download?alt=media

Пример:

curl -X GET -L \
-H 'X-Goog-User-Project: PROJECT_NUMBER_OR_ID' \
-H 'Authorization: Bearer $TOKEN' \
--output LOCAL_LOCATION_TO_OUTPUT \
"https://mapsplatformdatasets.googleapis.com/download/v1/projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e8a9e4f9fc46:download?alt=media"

В этом примере вы используете параметр cURL --output, чтобы указать название файла, в котором хранятся скачанные данные. Например, следующий флаг --output указывает, что набор данных нужно скачать в файл с названием myjson.json в том же каталоге, который использовался для выполнения команды cURL:

--output myjson.json

Или используйте следующий флаг, чтобы скачать данные в файл myjson.json в каталоге /tmp:

--output /tmp/myjson.json