О данных в статистике динамики населения

Анализ данных

Встраивания доступны для нескольких стран, но схема остается одинаковой для всех наборов данных. Эмбеддинги организованы в отдельные списки BigQuery для каждой страны.

Структура вектора эмбеддинга

Столбец features – это 330-мерный вектор (хранится как массив REPEATED FLOAT в BigQuery). Каждый раздел массива соответствует определенному сигналу данных, извлеченному моделью динамики населения.

Понимание этой структуры позволяет проводить удаление признаков (например, определять, насколько поведение при поиске предсказывает продажи по сравнению с погодой).

Векторные индексы	Источник данных	Описание
0 – 127	Агрегированные поисковые тенденции	Отражает региональные интересы и проблемы (например, запросы "спортзал", "симптомы гриппа", "предметы роскоши").
128 – 255	Карты и загруженность	Отражает застроенную окружающую среду (объекты инфраструктуры, такие как больницы, парки, школы) и плотность человеческой деятельности.
256 – 329	Погода и качество воздуха	Собирает данные об окружающей среде (температуре, осадках, индексе качества воздуха, ветре).

Основные столбцы и метаданные

Таблица встроенных объектов содержит пространственные метаданные, которые позволяют выполнять геопространственный анализ, фильтрацию и совместимость с другими сервисами платформы Google Карт.

• geo_id – основной идентификатор региона. Для наборов данных S2 cell это токен ячейки S2, представленный в виде шестнадцатеричной строки (например, '80ead45'). Используйте его в качестве основного ключа объединения.
• geo_name – человекочитаемое название региона. Примечание. Для наборов данных S2 grid у математических ячеек нет стандартных названий, поэтому в этом столбце будет содержаться тот же токен, что и в столбце geo_id. Это сделано намеренно, чтобы сохранить единообразную структуру столбцов во всех предложениях Population Dynamics.
• administrative_area_level_1_id – уникальный идентификатор места Google Карт для административной границы верхнего уровня (например, штата или провинции).
• administrative_area_level_1_name – человекочитаемое название границы верхнего уровня (например, 'California').
• administrative_area_level_2_id – уникальный идентификатор места на Google Картах для дополнительной административной границы (например, округа или района).
• administrative_area_level_2_name – человекочитаемое название дополнительной границы (например, 'Tulare County').
• features – основной 330-мерный вектор эмбеддинга, хранящийся в нативном формате ARRAY<FLOAT64>. Чтобы загрузить эти данные в библиотеку Pandas Python, их нужно преобразовать в матрицу NumPy.

Часто задаваемые вопросы

Можно ли получить доступ к необработанным входным данным (например, к определенным поисковым запросам или данным о перемещениях)?

Нет. Эмбеддинги Population Dynamics Insights генерируются на основе агрегированных сигналов, обеспечивающих конфиденциальность. Чтобы обеспечить конфиденциальность пользователей, мы не предоставляем данные об их перемещениях, истории поиска и маршрутах. Эмбеддинги обеспечивают скрытое представление этих действий, оптимизированное для моделирования и прогнозирования, а не для необработанной аналитики.

Можно ли интерпретировать размерности вектора (например, является ли размерность 5 "Кофе")?

Векторы – это скрытые представления, то есть они фиксируют абстрактные закономерности, а не конкретные, человекочитаемые метки. Мы знаем, что индексы 0–127 взяты из поисковых тенденций, но конкретный индекс (например, 5) не соответствует один к одному одному ключевому слову, например "Кофе". а представляет собой сложную функцию поведения при поиске, изученную моделью.

Включает ли набор данных границы многоугольников (shape-файлы)?

Набор данных содержит токены ячеек S2 (geo_id) и идентификаторы мест для географических идентификаторов (например, регионов admin 1 и admin 2), но не включает необработанную геометрию многоугольников (WKT/Shape-файлы) для регионов ячеек S2. Пропуск необработанных геометрических объектов предотвращает раздувание хранилища и снижает затраты на сканирование BigQuery для конвейеров ML, которым требуются только векторы признаков. Кроме того, объединение по строковым токенам S2 значительно быстрее и эффективнее с вычислительной точки зрения, чем выполнение пересечений пространственных многоугольников.

• Для координат точек. Чтобы объединить данные о точках (например, местоположениях объектов или центроидах магазинов) с данными Population Dynamics Insights, преобразуйте координаты широты и долготы в токены ячеек S2 уровня 12 с помощью S2_CELLIDFROMPOINT в сочетании с ST_GEOGPOINT (см. Как преобразовать координаты точек в шестнадцатеричные токены S2 уровня 12).
• Для границ областей. Если вам нужно пересечь специальные границы с данными о динамике населения, мы рекомендуем преобразовать специальные многоугольники в покрывающие токены ячеек S2 уровня 12 с помощью S2_COVERINGCELLIDS (см. Как сгенерировать покрывающие токены ячеек S2 уровня 12 для многоугольника) или объединить этот набор данных с общедоступными наборами данных о границах, доступными в общедоступных данных BigQuery.
• Для визуализации и преобразования геометрии. Встроенные географические функции BigQuery выполняют одностороннее преобразование (геометрия → идентификатор ячейки S2). Чтобы преобразовать токены ячеек S2 в многоугольники для картографических или ГИС-инструментов, можно использовать клиентские библиотеки, например s2sphere для Python. Примеры кода и инструкции вы найдете в статье Как получить геометрию ячейки S2 из шестнадцатеричного токена S2 уровня 12.