데이터 이해하기
임베딩은 여러 국가에서 사용할 수 있지만 스키마는 모든 데이터 세트에서 일관되게 유지됩니다. 임베딩은 국가별로 별도의 BigQuery 목록으로 구성됩니다.
임베딩 벡터의 구조
features 열은 330차원 벡터이며 BigQuery에 REPEATED FLOAT 배열로 저장됩니다. 배열의 각 섹션은 인구 동향 모델에서 추출한 특정 데이터 신호에 해당합니다.
이 구조를 이해하면 기능 제거가 가능합니다 (예: 날씨와 비교하여 검색 동작이 판매를 얼마나 예측하는지 확인).
| 벡터 색인 | 데이터 소스 | 설명 |
|---|---|---|
| 0~127 | 집계된 검색 동향 | 지역 수준에서 집계되고 익명 처리된 소비자 관심도를 포착합니다 (예: '주택 개조', '러닝화' 또는 '전기 자동차'에 대한 상대적 지역 검색 관심도). 원시 쿼리는 절대 노출되지 않습니다. |
| 128~255 | 지도 및 혼잡도 | 건축 환경 (음식점, 공원, 학교와 같은 관심 장소)과 공공 시설의 집계되고 익명 처리된 혼잡도를 포착합니다. |
| 256~329 | 날씨 및 대기질 | 환경 컨텍스트 (예: 온도, 강수량, AQI, 바람)를 포착합니다. |
주요 열 및 메타데이터
임베딩 테이블에는 지리공간 분석, 필터링, 다른 Google Maps Platform 서비스와의 상호 운용성을 지원하는 공간 메타데이터가 포함되어 있습니다.
geo_id: 지역의 기본 식별자입니다. S2 셀 데이터 세트의 경우 16진수 문자열로 표시되는 S2 셀 토큰입니다 (예:'80ead45'). 이를 기본 조인 키로 사용합니다.geo_name: 인간이 읽을 수 있는 리전 이름입니다. 참고: S2 그리드 데이터 세트의 경우 수학적 셀에는 표준 이름이 없으므로 이 열에는geo_id와 동일한 토큰이 포함됩니다. 이는 모든 인구 동향 제품에서 일관된 열 구조를 유지하기 위한 설계입니다.administrative_area_level_1_id: 최상위 관리 경계 (예: 주 또는 도)의 고유한 Google 지도 장소 ID입니다.administrative_area_level_1_name: 인간이 읽을 수 있는 최상위 경계 이름입니다 (예:'California').administrative_area_level_2_id: 보조 관리 경계 (예: 카운티 또는 구)의 고유한 Google 지도 장소 ID입니다.administrative_area_level_2_name: 사람이 읽을 수 있는 보조 경계 이름입니다 (예:'Tulare County').features: 기본적으로ARRAY<FLOAT64>저장되는 핵심 330차원 임베딩 벡터입니다. 이를 Pandas Python 라이브러리에 로드하려면 평면화하거나 NumPy 행렬로 변환해야 합니다.
자주 묻는 질문 (FAQ)
원시 입력 데이터 (예: 특정 검색어 또는 이동성 추적)에 액세스할 수 있나요?
아니요. 인구 동향 분석 임베딩은 집계되고 개인 정보 보호 신호에서 생성됩니다. 사용자 개인 정보 보호를 위해 특정 사용자 흔적, Google 검색 기록 또는 원시 이동 패턴은 제공하지 않습니다. 임베딩은 원시 분석이 아닌 모델링 및 예측에 최적화된 이러한 동작의 잠재적 표현을 제공합니다.
벡터 측정기준을 해석할 수 있나요 (예: 측정기준 5가 '커피'인가요)?
벡터는 잠재적 표현입니다. 즉, 인간이 읽을 수 있는 특정 라벨이 아닌 추상적 패턴을 포착합니다. 색인 0~127은 검색 동향에서 파생되지만 특정 색인 (예: 색인 5)은 '커피'와 같은 단일 키워드에 일대일로 매핑되지 않습니다. 대신 모델에서 학습한 검색 동작의 복잡한 기능을 나타냅니다.
데이터 세트에 다각형 경계 (Shapefile)가 포함되어 있나요?
데이터 세트는 지리적 식별자 (예: 관리 1 및 관리 2 지역)의 S2 셀 토큰 (geo_id)과 장소 ID를 제공하지만 S2 셀 지역의 원시 다각형 지오메트리 (WKT/Shapefile)는 포함하지 않습니다. 원시 도형을 생략하면 스토리지 증가를 방지하고 특성 벡터만 필요한 ML 파이프라인의 BigQuery 스캔 비용을 줄일 수 있습니다. 또한 S2 문자열 토큰을 조인하는 것이 공간 다각형 교차점을 실행하는 것보다 훨씬 빠르고 계산 효율성이 높습니다.
- 점 좌표의 경우: 관심 장소 위치 또는
매장 중심점과 같은 점 데이터를 인구 동향 분석과 조인하려면 위도/경도 좌표를 S2
수준 12 셀 토큰으로 변환합니다.
S2_CELLIDFROMPOINT를ST_GEOGPOINT와 함께 사용합니다(점 좌표를 S2 수준 12 16진수 토큰으로 변환 참고). - 영역 경계의 경우: 인구 동향 분석과 커스텀 경계를 교차해야 하는 경우 커스텀 다각형을
S2_COVERINGCELLIDS를 사용하여 S2 수준 12 셀 토큰으로 변환하거나 (다각형의 S2 수준 12 셀 토큰 생성 참고) 이 데이터 세트를 BigQuery 공개 데이터에서 사용할 수 있는 공개 경계 데이터 세트와 조인하는 것이 좋습니다. - 시각화 및 지오메트리 변환의 경우: BigQuery의 기본 지리 함수는 단방향 변환 (지오메트리 → S2 셀 ID)을 실행합니다. S2 셀 토큰을 매핑 또는 GIS 도구의 다각형 지오메트리로 변환하려면 Python's
s2sphere와 같은 클라이언트 측 라이브러리를 사용하면 됩니다. 코드 샘플 및 안내는 S2 수준 12 16진수 토큰에서 S2 셀 지오메트리 가져오기를 참고하세요.