מידע על נתונים של תובנות בקשר לדינמיקה של האוכלוסייה

הסבר על הנתונים

אפשר להשתמש בהטמעות בכמה מדינות, אבל הסכימה נשארת זהה בכל מערכי הנתונים. ההטמעות מאורגנות ברשימות נפרדות ב-BigQuery לכל מדינה.

המבנה של וקטור ההטמעה

העמודה features היא וקטור של 330 ממדים (שמאוחסן כמערך REPEATED FLOAT ב-BigQuery). כל חלק במערך מתאים לאות נתונים ספציפי שחולץ על ידי המודל של דינמיקת האוכלוסייה.

הבנת המבנה הזה מאפשרת לבצע הסרה של תכונות (לדוגמה, אפשר לקבוע עד כמה התנהגות החיפוש חוזה מכירות בהשוואה למזג האוויר).

אינדקסים של וקטורים	מקור נתונים	תיאור
‫0 – 127	מגמות חיפוש מצטברות	מתעדת את רמת העניין של הצרכנים ברמה האזורית, בצורה מצטברת ואנונימית (לדוגמה, מדד ההתעניינות במונח חיפוש אזורי יחסי ב"שיפוץ הבית", "נעלי ריצה" או "רכבים חשמליים"). השאילתות הגולמיות אף פעם לא נחשפות.
‫128 – 255	מפות Google ומידת העומס	מתעדת את הסביבה הבנויה (נקודות עניין כמו מסעדות, פארקים, בתי ספר) ואת העומס המצטבר והאנונימי במוסדות ציבוריים.
‫256 – 329	מזג האוויר ואיכות האוויר	מתעד את ההקשר הסביבתי (כמו טמפרטורה, משקעים, AQI, רוח).

עמודות מרכזיות ומטא-נתונים

טבלת ההטמעות מכילה מטא-נתונים מרחביים שמאפשרים ניתוח גיאוגרפי, סינון ואינטראופרביליות עם שירותים אחרים של Google Maps Platform.

• ‫geo_id: המזהה הראשי של האזור. במערכי נתונים של תאי S2, זהו אסימון תא S2 שמיוצג כמחרוזת הקסדצימלית (למשל, '80ead45'). השתמשו בו כמפתח הצירוף הראשי.
• ‫geo_name: השם של האזור שקריא לאנשים. הערה: במערכי נתונים של רשת S2, לתאים מתמטיים אין שמות סטנדרטיים, ולכן העמודה הזו תכיל בדיוק את אותו אסימון כמו geo_id. העיצוב הזה נועד לשמור על מבנה עמודות עקבי בכל המוצרים של Population Dynamics.
• ‫administrative_area_level_1_id: מזהה המקום הייחודי במפות Google של הגבול המנהלי ברמה העליונה (למשל, מדינה או מחוז).
• ‫administrative_area_level_1_name: השם הקריא לאנשים של הגבול ברמה העליונה (למשל, 'California').
• ‫administrative_area_level_2_id: מזהה המקום הייחודי ב-מפות Google של הגבול המנהלי המשני (לדוגמה, מחוז או נפה).
• ‫administrative_area_level_2_name: שם קריא לאנשים של הגבול המשני (לדוגמה, 'Tulare County').
• ‫features: וקטור ההטמעה העיקרי עם 330 ממדים, שמאוחסן באופן מקורי בתור ARRAY<FLOAT64>. כדי לטעון את הנתונים האלה לספריית Pandas Python, צריך לשטח אותם או להמיר אותם למטריצת NumPy.

שאלות נפוצות

האם אפשר לגשת לנתוני הקלט הגולמיים (לדוגמה, שאילתות חיפוש ספציפיות או נתוני ניידות)?

לא. ההטמעות של התובנות לגבי דינמיקת האוכלוסייה נוצרות מאותות מצטברים ששומרים על הפרטיות. כדי להגן על פרטיות המשתמשים, אנחנו לא מספקים נתונים ספציפיים על עקבות של משתמשים, היסטוריית חיפושים של משתמשים ספציפיים או דפוסי תנועה גולמיים. ההטמעות מספקות ייצוג סמוי של ההתנהגויות האלה, שעבר אופטימיזציה לצורך יצירת מודלים ותחזיות, ולא לצורך ניתוח נתונים גולמיים.

האם אפשר לפרש את ממדי הווקטור (לדוגמה, האם ממד 5 הוא "קפה")?

הווקטורים הם ייצוגים סמויים, כלומר הם מתעדים דפוסים מופשטים ולא תוויות ספציפיות שקריאות לאנשים. אנחנו יודעים שהאינדקסים 0-127 נגזרים ממגמות החיפוש, אבל אינדקס ספציפי (כמו אינדקס 5) לא ממפה אחד לאחד מילת מפתח אחת כמו "קפה". במקום זאת, הוא מייצג מאפיין מורכב של התנהגות החיפוש שהמודל למד.

האם מערך הנתונים כולל גבולות של מצולעים (קובצי Shapefile)?

קבוצת הנתונים מספקת טוקנים של תאי S2 ‏ (geo_id) ומזהי מקומות לזיהוי גיאוגרפי (כמו אזורים ברמה אדמיניסטרטיבית 1 וברמה אדמיניסטרטיבית 2), אבל היא לא כוללת גיאומטריה של מצולעים גולמיים (WKT/Shapefiles) לאזורי תאי S2. השמטת הגיאומטריות הגולמיות מונעת ניפוח של האחסון ומפחיתה את עלויות הסריקה ב-BigQuery של פייפליינים של ML שדורשים רק וקטורים של תכונות. בנוסף, הצטרפות לטוקנים של מחרוזות S2 היא מהירה ויעילה יותר מבחינה חישובית מאשר ביצוע חיתוכים של פוליגונים מרחביים.

• לנקודות ציון: כדי לאחד נתוני נקודות (כמו מיקומים של נקודות עניין או מרכזי חנויות) עם תובנות לגבי דינמיקת האוכלוסייה, ממירים קואורדינטות של קו רוחב/קו אורך לאסימוני תאים ברמה 12 של S2 באמצעות S2_CELLIDFROMPOINT בשילוב עם ST_GEOGPOINT (ראו המרת נקודות ציון לאסימונים הקסדצימליים ברמה 12 של S2).
• לגבולות של אזורים: אם אתם צריכים לחתוך גבולות בהתאמה אישית עם תובנות לגבי דינמיקת האוכלוסייה, מומלץ להמיר את הפוליגונים בהתאמה אישית לאסימוני תאים ברמה 12 של S2 באמצעות S2_COVERINGCELLIDS (ראו יצירת אסימוני תאים ברמה 12 של S2 לפוליגון) או לצרף את מערך הנתונים הזה למערכי נתונים של גבולות ציבוריים שזמינים בנתונים ציבוריים ב-BigQuery.
• להמרת תצוגה חזותית וגיאומטריה: הפונקציות הגיאוגרפיות המובנות של BigQuery מבצעות המרה חד-כיוונית (גיאומטריה ← מזהה תא S2). כדי להמיר טוקנים של תאי S2 לצורות גיאומטריות של מצולעים למיפוי או לכלים של GIS, אפשר להשתמש בספריות בצד הלקוח, כמו s2sphere של Python. דוגמאות קוד והוראות זמינות במאמר קבלת גיאומטריה של תא S2 מטוקן הקסדצימלי של S2 ברמה 12.