डेटा को समझना
हालांकि, एम्बेडिंग कई देशों के लिए उपलब्ध हैं, लेकिन स्कीमा सभी डेटासेट में एक जैसा रहता है. एम्बेडिंग को हर देश के लिए अलग-अलग BigQuery लिस्टिंग में व्यवस्थित किया जाता है.
एंबेडिंग वेक्टर कैसे काम करता है
features कॉलम, 330 डाइमेंशन वाला वेक्टर है. इसे BigQuery में REPEATED FLOAT कलेक्शन के तौर पर सेव किया जाता है. अरे का हर सेक्शन, पॉप्युलेशन डाइनैमिक्स मॉडल से निकाले गए किसी खास डेटा सिग्नल से जुड़ा होता है.
इस स्ट्रक्चर को समझने से, सुविधा को हटाने में मदद मिलती है. उदाहरण के लिए, यह तय करना कि मौसम की तुलना में, खोज के व्यवहार से बिक्री का कितना अनुमान लगाया जा सकता है.
| वेक्टर इंडेक्स | डेटा सोर्स | ब्यौरा |
|---|---|---|
| 0 – 127 | खोज के रुझानों का एग्रीगेट किया गया डेटा | यह क्षेत्रीय स्तर पर, उपभोक्ताओं की दिलचस्पी के बारे में इकट्ठा किए गए और पहचान छिपाकर रखे गए डेटा को कैप्चर करता है. उदाहरण के लिए, 'घर को बेहतर बनाने', 'रनिंग शूज़' या 'इलेक्ट्रिक वाहन' के लिए, क्षेत्रीय स्तर पर खोज में दिलचस्पी. मूल क्वेरी कभी भी नहीं दिखाई जाती हैं. |
| 128 – 255 | Maps और व्यस्तता | मानव निर्मित पर्यावरण (रेस्टोरेंट, पार्क, स्कूल जैसी लोकप्रिय जगहें) और सार्वजनिक जगहों पर इकट्ठा की गई और पहचान ज़ाहिर किए बिना व्यस्तता की जानकारी कैप्चर करता है. |
| 256 – 329 | मौसम और एयर क्वालिटी | यह पर्यावरण से जुड़े डेटा को कैप्चर करता है. जैसे, तापमान, बारिश, AQI, और हवा. |
मुख्य कॉलम और मेटाडेटा
एम्बेडिंग टेबल में स्पैटियल मेटाडेटा होता है. इससे जियोस्पेशल विश्लेषण, फ़िल्टर करने, और Google Maps Platform की अन्य सेवाओं के साथ इंटरऑपरेबिलिटी की सुविधा मिलती है.
geo_id: क्षेत्र का प्राइमरी आइडेंटिफ़ायर. S2 सेल डेटासेट के लिए, यह S2 सेल टोकन है. इसे हेक्साडेसिमल स्ट्रिंग के तौर पर दिखाया जाता है. उदाहरण के लिए,'80ead45'. इसे प्राइमरी जॉइन की के तौर पर इस्तेमाल करें.geo_name: क्षेत्र का नाम, जिसे कोई व्यक्ति आसानी से पढ़ सके. ध्यान दें: S2 ग्रिड डेटासेट के लिए, मैथमैटिकल सेल के स्टैंडर्ड नाम नहीं होते. इसलिए, इस कॉलम में वही टोकन होगा जोgeo_idमें है. ऐसा इसलिए किया गया है, ताकि पॉप्युलेशन डाइनैमिक्स की सभी सुविधाओं में कॉलम का स्ट्रक्चर एक जैसा रहे.administrative_area_level_1_id: यह टॉप-लेवल की प्रशासनिक सीमा (जैसे, राज्य या प्रांत) के लिए, Google Maps का यूनीक जगह का आईडी होता है.administrative_area_level_1_name: टॉप-लेवल की सीमा का ऐसा नाम जिसे आसानी से पढ़ा जा सके. उदाहरण के लिए,'California'.administrative_area_level_2_id: सेकंडरी एडमिनिस्ट्रेटिव सीमा (उदाहरण के लिए, काउंटी या डिस्ट्रिक्ट) के लिए, Google Maps का यूनीक जगह का आईडी.administrative_area_level_2_name: सेकंडरी बाउंड्री का ऐसा नाम जिसे कोई व्यक्ति आसानी से पढ़ सके. उदाहरण के लिए,'Tulare County'.features: यह 330 डाइमेंशन वाला मुख्य एम्बेडिंग वेक्टर है. इसे नेटिव तौर परARRAY<FLOAT64>के तौर पर सेव किया जाता है. इसे Pandas Python लाइब्रेरी में लोड करने के लिए, फ़्लैट करना या NumPy मैट्रिक्स में बदलना ज़रूरी है.
अक्सर पूछे जाने वाले सवाल
क्या मेरे पास रॉ इनपुट डेटा (उदाहरण के लिए, खास सर्च क्वेरी या मोबिलिटी ट्रेस) को ऐक्सेस करने का विकल्प है?
नहीं. जनसंख्या में बदलाव से जुड़ी अहम जानकारी के एम्बेड किए गए डेटा को, निजता बनाए रखने वाले एग्रीगेट किए गए सिग्नल से जनरेट किया जाता है. उपयोगकर्ता की निजता बनाए रखने के लिए, हम उपयोगकर्ता के खास ट्रेस, खोज इतिहास या मूवमेंट के रॉ पैटर्न की जानकारी नहीं देते. ये एम्बेडिंग, इन व्यवहारों का लेटेंट प्रज़ेंटेशन उपलब्ध कराती हैं. इन्हें रॉ ऐनलिटिक्स के बजाय, मॉडलिंग और अनुमान लगाने के लिए ऑप्टिमाइज़ किया जाता है.
क्या वेक्टर डाइमेंशन को समझा जा सकता है (उदाहरण के लिए, क्या डाइमेंशन 5 "कॉफ़ी" है)?
वेक्टर, लेटेंट रिप्रेजेंटेशन होते हैं. इसका मतलब है कि वे खास और किसी व्यक्ति के लिए आसानी से पढ़ा जा सकने वाला डेटा लेबल के बजाय, ऐब्स्ट्रैक्ट पैटर्न कैप्चर करते हैं. हम जानते हैं कि इंडेक्स 0–127, खोज के रुझान से मिलते हैं. हालांकि, कोई खास इंडेक्स (जैसे कि इंडेक्स 5), "कॉफ़ी" जैसे किसी एक कीवर्ड से वन-टू-वन मैप नहीं होता. इसके बजाय, यह खोज के व्यवहार की एक जटिल सुविधा को दिखाता है, जिसे मॉडल ने सीखा है.
क्या डेटासेट में पॉलीगॉन बाउंड्री (शेपफ़ाइल) शामिल हैं?
डेटासेट में, भौगोलिक आइडेंटिफ़ायर (जैसे कि एडमिन 1 और एडमिन 2 क्षेत्र) के लिए S2 सेल टोकन (geo_id) और जगह के आईडी दिए गए हैं. हालांकि, इसमें S2 सेल क्षेत्रों के लिए रॉ पॉलीगॉन ज्यामिति (WKT/शेपफ़ाइलें) शामिल नहीं है. raw
geometries को शामिल न करने से, स्टोरेज की समस्या नहीं होती. साथ ही, इससे एमएल
पाइपलाइन के लिए BigQuery स्कैनिंग की लागत कम हो जाती है. इन पाइपलाइन को सिर्फ़ फ़ीचर वेक्टर की ज़रूरत होती है. इसके अलावा, S2 स्ट्रिंग टोकन को जोड़ने की प्रोसेस, स्पेशल पॉलीगॉन इंटरसेक्शन को लागू करने की तुलना में काफ़ी तेज़ और कंप्यूटेशनल तौर पर ज़्यादा असरदार होती है.
- पॉइंट कोऑर्डिनेट के लिए: पॉइंट डेटा (जैसे, लोकप्रिय जगहों की जानकारी या स्टोर के सेंट्रॉइड) को पॉप्युलेशन डाइनैमिक्स इनसाइट के साथ जोड़ने के लिए, अक्षांश/देशांतर कोऑर्डिनेट को S2 लेवल 12 सेल टोकन में बदलें. इसके लिए,
S2_CELLIDFROMPOINTके साथST_GEOGPOINTका इस्तेमाल करें. पॉइंट कोऑर्डिनेट को S2 लेवल 12 हेक्स टोकन में बदलने का तरीका देखें. - क्षेत्र की सीमाओं के लिए: अगर आपको कस्टम सीमाओं को जनसंख्या के आंकड़ों से जुड़ी अहम जानकारी के साथ इंटरसेक्ट करना है, तो हमारा सुझाव है कि आप अपने कस्टम पॉलीगॉन को S2 लेवल 12 सेल टोकन में बदलें. इसके लिए,
S2_COVERINGCELLIDSका इस्तेमाल करें (किसी पॉलीगॉन के लिए S2 लेवल 12 सेल टोकन जनरेट करना देखें). इसके अलावा, इस डेटासेट को BigQuery Public Data में उपलब्ध सार्वजनिक सीमा वाले डेटासेट के साथ जोड़ा जा सकता है. - विज़ुअलाइज़ेशन और ज्यामिति कन्वर्ज़न के लिए: BigQuery के पहले से मौजूद भौगोलिक फ़ंक्शन, एकतरफ़ा कन्वर्ज़न (ज्यामिति → S2 सेल आईडी) करते हैं. मैपिंग या जीआईएस टूल के लिए, S2 सेल टोकन को पॉलीगॉन ज्यामिति में बदलने के लिए, क्लाइंट-साइड लाइब्रेरी का इस्तेमाल किया जा सकता है. जैसे, Python की
s2sphere. कोड सैंपल और निर्देशों के लिए, S2 लेवल 12 हेक्स टोकन से S2 सेल ज्योमेट्री पाना लेख पढ़ें.