BigQuery הוא כלי אפקטיבי לביצוע ניתוח נתונים. אפשר להשתמש בו כדי לאחסן לטווח ארוך יותר ולבצע שאילתות דמויות SQL על הנתונים. כדי להשתמש ב- ב-BigQuery לניתוח, עליכם לנתב את היומנים באופן מפורש אל BigQuery, כמו בקטע הבא.
ניתוב יומנים ל-BigQuery
- ב-Logs Explorer, יוצרים מסנן
בידוד של יומני Fleet Engine:
Fleetengine.googleapis.com/Fleet
. - בחלונית התוצאות של השאילתה, לוחצים על פעולות או על פעולות נוספות. ובוחרים באפשרות יצירת Sink.
- מציינים שם sink (לדוגמה, FleetEngineLogsSink). לוחצים על Next.
- בקטע Sink Destination (יעד Sink), בוחרים את BigQuery dataset.
- בקטע Select BigQuery dataset, בוחרים באפשרות Create new BigQuery dataset (יצירת מערך נתונים חדש ב-BigQuery).
- בתיבת הדו-שיח Create dataset מזינים את המזהה Dataset ID.
- משאירים את כל השאר כפי שהוא ולוחצים על Create dataset.
- מסמנים את האפשרות שימוש בטבלאות מחולקות למחיצות. לוחצים על Next.
- משאירים את האפשרויות בחירת יומנים שייכללו ב-sink ובחירת יומנים לסינון sink כפי שהן.
- לוחצים על יצירת Sink.
היומנים אמורים להתחיל לאכלס את מערך הנתונים ב-BigQuery, שיכול להימשך בזמן קצר. ראו גם ניתוב יומנים ליעדים נתמכים.
אחרי שמעבירים את נתוני היומן ל-BigQuery, צריך לבצע מספר טבלאות מערך הנתונים FleetEngineLogs מאוכלס באופן אוטומטי, אחד לכל סוג יומן:
- CreateVehicle
- GetVehicle
- ListVehicles
- SearchVehicles
- UpdateVehicle
- CreateTrip
- GetTrip
- UpdateTrip
- ListTrips
שמות הטבלאות מבוססים על הדפוס הבא:
project_id.data_set.log_name
לדוגמה, אם הפרויקט נקרא test-project ושם מערך הנתונים הוא
FleetEngineLogs, הטבלה CreateTrip
בעלת השם הבא:
test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip
שאילתות לדוגמה עבור BigQuery
השאילתות הבאות לדוגמה מראות איך אפשר לחפש רשומות שונות ביומן ב-BigQuery.
מספר יומני CreateTrips שמקובצים לפי שעה
SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,
count(*) as num_trips_created
FROM
`ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`
GROUP BY hour
ORDER by hour
מספר עצירות לרכב לשעה
SELECT
jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,
TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,
COUNT(*) AS num_stops
FROM
`ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`
WHERE
ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) > 0
AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[
OFFSET
(0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'
GROUP BY
1,
2
ORDER BY
2
לדוגמה, השאילתה הזו יכולה להראות לכם שבשעה האחרונה:
- רכב א' הושלמו 10 עצירות בשעה 12 ו-8 עצירות בשעה 13.
- רכב ב' השלים 5 עצירות בשעה 11 ו-7 עצירות בשעה 12.
- רכב C הושלמו 12 עצירות בשעה 13 ו-9 עצירות בשעה 14.
מידע נוסף זמין גם במאמר הצגת יומנים שמנותבים אל BigQuery.
שילוב BigQuery עם Looker Studio
אפשר לשלב את BigQuery עם כלים של בינה עסקית (BI) כדי ליצור מרכזי בקרה לניתוח נתונים עסקיים. ראו Looker Studio.
בדוגמה הבאה תוכלו לראות איך ליצור מרכז בקרה של Looker Studio בשביל הצגת נסיעות ותנועת כלי רכב במפה.
- מפעילים מרכז בקרה חדש ב-Looker Studio ובוחרים BigQuery בתור חיבור הנתונים.
- בוחרים באפשרות Custom Query (שאילתה בהתאמה אישית) ומזינים באופן ידני את הפרויקט ב-Cloud או בוחרים אותו כדי לחיוב הזה.
- צריך להזין את אחת מהשאילתות הבאות בתיבת השאילתה.
שאילתה לדוגמה של נסיעות על פי דרישה
SELECT
timestamp,
labels.vehicle_id,
jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,
jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng
FROM
`ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`
שאילתה לדוגמה של משימות מתוזמנות
SELECT
labels.delivery_vehicle_id,
jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng
FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`
- בוחרים באפשרות סוג התרשים כמפת בועות ולאחר מכן בוחרים בשדה מיקום.
- בוחרים באפשרות הוספת שדה.
- נותנים שם לשדה ומוסיפים את הנוסחה הבאה:
CONCAT(lat, ",", lng)
. - מגדירים את הסוג כמיקום גיאוגרפי->קו רוחב, קו אורך.
- אפשר להוסיף פקדים ללוח הבקרה כדי לסנן נתונים. לדוגמה, בחר במסנן טווח התאריכים.
- עורכים את תיבת טווח התאריכים ובוחרים טווח תאריכים שיוגדר כברירת מחדל.
- אפשר להוסיף עוד פקדים ברשימה נפתחת עבור
vehicle_id
. ב- בפקדים האלה אפשר לראות באופן חזותי את תנועת הרכב תנועה בתוך הנסיעה.
הפלט לדוגמה של Looker Studio:
המאמרים הבאים
כדי לעמוד בדרישות של מדיניות שמירת הנתונים, ראו הגבלת היומן שימור משתמשים.