ניתוח יומנים באמצעות BigQuery

BigQuery הוא כלי רב-עוצמה לביצוע ניתוח נתונים. אפשר להשתמש בו לאחסון יומנים לטווח ארוך יותר ולביצוע שאילתות דמויות SQL על הנתונים. כדי להשתמש ב-BigQuery לצורך ניתוח, צריך לנתב את היומנים ל-BigQuery באופן מפורש, כפי שמתואר בקטע הבא.

ניתוב יומנים אל BigQuery

  1. ב-Logs Explorer, יוצרים מסנן שמבודד את היומנים של Fleet Engine: Fleetengine.googleapis.com/Fleet.
  2. בחלונית Query Results, לוחצים על התפריט Actions או More Actions ובוחרים באפשרות Create Sink.
  3. מציינים שם של sink (לדוגמה, FleetEngineLogsSink). לוחצים על Next.
  4. בקטע Sink Destination, בוחרים באפשרות BigQuery dataset.
  5. בקטע Select BigQuery dataset (בחירת מערך נתונים ב-BigQuery), בוחרים באפשרות Create new BigQuery dataset (יצירת מערך נתונים חדש ב-BigQuery).
  6. בתיבת הדו-שיח Create dataset, מזינים מזהה מערך נתונים.
  7. משאירים את כל שאר הפרטים כפי שהם ולוחצים על Create dataset.
  8. מסמנים את התיבה שימוש בטבלאות מחולקות. לוחצים על Next.
  9. משאירים את ההגדרות Choose logs to include in sink ו-Choose logs to filter out of sink כפי שהן.
  10. לוחצים על Create Sink.

עכשיו יוצגו ביומני הנתונים שלכם נתונים במערך הנתונים ב-BigQuery. התהליך עשוי להימשך זמן קצר. אפשר גם לעיין במאמר ניתוב יומנים ליעדים נתמכים.

אחרי שמנתבים את נתוני היומנים ל-BigQuery, כמה טבלאות במערך הנתונים FleetEngineLogs מאוכלסות באופן אוטומטי, אחת לכל סוג יומן:

  • CreateVehicle
  • GetVehicle
  • ListVehicles
  • SearchVehicles
  • UpdateVehicle
  • CreateTrip
  • GetTrip
  • UpdateTrip
  • ListTrips

שמות הטבלאות מוגדרים לפי התבנית הבאה:

project_id.data_set.log_name

לדוגמה, אם שם הפרויקט הוא test-project ושם מערך הנתונים הוא FleetEngineLogs, השם של טבלת CreateTrip יהיה:

test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip

שאילתות לדוגמה ל-BigQuery

בשאילתות לדוגמה הבאות מוסבר איך לחפש רשומות שונות ביומן ב-BigQuery.

מספר היומנים של CreateTrips שמקובצים לפי שעה

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,
           count(*) as num_trips_created
    FROM
    `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`
    GROUP BY hour
    ORDER by hour

מספר תחנות לכל רכב לשעה

    SELECT
      jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,
      TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,
      COUNT(*) AS num_stops
    FROM
      `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`
    WHERE
    ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) > 0
    AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[
    OFFSET
    (0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'
    GROUP BY
    1,
    2
    ORDER BY
    2

לדוגמה, השאילתה הזו יכולה להראות לכם שבשעה האחרונה:

  • הרכב א' השלים 10 עצירות בשעה 12 ו-8 עצירות בשעה 13.
  • רכב ב' השלים 5 עצירות בשעה 11 ו-7 עצירות בשעה 12.
  • הרכב מס' ג' השלים 12 עצירות בשעה 13 ו-9 עצירות בשעה 14.

אפשר גם לעיין במאמר הצגת יומנים שמנותבים ל-BigQuery.

שילוב BigQuery עם Looker Studio

אפשר לשלב את BigQuery עם כלי בינה עסקית כדי ליצור מרכזי בקרה לניתוח נתונים עסקיים. Looker Studio

בדוגמה הבאה מוסבר איך ליצור מרכז בקרה ב-Looker Studio להצגה חזותית של נסיעות ותנועות של כלי רכב במפה.

  1. פותחים מרכז בקרה חדש ב-Looker Studio ובוחרים ב-BigQuery כחיבור הנתונים.
  2. בוחרים באפשרות Custom Query ומזינים או בוחרים באופן ידני את הפרויקט ב-Cloud שאליו צריך לחייב את העלויות.
  3. מזינים בתיבת השאילתה אחת מהשאילתות הבאות.

דוגמה לשאילתה לגבי נסיעות על פי דרישה

    SELECT
     timestamp,
     labels.vehicle_id,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng
    FROM
    `ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`

שאילתה לדוגמה של משימות מתוזמנות

    SELECT
    labels.delivery_vehicle_id,
    jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng
    FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`
  1. בוחרים באפשרות Chart Type as Bubble Map (סוג התרשים כמפת בועות) ואז בוחרים את השדה location (מיקום).
  2. בוחרים באפשרות הוספת שדה.
  3. נותנים שם לשדה ומוסיפים את הנוסחה הבאה: CONCAT(lat, ",", lng).
  4. מגדירים את הסוג כ-Geo->Latitude, Longitude.
  5. אפשר להוסיף למרכז הבקרה אמצעי בקרה כדי לסנן נתונים. לדוגמה, בוחרים את המסנן Date-range.
  6. עורכים את התיבה 'טווח תאריכים' כדי לבחור טווח תאריכים שמוגדר כברירת מחדל.
  7. אפשר להוסיף עוד אמצעי בקרה מסוג רשימת תפריט נפתח עבור vehicle_id. בעזרת אמצעי הבקרה האלה תוכלו לראות את התנועה של הרכב או את התנועה במהלך הנסיעה.

פלט לדוגמה ב-Looker Studio:

פלט לדוגמה ב-Looker Studio

המאמרים הבאים

כדי לעמוד בדרישות של מדיניות שמירת הנתונים, אפשר לעיין במאמר הגבלת שמירת הרשומות ביומן.