تحليل السجلّات باستخدام BigQuery
تنظيم صفحاتك في مجموعات
يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.
BigQuery هي أداة فعّالة لإجراء التحليلات. يمكنك استخدامها لتخزين السجلات على المدى الطويل وإجراء استعلامات شبيهة بلغة SQL على البيانات. لاستخدام BigQuery في التحليل، يجب توجيه سجلّاتك بشكل صريح إلى BigQuery، كما هو موضّح في القسم التالي.
توجيه السجلات إلى BigQuery
- في مستكشف السجلات، أنشئ فلترًا يعزل سجلات Fleet Engine:
Fleetengine.googleapis.com/Fleet.
- في جزء نتائج طلب البحث، انقر على قائمة الإجراءات أو مزيد من الإجراءات، ثم اختَر إنشاء مصدر.
- حدِّد اسمًا للمستودع (على سبيل المثال، FleetEngineLogsSink). بعد ذلك، انقر على التالي.
- في وجهة Sink، اختَر مجموعة بيانات BigQuery.
- في اختيار مجموعة بيانات BigQuery، اختَر إنشاء مجموعة بيانات BigQuery جديدة.
- في مربّع الحوار إنشاء مجموعة بيانات، أدخِل معرّف مجموعة بيانات.
- اترك كل شيء آخر كما هو وانقر على إنشاء مجموعة بيانات.
- ضَع علامة في المربّع بجانب استخدام الجداول المقسَّمة. بعد ذلك، انقر على التالي.
- اترك الحقلَين اختيار السجلات المطلوب تضمينها في مصدر التجميع واختيار السجلات المطلوب استبعادها من مصدر التجميع كما هما.
- انقر على إنشاء مصدر.
من المفترض أن تبدأ سجلّاتك الآن في تعبئة مجموعة بيانات BigQuery، وقد يستغرق ذلك بعض الوقت. اطّلِع أيضًا على توجيه السجلات إلى وجهات متوافقة.
بعد توجيه بيانات السجلّ إلى BigQuery، تتم تلقائيًا تعبئة عدة جداول ضمن مجموعة بيانات FleetEngineLogs، جدول واحد لكل نوع سجلّ:
- CreateVehicle
- GetVehicle
- ListVehicles
- SearchVehicles
- UpdateVehicle
- CreateTrip
- GetTrip
- UpdateTrip
- ListTrips
تستخدم أسماء الجداول النمط التالي:
project_id.data_set.log_name
على سبيل المثال، إذا كان اسم المشروع هو test-project واسم مجموعة البيانات هو FleetEngineLogs، سيكون اسم جدول CreateTrip كما يلي:
test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip
أمثلة على طلبات البحث في BigQuery
توضّح طلبات البحث النموذجية التالية كيف يمكنك البحث عن إدخالات سجلّ مختلفة في BigQuery.
عدد سجلات CreateTrips مجمّعة حسب الساعة
SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,
count(*) as num_trips_created
FROM
`ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`
GROUP BY hour
ORDER by hour
عدد المحطات لكل مركبة في الساعة
SELECT
jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,
TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,
COUNT(*) AS num_stops
FROM
`ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`
WHERE
ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) > 0
AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[
OFFSET
(0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'
GROUP BY
1,
2
ORDER BY
2
على سبيل المثال، يمكن أن يخبرك هذا الطلب بما يلي خلال الساعة الأخيرة:
- أكملت المركبة (أ) 10 محطات توقّف في الساعة 12 و8 محطات توقّف في الساعة 13.
- أكملت المركبة (ب) 5 محطات في الساعة 11 و7 محطات في الساعة 12.
- أكملت المركبة C 12 محطة في الساعة 13 و9 محطات في الساعة 14.
اطّلِع أيضًا على عرض السجلات التي تم توجيهها إلى BigQuery.
دمج BigQuery مع Looker Studio
يمكن دمج BigQuery مع أدوات ذكاء الأعمال لإنشاء لوحات بيانات لتحليل الأعمال. اطّلِع على Looker Studio.
يوضّح المثال التالي كيفية إنشاء لوحة بيانات في Looker Studio لعرض الرحلات وتنقلات المركبات على خريطة.
- افتح لوحة بيانات جديدة في Looker Studio واختَر
BigQuery كعملية ربط البيانات.
- اختَر طلب بحث مخصّص وأدخِل يدويًا أو اختَر مشروع Cloud الذي يجب أن تتم فوترته.
- أدخِل أحد طلبات البحث التالية في مربّع طلب البحث.
مثال على طلب بحث عن رحلات عند الطلب
SELECT
timestamp,
labels.vehicle_id,
jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,
jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng
FROM
`ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`
مثال على طلب بحث عن "المهام المُجدوَلة"
SELECT
labels.delivery_vehicle_id,
jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng
FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`
- اختَر نوع الرسم البياني كخريطة فقاعية، ثم اختَر حقل الموقع الجغرافي.
- انقر على إضافة حقل.
- سمِّ الحقل وأضِف الصيغة التالية:
CONCAT(lat, ",", lng).
- اضبط النوع على Geo->Latitude, Longitude.
- يمكنك إضافة عناصر تحكّم إلى لوحة البيانات لفلترة البيانات. على سبيل المثال، اختَر فلتر النطاق الزمني.
- عدِّل مربّع النطاق الزمني لاختيار نطاق زمني تلقائي.
- يمكنك إضافة عناصر تحكّم إضافية لقائمة منسدلة من أجل
vehicle_id. باستخدام عناصر التحكّم هذه، يمكنك عرض حركة المركبة أو الحركة ضمن رحلة.
مثال على الناتج في Looker Studio:
الخطوات التالية
للامتثال لسياسات الاحتفاظ بالبيانات، يُرجى الاطّلاع على فرض قيود على الاحتفاظ بالسجلات.
إنّ محتوى هذه الصفحة مرخّص بموجب ترخيص Creative Commons Attribution 4.0 ما لم يُنصّ على خلاف ذلك، ونماذج الرموز مرخّصة بموجب ترخيص Apache 2.0. للاطّلاع على التفاصيل، يُرجى مراجعة سياسات موقع Google Developers. إنّ Java هي علامة تجارية مسجَّلة لشركة Oracle و/أو شركائها التابعين.
تاريخ التعديل الأخير: 2025-09-05 (حسب التوقيت العالمي المتفَّق عليه)
[[["يسهُل فهم المحتوى.","easyToUnderstand","thumb-up"],["ساعَدني المحتوى في حلّ مشكلتي.","solvedMyProblem","thumb-up"],["غير ذلك","otherUp","thumb-up"]],[["لا يحتوي على المعلومات التي أحتاج إليها.","missingTheInformationINeed","thumb-down"],["الخطوات معقدة للغاية / كثيرة جدًا.","tooComplicatedTooManySteps","thumb-down"],["المحتوى قديم.","outOfDate","thumb-down"],["ثمة مشكلة في الترجمة.","translationIssue","thumb-down"],["مشكلة في العيّنات / التعليمات البرمجية","samplesCodeIssue","thumb-down"],["غير ذلك","otherDown","thumb-down"]],["تاريخ التعديل الأخير: 2025-09-05 (حسب التوقيت العالمي المتفَّق عليه)"],[[["\u003cp\u003eBigQuery enables analysis of Fleet Engine logs via SQL-like queries after routing logs to a BigQuery dataset.\u003c/p\u003e\n"],["\u003cp\u003eRouting logs to BigQuery involves creating a sink in the Logs Explorer and selecting a BigQuery dataset as the destination.\u003c/p\u003e\n"],["\u003cp\u003eBigQuery automatically populates tables for each Fleet Engine log type under the specified dataset.\u003c/p\u003e\n"],["\u003cp\u003eExample queries demonstrate how to analyze trip creation, vehicle stops, and other data points within BigQuery.\u003c/p\u003e\n"],["\u003cp\u003eBigQuery integrates with Looker Studio for creating dashboards and visualizing data, such as vehicle movement on a map.\u003c/p\u003e\n"]]],[],null,["BigQuery is a powerful tool for performing analytics. You can use it to store\nlonger-term logs and to perform SQL-like queries against the data. To use\nBigQuery for analysis, you must explicitly route your logs to BigQuery, as\ndescribed in the next section.\n\nRoute logs to BigQuery\n\n1. In the [Logs Explorer](https://cloud.google.com/logging/docs/view/logs-explorer-interface), create a filter that isolates the Fleet Engine logs: `Fleetengine.googleapis.com/Fleet`.\n2. In the **Query Results pane** , click the **Actions** or **More Actions** menu and choose **Create Sink**.\n3. Specify a sink name (for example, *FleetEngineLogsSink* ). Click **Next**.\n4. In the **Sink Destination** , select **BigQuery dataset**.\n5. In **Select BigQuery dataset** , select **Create new BigQuery dataset**.\n6. In the **Create dataset** dialog, enter a **Dataset ID**.\n7. Leave everything else as is and click **Create dataset**.\n8. Check **Use partitioned tables** . Click **Next**.\n9. Leave **Choose logs to include in sink** and **Choose logs to filter out of\n sink** as they are.\n10. Click **Create Sink**.\n\nYour logs should now begin to populate the BigQuery dataset, which can take a\nshort while. See also [Route logs to supported destinations](https://cloud.google.com/logging/docs/export/configure_export_v2).\n\nOnce you are routing log data to BigQuery, several tables under the\n*FleetEngineLogs* dataset are automatically populated, one for each log type:\n\n- CreateVehicle\n- GetVehicle\n- ListVehicles\n- SearchVehicles\n- UpdateVehicle\n- CreateTrip\n- GetTrip\n- UpdateTrip\n- ListTrips\n\nThe table names use the following pattern: \n\n project_id.data_set.log_name\n\nFor example, if the project is called *test-project* and the dataset name is\n*FleetEngineLogs* , the `CreateTrip` table has the following name: \n\n test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip\n\nExample queries for BigQuery\n\nThe following example queries show how you can search for different log entries\nin BigQuery.\n\nNumber of CreateTrips logs grouped by hour \n\n SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,\n count(*) as num_trips_created\n FROM\n `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`\n GROUP BY hour\n ORDER by hour\n\nNumber of stops per vehicle per hour \n\n SELECT\n jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,\n TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,\n COUNT(*) AS num_stops\n FROM\n `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`\n WHERE\n ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) \u003e 0\n AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[\n OFFSET\n (0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'\n GROUP BY\n 1,\n 2\n ORDER BY\n 2\n\nFor example, this query could tell you that in the last hour:\n\n- Vehicle A completed 10 stops in hour 12 and 8 stops in hour 13.\n- Vehicle B completed 5 stops in hour 11 and 7 stops in hour 12.\n- Vehicle C completed 12 stops in hour 13 and 9 stops in hour 14.\n\nSee also [View logs routed to BigQuery](https://cloud.google.com/logging/docs/export/bigquery).\n\nIntegrate BigQuery with Looker Studio\n\nBigQuery can be integrated with business intelligence tools to create dashboards\nfor business analytics. See [Looker Studio](https://lookerstudio.google.com).\n\nThe following example shows how to build a Looker Studio dashboard for\nvisualizing trips and vehicle movements on a map.\n\n1. Launch a new [Looker Studio](https://lookerstudio.google.com) dashboard and select **BigQuery** as the data connection.\n2. Select **Custom Query** and manually enter or select the Cloud Project to which it should be billed.\n3. Enter one of the following queries into the query box.\n\nOn-demand trips example query \n\n SELECT\n timestamp,\n labels.vehicle_id,\n jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,\n jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng\n FROM\n `ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`\n\nScheduled Tasks example query \n\n SELECT\n labels.delivery_vehicle_id,\n jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng\n FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`\n\n1. Select **Chart Type as Bubble Map** , and then select the **location** field.\n2. Select **Add a Field**.\n3. Name the field and add the following formula: `CONCAT(lat, \",\", lng)`.\n4. Set the type to **Geo-\\\u003eLatitude, Longitude**.\n5. You can add controls to the dashboard to filter data. For example, select the **Date-range** filter.\n6. Edit the date range box to select a default date range.\n7. You can add additional *drop-down list* controls for `vehicle_id`. With these controls, you can visualize the movement of the vehicle or the movement within a trip.\n\nLooker Studio example output:\n\nWhat's next\n\nTo comply with data retention policies, see [Restrict log\nretention](/maps/documentation/mobility/operations/cloud-logging/reduce-cost)."]]
