Google sử dụng công nghệ AI để dịch nội dung sang ngôn ngữ bạn ưu tiên. Bản dịch bằng AI có thể có lỗi.

Trực quan hoá dữ liệu bằng BigQuery

Tài liệu này cung cấp một cấu trúc tham chiếu và ví dụ về cách tạo hình ảnh trực quan hoá dữ liệu bản đồ bằng dữ liệu vị trí trong Google Cloud BigQuery và API Tập dữ liệu của Google Maps Platform, chẳng hạn như phân tích dữ liệu mở của thành phố, tạo bản đồ vùng phủ sóng viễn thông hoặc trực quan hoá dấu vết di chuyển của đội xe di động.

Hình ảnh trực quan hoá dữ liệu bản đồ là một công cụ mạnh mẽ để thu hút người dùng và khám phá thông tin chi tiết về không gian trong dữ liệu vị trí. Dữ liệu vị trí là dữ liệu có các đối tượng điểm, đường hoặc đa giác. Ví dụ: bản đồ thời tiết giúp người tiêu dùng hiểu và lên kế hoạch cho các chuyến đi cũng như chuẩn bị cho bão; bản đồ thông tin doanh nghiệp giúp người dùng khám phá thông tin chi tiết từ việc phân tích dữ liệu và bản đồ viễn thông giúp người dùng hiểu được phạm vi cung cấp dịch vụ và chất lượng của nhà cung cấp trong một khu vực dịch vụ nhất định.

Tuy nhiên, các nhà phát triển ứng dụng gặp khó khăn trong việc tạo hình ảnh trực quan hoá dữ liệu bản đồ lớn có hiệu suất cao và mang lại trải nghiệm tuyệt vời cho người dùng. Dữ liệu lớn phải được tải vào bộ nhớ phía máy khách, khiến thời gian tải bản đồ lần đầu bị chậm. Hình ảnh phải hoạt động hiệu quả trên mọi thiết bị, kể cả điện thoại di động cấp thấp có giới hạn về bộ nhớ và GPU. Cuối cùng, nhà phát triển cần chọn một thư viện kết xuất dữ liệu lớn có tính di động, đáng tin cậy và hiệu suất cao với dữ liệu lớn.

Kiến trúc tham chiếu

Để phát triển ứng dụng có hình ảnh trực quan hoá dữ liệu lớn, bạn cần có hai thành phần chính.

Phần phụ trợ của khách hàng – tất cả dữ liệu ứng dụng và dịch vụ phụ trợ, chẳng hạn như xử lý và lưu trữ.
Ứng dụng khách hàng – Giao diện người dùng của ứng dụng có thành phần trực quan hoá bản đồ.

Dưới đây là sơ đồ hệ thống về cách hai thành phần này tương tác với người dùng ứng dụng, Google Cloud và Google Maps Platform để tạo một ứng dụng trực quan hoá dữ liệu lớn.

sơ đồ cấu trúc

Cân nhắc về thiết kế

Có một số điểm cần cân nhắc khi thiết kế để tạo hình ảnh trực quan hoá dữ liệu hiệu quả bằng Google Cloud và Google Maps Platform.

Kích thước dữ liệu nguồn và tần suất cập nhật.
1. Nếu dữ liệu nguồn ở định dạng geojson có kích thước <5 MB hoặc được cập nhật rất thường xuyên (ví dụ: thông tin dự báo thời tiết trực tiếp bằng radar), hãy cân nhắc việc phân phát dữ liệu dưới dạng đối tượng geojson phía máy khách trong ứng dụng và kết xuất bằng một lớp deck.gl.
2. Nếu dữ liệu của bạn có kích thước lớn hơn 5 MB và cập nhật không nhanh hơn một lần mỗi giờ, hãy cân nhắc kiến trúc Dataset API trong tài liệu này.
  1. Tập dữ liệu hỗ trợ các tệp có kích thước tối đa 350 MB.
  2. Nếu dữ liệu của bạn lớn hơn 350 MB, hãy cân nhắc việc cắt bớt hoặc đơn giản hoá dữ liệu hình học trong tệp nguồn trước khi chuyển đến Tập dữ liệu (xem phần Cắt bớt dữ liệu bên dưới).
Giản đồ và định dạng
1. Đảm bảo dữ liệu của bạn có thuộc tính mã nhận dạng duy nhất trên toàn cầu cho mỗi đối tượng. Mã nhận dạng duy nhất cho phép bạn chọn và tạo kiểu cho một đối tượng cụ thể hoặc kết hợp dữ liệu với một đối tượng để trực quan hoá, ví dụ: tạo kiểu cho một đối tượng đã chọn trong sự kiện "nhấp chuột" của người dùng.
2. Định dạng dữ liệu của bạn dưới dạng CSV hoặc GeoJSON theo quy cách của Datasets API với tên cột, kiểu dữ liệu và loại đối tượng GeoJSON hợp lệ.
3. Để dễ dàng tạo Tập dữ liệu từ BigQuery, hãy tạo một cột có tên là wkt trong tệp xuất CSV SQL. Tập dữ liệu hỗ trợ nhập hình học từ tệp CSV ở định dạng Well-Known Text (WKT) từ một cột có tên wkt.
4. Kiểm tra để đảm bảo dữ liệu của bạn có hình học và kiểu dữ liệu hợp lệ. Ví dụ: GeoJSON phải nằm trong hệ toạ độ WGS84, thứ tự cuộn hình học, v.v.
5. Sử dụng một công cụ như geojson-validate để đảm bảo tất cả hình học trong tệp nguồn đều hợp lệ hoặc ogr2ogr để chuyển đổi tệp nguồn giữa các định dạng hoặc hệ toạ độ.
Cắt bớt dữ liệu
1. Giảm thiểu số lượng thuộc tính của đối tượng. Bạn có thể kết hợp các thuộc tính bổ sung vào một đối tượng tại thời gian chạy trên khoá giá trị nhận dạng riêng biệt (ví dụ).
2. Sử dụng các kiểu dữ liệu số nguyên cho đối tượng thuộc tính nếu có thể để giảm thiểu không gian lưu trữ của ô, giúp các ô hoạt động hiệu quả khi tải qua HTTPS trong ứng dụng khách.
3. Đơn giản hoá và/hoặc tổng hợp các hình học đối tượng rất phức tạp; cân nhắc sử dụng các hàm BigQuery như ST_Simplify trên các hình học đa giác phức tạp để giảm kích thước tệp nguồn và cải thiện hiệu suất bản đồ.
Xếp kề
1. Google Maps Datasets API tạo các ô bản đồ từ tệp dữ liệu nguồn để sử dụng với SDK Maps dành cho web hoặc thiết bị di động.
2. Mảnh bản đồ là một hệ thống lập chỉ mục dựa trên mức thu phóng, giúp tải dữ liệu vào một ứng dụng hình ảnh hiệu quả hơn.
3. Thẻ thông tin bản đồ có thể bỏ bớt các đối tượng dày đặc hoặc phức tạp ở mức thu phóng thấp hơn. Khi người dùng thu nhỏ để xem một tiểu bang hoặc quốc gia (ví dụ: z5-z12), bản đồ có thể trông khác so với khi phóng to để xem một thành phố hoặc khu vực lân cận (ví dụ: z13-z18).

Ví dụ – Đường sắt ở London

Trong ví dụ này, chúng ta sẽ áp dụng cấu trúc tham chiếu để tạo một ứng dụng web bằng Google Cloud và Google Maps, giúp trực quan hoá tất cả các tuyến đường sắt ở Luân Đôn từ dữ liệu Open Street Map (OSM).

Điều kiện tiên quyết

Quyền truy cập vào Hộp cát BigQuery và Cloud Console
Đảm bảo bạn đã thiết lập dự án trên Google Cloud và tài khoản thanh toán.

Bước 1 – Truy vấn dữ liệu trong BigQuery

Chuyển đến Tập dữ liệu công khai của BigQuery. Tập dữ liệu "bigquery-public-data" và bảng geo_openstreetmap.planet_features chứa dữ liệu Open Street Map (OSM) của toàn cầu, bao gồm tất cả các tính năng có thể có. Khám phá tất cả các tính năng có sẵn để truy vấn trong OSM Wiki, bao gồm amenity, road và landuse.

Sử dụng Cloud Shell hoặc BigQuery Cloud Console để truy vấn bảng bằng SQL. Đoạn mã dưới đây sử dụng lệnh bq query để truy vấn tất cả các tuyến đường sắt được lọc chỉ cho Luân Đôn bằng cách sử dụng hộp giới hạn và hàm ST_Intersects().

Để thực hiện truy vấn này từ Cloud Shell, hãy chạy đoạn mã sau, cập nhật mã dự án, tập dữ liệu và tên bảng cho môi trường của bạn.

bq query --use_legacy_sql=false \
--destination_table PROJECTID:DATASET.TABLENAME \
--replace \
'SELECT
osm_id, 
feature_type,
(SELECT value
         FROM   unnest(all_tags)
         WHERE  KEY = "name") AS name,
(SELECT value
         FROM   unnest(all_tags)
         WHERE  KEY = "railway") AS railway,
geometry as wkt
FROM   bigquery-public-data.geo_openstreetmap.planet_features
WHERE ("railway") IN (SELECT key FROM unnest(all_tags)) 
    AND ST_Intersects(
    geometry,
ST_MakePolygon(ST_MakeLine(
      [ST_GeogPoint(-0.549370, 51.725346),
      ST_GeogPoint(-0.549370, 51.2529407),
      ST_GeogPoint(0.3110581, 51.25294),
      ST_GeogPoint(0.3110581, 51.725346),
      ST_GeogPoint(-0.549370, 51.725346)]
    ))
   )'

Truy vấn trả về:

giá trị nhận dạng riêng biệt cho mỗi đối tượng osm_id
feature_type, ví dụ: điểm, đường, v.v.
name của tính năng, ví dụ: Paddington Station
Loại railway, ví dụ: chính, du lịch, quân sự, v.v.
wkt của đối tượng – hình học điểm, đường hoặc đa giác ở định dạng WKT. WKT là định dạng dữ liệu chuẩn mà các cột Địa lý BigQuery trả về trong một truy vấn.

Lưu ý – Để xác thực kết quả truy vấn một cách trực quan trước khi tạo Tập dữ liệu, bạn có thể nhanh chóng trực quan hoá dữ liệu trong một trang tổng quan từ BigQuery bằng Looker Studio.

Để xuất bảng sang tệp CSV trong bộ chứa Google Cloud Storage, hãy dùng lệnh bq extract trong Cloud Shell:

bq extract \
--destination_format "CSV" \
--field_delimiter "," \
--print_header=true \
PROJECTID:DATASET.TABLENAME \
gs://BUCKET/FILENAME.csv

Lưu ý: bạn có thể tự động hoá từng bước bằng cách sử dụng Cloud Scheduler để cập nhật dữ liệu thường xuyên.

Bước 2 – Tạo Tập dữ liệu từ tệp CSV

Tiếp theo, hãy tạo một tập dữ liệu Google Maps Platform từ kết quả truy vấn trên Google Cloud Storage (GCS). Bằng cách sử dụng Datasets API, bạn có thể tạo một tập dữ liệu, sau đó tải dữ liệu lên Tập dữ liệu của bạn từ một tệp được lưu trữ trên GCS.

Để bắt đầu, hãy bật Maps Datasets API trên dự án trên đám mây của bạn trên Google Cloud và xem tài liệu về API. Có các thư viện ứng dụng Python và Node.js để gọi API Tập dữ liệu từ logic trong phần phụ trợ của ứng dụng. Ngoài ra, còn có một giao diện người dùng đồ hoạ (GUI) cho Tập dữ liệu để tạo Tập dữ liệu theo cách thủ công trong Cloud Console.

Sau khi hoàn tất quá trình tải Tập dữ liệu lên, bạn có thể xem trước tập dữ liệu trong Giao diện người dùng đồ hoạ của Tập dữ liệu.

Bản xem trước tập dữ liệu

Bước 4 – Liên kết Tập dữ liệu với mã bản đồ

Sau khi tạo Tập dữ liệu, bạn có thể tạo mã bản đồ có Kiểu bản đồ được liên kết. Trong trình chỉnh sửa Kiểu bản đồ, bạn có thể liên kết mapId và kiểu với Tập dữ liệu. Đây cũng là nơi bạn có thể áp dụng tính năng Định kiểu bản đồ dựa trên đám mây để tuỳ chỉnh giao diện của bản đồ.

Bước 5 – Tạo hình ảnh trực quan hoá bản đồ cho ứng dụng khách

Cuối cùng, bạn có thể thêm tập dữ liệu vào một ứng dụng trực quan hoá dữ liệu phía máy khách bằng cách sử dụng Maps JS API. Khởi động đối tượng bản đồ bằng mapID được liên kết với tập dữ liệu của bạn ở bước trước. Sau đó, hãy đặt kiểu và khả năng tương tác cho lớp Tập dữ liệu. Hãy xem hướng dẫn đầy đủ về cách định kiểu dựa trên dữ liệu bằng Tập dữ liệu để biết thêm thông tin chi tiết.

Bạn có thể tuỳ chỉnh kiểu, thêm trình xử lý sự kiện để thay đổi kiểu một cách linh động và làm nhiều việc khác bằng Maps JS API. Xem ví dụ trong tài liệu. Dưới đây, chúng ta sẽ xác định hàm setStyle để tạo kiểu đối tượng điểm và đường cho ví dụ này dựa trên thuộc tính "feature_type".

function setStyle(params) {
  const map.getDatasetFeatureLayer("your-dataset-id");
  const datasetFeature = params.feature;
  const type = datasetFeature.datasetAttributes["feature_type"];
if (type == "lines") {
           return {
             fillColor: "blue",
             strokeColor: "blue",
             fillOpacity: 0.5,
             strokeWeight: 1,
           }
         } else if (type == "points") {
           return {
             fillColor: "black",
             strokeColor: "black",
             strokeOpacity: 0.5,
             pointRadius: 2,
             fillOpacity: 0.5,
             strokeWeight: 1,
           }
     }
}

Khi được khởi chạy trong một ứng dụng web một trang, đoạn mã trên sẽ tạo ra hình ảnh dữ liệu bản đồ sau:

bản đồ đường sắt london

Tại đây, bạn có thể mở rộng hình ảnh trực quan của bản đồ trong hàm setStyle() bằng cách thêm logic để lọc các đối tượng, thêm kiểu dựa trên hoạt động tương tác của người dùng và tương tác với phần còn lại của ứng dụng.

Kết luận

Trong tài liệu này, chúng tôi đã thảo luận về cấu trúc tham chiếu và ví dụ về cách triển khai ứng dụng trực quan hoá dữ liệu lớn bằng Google Cloud và Google Maps Platform. Bằng cách sử dụng cấu trúc tham chiếu này, bạn có thể tạo các ứng dụng trực quan hoá dữ liệu vị trí từ bất kỳ dữ liệu nào trong Google Cloud BigQuery. Các ứng dụng này hoạt động hiệu quả trên mọi thiết bị nhờ sử dụng API Tập dữ liệu của Google Maps.

Hành động tiếp theo

Tài liệu đọc thêm:

Người đóng góp

Tác giả chính:

Ryan Baumann, Trưởng nhóm Kỹ thuật giải pháp của Nền tảng Google Maps