Raw Depth API menyediakan data kedalaman untuk gambar kamera yang memiliki akurasi lebih tinggi daripada data Depth API penuh, tetapi tidak selalu mencakup setiap piksel. Gambar kedalaman mentah, beserta gambar keyakinan pencocokannya, juga dapat diproses lebih lanjut, sehingga aplikasi dapat hanya menggunakan data kedalaman yang memiliki akurasi yang cukup untuk setiap kasus penggunaannya.
Kompatibilitas perangkat
Raw Depth tersedia di semua perangkat yang mendukung Depth API. Raw Depth API, seperti Depth API penuh, tidak memerlukan sensor kedalaman hardware yang didukung, seperti sensor waktu penerbangan (ToF). Namun, baik Raw Depth API maupun Depth API penuh menggunakan sensor hardware yang didukung yang mungkin dimiliki perangkat.
Raw Depth API vs Depth API penuh
Raw Depth API memberikan perkiraan kedalaman dengan akurasi yang lebih tinggi, tetapi gambar kedalaman mentah mungkin tidak menyertakan perkiraan kedalaman untuk semua piksel pada gambar kamera. Sebaliknya, Depth API penuh memberikan perkiraan kedalaman untuk setiap piksel, tetapi data kedalaman per piksel mungkin kurang akurat karena penghalusan dan interpolasi estimasi kedalaman. Format dan ukuran depth image sama di kedua API. Hanya kontennya yang berbeda.
Tabel berikut mengilustrasikan perbedaan antara Raw Depth API dan Depth API penuh menggunakan gambar kursi dan meja di dapur.
| API | Hasil | Gambar kamera | Gambar kedalaman | Gambar keyakinan |
|---|---|---|---|---|
| Raw Depth API |
|
|
|
|
| API Kedalaman Penuh |
|
|
|
T/A |
Gambar keyakinan
Dalam gambar keyakinan yang ditampilkan oleh Raw Depth API, piksel yang lebih terang memiliki nilai keyakinan lebih tinggi, dengan piksel putih mewakili keyakinan penuh dan piksel hitam menunjukkan tidak yakin. Secara umum, area dalam gambar kamera yang memiliki lebih banyak tekstur, seperti hierarki, akan memiliki keyakinan kedalaman mentah yang lebih tinggi daripada wilayah yang tidak memiliki tekstur, seperti dinding kosong. Permukaan tanpa tekstur biasanya menghasilkan keyakinan nol.
Jika perangkat target memiliki sensor kedalaman hardware yang didukung, tingkat keyakinan pada area gambar yang cukup dekat dengan kamera kemungkinan akan lebih tinggi, bahkan pada permukaan tanpa tekstur.
Biaya komputasi
Biaya komputasi Raw Depth API adalah sekitar setengah dari biaya komputasi untuk Depth API penuh.
Kasus penggunaan
Dengan Raw Depth API, Anda bisa memperoleh gambar kedalaman yang memberikan representasi geometri objek yang lebih mendetail di adegan. Data kedalaman mentah dapat berguna saat membuat pengalaman AR yang memerlukan peningkatan akurasi dan detail untuk tugas memahami geometri. Beberapa kasus penggunaan mencakup:
- Rekonstruksi 3D
- Pengukuran
- Deteksi bentuk
Prasyarat
Pastikan Anda memahami konsep AR dasar dan cara mengonfigurasi sesi ARCore sebelum melanjutkan.
Aktifkan Kedalaman
Di sesi ARCore baru, periksa apakah perangkat pengguna mendukung Depth. Tidak semua perangkat yang kompatibel dengan ARCore mendukung Depth API karena keterbatasan daya pemrosesan. Untuk menghemat resource, depth dinonaktifkan secara default di ARCore. Aktifkan mode kedalaman agar aplikasi Anda menggunakan Depth API.
int32_t is_depth_supported = 0;
// Check whether the user's device supports the Depth API.
ArSession_isDepthModeSupported(ar_session, AR_DEPTH_MODE_AUTOMATIC,
&is_depth_supported);
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);
if (is_depth_supported) {
ArConfig_setDepthMode(ar_session, ar_config, AR_DEPTH_MODE_AUTOMATIC);
}
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);
ArConfig_destroy(ar_config);
Mendapatkan gambar kedalaman mentah terbaru
Panggil ArFrame_acquireRawDepthImage16Bits() untuk mendapatkan gambar kedalaman mentah terbaru.
int64_t previous_depth_image_timestamp_ns = -1;
int64_t depth_image_timestamp_ns;
ArImage* depth_image = NULL;
// Acquire the raw depth image for the current frame.
ArStatus acquire_image_status =
ArFrame_acquireRawDepthImage16Bits(ar_session, ar_frame, &depth_image);
if (acquire_image_status == AR_SUCCESS) {
// Optional: compare raw depth image timestamps. Use this check if your app
// uses only new depth data.
ArImage_getTimestamp(ar_session, depth_image, &depth_image_timestamp_ns);
if (depth_image_timestamp_ns != previous_depth_image_timestamp_ns) {
// Raw depth image is based on new depth data.
previous_depth_image_timestamp_ns = depth_image_timestamp_ns;
// …
}
// Release the acquired image.
ArImage_release(depth_image);
}
Tidak semua piksel gambar yang ditampilkan melalui Raw Depth API akan berisi data kedalaman, dan tidak setiap bingkai ARCore akan berisi gambar kedalaman mentah baru. Untuk menentukan apakah gambar kedalaman mentah untuk bingkai saat ini baru, bandingkan stempel waktu dengan stempel waktu gambar kedalaman mentah sebelumnya. Jika stempel waktu berbeda, gambar kedalaman mentah akan didasarkan pada data kedalaman baru. Jika tidak, gambar kedalaman adalah proyeksi ulang dari data kedalaman sebelumnya.
Dapatkan gambar keyakinan terbaru
Panggil ArFrame_acquireRawDepthConfidenceImage() untuk mendapatkan gambar keyakinan. Anda dapat menggunakan gambar keyakinan untuk memeriksa akurasi setiap piksel kedalaman mentah. Gambar keyakinan ditampilkan dalam format Y8. Setiap piksel adalah bilangan bulat 8-bit tanpa tanda tangan. 0 menunjukkan tingkat keyakinan paling rendah, sedangkan 255 menunjukkan yang paling tinggi.
// Acquire the raw depth confidence image.
ArImage* confidence_image = NULL;
ArStatus acquire_image_status = ArFrame_acquireRawDepthConfidenceImage(
ar_session, ar_frame, &confidence_image);
if (acquire_image_status == AR_SUCCESS) {
// …
// Release the acquired image.
ArImage_release(confidence_image);
}