Dowiedz się, jak używać obrazów rozszerzonych w swoich aplikacjach.
Wymagania wstępne
Zanim przejdziesz dalej, upewnij się, że rozumiesz podstawowe zagadnienia związane z rozszerzoną rzeczywistością oraz że wiesz, jak skonfigurować sesję ARCore.
Tworzenie bazy danych obrazów
Każda baza danych zdjęć może przechowywać informacje o maksymalnie 1000 zdjęć.
AugmentedImageDatabase
można utworzyć na 2 sposoby:
- Wczytaj zapisaną bazę danych obrazów. Następnie opcjonalnie dodaj więcej obrazów referencyjnych.
- Utwórz nową pustą bazę danych. Następnie dodawaj obrazy referencyjne pojedynczo.
Wczytywanie zapisanej bazy danych obrazów
Użyj polecenia AugmentedImageDatabase.deserialize()
, aby załadować istniejącą bazę danych obrazów:
Java
AugmentedImageDatabase imageDatabase; try (InputStream inputStream = this.getAssets().open("example.imgdb")) { imageDatabase = AugmentedImageDatabase.deserialize(session, inputStream); } catch (IOException e) { // The Augmented Image database could not be deserialized; handle this error appropriately. }
Kotlin
val imageDatabase = this.assets.open("example.imgdb").use { AugmentedImageDatabase.deserialize(session, it) }
Bazy danych obrazów można tworzyć za pomocą narzędzia wiersza poleceń arcoreimg
podczas tworzenia lub wywołując AugmentedImageDatabase.serialize()
na bazie danych, która jest wczytana do pamięci.
Utwórz nową pustą bazę danych
Aby utworzyć pustą bazę danych obrazów w czasie działania, użyj konstruktora AugmentedImageDatabase
:
Java
AugmentedImageDatabase imageDatabase = new AugmentedImageDatabase(session);
Kotlin
val imageDatabase = AugmentedImageDatabase(session)
Dodawanie obrazów do istniejącej bazy danych
Dodaj obrazy do bazy danych zdjęć, wywołując
AugmentedImageDatabase.addImage()
dla każdego obrazu, podając opcjonalną wartość widthInMeters
.
Java
Bitmap bitmap; try (InputStream bitmapString = getAssets().open("dog.jpg")) { bitmap = BitmapFactory.decodeStream(bitmapString); } catch (IOException e) { // The bitmap could not be found in assets; handle this error appropriately. throw new AssertionError("The bitmap could not be found in assets.", e); } // If the physical size of the image is not known, use addImage(String, Bitmap) instead, at the // expense of an increased image detection time. float imageWidthInMeters = 0.10f; // 10 cm int dogIndex = imageDatabase.addImage("dog", bitmap, imageWidthInMeters);
Kotlin
val bitmap = assets.open("dog.jpg").use { BitmapFactory.decodeStream(it) } // If the physical size of the image is not known, use addImage(String, Bitmap) instead, at the // expense of an increased image detection time. val imageWidthInMeters = 0.10f // 10 cm val dogIndex = imageDatabase.addImage("dog", bitmap, imageWidthInMeters)
Zwrócone indeksy można później wykorzystać do określenia, który obraz referencyjny został wykryty.
Włączanie śledzenia obrazów
Skonfiguruj sesję ARCore, aby rozpocząć śledzenie obrazów przez ustawienie sesji config na takiej, która jest skonfigurowana z użyciem odpowiedniej bazy danych obrazów:
Java
Config config = new Config(session); config.setAugmentedImageDatabase(imageDatabase); session.configure(config);
Kotlin
val config = Config(session) config.augmentedImageDatabase = imageDatabase session.configure(config)
Podczas sesji ARCore wyszukuje obrazy, dopasowując punkty charakterystyczne z obrazu z kamery do tych w bazie danych obrazów.
Aby uzyskać dopasowane obrazy, sprawdź, czy w pętli aktualizacji klatek są dostępne nowe AugmentedImage
.
Java
Collection<AugmentedImage> updatedAugmentedImages = frame.getUpdatedTrackables(AugmentedImage.class); for (AugmentedImage img : updatedAugmentedImages) { if (img.getTrackingState() == TrackingState.TRACKING) { // Use getTrackingMethod() to determine whether the image is currently // being tracked by the camera. switch (img.getTrackingMethod()) { case LAST_KNOWN_POSE: // The planar target is currently being tracked based on its last // known pose. break; case FULL_TRACKING: // The planar target is being tracked using the current camera image. break; case NOT_TRACKING: // The planar target isn't been tracked. break; } // You can also check which image this is based on img.getName(). if (img.getIndex() == dogIndex) { // TODO: Render a 3D version of a dog in front of img.getCenterPose(). } else if (img.getIndex() == catIndex) { // TODO: Render a 3D version of a cat in front of img.getCenterPose(). } } }
Kotlin
val updatedAugmentedImages = frame.getUpdatedTrackables(AugmentedImage::class.java) for (img in updatedAugmentedImages) { if (img.trackingState == TrackingState.TRACKING) { // Use getTrackingMethod() to determine whether the image is currently // being tracked by the camera. when (img.trackingMethod) { AugmentedImage.TrackingMethod.LAST_KNOWN_POSE -> { // The planar target is currently being tracked based on its last known pose. } AugmentedImage.TrackingMethod.FULL_TRACKING -> { // The planar target is being tracked using the current camera image. } AugmentedImage.TrackingMethod.NOT_TRACKING -> { // The planar target isn't been tracked. } } // You can also check which image this is based on AugmentedImage.getName(). when (img.index) { dogIndex -> TODO("Render a 3D version of a dog at img.getCenterPose()") catIndex -> TODO("Render a 3D version of a cat at img.getCenterPose()") } } }
Obsługa różnych przypadków użycia
Gdy ARCore wykryje obraz rozszerzony, tworzy dla niego Trackable
Rozszerzony obraz i zestawy TrackingState
do TRACKING
i TrackingMethod
do FULL_TRACKING
. Gdy śledzony obraz zniknie z pola widzenia kamery, ARCore zmieni TrackingMethod
na LAST_KNOWN_POSE
, nadal podając orientację i położenie obrazu.
Aplikacja powinna używać tych wyliczeń różnie w zależności od zamierzonego użycia tych kwestii.
Poprawione obrazy. W większości przypadków obrazy, które są nieruchome (czyli nie powinny się przemieszczać), można po prostu wykrywać za pomocą funkcji
TrackingState
.TrackingMethod
można zignorować.Ruchome obrazy. Jeśli aplikacja ma śledzić ruchomy obraz, użyj obu funkcji
TrackingState
iTrackingMethod
, aby określić, czy obraz został i czy jest znana jej pozycja.
Przypadek użycia | Obraz statyczny | Przenoszę obraz |
---|---|---|
Przykład | Plakat na ścianie | Reklama na boku autobusu |
Pozycja może być: uważane za prawidłowe, gdy |
TrackingState == TRACKING |
TrackingState == TRACKING i TrackingMethod == FULL_TRACKING
|
Zobacz też
Przykładowe projekty z kategorii Augmented Images w pakiecie ARCore SDK.
Ćwiczenie z programowania dotyczące obrazów rozszerzonych ARCore.