Android с решением искусственного интеллекта

Усовершенствуйте свои приложения Android с помощью генеративного искусственного интеллекта

В этом курсе обучения вы узнаете, как создавать более привлекательные приложения для Android с меньшими усилиями, используя технологии Google. В следующих разделах вы будете создавать и улучшать гипотетическое приложение для приготовления еды — аналог того типа приложения, над которым вы, возможно, работаете сегодня как разработчик Android.

Вы узнаете, как использовать Gemini в Android Studio для более быстрого обучения и разработки, использовать Firebase для создания уровней хранения вашего приложения и входа в систему, использовать Gemini для внедрения в ваше приложение новейших генеративных функций искусственного интеллекта и использовать такие инструменты, как Firebase Remote Config, Google Analytics и Crashlytics, для поддержки вашего приложения в рабочей среде.

Ускорьте разработку Android с помощью Gemini в Android Studio

Создавать приложения для Android стало проще, чем когда-либо, с помощью Gemini в Android Studio, вашего помощника по программированию на базе искусственного интеллекта.

Интегрируя искусственный интеллект непосредственно в среду IDE, которую вы используете ежедневно, Gemini в Android Studio призвана ускорить и упростить создание высококачественных приложений для Android, помогая вам на протяжении всего жизненного цикла разработки программного обеспечения. Это означает, что вы можете быстрее изучать новые концепции, с легкостью создавать прототипы и тратить больше времени на то, чтобы сосредоточиться на важных частях вашего приложения.

Начиная работу над приложением для Android, вы увидите, как Gemini в Android Studio может ускорить ваш путь разработки.
Загрузите Android-студию Узнайте больше о Gemini в Android Studio
Если вы новичок в Android или в определенных областях разработки Android, Gemini в Android Studio может стать бесценным инструментом обучения.

  • Получите мгновенные ответы на свои вопросы: вы можете задавать Gemini вопросы об основных концепциях Android, конкретных API или передовых методах непосредственно в окне чата Android Studio. Например, вы можете спросить: «Что такое темная тема?» или «Как лучше всего определить местоположение на Android?».
  • Получите примеры кода и рекомендации: Gemini может генерировать фрагменты кода и предоставлять рекомендации по реализации различных функций, таких как добавление поддержки камеры или создание базы данных помещений. Вы даже можете запросить код на Kotlin или специально для Jetpack Compose.
  • Понимайте ошибки и находите решения. Если вы столкнулись с ошибками сборки или синхронизации, вы можете попросить Gemini объяснить и предложить способы их устранения. Gemini также может помочь проанализировать отчеты о сбоях из App Quality Insights, предоставляя сводные данные и рекомендуя следующие шаги.
Например, для нашего гипотетического приложения для приготовления еды вы можете попросить Gemini помочь создать прототип нового макета Compose для отображения карточки с рецептами. Используя мультимодальные возможности Gemini, просто предоставьте каркасный макет и попросите Gemini набросать код вашего пользовательского интерфейса.
Индивидуальная версия Gemini в Android Studio в предварительной версии бесплатна.

Однако для разработки в больших командных средах с более высокими требованиями к конфиденциальности и управлению Gemini in Studio для бизнеса предлагает дополнительные ценные преимущества, в том числе улучшенную конфиденциальность, безопасность, функции настройки кода — и доступен для использования с вашими кредитами Google Cloud.

Вместе с Gemini Code Assist эти инструменты позволяют командам уверенно использовать возможности искусственного интеллекта, удовлетворяя важнейшие потребности в конфиденциальности, безопасности и управлении.

Узнайте больше о Gemini в Studio для бизнеса.

Строительные блоки Firebase для вашего приложения

Общие функции разработки приложений, такие как облачное хранилище, аутентификация пользователей и отчеты о сбоях, являются необходимыми компонентами при разработке и эксплуатации любого приложения.

Firebase упрощает процесс разработки приложений для Android, предоставляя эти необходимые строительные блоки, устраняя необходимость реализации собственного бэкэнда.
Например, если вы создаете приложение для приготовления рецептов, вам необходимо сохранять рецепты, планы питания и списки ингредиентов за пределами устройства (например, на случай, если пользователь переключает телефоны). Вы можете сохранить эти данные в Cloud Firestore .

Cloud Firestore — это масштабируемая облачная база данных NoSQL, предлагаемая Firebase и Google Cloud. Он обеспечивает синхронизацию данных в реальном времени между клиентскими приложениями через прослушиватели в реальном времени, а также имеет автономную поддержку мобильных устройств и Интернета, обеспечивая быструю работу приложений независимо от доступности сети. Он легко интегрируется с другими продуктами Firebase и Google Cloud, включая Cloud Functions .

Аутентификация пользователя необходима для того, чтобы пользователи, меняющие устройства, могли получить доступ к своим данным, а также чтобы другие не могли получить доступ к их данным!

Firebase Authentication — мощный инструмент, который упрощает процесс добавления аутентификации пользователя в приложения Android. Он предоставляет серверные службы и SDK с готовыми библиотеками пользовательского интерфейса, которые поддерживают различные методы аутентификации, включая вход по электронной почте/паролю, аутентификацию по номеру телефона и интеграцию с популярными поставщиками федеративных удостоверений, такими как Google, Facebook и Twitter.
Мониторинг ошибок и сбоев необходим для обеспечения стабильной и успешной работы ваших приложений: сбойное приложение расстроит ваших пользователей и будет удалено!

Firebase Crashlytics — это средство создания отчетов о сбоях в режиме реального времени, которое помогает отслеживать, расставлять приоритеты и устранять проблемы со стабильностью, которые ухудшают качество вашего приложения. Это экономит ваше время на устранение неполадок за счет интеллектуальной группировки сбоев и выделения обстоятельств, которые к ним привели.

И Cloud Firestore, и Firebase Authentication предлагают щедрые бесплатные уровни; однако, если вашему приложению требуется дополнительная квота или расширенные функции этих служб, вам потребуется использовать платный план. Но не волнуйтесь: вы можете использовать свои облачные кредиты для покрытия этих расходов! И Crashlytics бесплатен, независимо от того, сколько вы им пользуетесь.

Чтобы узнать о других решениях, предоставляемых Firebase, посетите сайт Firebase . 
scope.launch {
  val response = model.generateContent(
    "Create a shopping list with $cuisineStyle ingredients")
}
В примере приложения с рецептами Gemini 2.0 Flash может создать список покупок ингредиентов для приготовления блюда в определенном стиле кухни. Вы даже можете попросить модель сгенерировать строку JSON , которую можно легко проанализировать в приложении и отобразить в пользовательском интерфейсе. Чтобы сгенерировать список, просто вызовите функциюgenerateContent() с текстовой подсказкой.

Ознакомьтесь с руководством для разработчиков Android, чтобы узнать больше об этом.

Генеративный ИИ на Android

Интеграцию генеративного искусственного интеллекта в наше Android-приложение для приготовления еды можно реализовать различными способами. Вот краткий обзор каждого варианта:
Gemini Nano — это модель семейства Gemini, оптимизированная для работы на устройстве. Он напрямую интегрирован с ОС Android через AICore. Вы можете использовать его для реализации генеративного опыта искусственного интеллекта без необходимости подключения к сети или отправки данных в облако.

Искусственный интеллект на устройстве — отличный вариант для случаев, когда ваши основные задачи — низкая задержка, низкая стоимость и защита конфиденциальности. Например, в приложении для приготовления еды Gemini Nano можно использовать, чтобы предлагать идеи еды на основе различных кухонь и истории приема пищи пользователя.

Вы можете узнать больше о технической архитектуре Gemini Nano в документации Android.

Чтобы поэкспериментировать с Gemini Nano в своем собственном приложении, просмотрите Gemini Nano на устройстве с помощью экспериментального шага Google AI Edge SDK ниже.
Генеративные модели ИИ, оптимизированные для работы в облаке, обычно более эффективны, чем модели ИИ на устройстве.

Как разработчик Android, вы можете использовать Vertex AI в Firebase , чтобы быстро реализовать возможности генеративного искусственного интеллекта в своем приложении Android, используя модели Gemini Pro и Flash для задач генерации текста и Imagen для задач генерации изображений.

Семейство моделей искусственного интеллекта Gemini Pro и Flash является мультимодальным и может решать широкий спектр задач. Они принимают изображения, аудио и видео и генерируют текстовый вывод, который можно отформатировать как JSON, XML и CSV. А новейшие модели Gemini могут даже генерировать мультимодальный вывод — например, аудио и изображения!

Например, в приложении для приготовления еды вы можете использовать модель Gemini, чтобы создать список покупок с ингредиентами для определенного типа кухни.

И вы можете использовать свои кредиты Google Cloud для покрытия расходов на эти звонки моделям Gemini!

Чтобы узнать, как использовать облачные модели Gemini в своем приложении, ознакомьтесь с шагом Gemini через Vertex AI в Firebase ниже.
Imagen 3 — новейшая модель генерации изображений Google. И вы можете получить к нему доступ через Vertex AI в Firebase, что позволяет быстро и легко добавлять возможности создания изображений в ваше приложение для Android.

Например, в приложении для приготовления еды вы можете использовать модель Imagen 3 для создания иллюстраций рецептов.

Стоимость может быть покрыта вашим Google Cloud Credit.

Чтобы узнать, как использовать Imagen 3 в своем приложении, прочтите Imagen 3 для создания изображений. шаг ниже.

Бэкэнд-интеграция

Вы также можете добавить возможности генеративного искусственного интеллекта посредством интеграции с серверной частью:

  • Genkit — это платформа с открытым исходным кодом, которая упрощает разработку, развертывание и мониторинг приложений на базе искусственного интеллекта.
  • Для более сложных потребностей MLOps Vertex AI от Google Cloud предлагает полностью управляемые услуги, а также богатое предложение моделей через модель Vertex AI Garden . Вы также можете использовать свои кредиты Google Cloud для покрытия любых расходов на эти услуги.


Если вы хотите запустить вывод AI на устройстве помимо Gemini Nano, вы также можете поэкспериментировать с LiteRT и MediaPipe:
  • LiteRT (ранее TFLite) — это высокопроизводительная среда выполнения Google для искусственного интеллекта на устройствах, предназначенная для эффективного выполнения моделей машинного обучения непосредственно на устройствах.
  • MediaPipe — это платформа с открытым исходным кодом, которая позволяет разработчикам создавать конвейеры машинного обучения для обработки мультимедийных данных, таких как видео и аудио, в режиме реального времени.


Чтобы узнать больше о предложениях Android GenAI, посетите раздел AI документации Android .
Google AI Edge SDK позволяет разработчикам приложений Android интегрировать и экспериментировать с возможностями Gemini Nano GenAI на устройстве для улучшения своих приложений. Вот как начать:
  • Выполните следующие действия , чтобы убедиться, что APK-файлы и двоичные файлы правильно загружены на ваше устройство.
  • Затем обновите конфигурацию Gradle вашего приложения, добавив следующую зависимость: implementation("com.google.ai.edge.aicore:aicore:0.0.1-exp01")
    И убедитесь, что вы установили минимальную цель SDK — 31.
implementation("com.google.ai.edge.aicore:aicore:0.0.1-exp01")
Далее вы можете настроить модель для управления ее ответами. Это включает в себя предоставление контекста и, при необходимости, настройку следующих параметров:

  • Температура: контролирует уровень случайности. Более высокие значения приведут к большему разнообразию выходных данных.
  • Top K: указывает количество токенов самого высокого ранга, которые будут учитываться при генерации выходных данных.
  • Количество кандидатов: устанавливает максимальное количество возвращаемых ответов.
  • Max Output Tokens: устанавливает максимальную длину ответа.
val generationConfig = generationConfig {
  context = ApplicationProvider.getApplicationContext()
  temperature = 0.2f
  topK = 16
  maxOutputTokens = 256
}
Создайте дополнительную функцию downloadCallback . Эта функция обратного вызова используется для загрузки модели. Он также возвращает сообщения, которые можно использовать в целях отладки. Создайте объект GenerativeModel, используя ранее созданные конфигурации генерации и дополнительной загрузки. 
val downloadConfig = DownloadConfig(downloadCallback)
val generativeModel = GenerativeModel(
  generationConfig = generationConfig,
  downloadConfig = downloadConfig // optional
)
Наконец, запустите вывод, передав приглашение модели. Убедитесь, что GenerativeModel.generateContent() находится в соответствующей области сопрограммы, поскольку это функция приостановки.

В контексте примера приложения для приготовления еды Gemini Nano может вдохновить вас на приготовление еды, предлагая различные типы кухни и блюда, которые отличаются от истории приема пищи. 
scope.launch {
  val input = "Suggest different types of cuisines and easy to cook dishes that are not $recentMealList"
  val response = generativeModel.generateContent(input)
  print(response.text)
}
Модель Gemini Nano имеет максимальный лимит входных токенов 12 000. Чтобы узнать больше об экспериментальном доступе к Gemini Nano, перейдите в раздел Gemini Nano документации Android.

Gemini через Vertex AI в Firebase

Использование Vertex AI в Firebase позволяет создавать функции на базе genAI с использованием моделей Gemini Cloud, а также плавное развертывание и управление экосистемой Firebase.

dependencies {
...
// Import the BoM for the Firebase platform
implementation(platform("com.google.firebase:firebase-bom:"))

// Add the dependency for the Vertex AI in Firebase library
// When using the BoM, you don't specify versions in Firebase
// library dependencies
implementation("com.google.firebase:firebase-vertexai")
}
Начните с экспериментов с подсказками в Vertex AI Studio . Это интерактивный интерфейс для быстрого проектирования и прототипирования. Вы можете загрузить файлы для тестовых подсказок с текстом и изображениями и сохранить подсказку, чтобы вернуться к ней позже.

Когда вы будете готовы вызвать Gemini API из своего приложения, настройте Firebase и SDK, следуя инструкциям в руководстве по началу работы с Vertex AI в Firebase .

Затем добавьте зависимость Gradle в свой проект:

val generativeModel = Firebase.vertexAI
  .generativeModel(
  "gemini-2.0-flash",
  generationConfig = generationConfig {
        responseMimeType = "application/json"
        responseSchema = jsonSchema
  }
    )
Теперь вы можете вызывать API Gemini из своего кода Kotlin. Сначала инициализируйте сервис Vertex AI и создайте экземпляр GenerativeModel: 
scope.launch {
  val response = model.generateContent("
    Create a shopping list with $cuisineStyle ingredients")
}
В примере приложения с рецептами Gemini 2.0 Flash может создать список покупок ингредиентов для приготовления блюда в определенном стиле кухни. Вы даже можете попросить модель сгенерировать строку JSON , которую можно легко проанализировать в приложении и отобразить в пользовательском интерфейсе. Чтобы сгенерировать список, просто вызовите функциюgenerateContent() с текстовой подсказкой.

Ознакомьтесь с руководством для разработчиков Android, чтобы узнать больше об этом.

Изображение 3 для создания изображений

Imagen 3 доступен через Vertex AI в Firebase, поэтому вы можете легко интегрировать создание изображений в свои приложения для Android. Imagen 3, самая совершенная модель генерации изображений Google, создает высококачественные изображения с замечательной детализацией, минимальными артефактами и реалистичными световыми эффектами, устанавливая новый стандарт в создании изображений.

Например, Imagen 3 может позволить вашим пользователям создавать свои собственные аватары профилей или создавать ресурсы для иллюстрации существующих потоков экрана. В качестве примера приложения для приготовления еды вы можете использовать Imagen 3 для создания изображений для экрана рецептов.

Изображение, созданное Imagen 3, с подсказкой: иллюстрация в мультяшном стиле, изображающая вид сверху кухонной столешницы с красивыми ингредиентами для средиземноморской кухни. 
dependencies {
    implementation(platform("com.google.firebase:firebase-bom:33.10.0"))

    implementation("com.google.firebase:firebase-vertexai")
}
Интеграция Imagen 3 аналогична доступу к модели Gemini через Vertex AI в Firebase.

Начните с добавления зависимостей Gradle в ваш проект Android: 
val imageModel = Firebase.vertexAI.imagenModel(
modelName = "imagen-3.0-generate-001",
generationConfig = ImagenGenerationConfig(
  imageFormat = ImagenImageFormat.jpeg(compresssionQuality = 75),
  addWatermark = true,
  numberOfImages = 1,
  aspectRatio = ImagenAspectRatio.SQUARE_1x1
)
Затем в коде Kotlin создайте экземпляр ImageModel, передав имя модели и, при необходимости, конфигурацию модели: 
val imageResponse = imageModel.generateImages(
prompt = "A cartoon style illustration of a top overview of a kitchen countertop
  with beautiful ingredients for a $cuisineStyle meal."
)
Наконец, сгенерируйте изображение, вызвав функциюgenerateImages() с текстовой подсказкой: 
val image = imageResponse.images.first()
val uiImage = image.asBitmap()
Получите сгенерированное изображение из imageResponse и отобразите его в виде растрового изображения:
Подробнее об использовании Imagen 3 можно прочитать в блоге разработчиков Android и в документации Android Developer .

Подготовьтесь к работе с Firebase

После того как вы внедрили функции genAI в свое приложение, выполните следующие важные шаги, прежде чем развернуть приложение в рабочей среде:
  • Внедрите проверку приложений Firebase с Play Integrity, чтобы предотвратить злоупотребление API.
  • Используйте Firebase Remote Config для конфигурации, управляемой сервером, для динамического обновления модели и версии AI.
  • Создавайте механизмы обратной связи с помощью Google Analytics, чтобы оценивать влияние и собирать мнения пользователей по ответам ИИ.
Кроме того, помните о конфиденциальности пользователей и ответственном использовании ИИ, а также открыто рассказывайте пользователям о потенциально неожиданном поведении модели. Прочтите следующую публикацию в блоге , чтобы узнать больше о готовности к работе с Vertex AI в Firebase.