Gemini Nano ile temsilci tabanlı iş akışları oluşturma

ML Kiti'nin ajan tabanlı iş akışları (com.google.mlkit:genai-agent), Gemini Nano ve Android AICore sisteme ait hizmeti tarafından desteklenen otonom, çok aşamalı etkileşimli, cihaz üzerinde yapay zeka destekli kampanya oluşturma deneyimi oluşturmanıza olanak tanır.

GenerativeModel sınıfının (doğrudan model erişimi) üzerine inşa edilen AgentRunner sınıfı, doğrudan uygulamanızda eksiksiz ve hedefe dayalı aracı döngülerini otomatikleştirir: bağlamı gözlemler, kullanıcı girişleri üzerinde akıl yürütür, yazılı Kotlin araçları aracılığıyla işlem yapar ve bir sonlandırma koşulu karşılanana kadar geri bildirimleri değerlendirir.

Yaygın temsilci tabanlı kalıplar

Cihaz üzerinde çalışan temsilci tabanlı iş akışları, kullanıcı niyetinin yapılandırılmış uygulama işlemlerine dönüştürüldüğü odaklanmış, deterministik akıl yürütme döngüleri için optimize edilmiştir. Yaygın kalıplar şunlardır:

Desen

Örnek

Uygulama içi işlem yürütme ve kısayollar

Doğal dildeki istekleri belirli uygulama komutlarına çevirme (ör. düzenleme tuvalinde fotoğraf ayarlamaları uygulama, oynatma ayarlarını değiştirme veya uygulama tercihlerini açıp kapatma)

Yapılandırılmış arama ve yerel hesaplama

Kimliğe göre belirli bir kaydı (ör. sipariş durumu veya hesap bakiyesi) getirme ve çok adımlı matematiksel hesaplamalar (ör. kredi amortismanları veya fitness metrikleri) yapma

Sohbete dayalı filtreleme ve seçme

Yerel uygulama öğelerini etkileşimli olarak sorgulama ve hassaslaştırma (ör. yerel görev listesinde arama yapma, oynatma listesini filtreleme veya katalog öğelerini kullanıcı ölçütlerine göre sıralama).

Çok adımlı rehberli giriş

Kullanıcılara yapılandırılmış veri girişi konusunda adım adım rehberlik etme, son gönderimden önce yerel araçlarla ara girişleri doğrulama.

Cihaz üzerinde performans ve gizlilik

Temsilci tabanlı iş akışları, doğrudan kullanıcının cihazında gizli ve duyarlı bir şekilde yürütülmek üzere Android AICore'da çalışır:

  • Yerel akıl yürütme ve istem gizliliği: Modelin akıl yürütme ve planlama döngüsü, tamamen cihaz üzerinde çalışır ve ağ gecikmesi olmaz. Kullanıcı istemi verileri cihazda gizli kalır. Ancak kullanım alanınız harici veri gerektiriyorsa uygulamanızda uygulanan bağımsız araçlar ağ çağrıları yapabilir veya bulut API'lerini sorgulayabilir.
  • Yönetilen çok aşamalı oturumlar: AgentSession arayüzü, bellek içi sohbet geçmişini aşamalar arasında korur. Böylece transkriptleri manuel olarak yönetmeniz gerekmez. session.close(), deleteSession(sessionId) veya clearAllSessions() yöntemlerini kullanarak istediğiniz zaman belleği geri alabilirsiniz.
  • Yürütme önlemleri: Temsilci yapılandırmaları, kaçak yürütme döngülerini önlemek, pil tasarrufu yapmak ve cihazın yanıt verme hızını korumak için kaynak sonlandırma koşulu olarak maksimum sıra sınırı (varsayılan olarak 10 olan maxTurns sınırı) uygular.

Özel üretim, temsilciler ve göreve özel API'ler arasından seçim yapma

ML Kit, cihaz üzerinde üretken yapay zeka özelliklerini, özelliğinizin ne kadar özelleştirme ve düzenlemeye ihtiyaç duyduğuna göre düzenler:

  • Özel üretim ve temsilciler: Özelliğiniz özel talimatlar veya alana özgü mantık gerektirdiğinde doğrudan Gemini Nano temel modeli ile çalışın. Yönetilen çok turlu oturumlar ve otomatik araç çağırma döngüleri istediğinizde aracı iş akışlarını (GenerativeModel sınıfı üzerine inşa edilen AgentRunner sınıfını kullanarak) seçin. Özel istem, yazılı yapılandırılmış çıkış veya istemci tarafından yönetilen çok turlu geçmiş için doğrudan model erişimini (GenerativeModel sınıfını kullanarak) seçin.
  • Konuşma ve ses: Seslendirilmiş içerikleri metne dönüştürmek için özel konuşma ve üretken yapay zeka modellerini (ör. konuşma tanıma) kullanın.
  • Metin ve resim görevleri: Paylaşılan temel model (ör. Resim açıklaması, Özetleme, Düzeltme ve Yeniden yazma) üzerinde önceden yapılandırılmış, göreve özel özellik türlerini ve ince ayarlı LoRA bağdaştırıcılarını kullanarak istem mühendisliği olmadan kullanıma hazır görüntü ve yazma kullanım alanlarından yararlanın.

Aşağıdaki tabloda bu yaklaşımların karşılaştırması yer almaktadır:

Üzerinde düşünme

Temsilci tabanlı iş akışları (AgentRunner)

Doğrudan model erişimi (GenerativeModel)

Metin ve resim görevi API'leri

Mimari

GenerativeModel üzerine inşa edilmiş üst düzey düzenleme katmanı.

Özel istemler için Gemini Nano temel modeline doğrudan arayüz.

Paylaşılan temel modelin üzerinde hassas ayarlanmış LoRA adaptörleri tarafından desteklenen, göreve özgü özellik türleri.

Çok aşamalı etkileşim bağlamı

Yönetilen çok adımlı oturumlar (AgentSession). Bellek içi sohbet geçmişini adımlar arasında otomatik olarak korur. Böylece transkriptleri manuel olarak yönetmeniz gerekmez (geçici tek adımlı yürütmeyi de destekler).

İstemci tarafından yönetilen çok aşamalı etkileşim bağlamı. GenerateContentRequest, kendi sohbet geçmişlerini doğrudan yönetmek isteyen geliştiriciler için çok turlu List<Content> (USER ve MODEL rolleri) ve sessionId özelliklerini destekler.

Durum bilgisi olmayan, tek girişli görev çağrıları.

Araç çağırma ve işlemler

Otomatik araç çağırma döngüsü. Kayıtlı Android AppFunctions'ı keşfeder, model tarafından seçilen çağrıları yürütür ve sonuçları otomatik olarak modele geri gönderir.

Müşteri tarafından yönetilen araç beyanları. GenerateContentRequest, araç şemalarını kabul eder ve uygulamanızın manuel olarak yürütüp döndürmesi için işlev çağrısı istekleri gönderir.

Geçerli değil (sabit görev ardışık düzeni).

Ne zaman kullanılır?

Çok adımlı araç yürütme ve yönetilen bellek içi çok turlu oturumlar için otomatik düzenleme istediğinizde kullanın.

Özel istem oluşturma, çok formatlı resim anlama, yazılı yapılandırılmış çıkış (@Generable) için veya kendi sohbet geçmişinizi ya da araç gönderiminizi doğrudan yönetmek istediğinizde kullanın.

Özelliğiniz standart bir yazma veya görüntü işleme göreviyle eşleştiğinde ve minimum kurulumla hassas ayarlanmış LoRA'lardan kullanıma hazır kalite elde etmek istediğinizde kullanın.

Sonraki adımlar