Die GenAI APIs von ML Kit nutzen die Leistung von Gemini Nano, um Ihre Apps bei der Ausführung von Aufgaben zu unterstützen. Diese APIs bieten über eine Schnittstelle auf hoher Ebene sofort einsatzbereite Qualität für gängige Anwendungsfälle. Die ML Kit GenAI APIs basieren auf AICore, einem Android-Systemdienst, der die Ausführung von GenAI Basismodellen auf dem Gerät ermöglicht, um Funktionen wie verbesserte App-Funktionalität und mehr Datenschutz für Nutzer zu ermöglichen, indem Daten lokal verarbeitet werden.
Für die Nutzung der GenAI APIs gelten die zusätzlichen Nutzungsbedingungen für die ML Kit GenAI API. Entwickler sind allein für die Sicherheit ihres API-Clients und die Nutzerfreundlichkeit ihrer App verantwortlich.
Wichtige Features
Die ML Kit GenAI APIs unterstützen die folgenden Funktionen:
- Zusammenfassung: Artikel oder Chatunterhaltungen als Aufzählungs liste zusammenfassen.
- Korrekturlesen: Kurze Inhalte durch Verfeinerung der Grammatik und Korrektur von Rechtschreibfehlern verbessern.
- Umschreiben: Kurze Nachrichten in verschiedenen Tönen oder Stilen umschreiben.
- Bildbeschreibung: Eine kurze Beschreibung eines bestimmten Bildes generieren.
- **Spracherkennung**: Audioinhalte in Text transkribieren.
- Prompt: Textinhalte basierend auf einem benutzerdefinierten reinen Text- oder multimodalen Prompt generieren.
Vorteile von GenAI APIs
Ähnlich wie bei anderen vorhandenen ML Kit-Funktionen werden GenAI APIs vollständig auf dem Gerät ausgeführt und bieten daher die folgenden Vorteile:
- Eingabe-, Inferenz- und Ausgabedaten werden lokal verarbeitet.
- Die Funktionalität bleibt auch ohne zuverlässige Internetverbindung gleich.
- Für jeden API-Aufruf fallen keine zusätzlichen Serverkosten an.
Da GenAI APIs auf AICore basieren und von Gemini Nano unterstützt werden, kann jede App das freigegebene Gemini Nano-Modell verwenden, das sich auf dem Gerät befindet. So muss nicht gewartet werden, bis ein Modell heruntergeladen wurde, wenn es bereits auf einem Gerät vorhanden ist. Dadurch wird Speicherplatz gespart. Weitere Informationen dazu, wie AICore Anfragen isoliert, um die Privatsphäre zu schützen
Streaming im Vergleich zu Nicht-Streaming
ML Kit GenAI APIs bieten sowohl Streaming- als auch Nicht-Streaming-Optionen für den Empfang von Ergebnissen. Die Streaming-API liefert Antworten inkrementell, sobald sie generiert werden, und bietet so einen kontinuierlichen Datenfluss. Im Gegensatz dazu wartet die Nicht-Streaming-API, bis die gesamte Antwort fertig ist, bevor sie als einzelner Block zurückgegeben wird.
Wählen Sie die Streaming-API für lange Antworten aus, da sie schnelleres erstes Feedback ermöglicht. Die Nicht-Streaming-API eignet sich besser für kurze Antworten oder wenn Ergebnisse in Batches verarbeitet werden.
Geräteunterstützung
Die APIs für die GenAI-Funktionen (Zusammenfassung, Korrekturlesen, Umschreiben und Bildbeschreibung) bieten eine andere Geräteunterstützung als die Prompt API, wie in den folgenden Abschnitten beschrieben.
Geräteunterstützung für funktionsspezifische APIs
Die APIs für Zusammenfassung, Korrekturlesen, Umschreiben und Bildbeschreibung sind auf den folgenden Geräten verfügbar. Die Unterstützung für weitere Geräte ist geplant:
- Google: Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro, Magic V5
- iQOO: iQOO 13, iQOO 15
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13, OnePlus 13s
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro, POCO X8 Pro
- realme: realme GT 7 Pro, realme GT 7T
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5, vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra, Xiaomi Pad Mini
Die Verfügbarkeit der spezifischen Sprachunterstützung kann je nach Konfiguration des jeweiligen Geräts und den auf das Gerät heruntergeladenen Modellen variieren.
Geräteunterstützung für die Prompt API
Prompt API wird auf den folgenden Geräten unterstützt:
nano-v2 |
|
nano-v3 |
|
Geräteunterstützung für die Speech Recognition API
Die Speech Recognition API wird auf den folgenden Geräten unterstützt:
| Standardmodus | Verwendet das herkömmliche Spracherkennungsmodell auf dem Gerät, das auf den meisten Android-Geräten mit API-Level 31 und höher verfügbar ist. |
|---|---|
| Erweiterter Modus | Nutzt das GenAI-Modell für höhere Qualität und eine breitere Sprachabdeckung. Wird von Pixel 10-Geräten unterstützt. Weitere Geräte sind in der Entwicklung. |
Gemini Nano-Version abrufen
Auf verschiedenen Geräten werden unterschiedliche Versionen von Gemini Nano ausgeführt. Verwenden Sie getBaseModelName(), um die Version von Gemini Nano auf einem Gerät zurückzugeben.
Kontingent pro Anwendung
AICore erzwingt ein Inferenzkontingent pro App. Wenn innerhalb kurzer Zeit zu viele GenAI API-Anfragen gestellt werden, wird eine ErrorCode.BUSY-Antwort zurückgegeben. Wenn ein solcher Fehler auftritt, sollten Sie den exponentiellen Backoff verwenden, um die Anfrage noch einmal zu senden. Außerdem kann ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED zurückgegeben werden, wenn eine App ein Kontingent für lange Zeiträume (z.B. Tageskontingent) überschreitet.
Hintergrundnutzung
Die GenAI API-Inferenz ist nur zulässig, wenn die App die oberste Vordergrundanwendung ist. Wenn die API verwendet wird, wenn die App nicht im Vordergrund ist, einschließlich der Verwendung eines Vordergrunddienstes, wird eine ErrorCode.BACKGROUND_USE_BLOCKED-Antwort zurückgegeben.
Beispielcode
Diesen Code finden Sie in den folgenden Beispielen: