Évaluer la qualité des requêtes

Il est essentiel de garantir la qualité et la fiabilité de votre requête lorsque vous implémentez l'API Prompt.

Pour évaluer la qualité de vos requêtes, vous devez développer un ensemble complet d'entrées et de sorties attendues pour votre cas d'utilisation.

Pour évaluer si votre requête répond à votre niveau de qualité avec chaque version du modèle Gemini Nano, nous vous recommandons le workflow suivant :

  1. Exécutez votre ensemble de données d'évaluation et enregistrez les sorties.
  2. Évaluez les résultats manuellement ou utilisez LLM-as-a-judge.
    1. Si l'évaluation ne répond pas à vos exigences de qualité, itérez sur votre requête. Par exemple, demandez à un LLM plus puissant tel que Gemini Pro d'améliorer la requête en fonction du résultat souhaité par rapport au résultat réel.

Le prompt engineering améliore les performances des tâches, et il est essentiel d'itérer sur vos requêtes. Nous vous recommandons d'effectuer au moins trois à cinq itérations des étapes ci-dessus. Notez que cette approche a des limites, car les optimisations finiront par fournir des rendements décroissants.

Pour améliorer rapidement les requêtes à grande échelle, vous pouvez également utiliser l'optimiseur basé sur les données, qui peut cibler les modèles sur l'appareil tels que gemma-3n-e4b-it.

Sécurité

Pour s'assurer que Gemini Nano renvoie des résultats sécurisés aux utilisateurs, plusieurs niveaux de protection sont mis en œuvre afin de limiter les résultats nuisibles ou indésirables :

  • Sécurité native des modèles : tous les modèles Gemini, y compris Gemini Nano, sont entraînés pour fonctionner de façon sûre dès la première utilisation. Cela signifie que les considérations de sécurité sont intégrées au cœur du modèle, et non pas ajoutées après coup.
  • Filtres de sécurité sur les entrées et les sorties : le prompt d'entrée et les résultats générés par le runtime Gemini Nano sont évalués par rapport à nos filtres de sécurité avant d'être fournis à l'application. Cela permet d'éviter que du contenu non sécurisé ne passe à travers les mailles du filet, sans perte de qualité.

Toutefois, comme chaque application a ses propres critères pour déterminer ce qui est considéré comme un contenu sûr pour les utilisateurs, vous devez évaluer les risques de sécurité pour le cas d'utilisation spécifique de votre application et effectuer des tests en conséquence.

Ressources supplémentaires