İstem API'sini uygularken isteminizin kalitesini ve güvenilirliğini sağlamak çok önemlidir.
İstem kalitenizi değerlendirmek için kullanım alanınızla ilgili kapsamlı bir giriş ve beklenen çıkış grubu oluşturmanız gerekir.
İsteminizin her Gemini Nano model sürümünde kalite standardınızı karşılayıp karşılamadığını değerlendirmek için aşağıdaki iş akışını öneririz:
- Değerlendirme veri kümenizi çalıştırın ve çıkışları kaydedin.
- Sonuçları manuel olarak değerlendirin veya LLM-as-a-judge'i kullanın.
- Değerlendirme, kalite standardınızı karşılamıyorsa isteminizi yineleyin. Örneğin, istenen çıktı ile gerçek çıktı arasındaki farkı temel alarak istemi iyileştirmek için Gemini Pro gibi daha güçlü bir LLM'ye sorun.
İstem mühendisliği, görev performansını artırır ve istemlerinizde yineleme yapmak çok önemlidir. Yukarıdaki adımların en az 3-5 kez tekrarlanmasını öneririz. Optimizasyonlar zamanla azalan getiri sağlayacağından bu yaklaşımın sınırlamaları olduğunu unutmayın.
Alternatif olarak, istemleri geniş ölçekte hızlı bir şekilde iyileştirmek için gemma-3n-e4b-it gibi cihaz üzerinde modelleri hedefleyebilen veriye dayalı optimizasyon aracını kullanabilirsiniz.
Güvenlik
Gemini Nano'nun kullanıcılara güvenli sonuçlar döndürmesini sağlamak için zararlı veya istenmeyen sonuçları sınırlamak üzere birden fazla koruma katmanı uygulanır:
- Yerleşik model güvenliği: Gemini Nano da dahil olmak üzere tüm Gemini modelleri, kutudan çıktığı anda güvenliğe duyarlı olacak şekilde eğitilir. Bu, güvenlik hususlarının sonradan eklenmek yerine modelin temelinde yer aldığı anlamına gelir.
- Giriş ve çıkışta güvenlik filtreleri: Hem giriş istemi hem de Gemini Nano çalışma zamanı tarafından oluşturulan sonuçlar, uygulamaya sonuçlar sağlanmadan önce güvenlik filtrelerimize göre değerlendirilir. Bu, kalitede herhangi bir kayıp olmadan güvenli olmayan içeriklerin sızmasını önlemeye yardımcı olur.
Ancak her uygulamanın, kullanıcılar için güvenli içerik olarak kabul edilenler konusunda kendi ölçütleri olduğundan, uygulamanızın belirli kullanım alanıyla ilgili güvenlik risklerini değerlendirmeniz ve buna göre test yapmanız gerekir.
Ek kaynaklar
- Yapay zekanız ne kadar iyi? Her aşamada üretken yapay zeka değerlendirmesi, açıklanıyor: Üretken yapay zeka değerlendirme hizmetinin nasıl kullanılacağını açıklayan bir blog yayını.
- Üretken yapay zeka değerlendirme hizmetine genel bakış: Model karşılaştırmaları, istem iyileştirme ve ince ayar gibi görevleri desteklemek için üretken yapay zeka modellerinin nasıl değerlendirileceğini açıklayan doküman.
- Hesaplamaya dayalı değerlendirme ardışık düzeni çalıştırma - Model performansının nasıl değerlendirileceğine dair dokümanlar.