Garantir a qualidade e a confiabilidade do seu comando é fundamental ao implementar a API Prompt.
Para avaliar a qualidade do comando, desenvolva um conjunto abrangente de entradas e saídas esperadas para seu caso de uso.
Para avaliar se seu comando atende ao seu padrão de qualidade com cada versão do modelo Gemini Nano, recomendamos o seguinte fluxo de trabalho:
- Execute o conjunto de dados de avaliação e registre as saídas.
- Avalie os resultados manualmente ou use o
LLM-as-a-judge.
- Se a avaliação não atender ao seu nível de qualidade, faça iterações no comando. Por exemplo, peça a um LLM mais avançado, como o Gemini Pro, para melhorar o comando com base no resultado desejado e no resultado real.
A engenharia de comandos aumenta o desempenho das tarefas, e iterar nos comandos é fundamental. Recomendamos pelo menos três a cinco iterações nas etapas acima. Essa abordagem tem limites, já que as otimizações acabam tendo retornos cada vez menores.
Como alternativa, para melhorar os comandos rapidamente em escala, use o otimizador baseado em dados, que pode segmentar modelos no dispositivo, como o gemma-3n-e4b-it.
Segurança
Para garantir que o Gemini Nano retorne resultados seguros para os usuários, várias camadas de proteção são implementadas para limitar resultados prejudiciais ou não intencionais:
- Segurança nativa do modelo: todos os modelos do Gemini, incluindo o Gemini Nano, são treinados para serem seguros por padrão. Isso significa que as considerações de segurança são incorporadas ao núcleo do modelo, não apenas adicionadas como algo secundário.
- Filtros de segurança na entrada e saída: tanto o comando de entrada quanto os resultados gerados pelo tempo de execução do Gemini Nano são avaliados em relação aos nossos filtros de segurança antes de serem fornecidos ao app. Isso ajuda a evitar que conteúdo não seguro passe despercebido, sem perda de qualidade.
No entanto, como cada app tem critérios próprios para o que é considerado conteúdo seguro para os usuários, avalie os riscos de segurança para o caso de uso específico do seu app e faça testes de acordo com isso.
Outros recursos
- Qual é a qualidade da sua IA? Avaliação de IA generativa em todas as etapas, explicada: um post do blog que descreve como usar o serviço de avaliação de IA generativa.
- Visão geral do serviço de avaliação de IA generativa: documentação que descreve como avaliar modelos de IA generativa para oferecer suporte a tarefas como comparações de modelos, melhoria de comandos e ajuste refinado.
- Executar um pipeline de avaliação baseado em computação: documentação sobre como avaliar a performance do modelo.