Laboratório de ruído

Teste no Noise Lab

1. Acesse o Modo avançado.
2. No painel lateral "Parâmetros", procure "Seus dados de conversão".
3. Observe os parâmetros padrão. Por padrão, o valor diário TOTAL a contagem de conversões atribuíveis é 1.000. Em média, cerca de 40 por se você usar a configuração padrão (dimensões padrão, número padrão de diferentes valores possíveis para cada dimensão, Estratégia principal A). Observe que o valor for 40 na contagem de conversões médias atribuíveis diárias de entrada; POR BUCKET.
4. Clique em "Simular" para executar uma simulação com os parâmetros padrão.
5. No painel lateral "Parâmetros", procure "Dimensões". Renomear Geografia para Cidade e mude o número de valores diferentes possíveis para 50.
6. Observe como isso altera a média diária de conversões atribuíveis por BUCKET. Agora o preço é muito menor. Isso acontece porque, se você aumentar o número de valores possíveis nesta dimensão sem alterar qualquer outra coisa, você aumenta o número total de buckets sem alterar quantos eventos de conversão vão cair em cada bucket.
7. Clique em "Simular".
8. Observe as proporções de ruído da simulação resultante: as proporções de ruído são agora maior do que na simulação anterior.

Teste no Noise Lab

No modo Simples, a estrutura de chave padrão é usada. Na guia você pode testar diferentes estruturas-chave. Alguns exemplos de dimensões estão incluídas. você também pode modificá-los.

1. Acesse o Modo avançado.
2. No painel lateral "Parâmetros", procure "Estratégia principal". Observar que a estratégia padrão, chamada A na ferramenta, usa uma chave granular estrutura que inclui todas as dimensões: região geográfica x ID da campanha x produto categoria.
3. Clique em "Simular".
4. Observe as proporções de ruído da simulação resultante.
5. Mude a estratégia "Key" para "B". Isso exibe controles adicionais para você configurar a estrutura da chave.
6. Configure sua estrutura de chave, por exemplo, da seguinte forma:
   1. Número de estruturas de chave: 2
   2. Estrutura principal 1 = Região geográfica x Categoria de produto.
   3. Estrutura-chave 2 = ID da campanha x categoria do produto.
7. Clique em "Simular".
8. Agora você tem dois relatórios de resumo por tipo de meta de medição (dois para o número de compras e dois para o valor de compra), já que você está usando duas estruturas de chave distintas. Observe as proporções de ruído.
9. Você também pode testar isso com suas próprias dimensões personalizadas. Para isso, olhe para os dados que você quer acompanhar: dimensões. Considere remover o exemplo e criar as suas próprias usando o menu suspenso abaixo da última dimensão.

Teste no Noise Lab

1. Vá para o modo Simples (ou Modo avançado). Os dois modos funcionam o da mesma forma quando se trata de frequência de lotes)
2. No painel lateral "Parâmetros", procure "Sua estratégia de agregação" > Frequência de lotes. Isso se refere à frequência de lotes que são processados com o serviço de agregação em uma um único job.
3. Respeite a frequência de lotes padrão: por padrão, um processamento diário de lotes e a frequência é simulada.
4. Clique em "Simular".
5. Observe as proporções de ruído da simulação resultante.
6. Altere a frequência de lotes para semanal.
7. Observe as proporções de ruído da simulação resultante: as proporções de ruído são agora menor (melhor) do que na simulação anterior.

Teste no Noise Lab

Embora isso possa ser difícil de prever e ter variações significativas além dos efeitos de sazonalidade, estime o número de conversões atribuíveis com um único toque à potência mais próxima de 10: 10, 100, 1.000 ou 10.000.

1. Acesse o Modo avançado.
2. No painel lateral "Parâmetros", procure "Seus dados de conversão".
3. Observe os parâmetros padrão. Por padrão, o valor diário TOTAL a contagem de conversões atribuíveis é 1.000. Em média, cerca de 40 por se você usar a configuração padrão (dimensões padrão, número padrão de diferentes valores possíveis para cada dimensão, Estratégia principal A). Observe que o valor for 40 na contagem de conversões médias atribuíveis diárias de entrada; POR BUCKET.
4. Clique em "Simular" para executar uma simulação com os parâmetros padrão.
5. Observe as proporções de ruído da simulação resultante.
6. Agora, defina a contagem diária TOTAL de conversões atribuíveis como 100. Isso diminui o valor da média diária atribuível contagem de conversões POR BUCKET.
7. Clique em "Simular".
8. Observe que as proporções de ruído agora estão mais altas. Isso acontece porque quando você têm menos conversões por bucket, mais ruído é aplicado para manter privacidade.

Teste no Noise Lab

1. Acesse o Modo avançado.
2. No painel lateral "Parâmetros", procure "Sua estratégia de agregação" > Escalonamento. Ela é definida como Sim por padrão.
3. Para entender os efeitos positivos do dimensionamento no ruído proporção, primeiro defina Scaling como No
4. Clique em "Simular".
5. Observe as proporções de ruído da simulação resultante.
6. Defina Scaling como Sim. O Noise Lab calcula automaticamente os fatores de escalonamento a serem usados, considerando os intervalos (valores médios e máximos) de as metas de medição do seu cenário. Em um teste de origem ou sistema real convém implementar seu próprio cálculo de fatores de escalonamento.
7. Clique em "Simular".
8. Observe que as proporções de ruído agora estão mais baixas (melhores) neste segundo simulação. Isso ocorre porque você está usando escalonamento.

Teste no Noise Lab

Uma meta de medição é um ponto de dados distinto coletado nos eventos de conversão.

1. Acesse o Modo avançado.
2. No painel lateral "Parâmetros", procure os dados que você quer rastrear: Metas de medição. Por padrão, você tem duas metas de medição: compra e contagem de compras.
3. Clique em "Simular" para executar uma simulação com as metas padrão.
4. Clique em "Remover". Esta ação removerá a última meta de medição (compra nesse caso).
5. Clique em "Simular".
6. As proporções de ruído para o valor de compra agora são menores (melhor) para esta segunda simulação. Isso ocorre porque você tem menos de métricas. Assim, sua única meta agora recebe todas as orçamento de contribuição.
7. Clique em "Redefinir". Agora você tem novamente duas metas de medição: compra e contagem de compras. O Noise Lab calcula automaticamente fatores de escala a serem usados, considerando os intervalos (valores médios e máximos) do as metas de medição relevantes para seu cenário. Por padrão, o Noise Lab divide do orçamento igualmente em todas as metas de medição.
8. Clique em "Simular".
9. Observe as proporções de ruído da simulação resultante. Confira as fatores de escalonamento exibidos na simulação.
10. Agora, vamos personalizar a divisão do orçamento de privacidade para conseguir relações sinal-ruído.
11. Ajuste a porcentagem do orçamento atribuída a cada meta de medição. Considerando o padrão de medição, a meta de medição 1, ou seja, o valor de compra, tem um maior intervalo (entre 0 e 1.000) do que a meta de medição 2, ou seja, (entre 1 e 1, ou seja, sempre igual a 1). Devido ao precisa de "mais espaço para escalonar". O ideal é atribuir mais orçamento de contribuição para a meta de medição 1 do que a meta de medição 2, de modo que pode ser escalonado verticalmente com mais eficiência (consulte "Escalonamento") e, portanto,
12. Atribuir 70% do orçamento à meta de medição 1. Atribuir 30% à medição meta 2.
13. Clique em "Simular".
14. Observe as proporções de ruído da simulação resultante. Para compra as proporções de ruído agora estão notavelmente menores (melhores) do que simulação. Quanto ao número de compras, eles não mudam.
15. Continue ajustando a divisão do orçamento nas métricas. Observe como isso afeta barulho

Você pode definir suas próprias metas de medição personalizadas com o Botões "Adicionar/Remover/Redefinir".

Teste no Noise Lab

Uma meta de medição é um ponto de dados distinto coletado em eventos de conversão.

1. Acesse o Modo avançado.
2. No painel lateral "Parâmetros", procure "Sua estratégia de agregação" > Escalonamento.
3. Certifique-se de que Escalonamento esteja definido como Sim. Observe que o Noise Lab calcula automaticamente os fatores de escalonamento a serem usados, com base nos intervalos (valores médios e máximos) que você forneceu para as metas de medição.
4. Vamos supor que a maior compra já feita foi de US $2.000, mas que a maioria das compras acontece na faixa de US $10 a US$ 120. Primeiro, vamos descobrir o que acontece Se usarmos uma abordagem de escalonamento literal (não recomendado): insira US $2.000 como o valor máx. de purchaseValue.
5. Clique em "Simular".
6. Observe que as proporções de ruído são altas. Isso porque nosso escalonamento é atualmente calculado com base em USD 2.000, quando, na realidade, os valores de compra serão notavelmente menores do que isso.
7. Agora, vamos usar uma abordagem de escalonamento mais pragmática. Alterar o valor máximo para US $120.
8. Clique em "Simular".
9. Observe que as proporções de ruído são menores (melhor) nessa segunda simulação.

Tour rápido do Noise Lab

O Noise Lab ajuda você a avaliar e comparar estratégias de gestão de ruído. Use-o para:

• Entender os principais parâmetros que podem afetar o ruído e as o efeito que elas têm.
• Simula o efeito do ruído nos dados de medição de saída fornecidos diferentes decisões de design. Ajustar os parâmetros de design até atingir um relação sinal-ruído que funciona para seu caso de uso.
• Deixe seu feedback sobre a utilidade dos relatórios de resumo: valores dos parâmetros de épsilon e ruído funcionam para você, quais não funcionam? Onde estão os pontos de inflexão?

Pense nisso como uma etapa de preparação. Laboratório de ruídos gera dados de medição para simular as saídas do relatório de resumo com base nas suas entrada. Ele não armazena nem compartilha dados.

Há dois modos diferentes no laboratório de ruídos:

1. Modo simples: entenda os conceitos básicos dos controles que você tem sobre ruídos.
2. Modo avançado: teste diferentes estratégias de gerenciamento de ruído e avalie qual gera as melhores proporções sinal-ruído para seus casos de uso.

Clique nos botões no menu superior para alternar entre os dois (1. na captura de tela abaixo).

Modo simples

• Com o modo Simples, você controla os parâmetros (encontrados à esquerda na lado ou no 2. na captura de tela abaixo), como o Epsilon, e ver como eles afetam o ruído.
• Cada parâmetro tem uma dica (um botão "?"). Clique aqui para ver explicação de cada parâmetro (terceiro etapa na captura de tela abaixo)
• Para começar, clique no botão "Simular" e observe a aparência da saída por exemplo (4. na captura de tela abaixo)
• Na seção "Saída", há vários detalhes. Algumas elementos têm um `?` ao lado. Reserve algum tempo para clicar em cada `?` para ver um a explicação das várias informações.
• Na seção "Output", clique no botão de alternância "Details" se você quiser ver uma versão expandida da tabela (no 5. na captura de tela abaixo)
• Abaixo de cada tabela de dados na seção de saída, há uma opção para fazer o download da tabela para uso off-line. Além disso, na parte inferior no canto direito há uma opção para baixar todas as tabelas de dados (No 6. a captura de tela abaixo)
• Testar configurações diferentes para os parâmetros na seção "Parâmetros" e clique em "Simular" para conferir como isso afeta a saída:

  

Modo avançado

• No Modo avançado, você tem mais controle sobre os parâmetros. Você pode adicionar metas e dimensões de medição personalizadas (número 1 e 2 na captura de tela abaixo)
• Role para baixo na seção Parâmetros e veja a Chave Opção de estratégia. Isso pode ser usado para testar diferentes estruturas-chave (3. na captura de tela abaixo)
  • Para testar diferentes estruturas principais, mude a estratégia principal para "B"
  • Insira o número de diferentes estruturas de chave que você quer usar (o padrão é "2")
  • Clique em "Gerar estruturas de chave"
  • Você verá opções para especificar suas estruturas-chave clicando Marque as caixas de seleção ao lado das chaves que você deseja incluir para cada estrutura de chave.
  • Clique em "Simular" para conferir a saída.

    

    .

    

Métricas de ruído

Conceito fundamental

O ruído é adicionado para proteger a privacidade individual do usuário.

Um alto valor de ruído indica que os buckets/chaves são esparsos contêm contribuições de um número limitado de eventos sensíveis. Pronto automaticamente pelo Noise Lab, para permitir que as pessoas "se escondam na multidão", ou em em outras palavras, proteger as contas desses indivíduos privacidade com uma quantidade maior mais ruído.

Um valor de ruído baixo indica que a configuração de dados foi projetada dessa forma de uma forma que já permita que as pessoas "se escondam na multidão". Isso significa que buckets contêm contribuições de um número suficiente de eventos para garantir que a privacidade individual do usuário seja protegida.

Essa afirmação é verdadeira para o erro percentual médio (APE). e RMSRE_T (raiz do erro relativo médio quadrado com limite).

APE (erro percentual médio)

APE é a proporção entre o ruído sobre o sinal, ou seja, o valor de resumo verdadeiro.p> Valores de APE mais baixos significam melhores proporções sinal-ruído.

Fórmula

Para um determinado relatório de resumo, o APE é calculado da seguinte maneira:

True é o valor de resumo verdadeiro. APE é a média do ruído em cada valor de resumo verdadeiro, calculado sobre todas as entradas em um relatório de resumo. No Noise Lab, esse valor é multiplicado por 100 para gerar uma porcentagem.

Prós e contras

Buckets com tamanhos menores têm um impacto desproporcional no valor final do APE. Isso pode levar a resultados enganosos na avaliação de ruído. É por isso que adicionamos outra métrica, RMSRE_T, que foi projetada para mitigar essa limitação do APE. Confira estes exemplos para mais detalhes.

Código

Revise o código-fonte. para o cálculo do APE.

RMSRE_T (erro relativo da raiz quadrada média com limite)

RMSRE_T (raiz do erro médio quadrático médio com limite) é outra medida de ruído.

Como interpretar o RMSRE_T

Valores RMSRE_T menores significam melhores proporções sinal-ruído.
Por exemplo, se uma proporção de ruído aceitável para seu caso de uso for de 20% e RMSRE_T for 0,2, você terá certeza de que os níveis de ruído estão em uma faixa aceitável.

Fórmula

Para um determinado relatório resumido, o RMSRE_T é calculado da seguinte maneira:

Prós e contras

O RMSRE_T é um pouco mais complexo de entender do que o APE. No entanto, ele tem algumas vantagens que o tornam, em alguns casos, mais adequado do que o APE para analisar ruídos em relatórios de resumo:

• O RMSRE_T é mais estável. "T" é um limite. "T" é usada para reduzir o peso no cálculo RMSRE_T de buckets que têm menos conversões e, portanto, são mais sensíveis ao ruído devido ao pequeno tamanho. Com T, a métrica não atinge um pico em buckets com poucas conversões. Se T for igual a 5, um valor de ruído tão pequeno quanto 1 em um bucket com nenhuma conversão será mostrado como acima de 1. Em vez disso, o limite será de 0,2, o que equivale a 1/5, já que T é igual a 5. Ao atribuir menos peso a buckets menores, que são mais sensíveis ao ruído, essa métrica é mais estável e, portanto, facilita a comparação de duas simulações.
• O RMSRE_T facilita a agregação. Conhecer o RMSRE_T de vários buckets, junto com as contagens reais, permite calcular o RMSRE_T da soma deles. Isso também permite otimizar para RMSRE_T para esses valores combinados.

Embora a agregação seja possível para APE, a fórmula é bastante complicada, porque envolve o valor absoluto da soma dos ruídos de Laplace. Isso dificulta a otimização do APE.

Código

Revise o código-fonte para o cálculo RMSRE_T.

Exemplos

Relatório de resumo com três grupos:

• bucket_1 = ruído: 10, trueSummaryValue: 100
• bucket_2 = ruído: 20, trueSummaryValue: 100
• bucket_3 = ruído: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14 

Relatório de resumo com três grupos:

• bucket_1 = ruído: 10, trueSummaryValue: 100
• bucket_2 = ruído: 20, trueSummaryValue: 100
• bucket_3 = ruído: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Relatório de resumo com três grupos:

• bucket_1 = ruído: 10, trueSummaryValue: 100
• bucket_2 = ruído: 20, trueSummaryValue: 100
• bucket_3 = ruído: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + Infinito) / 3 = Infinito

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Gerenciamento avançado de chaves

Uma DSP ou empresa de medição de anúncios pode ter milhares de soluções globais de publicidade clientes, abrangendo vários setores, moedas e preço de compra potenciais. Criar e gerenciar uma chave de agregação por anunciante provavelmente será muito impraticável. Além disso, será é difícil selecionar um valor agregável máximo e um orçamento de agregação que possa limitar o impacto do ruído nesses milhares de anunciantes globais. Em vez disso, vamos considerar os seguintes cenários:

Estratégia principal A

O provedor de adtech decide criar e gerenciar uma chave em todas clientes de publicidade. Em todos os anunciantes e todas as moedas, a faixa de as compras variam de compras de baixo volume a compras de alto volume, compras. Isso resulta na seguinte chave:

Estratégia principal B

O provedor de adtech decide criar e gerenciar duas chaves clientes de publicidade. Ele decide separar as chaves por moeda. Em todos anunciantes e todas as moedas, a faixa de compras varia entre baixo volume, de compras de alto volume a compras de baixo volume. Separando por moeda, ele cria duas chaves:

A estratégia principal B terá menos ruído em seu resultado do que a estratégia A, porque os valores de moedas não são distribuídos de maneira uniforme entre as moedas. Por exemplo: pense em como as compras denominadas em ¥ se misturam às compras denominadas em O dólar americano altera os dados subjacentes e gera resultados com ruído.

Estratégia principal C

O provedor de adtech decide criar e gerenciar quatro chaves seus clientes de publicidade e separá-los por moeda x anunciante setor:

A estratégia-chave C terá menos ruído em seu resultado do que a estratégia B, porque os valores de compra dos anunciantes não são distribuídos de maneira uniforme entre os anunciantes. Para exemplo, considere como as compras de joias de alta qualidade se misturam às compras para bonés poderá alterar os dados subjacentes e resultar em uma saída com ruído.

Considere criar valores agregados máximos e fatores de escalonamento compartilhados as semelhanças entre vários anunciantes a fim de reduzir o ruído no saída. Por exemplo, você pode testar diferentes estratégias abaixo para seus anunciantes:

• Uma estratégia separada por moeda (USD, ¥, CAD etc.)
• Uma estratégia separada por setor do anunciante (seguros, automóveis, varejo etc.)
• Uma estratégia separada por intervalos de valor de compra semelhantes ([100], [1000], [10000] etc.)

Ao criar estratégias importantes em torno de semelhanças com anunciantes, chaves e os códigos correspondentes são mais fáceis de gerenciar, e as proporções sinal-ruído tornam-se mais alto. Teste estratégias diferentes com anunciantes diferentes semelhanças para descobrir pontos de inflexão na maximização do impacto de ruído em relação ao código de projetos.

Gerenciamento avançado de outliers

Vamos considerar um cenário com dois anunciantes:

• Anunciante A:
  • Em todos os produtos no site do anunciante A, o preço de compra as possibilidades estão entre [$120 - $1,000] , para um intervalo de $880.
  • Os preços de compra são distribuídos uniformemente ao longo da faixa de US $880 sem valores atípicos além dos dois desvios padrão do preço médio de compra.
• Anunciante B:
  • Em todos os produtos no site do anunciante B, o preço de compra as possibilidades estão entre [$120 - $1,000] , para um intervalo de $880.
  • Os preços de compra variam muito entre US $120 e US$ 500, com apenas 5% das compras ocorrendo na faixa de US $500 a US$ 1.000.

Considerando requisitos de orçamento de contribuição e a metodologia com que o ruído é aplicado aos resultados finais, o anunciante B terá, por padrão, uma saída mais ruidosa do que O anunciante A, já que o anunciante B tem maior potencial de impactos discrepantes, cálculos subjacentes.

É possível atenuar isso com uma configuração de chave específica. Teste as principais estratégias que ajudam a gerenciar dados discrepantes e a distribuir os valores de compra de maneira mais uniforme em todo o intervalo de compra da chave.

Para o anunciante B, você pode criar duas chaves separadas para capturar duas chaves diferentes dos intervalos de valor de compra. Neste exemplo, a adtech percebeu que os outliers aparecer acima do valor de compra de US $500. Tente implementar duas chaves separadas este anunciante:

• Estrutura de chave 1 : chave que captura apenas compras entre os de US $120 a US$ 500 (cobrindo aproximadamente 95% do volume total de compra).
• Estrutura da chave 2: chave que registra somente compras acima de US $500 (cobrindo cerca de 5% do volume total de compra).

A implementação dessa estratégia principal deve gerenciar melhor o ruído para os anunciantes B e ajudam a maximizar a utilidade deles dos relatórios resumidos. Considerando o novo modelo intervalos, as chaves A e B devem ter uma distribuição de dados mais uniforme em cada chave da chave única anterior. Isso resultará em menos impacto de ruído na saída de cada chave do que na chave única anterior.