Laboratorio de ruido

Acerca de este documento

Al leer este documento, podrás hacer lo siguiente:

  • Comprende qué estrategias crear antes de generar informes de resumen.
  • Conoce Noise Lab, una herramienta que ayuda a comprender los efectos de varios parámetros de ruido y que permite la exploración y evaluación rápidas de diversas estrategias de administración de ruido.
Captura de pantalla de Noise Lab
Laboratorio de ruido
.

Comparte tus comentarios

Si bien este documento resume algunos principios para trabajar con informes resumidos, Existen varios enfoques para la administración del ruido que pueden no verse reflejados aquí. Tus sugerencias, adiciones y preguntas son bienvenidas.

Antes de comenzar

  1. Consulta Informes de atribución: Informes de resumen y Descripción general completa del sistema de Attribution Reporting para obtener una introducción.
  2. Escanea los artículos Información sobre el ruido y Información sobre las claves de agregación para aprovechar al máximo esta guía.

Decisiones de diseño

Principio de diseño básico

Existen diferencias fundamentales entre el funcionamiento de las cookies de terceros y los informes de resumen. Una diferencia clave es la ruido agregado a los datos de medición en los informes de resumen. Otra es cómo se programan los informes.

Para acceder a los datos de medición de informes de resumen con mayor relación señal/ruido del rendimiento, las plataformas orientadas a la demanda (DSP) y los proveedores de medición trabajan con sus anunciantes para desarrollar estrategias de administración de ruido. Para desarrollar estas estrategias, las DSP y los proveedores de medición deben tomar decisiones de diseño. Estas decisiones giran en torno a un concepto esencial:

Si bien los valores de ruido de distribución se extraen de, absolutamente, solo dependen de dos parámetros⏤épsilon y el presupuesto de contribución⏤, tienes a tu disposición otros controles que influirán en la las relaciones señal-ruido de tus datos de medición de salida.

Si bien esperamos que un proceso iterativo conduzca a las mejores decisiones, cada variación de estas decisiones conducen a una implementación ligeramente diferente; por lo tanto, estas decisiones se deben tomar antes de escribir cada iteración del código (y antes de publicar anuncios).

Decisión: Nivel de detalle de la dimensión

Pruébala en Noise Lab

  1. Ve al modo Avanzado.
  2. En el panel lateral Parámetros, busca Tus datos de conversiones.
  3. Observa los parámetros predeterminados. De forma predeterminada, la métrica TOTAL diaria el recuento de conversiones atribuibles es 1,000. Esto equivale a un promedio de 40 bucket si utilizas la configuración predeterminada (dimensiones predeterminadas, cantidad predeterminada de posibles valores diferentes para cada dimensión, estrategia clave A). Observa que el valor es 40 en el promedio de conversiones atribuibles diarias de entrada POR BUCKET.
  4. Haz clic en Simular para ejecutar una simulación con los parámetros predeterminados.
  5. En el panel lateral Parámetros, busca Dimensiones. Cambiar nombre Ubicación geográfica por Ciudad y cambia el número de valores posibles a 50.
  6. Observe cómo esto cambia la conversión diaria promedio atribuible count PER BUCKET. Ahora es mucho más bajo. Esto se debe a que si aumentas la cantidad de valores posibles dentro de esta dimensión sin cambiar aumenta la cantidad total de buckets sin cambiar cuántos eventos de conversión caerán en cada intervalo.
  7. Haz clic en Simular.
  8. Observa las relaciones de ruido de la simulación resultante: las relaciones de ruido son ahora más alta que en la simulación anterior.

Dado el principio de diseño básico, es probable que los valores de resumen pequeños sean son más ruidosos que los valores de resumen grandes. Por lo tanto, tu elección de configuración afecta la cantidad de eventos de conversión atribuidos que terminan en cada intervalo (de lo contrario, conocida como clave de agregación) y esa cantidad afecta al ruido los informes de resumen de resultados finales.

Una decisión de diseño que influye en la cantidad de eventos de conversión atribuidos en un solo bucket es el nivel de detalle de la dimensión. Considera los siguientes ejemplos de las claves de agregación y sus dimensiones:

  • Enfoque 1: Una estructura clave con dimensiones generales (País × Campaña publicitaria o la campaña más grande) bucket de agregación) × Tipo de producto (de 10 tipos de productos posibles)
  • Enfoque 2: Una estructura clave con dimensiones detalladas: ciudad x ID de creatividad x producto (de un total de 100 productos posibles)

Ciudad es una dimensión más detallada que País. El ID de la creatividad es más detallado. que Campaña y Producto es más detallado que Tipo de producto. Por lo tanto, El enfoque 2 tendrá una cantidad menor de eventos (conversiones) por bucket (= por clave) en el resultado del informe de resumen que el Enfoque 1. Dado que el ruido agregado a El resultado es independiente de la cantidad de eventos en el bucket, los datos de medición en los informes de resumen tendrá más ruido con el enfoque 2. Para cada anunciante, experimente con varios compensaciones de nivel de detalle en el diseño de la clave para tener la máxima utilidad en los resultados.

Decisión: Estructuras clave

Pruébala en Noise Lab

En el modo simple, se usa la estructura clave predeterminada. En Advanced puedes experimentar con diferentes estructuras clave. Algunas dimensiones de ejemplo están incluidas; también puedes modificarlas.

  1. Ve al modo Avanzado.
  2. En el panel lateral Parámetros, busca Estrategia clave. Observar que la estrategia predeterminada, denominada A en la herramienta, utiliza una clave detallada Estructura que incluye todas las dimensiones: ubicación geográfica x ID de campaña x producto categoría.
  3. Haz clic en Simular.
  4. Observa las relaciones de ruido de la simulación resultante.
  5. Cambia la estrategia de clave a B. Se mostrarán controles adicionales para configurar la estructura clave.
  6. Configura la estructura de tu clave, p.ej., de la siguiente manera:
    1. Cantidad de estructuras clave: 2
    2. Estructura clave 1 = Ubicación geográfica x Categoría de producto
    3. Estructura clave 2 = ID de campaña x categoría de producto
  7. Haz clic en Simular.
  8. Observa que ahora obtienes dos informes de resumen por tipo de objetivo de medición. (dos para el recuento de compras y dos para el valor de compra), dado que utilizas dos estructuras clave distintas. Observa sus proporciones de ruido.
  9. También puedes probar esto con tus propias dimensiones personalizadas. Para hacerlo, mira para los datos de los que deseas hacer un seguimiento: Dimensiones. Considera quitar el ejemplo dimensiones y crear las tuyas con la opción Agregar/Quitar/Restablecer botones debajo de la última dimensión.

Otra decisión de diseño que afectará la cantidad de conversiones atribuidas dentro de un solo bucket es la estructuras clave que decidas usar. Considera los siguientes ejemplos de claves de agregación:

  • Una estructura clave con todas las dimensiones; llamaremos Estrategia clave A.
  • Dos estructuras clave, cada una con un subconjunto de dimensiones; llamémoslo Estrategia clave B.
Diagrama:

La estrategia A es más simple, pero es posible que debas agrupar (sumar) los ruidosos valores resumidos, incluidos los informes de resumen, para acceder a ciertas estadísticas. Si sumas estos valores, también se suma el ruido. Con la estrategia B, los valores resumidos se exponen en el resumen es posible que los informes ya te proporcionen la información que necesitas. Esto significa que la Estrategia B probablemente generará mejores relaciones señal-ruido que la Estrategia A. Sin embargo, el ruidos ya sean aceptables con la estrategia A, por lo que aún puede optar por Estrategia A para simplicidad Obtén más información en el ejemplo detallado en el que se describen estas dos estrategias.

La administración de claves es un tema muy profundo. Se pueden usar varias técnicas elaboradas para mejorar la relación señal-ruido. Uno se describe en Clave avanzada administración de configuraciones.

Decisión: Frecuencia de agrupación de lotes

Pruébala en Noise Lab

  1. Ve al modo simple (o al modo avanzado; ambos modos funcionan de la misma manera cuando se trata de la frecuencia de lotes).
  2. En el panel lateral Parámetros, busca Tu estrategia de agregación > Frecuencia de los lotes Esto se refiere a la frecuencia de lotes de los informes agregables que se procesan con el servicio de agregación en un un solo trabajo.
  3. Observa la frecuencia de lotes predeterminada: de forma predeterminada, un proceso de frecuencia.
  4. Haz clic en Simular.
  5. Observa las relaciones de ruido de la simulación resultante.
  6. Cambia la frecuencia de lote a semanal.
  7. Observa las relaciones de ruido de la simulación resultante: las relaciones de ruido son ahora inferior (mejor) que en la simulación anterior.

Otra decisión de diseño que afectará la cantidad de conversiones atribuidas dentro de un mismo bucket es la frecuencia de lotes que decides usar. El La frecuencia de lotes es la frecuencia con la que procesas informes agregables.

Un informe que está programado para una agregación con más frecuencia (p.ej., cada hora) Tener menos eventos de conversión incluidos que el mismo informe con una frecuencia cronograma de agregación (p.ej., cada semana). Como resultado, el informe por hora incluirá más ruido.``` Tener menos eventos de conversión incluidos que el mismo informe con una frecuencia cronograma de agregación (p.ej., cada semana). Como resultado, el informe por hora tendrá una relación señal-ruido más baja que la del informe semanal, en las mismas condiciones. Experimenta con los requisitos de informes en varias frecuencias y evalúa la relación señal/ruido de cada una.

Más información en Agrupación en lotes y Agregación durante períodos más largos.

Decisión: Variables de la campaña que afectan las conversiones atribuibles

Pruébala en Noise Lab

Si bien esto puede ser difícil de predecir y puede tener variaciones significativas además de los efectos de la estacionalidad, intente estimar la cantidad diaria de objetos conversiones atribuibles a un solo punto de contacto a la potencia más cercana de 10: 10, 100, 1,000 o 10,000.

  1. Ve al modo Avanzado.
  2. En el panel lateral Parámetros, busca Tus datos de conversiones.
  3. Observa los parámetros predeterminados. De forma predeterminada, la métrica TOTAL diaria el recuento de conversiones atribuibles es 1,000. Esto equivale a un promedio de 40 bucket si utilizas la configuración predeterminada (dimensiones predeterminadas, cantidad predeterminada de posibles valores diferentes para cada dimensión, estrategia clave A). Observa que el valor es 40 en el promedio de conversiones atribuibles diarias de entrada POR BUCKET.
  4. Haz clic en Simular para ejecutar una simulación con los parámetros predeterminados.
  5. Observa las relaciones de ruido de la simulación resultante.
  6. Ahora, establece en 100 el recuento diario de conversiones atribuibles de TOTAL. Observa que esto reduce el valor diario promedio atribuible de conversiones por BUCKET.
  7. Haz clic en Simular.
  8. Observa que las relaciones de ruido ahora son más altas: esto se debe a que cuando tienen menos conversiones por bucket, se aplica más ruido para mantener la privacidad.

Una distinción importante es el número total de conversiones posibles de un anunciante en comparación con la cantidad total de conversiones atribuidas posibles. El lo que, en última instancia, afecta el ruido en los informes resumidos. Atribuida Las conversiones son un subconjunto de las conversiones totales que son propensas a generar ingresos en la campaña como el presupuesto y la segmentación. Por ejemplo, esperarías que un de aumento en la cantidad de conversiones atribuidas en una campaña publicitaria de USD 10 millones en comparación con una campaña de anuncios de USD 10,000 campaña, en igualdad de condiciones.

Ten en cuenta lo siguiente:

  • Evalúa las conversiones atribuidas en comparación con las de un solo punto de contacto para el mismo dispositivo. de atribución, ya que se encuentran dentro del alcance de los informes resumidos. recopiladas con la API de Attribution Reporting.
  • Considera el recuento del peor de los casos y el del mejor de los casos para las conversiones atribuidas. Por ejemplo, si todo lo demás es igual, considera el presupuestos de campaña mínimos y máximos posibles para un anunciante, entonces a las conversiones atribuibles del proyecto para ambos resultados como entradas la simulación.
  • Si estás considerando usar Privacy Sandbox para Android, considera las conversiones atribuidas multiplataforma en el cálculo.

Decisión: Usar escalamiento

Pruébala en Noise Lab

  1. Ve al modo Avanzado.
  2. En el panel lateral Parámetros, busca Tu estrategia de agregación > Escalamiento La configuración predeterminada es Sí.
  3. Para comprender los efectos positivos del escalamiento en el ruido proporción, primero configura Escalamiento en No.
  4. Haz clic en Simular.
  5. Observa las relaciones de ruido de la simulación resultante.
  6. Configura el escalamiento en Sí. Ten en cuenta que Noise Lab calcula automáticamente los factores de escala que se usarán según los rangos (valores promedio y máximos) de los objetivos de medición para tu situación. En una prueba real del sistema o el origen debes implementar tu propio cálculo para los factores de escala.
  7. Haz clic en Simular.
  8. Observa que las relaciones de ruido ahora son más bajas (mejores) en este segundo la simulación. Esto se debe a que usas escalamiento.

Según el principio de diseño central, el ruido agregado es una función del presupuesto de contribución.

Por lo tanto, para aumentar la relación señal-ruido, puedes decidir transformar de datos recopilados durante un evento de conversión a través del ajuste en función del el presupuesto de contribución (y reducir su escala después de la agregación). Usa el escalamiento para aumentar la relación señal-ruido.

Decisión: Cantidad de objetivos de medición y división del presupuesto para privacidad

Esto se relaciona con el escalamiento. asegúrate de leer Uso de escalamiento.

Pruébala en Noise Lab

Un objetivo de medición es un dato distinto que se recopila en los eventos de conversión.

  1. Ve al modo Avanzado.
  2. En el panel lateral Parámetros, busca los datos de los que deseas hacer un seguimiento: Objetivos de medición. De forma predeterminada, tienes dos objetivos de medición: comprar valor y recuento de compras.
  3. Haz clic en Simular para ejecutar una simulación con los objetivos predeterminados.
  4. Haz clic en Quitar. Esto quitará el último objetivo de medición (compra en ese caso).
  5. Haz clic en Simular.
  6. Observa que las relaciones de ruido para el valor de compra ahora son más bajas. (mejor) para esta segunda simulación. Esto se debe a que tienes menos objetivos de medición, así que tu único objetivo de medición ahora presupuesto de contribución.
  7. Haz clic en Restablecer. Ahora tienes dos objetivos de medición: comprar valor y recuento de compras. Ten en cuenta que Noise Lab calcula automáticamente los factores de escala que se usarán según los rangos (valores promedio y máximos) de la y los objetivos de medición para tu situación. De forma predeterminada, Noise Lab divide las presupuesto de forma equitativa para todos los objetivos de medición.
  8. Haz clic en Simular.
  9. Observa las relaciones de ruido de la simulación resultante. Toma nota de la los factores de escala que se muestran en la simulación.
  10. Ahora, personalicemos la división del presupuesto de privacidad para lograr un mejor relación señal-ruido.
  11. Ajusta el porcentaje del presupuesto asignado para cada objetivo de medición. Dado el estado de medición, el objetivo de medición 1, es decir, el valor de compra, tiene un rango más amplio (entre 0 y 1,000) que el objetivo de medición 2, es decir, recuento de compras (entre 1 y 1, es decir, siempre igual a 1). Debido a necesita "más espacio para escalar": sería ideal asignar más presupuesto de contribución al objetivo de medición 1 que al objetivo de medición 2, de modo que puede escalarse verticalmente de manera más eficiente (consulte Escalamiento) y, por lo tanto,
  12. Asignar el 70% del presupuesto al objetivo de medición 1 Asignar el 30% a la medición objetivo 2.
  13. Haz clic en Simular.
  14. Observa las relaciones de ruido de la simulación resultante. Para comprar valor, las relaciones de ruido ahora son notablemente más bajas (mejores) que la la simulación. En el recuento de compras, no suelen cambiar.
  15. Sigue ajustando la división del presupuesto entre métricas. Observa cómo afecta esto ruido de fondo.

Ten en cuenta que puedes establecer tus propios objetivos de medición personalizados con el Botones para agregar, quitar y restablecer.


Si mides un dato (objetivo de medición) en un evento de conversión, como recuento de conversiones, ese dato puede obtener todo el presupuesto de contribución (65,536). Si estableces varios objetivos de medición en un evento de conversión, como el recuento de conversiones y el valor de compra, esos datos deberán compartir el presupuesto de contribución. Esto significa que tienes menos libertad para escalar verticalmente de salida.

Por lo tanto, cuantos más objetivos de medición tengas, menor será la relación señal-ruido. (más ruido).

Otra decisión que se debe tomar con respecto a los objetivos de medición es la división del presupuesto. Si divides el presupuesto de contribución de forma equitativa entre dos datos, cada uno de ellos obtiene presupuesto de 65,536/2 = 32,768. Esto puede o no ser óptimo según el el valor máximo posible para cada dato. Por ejemplo, si estás midiendo recuento de compras con un valor máximo de 1 y valor de compra con un mínimo de 1 y un máximo de 120, el valor de compra se beneficiaría de tener "más espacio" se amplíe, es decir, que se le dé una proporción mayor del presupuesto de contribución. Verás si algunos objetivos de medición deben priorizarse otros en relación con el impacto del ruido.

Decisión: Administración de valores atípicos

Pruébala en Noise Lab

Un objetivo de medición es un dato distinto que se recopila en los eventos de conversión.

  1. Ve al modo Avanzado.
  2. En el panel lateral Parámetros, busca Tu estrategia de agregación > Escalamiento
  3. Asegúrate de que el escalamiento esté configurado en Sí. Ten en cuenta que Noise Lab calcula automáticamente los factores de escala que se usarán, según el o los rangos (valores promedio y máximos) que proporcionaste para los objetivos de medición.
  4. Supongamos que la compra más grande jamás hecha fue de USD 2000, pero esa la mayoría de las compras se encuentra en el rango de USD 10 a USD 120. Primero, veamos qué sucede Si usamos un enfoque de escalamiento literal (no recomendado), ingresa $2,000. máx. para purchaseValue.
  5. Haz clic en Simular.
  6. Observa que la relación de ruido sea alta. Esto se debe a que nuestro escalamiento se calcula en función de los USD 2000, cuando, en realidad, la mayoría los valores de compra serán considerablemente menores.
  7. Ahora, usemos un enfoque de escalamiento más pragmático. Cambiar el máx. valor de compra a USD 120.
  8. Haz clic en Simular.
  9. Observa que las relaciones de ruido son más bajas (mejores) en esta segunda simulación.

Para implementar el escalamiento, normalmente calcularías un factor de escala según el valor máximo posible para un evento de conversión determinado (obtén más información en este ejemplo).

Sin embargo, evita usar un valor máximo literal para calcular ese factor de escala. ya que esto empeoraría la relación señal-ruido. En cambio, elimina los valores atípicos y usar un valor máximo pragmático.

La administración de valores atípicos es un tema profundo. Se pueden usar varias técnicas elaboradas para mejorar la relación señal-ruido. Uno se describe en Administración avanzada de valores atípicos.

Próximos pasos

Ahora que evaluaste varias estrategias de administración de ruido para tu caso de uso estás listo para comenzar a experimentar con informes de resumen recopilando datos datos de medición a través de una prueba de origen. Revisa las guías y sugerencias para probar la API.

Apéndice

Recorrido rápido por Noise Lab

Noise Lab te ayuda rápidamente evaluarás y compararás estrategias de administración de ruido. Puedes usarla para lo siguiente:

  • Comprender los principales parámetros que pueden afectar el ruido efecto que tienen.
  • Simular el efecto del ruido en los datos de medición de salida proporcionados diferentes decisiones de diseño. Ajustar los parámetros de diseño hasta llegar a relación señal/ruido adecuada para tu caso de uso.
  • Comparte tus comentarios sobre la utilidad de los informes de resumen, que valores de épsilon y los parámetros de ruido funcionan para ti, ¿cuáles no? ¿Dónde están? los puntos de inflexión?

Piensa en esto como un paso de preparación. Noise Lab y genera datos de medición para simular los resultados de un informe de resumen en función de tu entrada. No se conservan ni comparten datos.

Noise Lab tiene dos modos diferentes:

  1. Modo simple: Comprende los aspectos básicos de los controles que tienes sobre el ruido.
  2. Modo avanzado: Prueba diferentes estrategias de administración de ruido y evalúa lo que genera las mejores relaciones señal-ruido para tus casos de uso.

Haz clic en los botones del menú superior para alternar entre los dos. (#1 en la captura de pantalla a continuación).

Modo simple
  • Con el modo simple, se controlan los parámetros (se encuentran a la izquierda) lado o #2. (en la siguiente captura de pantalla), como Épsilon, y veremos cómo afectan al ruido.
  • Cada parámetro tiene un cuadro de información (un botón `?`). Haz clic en ellos para ver un explicación de cada parámetro (n. o 3 en la captura de pantalla a continuación)
  • Para empezar, haz clic en el botón "Simular" y observa cómo se ve el resultado como (#4. en la captura de pantalla a continuación).
  • En la sección Salida, puedes ver una variedad de detalles. Algunos elementos tienen un "?" junto a ellos. Tómate el tiempo para hacer clic en cada "?" para ver un y una explicación de los diversos tipos de información.
  • En la sección Salida, haz clic en el botón de activación Detalles (Details). si deseas ver una versión expandida de la tabla (#5. en la captura de pantalla a continuación).
  • Debajo de cada tabla de datos en la sección de salida, hay una opción para descargar la tabla y usarla sin conexión. Además, en la parte inferior en la esquina derecha hay una opción para descargar todas las tablas de datos (#6. in (consulta la siguiente captura de pantalla)
  • Prueba diferentes parámetros de configuración para los parámetros en la sección Parámetros y haz clic en Simular para ver cómo influyen en el resultado:
    Ruido
    Interfaz de Noise Lab para el modo simple
Modo avanzado
  • En el Modo avanzado, tienes más control sobre los parámetros. Tú puedes agregar dimensiones y objetivos de medición personalizados (#1 y n° 2 en la captura de pantalla a continuación)
  • Desplázate más abajo en la sección Parámetros y consulta la Clave Opción de estrategia. Esto se puede usar para probar diferentes estructuras clave (n.o 3. en la captura de pantalla a continuación).
    • Para probar diferentes estructuras clave, cambia la estrategia de la clave a "B"
    • Ingresa la cantidad de estructuras clave que deseas usar. (el valor predeterminado es "2")
    • Haz clic en Generar estructuras clave.
    • Verás opciones para especificar tus estructuras de clave haciendo clic en las casillas de verificación junto a las claves que deseas incluir en cada estructura
    • Haz clic en Simular para ver el resultado.
      El modo avanzado ofrece controles destacados en la barra lateral para realizar un seguimiento de las dimensiones y los objetivos de medición.
      Interfaz de Noise Lab para el modo Advanced.
      El modo avanzado también incluye una opción de Estrategia clave en la sección Parámetros de la barra lateral.
      Interfaz de Noise Lab para el modo Advanced.
      .

Métricas de ruido

Concepto principal

Se agrega ruido para proteger la privacidad individual del usuario.

Un valor de ruido alto indica que los buckets o las claves están dispersos contienen contribuciones de una cantidad limitada de sucesos delicados. Ya se completó este paso automáticamente, para permitir que las personas se "oculten entre la multitud" o en en otras palabras, protege la capacidad privacidad con una mayor cantidad de ruido adicional.

Un valor de ruido bajo indica que la configuración de datos se diseñó de tal manera de una manera que ya permite a las personas “ocultar” entre la multitud. Esto significa que o buckets contienen contribuciones de una cantidad suficiente de eventos para garantizar que la privacidad individual del usuario está protegida.

Esta afirmación es válida tanto para el error porcentual promedio (APE) y RMSRE_T (raíz cuadrada del error cuadrático medio con un umbral).

APE (error porcentual promedio)

El APE es la proporción del ruido sobre la señal, es decir, el valor de resumen verdadero.p> Los valores más bajos de APE significan mejores relaciones señal-ruido.

Formula

Para un informe resumido determinado, el APE se calcula de la siguiente manera:

La ecuación del APE. Los valores absolutos son obligatorios, ya que el ruido puede ser negativo.

True es el valor de resumen verdadero. APE es el promedio del ruido sobre cada verdadero valor de resumen, promediado entre todas las entradas de un informe de resumen. En Noise Lab, este valor se multiplica por 100 para obtener un porcentaje.

Pros y contras

Los buckets con tamaños más pequeños tienen un impacto desproporcionado en el valor final del APE. Eso puede ser engañoso cuando se evalúa el ruido. Por eso agregamos otra métrica, RMSRE_T, que está diseñada para mitigar esta limitación del APE. Revisa los ejemplos para obtener más información.

Código

Revisa el código fuente. para el cálculo del APE.

RMSRE_T (error relativo raíz cuadrada de la media con un umbral)

RMSRE_T (error relativo raíz cuadrada de la media con un umbral) es otra medida para el ruido.

Cómo interpretar RMSRE_T

Los valores más bajos de RMSRE_T significan mejores relaciones señal-ruido.
Por ejemplo, si una relación de ruido aceptable para tu caso de uso es del 20% y la RMSRE_T es de 0.2, puedes estar seguro de que los niveles de ruido se encuentran dentro de tu rango aceptable.

Formula

Para un informe de resumen dado, RMSRE_T se calcula de la siguiente manera:

Formula
La ecuación para RMSRE_T. Los valores absolutos son obligatorios, ya que el ruido puede ser negativo.
Pros y contras

RMSRE_T es un poco más complejo de entender que el APE. Sin embargo, tiene algunas ventajas que lo hacen, en algunos casos, más adecuado que el APE para analizar el ruido en informes resumidos:

  • RMSRE_T es más estable. “T” es un umbral. “T” se usa para dar menos peso en el cálculo de RMSRE_T a los buckets que tienen menos conversiones y, por lo tanto, son más sensibles al ruido debido a su tamaño pequeño. Con T, la métrica no aumenta repentinamente en buckets con pocas conversiones. Si T es igual a 5, un valor de ruido tan pequeño como 1 en un bucket con 0 conversiones no se mostrará como mucho más de 1. En su lugar, se limitará a 0.2, que equivale a 1/5, ya que T es igual a 5. Al dar menos peso a los buckets más pequeños, que son más sensibles al ruido, esta métrica es más estable y, por lo tanto, facilita la comparación de dos simulaciones.
  • RMSRE_T permite una agregación sencilla. Conocer el RMSRE_T de varios buckets, junto con sus recuentos verdaderos, te permite calcular el RMSRE_T de su suma. Esto también te permite optimizar para RMSRE_T para estos valores combinados.

Si bien la agregación es posible para los APE, la fórmula es bastante complicada, ya que implica el valor absoluto de la suma de ruidos de Laplace. Esto hace que el APE sea más difícil de optimizar.

Código

Revisa el código fuente del cálculo de RMSRE_T.

Ejemplos

Informe de resumen con tres segmentos:

  • bucket_1 = ruido: 10, trueSummaryValue: 100
  • bucket_2 = ruido: 20, trueSummaryValue: 100
  • bucket_3 = ruido: 20, trueSummaryValue: 200

APE = (0.1 + 0.2 + 0.1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14 

Informe de resumen con tres segmentos:

  • bucket_1 = ruido: 10, trueSummaryValue: 100
  • bucket_2 = ruido: 20, trueSummaryValue: 100
  • bucket_3 = ruido: 20, trueSummaryValue: 20

APE = (0.1 + 0.2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Informe de resumen con tres segmentos:

  • bucket_1 = ruido: 10, trueSummaryValue: 100
  • bucket_2 = ruido: 20, trueSummaryValue: 100
  • bucket_3 = ruido: 20, trueSummaryValue: 0

APE = (0.1 + 0.2 + infinito) / 3 = infinito

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Administración de claves avanzada

Una DSP o empresa de medición de anuncios podría tener miles de publicidad global de clientes que abarcan varios sectores, monedas y precios de compra potenciales. Esto significa que crear y administrar una clave de agregación por es probable que el anunciante no sea muy práctico. Además, será difícil seleccionar un valor y un presupuesto agregables máximos que puedan limitan el impacto del ruido en estos miles de anunciantes globales. En cambio, consideremos las siguientes situaciones:

Estrategia clave A

El proveedor de tecnología publicitaria decide crear y administrar una clave en todas sus para los clientes publicitarios. En todos los anunciantes y monedas, el rango de de compras varían desde compras de bajo volumen y de gama alta hasta compras de alto volumen y gama baja compras. Esto da como resultado la siguiente clave:

Clave (varias monedas)
Valor agregable máximo 5,000,000
Rango de valores de compra [120-5,000,000]
Estrategia clave B

El proveedor de tecnología publicitaria decide crear y administrar dos claves en todas sus para los clientes publicitarios. Decide separar las claves por moneda. En todos anunciantes y todas las monedas, el rango de compras varía de un volumen bajo, desde las compras de gama alta hasta las compras de gran volumen y las compras de gama baja. Separar por moneda, crean 2 claves:

Clave 1 (USD) Clave 2 (JPY)
Valor agregable máximo $40,000 JPY 5,000,000
Rango de valores de compra [120 - 40,000] [Entre 15,000 y 5,000,000]

La estrategia clave B tendrá menos ruido en su resultado que la estrategia clave A, y los valores de moneda no se distribuyen de manera uniforme entre las monedas. Por ejemplo: considere cómo se mezclaron las compras denominadas en JPY con las compras denominadas en USD alterará los datos subyacentes y el resultado ruidoso.

Estrategia clave C

El proveedor de tecnología publicitaria decide crear y administrar cuatro claves en todas los clientes de publicidad y separarlos por moneda x anunciante industria:

Clave 1
(USD por anunciantes de joyas de alta gama)
Clave 2
(JPY x anunciantes de joyas de alta gama)
Clave 3
(USD x anunciantes minoristas de ropa)
Clave 4
(JPY x anunciantes minoristas de ropa)
Valor agregable máximo $40,000 JPY 5,000,000 USD 500 JPY 65,000
Rango de valores de compra [10,000 - 40,000] [1,250,000 a 5,000,000] [120 - 500] [15,000 - 65,000]

La estrategia clave C tendrá menos ruido en su resultado que la estrategia clave B, porque los valores de compra de los anunciantes no se distribuyen de manera uniforme entre los anunciantes. Para Por ejemplo, considere cómo las compras de joyas de alta gama se relacionaron con las compras. de gorras de béisbol alterará los datos subyacentes y esto generará una salida ruidosa.

Considera crear valores agregados máximos compartidos y factores de escala compartidos de similitudes entre varios anunciantes con el fin de reducir el ruido en el salida. Por ejemplo, podrías experimentar con las distintas estrategias que se indican a continuación para tus anunciantes:

  • Una estrategia separada por moneda (USD, JPY, CAD, etcétera)
  • Una estrategia separada por industria del anunciante (seguros, automóviles, venta minorista, etcétera)
  • Una estrategia separada por rangos de valor de compra similares ([100], [1,000], [10,000], etcétera)

Mediante la creación de estrategias clave en torno a las similitudes, las claves y el código correspondiente son más fáciles de administrar, y la relación señal-ruido se vuelve mayores. Experimentar con distintas estrategias con distintos anunciantes similitudes para descubrir puntos de inflexión para maximizar el impacto del ruido en comparación con el código y administración de posturas.


Administración avanzada de valores atípicos

Analicemos una situación con dos anunciantes:

  • Anunciante A:
    • En todos los productos del sitio del anunciante A, el precio de compra posibilidades están entre [$120 - $1,000] , para un rango de $880.
    • Los precios de compra se distribuyen de manera uniforme en el rango de USD 880. sin valores atípicos fuera de las dos desviaciones estándar del precio de compra medio.
  • Anunciante B:
    • En todos los productos del sitio del anunciante B, el precio de compra posibilidades están entre [$120 - $1,000] , para un rango de $880.
    • Los precios de compra se inclinan fuertemente hacia el rango de USD 120 a USD 500, y solo el 5% de las compras está en el rango de USD 500 a USD 1,000.

Dado el requisitos del presupuesto de contribución y la metodología con la que se aplica el ruido a los resultados finales, el anunciante B tendrá, de forma predeterminada, un resultado más ruidoso que al anunciante A, ya que el anunciante B tiene un mayor potencial de que los valores atípicos tengan un impacto en cálculos subyacentes.

Esto se puede mitigar con una configuración de clave específica. Prueba estrategias clave que ayudan a administrar los datos de valores atípicos y a distribuir de manera más uniforme los valores de compra en el rango de compra de la clave.

En el caso del anunciante B, podrías crear dos claves distintas para captar dos o los rangos de valores de compra. En este ejemplo, la tecnología publicitaria notó que los valores atípicos aparecer por encima del valor de compra de USD 500, Implementa dos claves distintas para este anunciante:

  • Estructura clave 1 : clave que solo captura las compras entre las rango de USD 120 - USD 500 (que cubre aproximadamente un 95% del volumen total de compras).
  • Estructura clave 2: Clave que solo captura las compras superiores a USD 500 (cubren aproximadamente un 5% del volumen total de compras).

La implementación de esta estrategia clave debería administrar mejor el ruido para el anunciante B y ayudarlos a maximizar su utilidad a partir de informes resumidos. Dado el nuevo comportamiento ahora las claves A y B deberían tener una distribución de datos más uniforme en cada clave respectiva que para la clave única anterior. Esto dará como resultado menos impacto de ruido en la salida de cada clave que en la clave anterior.