La calibración es el proceso de usar los resultados de los experimentos y otros conocimientos del dominio para establecer distribuciones a priori específicas del canal.
Las distribuciones a priori predeterminadas de Meridian son moderadamente informativas. Los datos pueden ser ruidosos. A menudo, es útil calibrar las distribuciones a priori del tratamiento, que te permiten "guiar" el modelo con tu conocimiento empresarial del mundo real, ya sea que provenga de experimentos rigurosos o de tus expectativas profesionales.
Piensa en una distribución a priori calibrada como una "protección". Puede ser tentador tener protecciones débiles o nulas (en forma de distribuciones a priori no informativas), pero esto podría ser riesgoso y generar resultados deficientes del modelo. Para obtener más información, consulta Distribuciones a priori planas y regularización.
Por ejemplo, sin una distribución a priori razonablemente sólida, el modelo podría estimar que un canal con una inversión baja genera ingresos masivos. La calibración de las distribuciones a priori ayuda a guiar las estimaciones del modelo hacia un rango realista.
Formula tus creencias previas
La calibración de las distribuciones a priori no es un cálculo preciso, sino que combina datos con conocimiento del dominio y juicios subjetivos.
Después de elegir la métrica, puedes continuar con la calibración. Al realizar la calibración, ten en cuenta lo siguiente.
Usa experimentos de incrementalidad
Los experimentos de incrementalidad son quizás la base más sólida para formular tu intuición, pero traducir los resultados del experimento en distribuciones a priori no es una fórmula precisa.
Del experimento a la distribución a priori
No existe una fórmula única para traducir el resultado de un experimento en una distribución a priori. Si hablamos de la fórmula bayesiana, el conocimiento de la distribución a priori se define de manera más amplia y no necesita ser un cálculo formulado. Puedes combinar diferentes evidencias (como los resultados de varios experimentos o cualquier otro conocimiento del dominio) y sus incertidumbres en una sola distribución a priori, en lugar de aplicar de forma rígida el resultado de un experimento.
Además, los experimentos y los MMM suelen tener diferentes estimandos y objetivos de medición, es decir, definen el ROI de diferentes maneras. Los experimentos se relacionan con condiciones específicas, como el período, las regiones geográficas y la configuración de la campaña. Aunque los experimentos proporcionan información muy pertinente, recuerda que traducirlos en una distribución a priori del MMM implica una capa adicional de incertidumbre más allá del error estándar del experimento.
Para optimizar este flujo de trabajo, Meridian proporciona CalibrationBuilder, que automatiza la traducción de los experimentos de incrementalidad en distribuciones a priori del ROI calibradas y, además, incluye la integración directa para Meridian GeoX. Para obtener más detalles sobre cómo calibrar las distribuciones a priori de experimentos anteriores y tener en cuenta las diferencias en la inversión, las visitas recientes y la duración, consulta Cómo establecer distribuciones a priori del ROI personalizadas con experimentos anteriores.
Consideraciones de pertinencia
Si usas experimentos anteriores, considera cuidadosamente su pertinencia. Antes de usar los resultados del experimento para fundamentar las distribuciones a priori, hazte las siguientes preguntas:
- Visitas recientes: ¿El experimento se ejecutó antes, durante o después del período que abarcan los datos del MMM? Los resultados de un período diferente podrían no ser directamente aplicables.
- Duración: ¿El experimento fue lo suficientemente extenso como para captar los efectos a largo plazo del marketing? Es posible que los experimentos cortos no lo sean.
- Nivel de detalle de los medios: ¿El experimento midió los medios con el mismo nivel de detalle que el MMM? Por ejemplo, usar un experimento a nivel de la campaña para calibrar un MMM a nivel del canal.
- Diferencias en la población: ¿La población objetivo del experimento era la misma que la considerada en el MMM?
- Complejidad: Si el experimento involucró una combinación de canales, es posible que sea difícil obtener estadísticas claras sobre el rendimiento de los canales individuales.
- Diferencias en los estimandos: La situación contrafáctica del MMM es una inversión nula, mientras que algunos experimentos podrían definir el ROI en función de un valor de referencia diferente, como una inversión reducida (una situación contrafáctica distinta de cero). Los experimentos que miden la efectividad marginal introducen una discrepancia de estimando con la situación contrafáctica de inversión nula del MMM.
Calibración automatizada con Meridian GeoX
La metodología de calibración de distribuciones a priori de Meridian y el framework experimental de Meridian GeoX ayudan a abordar estas consideraciones:
- Metodología de calibración (
CalibrationBuilder): Tiene en cuenta automáticamente las visitas recientes (a través de ajustes que agregan incertidumbre a los experimentos más antiguos) y la duración (a través de ajustes que escalan las estimaciones puntuales y aumentan la incertidumbre en función de la transferencia de la disminución del Adstock). También aplica ajustes de inversión para tener en cuenta las diferencias en la escala de inversión y el nivel de detalle de los medios entre el experimento y el canal del MMM modelado. Además, se pueden realizar ajustes para la complejidad con los argumentos opcionales de ajuste del usuario. Para obtener más detalles, consulta Cómo establecer distribuciones a priori del ROI personalizadas con experimentos anteriores. - Diseño experimental de Meridian GeoX: Admite la representatividad geográfica (diferencias en la población) a través del uso de un muestreo estratificado en todas las unidades geográficas para garantizar que los grupos de tratamiento y de control sean representativos de la población geográfica más amplia modelada en el MMM.
Usa el conocimiento y la intuición del dominio
Cuando sea posible, puedes y debes usar el conocimiento del dominio para fundamentar tus distribuciones a priori. Establecer distribuciones a priori implica usar tu intuición para definir un rango plausible de valores para el rendimiento de cada canal de marketing. Este proceso se basa en una combinación de juicios fundamentados, que se obtienen de diversas fuentes, como el conocimiento del dominio, los resultados anteriores, las comparativas de sectores y, en especial, los experimentos de incrementalidad.
Los experimentos de incrementalidad son quizás la base más sólida para formular tu intuición, pero traducir los resultados del experimento en distribuciones a priori no es una fórmula precisa. Incluso los experimentos tienen limitaciones, y diferentes experimentos pueden arrojar resultados diferentes. Tu distribución a priori del ROI debe ser una síntesis de toda la información que tienes disponible.
Si tu intuición sobre el rendimiento de un canal es débil, es aceptable establecer una distribución a priori débil (una con una desviación estándar grande). Sin embargo, cuando tu intuición es más fuerte, incorporarla a través de distribuciones a priori hace que tu modelo sea más potente y menos susceptible al ruido en los datos.
En la práctica, casi siempre tienes una cierta intuición. Por ejemplo, es probable que creas que la probabilidad de un ROI causal del 50 es bastante baja para la mayoría de los canales. Si tu empresa ejecutó muchos experimentos a lo largo de los años y nunca obtuvo un ROI superior a 6 para un canal específico, tu distribución a priori debería reflejar esto asignando una probabilidad muy baja a los valores del ROI superiores a 6. Usa la información que tengas para fundamentar tus distribuciones a priori.
Independientemente de cómo establezcas tus distribuciones a priori, siempre te recomendamos que las grafiques y examines sus percentiles. Pregúntate si las probabilidades se alinean con tus expectativas. Por ejemplo, si el 80% de tu distribución de probabilidad a priori es mayor que un ROI de 1.0, ¿refleja tu confianza a priori en la rentabilidad del canal?
Usa tu nivel de confianza para establecer la desviación estándar de la distribución a priori
Usa la intensidad de tu creencia previa para fundamentar la desviación estándar de la distribución a priori. Si crees firmemente en la efectividad de un canal (por ejemplo, a partir de varios experimentos con estimaciones puntuales del ROI similares o resultados de MMM anteriores), puedes establecer una desviación estándar más pequeña para la distribución a priori y, así, indicar un alto nivel de confianza. Por el contrario, si tienes dudas sobre qué tan bien se traducen los resultados de un experimento al MMM, puedes usar una desviación estándar más grande que refleje esa incertidumbre. Recuerda que las distribuciones a priori no son restricciones rígidas, sino puntos de partida. Si los datos presentan evidencia sólida que contradice la distribución a priori, el modelo se ajustará en consecuencia. La desviación estándar de la distribución a priori determina cuánto peso se le otorga a tu creencia inicial en comparación con la evidencia de los datos.
Ejemplos de código
En los siguientes ejemplos, se muestra cómo establecer distribuciones a priori del ROI personalizadas en Meridian.
Ejemplo: Cómo calibrar las distribuciones a priori del ROI en función de los experimentos
Consulta Cómo establecer distribuciones a priori del ROI personalizadas con experimentos anteriores para obtener información sobre cómo calibrar las distribuciones a priori del ROI en función de los resultados del experimento.
Ejemplo: Cómo definir una distribución a priori del ROI lognormal
La distribución lognormal es una distribución común que se usa para la distribución a priori del ROI. Meridian proporciona dos funciones auxiliares para ayudarte a construir distribuciones lognormales a partir de conocimientos previos:
prior_distribution.lognormal_dist_from_mean_std: Crea una distribución lognormal a partir de una desviación media y una desviación estándar determinadas.prior_distribution.lognormal_dist_from_range: Construye una distribución lognormal en la que una masa de probabilidad especificada (como el 95%) se encuentra dentro de un límite inferior y superior determinados.
Para construir una distribución LogNormal a partir de una media y una desviación estándar, haz lo siguiente:
import numpy as np
from meridian.model import prior_distribution
mean = [1.0, 3.0] # Point estimate
std = [0.3, 2.0] # Standard deviation
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(mean, std)
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)
Para construir una distribución de LogNormal a partir de un rango, haz lo siguiente:
import numpy as np
from meridian.model import prior_distribution
low = [0.1, 0.5] # Range lower bound
high = [2.0, 10.0] # Range upper bound
mass_percent = 0.95 # Probability mass
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_range(
low, high, mass_percent=mass_percent
)
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)
Te recomendamos que generes gráficos y visualices las distribuciones a priori personalizadas, en especial, las distribuciones a priori del ROI. Esto puede ayudarte a verificar si la distribución a priori personalizada se alinea con tus expectativas previas.
from matplotlib import pyplot as plt
from meridian.model import prior_distribution
import numpy as np
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(2.0, 0.5)
# Plot a histogram of samples from the LogNormal distribution
plt.hist(lognormal_dist.sample(1000))
Grafica tus distribuciones a priori para confirmar que coincidan con tu intuición
Te recomendamos que generes gráficos y visualices las distribuciones a priori personalizadas, en especial, las distribuciones a priori del ROI. Esto te ayuda a verificar si la distribución a priori personalizada se alinea con tus expectativas antes de continuar con el análisis.
Consideraciones adicionales para calibrar las distribuciones a priori del tratamiento
En esta sección, se incluyen consideraciones adicionales para calibrar las distribuciones a priori del tratamiento.
Considera el período de calibración del ROI
Puedes considerar usar el argumento roi_calibration_period en ModelSpec si la información de tu distribución a priori solo es pertinente para un período específico. Sin embargo, se recomienda establecer una distribución a priori en el período de modelado completo siempre que sea posible. Para establecer esta distribución a priori, se debe usar toda la información disponible, incluidos los experimentos y el conocimiento del dominio. Para obtener más información, consulta Cómo establecer el período de calibración del ROI.
Comprende los cambios a priori y a posteriori
Comparar los cambios en las distribuciones entre la distribución a priori y la distribución a posteriori puede indicar si el modelo aprende de los datos o si se ve muy influenciado por la distribución a priori que calibraste.
Para obtener más información, consulta los cambios en las distribuciones a priori y a posteriori en las verificaciones de calidad posteriores al modelado de Meridian.