Observations de validation (répartition entre entraînement et test)

La spécification du modèle Meridian contient un argument holdout_id (un tableau booléen de dimensions \(G \times T\)) qui peut être utilisé pour spécifier un échantillon de validation. Les données de KPI des observations de validation sont ignorées lors de l'entraînement du modèle (par exemple, échantillonnage a posteriori MCMC) et n'ont aucune incidence sur la densité a posteriori ou la probabilité du modèle. Les données média des observations de validation sont toujours utilisées pour l'entraînement du modèle, car elles affectent les valeurs média de l'inventaire publicitaire pour les périodes suivantes.

L'échantillon de validation est principalement utilisé pour calculer la qualité hors échantillon des métriques d'ajustement, telles que le coefficient de détermination. Cela est utile pour comparer différentes spécifications de modèle, telles que les avantages d'une distribution a priori, à condition que chaque modèle comparé utilise le même échantillon de validation. Rien ne garantit que le modèle ayant le meilleur ajustement hors échantillon soit le meilleur modèle pour l'inférence causale, mais en général, un modèle mieux ajusté est préférable. Les spécifications de modèle incorrectes qui entraînent un mauvais ajustement du modèle peuvent également entraîner un biais dans l'inférence causale.

Nous vous recommandons d'utiliser un échantillon de validation qui soit assez équilibré en termes de zones géographiques et de périodes. En d'autres termes, utilisez un échantillon de validation qui comporte approximativement le même nombre d'observations de validation pour chaque zone géographique et pour chaque période. Si l'échantillon de validation est déséquilibré, il peut en résulter un nombre insuffisant d'observations d'entraînement pour estimer l'effet géographique\(\tau_g\) pour certaines zones géographiques ou l'effet temporel \(\mu_t\) pour certaines périodes. Par défaut, Meridian ne spécifie pas d'échantillon de validation. Vous devez spécifier l'échantillon de validation et vous assurer qu'il présente un degré d'équilibre raisonnable.

Évitez de réserver de grands segments de données contigus dans le temps, par exemple à la fin de la période MMM, pour évaluer l'erreur de prévision dans le KPI. Meridian n'est pas conçu pour prévoir le KPI, en particulier s'il présente une tendance et une saisonnalité fortes. Meridian estime plutôt l'impact média causal et utilise l'approche basée sur les nœuds pour modéliser les tendances et la saisonnalité. L'approche basée sur les nœuds nécessite des données à proximité du nœud pour estimer efficacement le nœud. Si de grands segments de données contigus sont utilisés pour la validation, il n'y a pas de données à proximité des nœuds pendant la période de validation. Dans ce cas, la distribution a posteriori du nœud est déterminée par le prior, ce qui peut entraîner des prévisions médiocres.

De plus, Meridian peut être utilisé pour estimer l'impact média historique et futur, car il suppose que les paramètres du modèle qui déterminent l'impact média restent cohérents au fil du temps.