Observações de validação (divisão de treinamento e teste)

A especificação do modelo do Meridian contém um argumento holdout (um HoldoutSpec) que pode ser usado para especificar uma amostra de validação. Os dados de KPI das observações de validação são ignorados durante o treinamento de modelo (por exemplo, amostragem de distribuição a posteriori de MCMC) e não afetam a probabilidade ou a densidade a posteriori do modelo. Os dados de mídia dessas observações de validação ainda são usados para o treinamento de modelo porque afetam os valores de mídia de Adstock de períodos subsequentes.

Há três tipos de formas para um HoldoutSpec:

• Um RandomHoldoutSpec retém o mesmo número de períodos escolhidos aleatoriamente em cada região geográfica.
• Uma sequência de DateRange retém as mesmas datas em todas as regiões.
• Uma sequência de GeoHoldoutSpec retém as datas informadas em regiões geográficas específicas.

A diferença entre as formas é quem extrai a amostra de validação. Um RandomHoldoutSpec solicita ao Meridian uma extração aleatória. Com as outras duas formas, você mesmo faz a extração e expressa o resultado em datas ou em regiões e datas que devem ser excluídas. O Meridian retém essas observações.

Para ver exemplos, consulte Usar uma divisão de dados de treinamento e teste.

O uso principal da amostra de retenção é para calcular métricas de qualidade do ajuste fora da amostra, como R ao quadrado. Isso é útil para comparar diferentes especificações de modelos, como as vantagens da distribuição a priori, contanto que todos os modelos comparados usem a mesma amostra de validação. Não há garantia de que o modelo com o melhor ajuste fora da amostra seja o melhor para inferência causal, mas, geralmente, um modelo com melhor adequação é preferível. Especificações incorretas do modelo que levam a um ajuste ruim também podem causar viés na inferência causal.

Recomendamos usar uma amostra de validação que seja bastante equilibrada entre as regiões geográficas e os períodos. Em outras palavras, use uma amostra de validação que tenha aproximadamente o mesmo número de observações de validação para cada região geográfica e aproximadamente o mesmo número de observações de validação para cada período. Amostras desequilibradas podem resultar em observações de treinamento insuficientes para estimar o efeito geográfico\(\tau_g\) de determinadas regiões ou o efeito temporal \(\mu_t\) de certos períodos. Por padrão, o Meridian não especifica uma amostra de validação. Você precisa especificá-la e garantir que ela tenha um grau razoável de equilíbrio.

Evite reter grandes blocos de dados contíguos no tempo, como no fim da janela temporal da MMM, para avaliar o erro de previsão no KPI. O Meridian não foi projetado para prever o KPI, especialmente se ele tiver tendência e sazonalidade fortes. O Meridian estima o impacto da média causal e usa a abordagem baseada em nós para modelar tendências e sazonalidade. Essa abordagem precisa de dados próximos do nó para fazer uma estimativa eficaz. Se grandes blocos de dados contíguos no tempo forem retidos, não haverá dados próximos dos nós no período de validação. Nesse caso, a distribuição a posteriori do nó será impulsionada pela distribuição a priori, resultando em uma estimativa ruim.

Além disso, o Meridian pode ser usado para estimar o impacto da mídia histórica e futura porque supõe que os parâmetros do modelo que determinam o impacto da mídia são consistentes ao longo do tempo.