Treten Sie der neuen
Discord-Community bei. Sie können sich dort in Echtzeit austauschen, Unterstützung von anderen Nutzern erhalten und direkt mit dem Meridian-Team interagieren.
Holdout-Beobachtungen (Trainings- und Testaufteilung)
Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Die Meridian-Modellspezifikation enthält das Argument holdout_id (ein boolesches Array mit Dimensionen \(G \times T\)), mit dem eine Holdout-Stichprobe angegeben werden kann. Die KPI-Daten der Holdout-Beobachtungen werden beim Trainieren des Modells (z. B. bei der MCMC-Posterior-Stichprobenerhebung) ignoriert und haben keinen Einfluss auf die Likelihood des Modells oder die Posterior-Dichte. Media-Daten für die Holdout-Beobachtungen fließen weiterhin in das Modelltraining ein, da sie sich auf die Adstock-Werte für Media für nachfolgende Zeiträume auswirken.
Die Holdout-Stichprobe wird hauptsächlich zur Berechnung der Güte der Modellanpassung außerhalb des Trainingsdatensatzes verwendet, wie zum Beispiel R-Quadrat. Das ist nützlich, um verschiedene Modellspezifikationen zu vergleichen, z. B. die Stärken der Prior-Verteilung. Dazu muss aber für jedes Modell dieselbe Holdout-Stichprobe verwendet werden. Es gibt keine Garantie dafür, dass das Modell mit der besten Anpassung außerhalb des Trainingsdatensatzes auch das beste Modell für die Kausalanalyse ist. Im Allgemeinen wird jedoch ein besser passendes Modell bevorzugt. Falsche Modellspezifikationen, die zu einer schlechten Modellanpassung führen, können auch Verzerrungen bei Kausalanalysen zur Folge haben.
Wir empfehlen, eine Holdout-Stichprobe zu verwenden, die geografisch und zeitlich möglichst ausgewogen ist. Das ist eine Holdout-Stichprobe mit ungefähr derselben Anzahl von Holdout-Beobachtungen für jede geografische Einheit und ungefähr derselben Anzahl von Holdout-Beobachtungen für jeden Zeitraum. Wenn die Holdout-Stichprobe unausgewogen ist, kann es an Trainingsdaten fehlen, um den geografischen Effekt\(\tau_g\) für bestimmte geografische Einheiten oder den zeitlichen Effekt \(\mu_t\) für bestimmte Zeiträume zu schätzen. In der Standardkonfiguration von Meridian ist keine spezifische Holdout-Stichprobe vorab festgelegt. Sie müssen die Holdout-Stichprobe angeben und dafür sorgen, dass sie ausgewogen ist.
Schließen Sie keine großen, zusammenhängenden Zeitabschnitte der Daten aus, z. B. am Ende des MMM-Zeitraums, um die Vorhersagegenauigkeit des KPI zu bewerten. Meridian ist nicht darauf ausgelegt, Prognosen für KPIs zu erstellen, insbesondere wenn diese starke Trends oder saisonale Muster aufweisen. Stattdessen schätzt Meridian die kausale Wirkung von Media und verwendet den knotenbasierten Ansatz zur Modellierung von Trends und Saisonalität. Für diesen Ansatz sind Daten in der Nähe des Knotens erforderlich, um seinen Wert effektiv schätzen zu können.
Das Entfernen großer zusammenhängender Zeitabschnitte aus den Daten führt dazu, dass es keine Daten in der Nähe der Knotenpunkte im entfernten Zeitraum gibt. Dadurch wird die Schätzung der Knotenpunkte hauptsächlich durch die Prior-Verteilung gesteuert, was zu ungenauen Vorhersagen führt.
Außerdem kann Meridian den Einfluss von Media sowohl in der Vergangenheit als auch in der Zukunft schätzen, da angenommen wird, dass die entsprechenden Modellparameter über die Zeit konstant sind.
Sofern nicht anders angegeben, sind die Inhalte dieser Seite unter der Creative Commons Attribution 4.0 License und Codebeispiele unter der Apache 2.0 License lizenziert. Weitere Informationen finden Sie in den Websiterichtlinien von Google Developers. Java ist eine eingetragene Marke von Oracle und/oder seinen Partnern.
Zuletzt aktualisiert: 2025-08-04 (UTC).
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Benötigte Informationen nicht gefunden","missingTheInformationINeed","thumb-down"],["Zu umständlich/zu viele Schritte","tooComplicatedTooManySteps","thumb-down"],["Nicht mehr aktuell","outOfDate","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Problem mit Beispielen/Code","samplesCodeIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-04 (UTC)."],[[["\u003cp\u003eThe Meridian model's \u003ccode\u003eholdout_id\u003c/code\u003e argument allows you to specify a holdout sample for calculating out-of-sample goodness of fit metrics, like R-squared, to compare different model specifications.\u003c/p\u003e\n"],["\u003cp\u003eWhile media data for holdout observations is used in training, their KPI data is excluded, ensuring the holdout sample doesn't influence model parameters.\u003c/p\u003e\n"],["\u003cp\u003eFor optimal performance, use a balanced holdout sample across geos and time periods to ensure sufficient data for accurate model estimation.\u003c/p\u003e\n"],["\u003cp\u003eAvoid holding out large, continuous time chunks as Meridian focuses on causal impact estimation, not KPI forecasting, and requires data near knots for effective trend and seasonality modeling.\u003c/p\u003e\n"],["\u003cp\u003eMeridian can be used to estimate the impact of both past and future media due to its assumption of consistent media impact parameters over time.\u003c/p\u003e\n"]]],["The `holdout_id` in the Meridian model defines a holdout sample, where KPI data is excluded from model training but media data is still used. This holdout is used to calculate out-of-sample fit metrics. It is recommended the holdout sample be balanced across geos and time periods. Avoid holding out large contiguous time blocks as this can negatively impact the estimation of knots, affecting model forecasting ability. Meridian can estimate the impact of both past and future media.\n"],null,["# Holdout observations (train and test split)\n\nThe Meridian model specification contains a `holdout_id` argument (a\nboolean array of dimensions \\\\(G \\\\times T\\\\)) that can be used to specify a\nholdout sample. The KPI data of the holdout observations is ignored during model\ntraining (for example, MCMC posterior sampling), and does not affect the model\nlikelihood or posterior density. Media data for the holdout observations is\nstill used for model training, because it affects the adstocked media values for\nsubsequent time periods.\n\nThe primary use of the holdout sample is for calculating out-of-sample goodness\nof fit metrics, such as R-squared. This is useful for comparing different model\nspecifications, such as prior distribution strengths, provided that each model\nbeing compared uses the same holdout sample. There is no guarantee that the\nmodel with the best out-of-sample model fit is the best model for causal\ninference, but generally a better fitting model is preferred. Model\nmisspecifications that lead to poor model fit can also cause bias in causal\ninference.\n\nWe recommend using a holdout sample that is fairly balanced across geos and time\nperiods. In other words, use a holdout sample that has approximately the same\nnumber of holdout observations for each geo and approximately the same number of\nholdout observations for each time period. If the holdout sample is imbalanced,\nthis can result in too few training observations to estimate the geo effect\n\\\\(\\\\tau_g\\\\) for certain geos, or the time effect \\\\(\\\\mu_t\\\\) for certain time\nperiods. By default, Meridian does not specify a holdout sample. You\nmust specify the holdout sample and ensure that it has a reasonable degree of\nbalance.\n\nAvoid holding out large, contiguous-in-time, chunks of data, such as at the end\nof the MMM time window, to assess forecast error in the KPI. Meridian\nisn't designed for forecasting the KPI, especially if there is strong trend and\nseasonality in the KPI. Instead, Meridian estimates the causal media\nimpact and uses the knot-based approach to modeling trend and seasonality. The\nknot-based approach needs data near the knot to estimate the knot effectively.\nIf large, contiguous-in-time, chunks of data are held out, there is no data near\nthe knots within the held out period. In this case, the knot's posterior\ndistribution is driven by the prior, which can result in poor forecasting.\n\nAdditionally, Meridian can be used to estimate the impact of both\nhistorical and future media because it assumes that model parameters which\ndetermine media impact are consistent over time."]]
