Priors für Testvariablen kalibrieren

Bei der Kalibrierung werden Testergebnisse und anderes Fachwissen verwendet, um channelspezifische Priors in Meridian festzulegen.

Die Standard-Priors von Meridian sind mäßig informativ. Die Daten können verrauscht sein. Daher ist es oft sinnvoll, Priors für Testvariablen zu kalibrieren, um das Modell mit realem Fachwissen zu leiten – etwa auf Basis belastbarer Tests oder fundierter Erwartungen.

Betrachten Sie einen kalibrierten Prior als „Leitplanke“. Es kann verlockend sein, schwache oder gar keine Leitplanken (in Form nicht informativer Priors) zu verwenden, doch das kann riskant sein und zu schlechten Modellergebnissen führen. Weitere Informationen finden Sie unter Nicht informative Priors und Regularisierung.

Ohne ausreichend starken Prior kann das Modell z. B. einem Channel mit geringem Budget einen unverhältnismäßig hohen Umsatz zuschreiben. Die Kalibrierung von Priors hilft, die Schätzungen auf einen realistischen Bereich zu begrenzen.

Annahmen zu Priors formulieren

Die Kalibrierung von Priors ist keine präzise Berechnung, sondern eine Kombination aus Daten, Fachwissen und subjektiver Einschätzung.

Nachdem Sie den Messwert ausgewählt haben, können Sie mit der Kalibrierung fortfahren. Beachten Sie beim Kalibrieren folgende Hinweise.

Inkrementalitätstests verwenden

Inkrementalitätstests bieten oft die beste Grundlage für Ihre Annahmen. Die Ableitung von Priors aus den Ergebnissen ist jedoch keine exakte Formel.

Vom Test zum Prior

Es gibt keine bestimmte Formel, um ein Testergebnis in einen Prior zu übersetzen. Vorwissen im bayesschen Sinne ist weiter gefasst und muss keiner schematischen Berechnung folgen. Statt sich starr auf einen einzelnen Test zu stützen, können Sie mehrere Evidenzen – etwa Ergebnisse aus mehreren Tests oder anderes Fachwissen – und deren Unsicherheiten in einer gemeinsamen Prior-Verteilung bündeln.

Außerdem haben Tests und MMMs oft unterschiedliche Schätzgrößen und Messziele. Das bedeutet, dass der ROI unterschiedlich definiert wird. Tests beziehen sich auf die spezifischen Bedingungen des Tests, z. B. den Zeitraum, die geografischen Einheiten und die Kampagneneinstellungen. Tests liefern zwar sehr relevante Informationen, ihre Übertragung in einen MMM-Prior ist jedoch mit einer zusätzlichen Unsicherheit verbunden, die über den reinen Standardfehler des Tests hinausgeht.

Diesen Workflow optimiert Meridian mit dem CalibrationBuilder, der Tests zur Steigerung der Conversions automatisch in kalibrierte ROI-Priors überführt und eine direkte Integration für Meridian GeoX umfasst. Weitere Informationen zum Abstimmen von Priors aus früheren Tests und zum Berücksichtigen von Unterschieden bei Ausgaben, Recency und Dauer finden Sie unter Benutzerdefinierte ROI-Priors anhand früherer Tests festlegen.

Überlegungen zur Relevanz

Wenn Sie frühere Tests verwenden, sollten Sie deren Relevanz sorgfältig prüfen. Bevor Sie Testergebnisse zum Festlegen von Priors heranziehen, stellen Sie sich folgende Fragen:

  • Aktualität: Wurde der Test vor, während oder nach dem Zeitraum durchgeführt, den Ihre MMM-Daten abdecken? Ergebnisse aus einem anderen Zeitraum sind möglicherweise nicht direkt übertragbar.
  • Dauer: War der Test lang genug, um langfristige Marketingeffekte zu erfassen? Kurze Tests sind dafür oft ungeeignet.
  • Detaillierungsgrad der Media-Daten: Wurden die Media-Daten mit demselben Detaillierungsgrad gemessen wie im MMM? Beispiel: Ein Test auf Kampagnenebene wird verwendet, um ein MMM auf Channelebene zu kalibrieren.
  • Unterschiede bei der Zielgruppe: Entspricht die im Test betrachtete Zielgruppe derjenigen im MMM?
  • Komplexität: Wenn der Test mehrere Channels umfasst, liefern die Ergebnisse möglicherweise keine klaren Erkenntnisse zur Leistung einzelner Channels.
  • Unterschiede bei Schätzgrößen: Im MMM wird als kontrafaktisches Szenario von null Ausgaben ausgegangen, während einige Tests den ROI relativ zu einer anderen Baseline definieren, etwa zu reduzierten Ausgaben (ein kontrafaktisches Szenario ungleich null). Bei Tests, mit denen die marginale Steigerung gemessen wird, kommt es zu einer Diskrepanz zwischen dem Schätzziel (Estimand) und dem kontrafaktischen Szenario des MMM mit Ausgaben in Höhe von null.

Automatisierte Kalibrierung mit Meridian GeoX

Die Prior-Kalibrierungsmethode von Meridian und das experimentelle Framework Meridian GeoX helfen, folgende Aspekte zu berücksichtigen:

  • Abstimmungsmethode (CalibrationBuilder): Berücksichtigt automatisch Recency (durch Anpassungen, die ältere Tests ungenauer machen) und Dauer (durch Anpassungen, die Punktschätzungen skalieren und die Ungenauigkeit basierend auf dem Adstock-Verfall (Carryover-Effekt) erhöhen). Außerdem werden Ausgabenanpassungen vorgenommen, um Unterschiede bei der Höhe der Ausgaben und dem Media-Detaillierungsgrad zwischen dem Test und dem modellierten MMM-Channel zu berücksichtigen. Anpassungen für die Komplexität können mithilfe der optionalen Argumente für Nutzeranpassungen vorgenommen werden. Weitere Informationen finden Sie unter Benutzerdefinierte ROI-Priors anhand früherer Tests festlegen.
  • Testaufbau von Meridian GeoX: Unterstützt die geografische Repräsentativität (Unterschiede bei der Population) durch geschichtete Stichproben in verschiedenen geografischen Einheiten, um sicherzustellen, dass die Test- und Kontrollgruppen repräsentativ für die im MMM modellierte breitere geografische Population sind.

Fachwissen und Intuition nutzen

Nutzen Sie, wann immer möglich, Ihr Fachwissen, um Priors zu definieren. Ziel ist es, einen plausiblen Wertebereich für die Performance jedes Marketing-Channels festzulegen. Grundlage dafür ist eine fundierte Einschätzung auf Basis verschiedener Quellen, z. B. Fachwissen, frühere Ergebnisse, Branchen-Benchmarks und Inkrementalitätstests.

Inkrementalitätstests bieten oft die beste Grundlage für Ihre Annahmen. Die Ableitung von Priors aus den Ergebnissen ist jedoch keine exakte Formel. Auch Tests haben ihre Grenzen, und unterschiedliche Tests können zu unterschiedlichen Ergebnissen führen. Ihr ROI-Prior sollte eine Synthese aller verfügbaren Informationen sein.

Wenn Ihre Einschätzung zur Leistung eines Channels unsicher ist, ist es in Ordnung, einen schwachen Prior (mit großer Standardabweichung) zu setzen. Je fundierter Ihre Einschätzung, desto sinnvoller ist es, sie über Priors zu berücksichtigen. So wird Ihr Modell robuster gegenüber Datenrauschen.

In der Praxis haben Sie fast immer ein gewisses Gespür. Sie gehen wahrscheinlich davon aus, dass die Wahrscheinlichkeit eines kausalen ROI von 50 für die meisten Channels eher gering ist. Wenn Ihr Unternehmen im Laufe der Jahre viele Tests durchgeführt hat und für einen bestimmten Channel noch nie einen ROI von mehr als 6 beobachtet wurde, sollte dies in Ihrem Prior berücksichtigt werden, indem ROI-Werten über 6 eine sehr geringe Wahrscheinlichkeit zugewiesen wird. Nutzen Sie alle verfügbaren Informationen, um Ihre Priors festzulegen.

Unabhängig davon, wie Sie Ihre Priors festlegen, empfehlen wir immer, sie zu visualisieren und ihre Perzentile zu untersuchen. Fragen Sie sich, ob die Wahrscheinlichkeiten Ihren Erwartungen entsprechen. Wenn beispielsweise 80 % Ihrer Prior-Wahrscheinlichkeitsverteilung über einem ROI von 1,0 liegen, spiegelt das Ihr Vertrauen in die Rentabilität des Channels wider?

Standardabweichung des Priors anhand des Konfidenzniveaus festlegen

Nutzen Sie die Stärke Ihrer Überzeugung, um die Standardabweichung der Prior-Verteilung zu bestimmen. Wenn Sie von der Effektivität eines Channels überzeugt sind, z. B. aufgrund mehrerer Tests mit ähnlichen ROI-Punktschätzungen oder Ergebnissen aus früheren MMMs, können Sie eine kleinere Standardabweichung für den Prior festlegen, um diese hohe Sicherheit auszudrücken. Sind Sie hingegen unsicher, wie gut sich Testergebnisse auf das MMM übertragen lassen, sollten Sie eine größere Standardabweichung wählen, um diese Unsicherheit widerzuspiegeln. Priors sind keine starren Vorgaben, sondern Ausgangspunkte. Wenn die Daten starke Evidenz liefern, die dem Prior widerspricht, passt das Modell seine Schätzungen entsprechend an. Die Standardabweichung des Priors bestimmt dabei, wie stark Ihre anfängliche Überzeugung im Vergleich zur Evidenz in den Daten gewichtet wird.

Codebeispiele

Die folgenden Beispielen zeigen, wie Sie benutzerdefinierte ROI-Priors in Meridian festlegen.

Beispiel: ROI-Priors anhand von Tests abstimmen

Informationen zum Abstimmen von ROI-Priors anhand von Testergebnissen finden Sie unter Benutzerdefinierte ROI-Priors anhand früherer Tests festlegen.

Beispiel: Lognormalen ROI-Prior definieren

Für einen ROI-Prior wird häufig die logarithmische Normalverteilung (LogNormal-Verteilung) verwendet. Meridian bietet zwei Hilfsfunktionen, mit denen Sie lognormale Verteilungen auf Basis von Vorwissen erstellen können:

So erstellen Sie eine LogNormal-Verteilung aus einem Mittelwert und einer Standardabweichung:

import numpy as np
from meridian.model import prior_distribution

mean = [1.0, 3.0]  # Point estimate
std = [0.3, 2.0]  # Standard deviation

# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(mean, std)
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)

So erstellen Sie eine LogNormal-Verteilung aus einem Bereich:

import numpy as np
from meridian.model import prior_distribution

low = [0.1, 0.5]  # Range lower bound
high = [2.0, 10.0]  # Range upper bound
mass_percent = 0.95  # Probability mass

# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_range(
  low, high, mass_percent=mass_percent
  )
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)

Es wird dringend empfohlen, benutzerdefinierte Priors, insbesondere ROI-Priors, darzustellen und zu visualisieren. So können Sie prüfen, ob der benutzerdefinierte Prior Ihren Erwartungen entspricht.

from matplotlib import pyplot as plt
from meridian.model import prior_distribution
import numpy as np

# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(2.0, 0.5)
# Plot a histogram of samples from the LogNormal distribution
plt.hist(lognormal_dist.sample(1000))

Priors visualisieren, um zu prüfen, ob sie den Erwartungen entsprechen

Es wird empfohlen, benutzerdefinierte Priors, insbesondere ROI-Priors, zu visualisieren. So können Sie vor der Analyse prüfen, ob der benutzerdefinierte Prior Ihren Erwartungen entspricht.

Weitere Überlegungen zur Kalibrierung von Priors für Testvariablen

Dieser Abschnitt enthält zusätzliche Überlegungen zur Kalibrierung von Priors für Testvariablen.

Zeitraum für die ROI-Kalibrierung berücksichtigen

Sie können das roi_calibration_period-Argument in ModelSpec verwenden, wenn Ihre Prior-Informationen nur für einen bestimmten Zeitraum relevant sind. Wenn möglich, wird jedoch empfohlen, den Prior für das gesamte Modellierungszeitfenster festzulegen. Dabei sollten alle verfügbaren Informationen, einschließlich Tests und Fachwissen, berücksichtigt werden. Weitere Informationen finden Sie unter Zeitraum für ROI-Kalibrierung festlegen.

Prior-Posterior-Verschiebungen verstehen

Der Vergleich der Verteilungen von Prior und Posterior zeigt, ob das Modell aus den Daten lernt oder stark durch den kalibrierten Prior beeinflusst wird.

Weitere Informationen finden Sie auf der Seite Modellintegritätsprüfungen unter „Prior-Posterior-Verschiebungen für den ROI“.

Zurück
Wenn der KPI nicht Umsatz ist
Weiter
Benutzerdefinierte ROI-Priors anhand früherer Tests festlegen