Méthode

Comment nous calculons.

Cette page existe pour que vous puissiez vérifier nos chiffres sans rien nous demander. Chaque paramètre ci-dessous provient directement du moteur de calcul : s'il y change, ce tableau change avec lui.

L'audience est divisée en un groupe test et un groupe témoin. Nous traitons les conversions comme des comptages. Le logarithme du rapport entre les deux groupes a approximativement une variance inversement proportionnelle au nombre de conversions, au nombre de semaines, et au produit de la part témoin par son complément.

Il en découle le nombre de semaines de mesure nécessaires pour distinguer un effet donné du hasard. Et inversement, ce qui est souvent plus utile : pour un nombre de semaines donné, il en découle le plus petit effet que vous pouvez encore démontrer.

Nous ne calculons pas avec un bruit de Poisson pur. Les chiffres hebdomadaires réels varient davantage, sous l'effet de la saison, des promotions, des stocks et de la pression concurrentielle. Nous multiplions donc la variance par un facteur qui dépend de votre modèle économique : plus la conversion est éloignée de l'exposition média, plus ce facteur est élevé.

Aux semaines de mesure s'ajoute une période de maturation. Avec un cycle de vente long, les conversions d'aujourd'hui relèvent de média diffusés il y a des mois, et ce décalage doit tenir dans la fenêtre.

Les formules

Le nombre de semaines de mesure

Var(ln(1 + delta)) = phi / (C · W · h · (1 - h))
W = phi · (z_alpha + z_beta)² / (C · h · (1 - h) · ln(1 + delta)²)

W est le nombre de semaines nécessaires pour distinguer une hausse relative delta du hasard. C est le nombre de conversions par semaine sur l'ensemble de votre population, h la part que vous retenez, phi le facteur de variance de votre modèle d'affaires, et z_alpha et z_beta découlent de votre niveau de certitude et de votre puissance.

L'inversion : la hausse minimale démontrable

delta_min = exp( √( phi · (z_alpha + z_beta)² / (C · h · (1 - h) · W) ) ) - 1

C'est la forme qui change la conversation avec la direction financière. Non pas « combien de temps faut-il pour démontrer cinq pour cent », mais « que puis-je voir dans mon propre rythme de décision ».

La fenêtre de mesure, et quand il n'y en a pas

Dans une cadence de décision, il reste de la place pour mesurer une fois la maturation déduite. Si la maturation dépasse la cadence, il n'y a pas de fenêtre à l'intérieur d'un cycle et nous calculons sur une année complète. C'est le constat le plus tranchant que cet outil produit : celui qui est jugé sur un délai plus court que son propre cycle de vente mesure systématiquement les effets d'une période qu'il ne peut plus corriger.

Les tableaux de paramètres

Ils figurent ci-dessous tels qu'ils sont dans le moteur de calcul, sans recopie. Qui veut contester une valeur sait donc exactement laquelle.

Facteur de variance par modèle d'affaires

ChoixValeur
Boutique en ligne ou DTC1,6
Abonnement ou SaaS1,8
Génération de leads B2C2,0
Non-marchand ou secteur public2,2
Génération de leads B2B2,6
Retail avec points de vente2,8

Plus la conversion est éloignée de l'exposition média, plus vos chiffres hebdomadaires fluctuent pour des raisons sans rapport avec les médias. Il s'agit d'un paramètre estimé et non d'une valeur mesurée ; c'est le premier chiffre que nous calibrerons dès qu'il y aura assez de calculs.

Semaines de maturation par cycle de vente

ChoixValeur
Moins d'une semaine1
1 à 4 semaines2
1 à 3 mois6
Plus de 3 mois13

Point médian de la tranche budgétaire, en euros par an

ChoixValeur
Moins de 250k€ 150.000
250k à 750k€ 500.000
750k à 2M€ 1.350.000
2M à 5M€ 3.500.000
Plus de 5M€ 7.000.000

Observations hebdomadaires utilisables par tranche d'historique

ChoixValeur
Moins de 6 mois20
6 à 12 mois40
1 à 2 ans78
Plus de 2 ans130

Nombre représentatif de canaux par tranche

ChoixValeur
1 à 32
4 à 65
7 à 108
Plus de 1013

Semaines de mesure disponibles dans une cadence de décision

ChoixValeur
Chaque semaine4
Chaque mois8
Chaque trimestre13
Chaque année39

Le critère pour le marketing mix modelling

Un modèle à k canaux demande environ 3k + 8 paramètres : adstock, saturation et un coefficient par canal, plus une base. Nous testons le nombre d'observations hebdomadaires par paramètre. Sous trois, le modèle n'est pas identifiable ; entre trois et cinq, il n'est possible qu'en bayésien avec des priors solides issus d'expériences ; à partir de cinq, il est défendable. Ce n'est pas le budget qui est contraignant mais l'historique.

Les règles géo belges

Deux réponses donnent toujours « non atteignable », quel que soit le volume. L'achat entièrement national, car il n'existe alors aucune zone de contrôle : c'est un problème d'achat et non de statistique. Et la frontière linguistique, car la Flandre et la Wallonie diffèrent structurellement en consommation média, en pression concurrentielle et en pouvoir d'achat, donc l'écart que vous mesurez n'est pas votre campagne. C'est délibérément tranché, et c'est là que cet outil se distingue d'un calculateur international.

Ce que cet instrument ne fait pas

Pas de score

Une note sur cent laisserait entendre que la mesurabilité est un bulletin. C'est un choix assorti d'un prix.

Pas de tarifs

Nous exprimons l'effort agence en PAR, pas en euros par jour. C'est une limitation délibérée.

Pas de modèle de vos canaux

Nous disons ce qui est atteignable, pas ce qui fonctionne. Ce second point exige vos données.

Questions fréquentes

Pourquoi le marketing mix modelling ne fonctionne-t-il pas avec un budget de 500.000 euros ?

Le problème n'est pas le budget mais le nombre d'observations. Des données hebdomadaires sur deux ans donnent une centaine de points. Avec huit canaux et des paramètres d'adstock, de saturation et de coefficient par canal, vous dépassez déjà les trente paramètres. En dessous de cinq observations par paramètre, le modèle n'est pas identifiable et produit des estimations entièrement déterminées par les priors.

Pourquoi la frontière linguistique n'est-elle pas une division de test valable en Belgique ?

La Flandre et la Wallonie diffèrent structurellement en consommation média, pression concurrentielle, répartition du pouvoir d'achat et saisonnalité. L'écart mesuré entre les deux n'est donc pas attribuable à votre campagne. Une expérience géographique valable travaille avec des zones appariées à l'intérieur d'une même région linguistique.

Combien de temps doit durer un test avec groupe témoin ?

Le nombre de semaines de mesure découle de W = phi multiplié par le carré de la somme de z-alpha et z-bêta, divisé par le produit des conversions hebdomadaires, de la part témoin multipliée par son complément, et du carré du logarithme naturel de un plus l'effet. Avec mille conversions par semaine, une part témoin de dix pour cent et un effet à détecter de cinq pour cent, vous arrivez dans le meilleur des cas à trente-sept semaines.

Qu'est-ce qu'une convention de preuve ?

Une page que le marketing et la finance signent ensemble avant le début de l'exercice budgétaire. Elle fixe ce qui est mesuré, avec quelle fiabilité, ce qui n'est explicitement pas mesuré, quelle décision repose sur quel niveau de preuve, et à quelle fréquence tout cela est revu. Elle déplace la discussion sur la charge de la preuve vers l'amont, là où elle peut encore se négocier.

Retour à PROOF