Deze pagina staat er zodat je onze cijfers kan natrekken zonder ons iets te vragen. Elke parameter hieronder komt rechtstreeks uit de rekenkern: wijzigt die, dan wijzigt deze tabel mee.
Publiek wordt gesplitst in een testgroep en een controlegroep. Conversies behandelen we als tellingen. De logaritme van de verhouding tussen beide groepen heeft bij benadering een variantie die omgekeerd evenredig is met het aantal conversies, het aantal weken en het product van het holdoutaandeel met zijn complement.
Daaruit volgt het aantal meetweken dat je nodig hebt om een gegeven effect te onderscheiden van toeval. En omgekeerd, wat vaak nuttiger is: bij een gegeven aantal weken volgt daaruit het kleinste effect dat je nog kan aantonen.
We rekenen niet met zuivere Poisson-ruis. Echte weekcijfers schommelen meer dan dat, door seizoen, promo, voorraad en concurrentiedruk. Daarom vermenigvuldigen we de variantie met een factor die afhangt van je businessmodel: hoe verder de conversie van de mediablootstelling af staat, hoe hoger die factor.
Bovenop de meetweken komt een maturatieperiode. Bij een lange verkoopcyclus horen de conversies van vandaag bij media van maanden geleden, en die vertraging moet in het venster passen.
W is het aantal weken dat je moet meten om een relatieve lift delta te kunnen onderscheiden van toeval. C is het aantal conversies per week over je hele populatie, h het aandeel dat je achterhoudt, phi de variantiefactor van je businessmodel, en z_alpha en z_beta volgen uit je zekerheid en je onderscheidingsvermogen.
Dit is de vorm die het gesprek met finance verandert. Niet "hoe lang duurt het om vijf procent aan te tonen", maar "wat kan ik binnen mijn eigen beslissingsritme uberhaupt zien".
Binnen een beslissingscadans blijft er meetruimte over nadat de maturatie eraf is. Is de maturatie langer dan de cadans, dan is er binnen een cyclus geen venster en rekenen we over een volledig jaar. Dat is de scherpste bevinding die deze tool oplevert: wie afgerekend wordt op een termijn die korter is dan zijn eigen verkoopcyclus, meet systematisch de effecten van een periode die hij niet meer kan bijsturen.
Ze staan hieronder zoals ze in de rekenkern staan, niet overgeschreven. Wie een waarde wil betwisten, weet dus precies welke.
| Keuze | Waarde |
|---|---|
| Webshop of DTC | 1,6 |
| Abonnement of SaaS | 1,8 |
| Leadgeneratie B2C | 2,0 |
| Non-profit of overheid | 2,2 |
| Leadgeneratie B2B | 2,6 |
| Retail met winkels | 2,8 |
Hoe verder de conversie van de mediablootstelling af staat, hoe sterker je weekcijfers schommelen om redenen die niets met media te maken hebben. Dit is een ingeschatte parameter en geen gemeten waarde; het is het eerste getal dat we ijken zodra er genoeg berekeningen binnen zijn.
| Keuze | Waarde |
|---|---|
| Minder dan een week | 1 |
| 1 tot 4 weken | 2 |
| 1 tot 3 maanden | 6 |
| Meer dan 3 maanden | 13 |
| Keuze | Waarde |
|---|---|
| Onder 250k | € 150.000 |
| 250k tot 750k | € 500.000 |
| 750k tot 2M | € 1.350.000 |
| 2M tot 5M | € 3.500.000 |
| Boven 5M | € 7.000.000 |
| Keuze | Waarde |
|---|---|
| Minder dan 6 maanden | 20 |
| 6 tot 12 maanden | 40 |
| 1 tot 2 jaar | 78 |
| Meer dan 2 jaar | 130 |
| Keuze | Waarde |
|---|---|
| 1 tot 3 | 2 |
| 4 tot 6 | 5 |
| 7 tot 10 | 8 |
| Meer dan 10 | 13 |
| Keuze | Waarde |
|---|---|
| Wekelijks | 4 |
| Maandelijks | 8 |
| Per kwartaal | 13 |
| Jaarlijks | 39 |
Een model met k kanalen vraagt ongeveer 3k + 8 parameters: adstock, verzadiging en een coefficient per kanaal, plus een basis. Wij toetsen op het aantal weekobservaties per parameter. Onder de drie is het model niet identificeerbaar, tussen drie en vijf kan het alleen Bayesiaans met sterke priors uit experimenten, en vanaf vijf is het verdedigbaar. Niet het budget is de bindende voorwaarde maar de historiek.
Twee antwoorden geven altijd niet haalbaar, ongeacht volume. Volledig nationale inkoop, want dan bestaat er geen controlegebied: dat is een inkoopprobleem en geen statistisch probleem. En de taalgrens, want Vlaanderen en Wallonie verschillen structureel in mediaconsumptie, concurrentiedruk en koopkracht, dus het verschil dat je meet is niet je campagne. Dit is opzettelijk hard, en het is de plek waar deze tool zich onderscheidt van een internationale rekenhulp.
Een cijfer op honderd zou suggereren dat meetbaarheid een rapport is. Het is een keuze met een prijs.
Bureau-inspanning drukken we uit in PAR, niet in euro per dag. Dat is een bewuste beperking.
We zeggen wat haalbaar is, niet wat werkt. Dat tweede vraagt jouw data.
Niet het budget is het probleem, maar het aantal observaties. Wekelijkse data over twee jaar geeft ongeveer honderd datapunten. Met acht kanalen en adstock-, verzadigings- en coefficientparameters per kanaal zit je al aan meer dan dertig parameters. Onder de vijf observaties per parameter is het model niet identificeerbaar en produceert het schattingen die volledig door de priors bepaald worden.
Vlaanderen en Wallonie verschillen structureel in mediaconsumptie, concurrentiedruk, koopkrachtverdeling en seizoenspatroon. Het verschil dat je tussen beide meet, is dus niet toe te schrijven aan je campagne. Een geldig geo-experiment werkt met gepaarde gebieden binnen dezelfde taalregio.
Het aantal meetweken volgt uit W = phi maal de som van z-alpha en z-beta in het kwadraat, gedeeld door het product van conversies per week, holdoutaandeel maal het complement daarvan, en het kwadraat van de natuurlijke logaritme van een plus de lift. Bij duizend conversies per week, een holdout van tien procent en een te detecteren lift van vijf procent kom je in het gunstigste geval op zevenendertig weken.
Een pagina die marketing en finance samen ondertekenen voor het budgetjaar begint. Ze legt vast wat gemeten wordt, met welke betrouwbaarheid, wat uitdrukkelijk niet gemeten wordt, welke beslissing op welk niveau van bewijs rust, en hoe vaak er herzien wordt. Ze verplaatst de discussie over bewijslast naar voren, waar ze nog te voeren is.