Wat een A/B-test is
Je wilt weten of een andere kop, een korter formulier of een andere knop meer aanvragen oplevert. Bij een A/B-test laat je de ene helft van je bezoekers versie A zien en de andere helft versie B, tegelijk. Omdat beide groepen in dezelfde periode komen, met hetzelfde weer, dezelfde advertenties en dezelfde seizoensinvloeden, weet je dat een verschil door de wijziging komt en niet door iets anders.
Het is een sterke methode, maar hij heeft een prijs: je hebt genoeg bezoekers nodig om toeval uit te sluiten.
Hoeveel bezoekers je nodig hebt
Hoeveel bezoekers je nodig hebt, hangt af van drie dingen: je huidige conversie, het verschil dat je wilt kunnen meten en hoe zeker je wilt zijn. Gebruikelijk is 95 procent betrouwbaarheid, met 80 procent kans dat je een echt verschil ook vindt. We rekenden met die standaardwaarden een paar voorbeelden door, per variant:
- van 2 naar 2,4 procent conversie: ruim 21.000 bezoekers;
- van 2 naar 3 procent: ongeveer 3.800 bezoekers;
- van 3 naar 6 procent: ongeveer 750 bezoekers.
Je ziet het patroon: hoe kleiner het verschil, hoe meer bezoekers. Een site met 2.000 bezoekers per maand doet over het eerste voorbeeld bijna twee jaar. Het laatste voorbeeld kan in een paar weken, maar dat is dan ook een verdubbeling.
Zelf uitrekenen
Je hoeft dit niet met de hand te doen. Zoek op "sample size calculator A/B-test" en je vindt gratis rekenhulpen. Vul je huidige conversie in, het verschil dat je wilt kunnen meten, en laat de betrouwbaarheid op 95 procent staan. Je huidige conversie haal je uit je statistieken: het aantal aanvragen, afspraken of bestellingen gedeeld door het aantal bezoekers in dezelfde periode. Deel het aantal bezoekers dat je per variant nodig hebt door je bezoekers per maand, en je weet hoe lang de test duurt. Komt daar meer dan een paar maanden uit, dan is een A/B-test voor die vraag niet de goede aanpak.
Waarom kleine tests op kleine sites misgaan
Te vroeg stoppen
Wie elke dag kijkt en stopt zodra versie B voorligt, vindt vaak een winnaar die er geen is. In de beginperiode schommelen de cijfers sterk. Leg daarom vooraf vast hoeveel bezoekers de test krijgt, en kijk pas daarna.
Te kleine wijzigingen
Een andere knopkleur of een iets andere kop levert zelden een groot verschil op. Op een kleine site is zo'n verschil niet te meten. Test daarom alleen wijzigingen waarvan je een groot effect verwacht.
Andere dingen veranderen tussendoor
Verander je tijdens de test ook iets anders, zoals een advertentiecampagne of je openingstijden, dan weet je niet meer wat het verschil veroorzaakt.
Wat een kleine site beter kan doen
Meekijken met bezoekers
Vraag een paar mensen die je site niet kennen om een taak uit te voeren, zoals een afspraak plannen of een prijs opzoeken, terwijl je meekijkt zonder te helpen. Waar ze twijfelen of vastlopen, zitten je grootste problemen. Vijf mensen laten vaak al zien wat er moet gebeuren.
Heatmaps en het terugkijken van bezoeken
Met een gratis dienst als Microsoft Clarity zie je waar bezoekers klikken, hoe ver ze scrollen en waar ze afhaken. Je kunt bezoeken ook terugkijken. Zo vind je problemen die je zelf niet ziet, zoals een knop waar mensen op tikken die geen link is. Let wel op de AVG: vermeld het in je privacyverklaring, en kijk of je toestemming nodig hebt.
De duidelijkste verbeteringen doorvoeren
Een formulier van negen velden terugbrengen naar vier, je telefoonnummer bovenaan zetten, de prijs duidelijk maken, een trage pagina sneller maken: voor zulke verbeteringen heb je geen test nodig. Voer ze door en kijk in je statistieken of het aantal aanvragen stijgt. Vergelijk dezelfde periode, zodat seizoen of vakantie het beeld niet vertekent.
Wanneer A/B-testen wel zin heeft
- je hebt genoeg bezoekers voor het verschil dat je wilt meten, zie de voorbeelden hierboven;
- de basis is in orde: de site is snel, duidelijk en werkt op de telefoon;
- je hebt een duidelijke verwachting, zoals "een korter formulier levert meer aanvragen op omdat bezoekers nu afhaken bij veld vijf".
Webshops met veel bezoekers zijn het meest geschikt. Daar kun je bijvoorbeeld de opbouw van een productpagina of de stappen in de checkout testen.
Hoe je een test opzet
Schrijf vooraf op wat je verandert, waarom, wat je meet en hoeveel bezoekers de test krijgt. Meet een uitkomst die ertoe doet: aanvragen, afspraken of verkopen, niet klikken op een knop. Laat de test minstens een of twee volle weken lopen, zodat elke dag van de week meetelt, en stop pas als het vooraf bepaalde aantal bereikt is. Leg de uitkomst vast, ook als er geen verschil is: dat is ook een antwoord.
Gereedschap
Voor heatmaps en het terugkijken van bezoeken is Microsoft Clarity gratis. Voor echte A/B-tests zijn er betaalde diensten, en sommige webshopsystemen hebben het ingebouwd. Google Optimize, dat veel werd gebruikt, bestaat sinds september 2023 niet meer. Voor een kleine bedrijfssite heb je meestal niet meer nodig dan statistieken, een heatmap en een paar mensen die meekijken.
Hoe DesignCheck het doet
Bij elke site letten we op de dingen die het meest opleveren zonder test: een duidelijke boodschap bovenaan, een telefoonnummer en afspraakknop binnen bereik, korte formulieren en een snelle site op de telefoon. In het Premium-pakket (€2.495 excl. btw) sturen we een maand na livegang bij op wat bezoekers echt doen. Een nieuwe site kost €945, €1.495 of €2.495 excl. btw, met daarna software vanaf €79 per maand excl. btw.
Over de schrijver. Lorenzo Ruisi is medeoprichter van DesignCheck in Mijdrecht en doet de verkoop en de strategie: wat er op een site komt en hoe die een bezoeker naar een afspraak of aankoop leidt.