Hieronder volgen negen veelgemaakte fouten die het succes van A/B-testen kunnen verpesten . Het is makkelijker om het juiste te doen als je weet wat je niet moet doen. Lees de blog nu!
Waarom test je elke wijziging voordat je deze op je website implementeert? Je weet dat dit belangrijk is als je de gebruikerservaring wilt verbeteren. Bovendien wil je geen geld verliezen. A/B-testen zijn een gouden standaard in websiteonderhoud – je kunt ze zelfs toepassen op displayadvertenties om je advertentie-inkomsten te verhogen.
Het enige probleem is dat ze niet altijd precieze resultaten opleveren . Dat betekent niet dat we A/B-testen maar moeten laten varen en terug moeten vallen op de ouderwetse methoden, zoals intuïtie of gewoon doen wat iedereen doet. A/B-testen zijn nuttig en belangrijk; je moet alleen de fouten vermijden die daarbij gemaakt worden.
Laten we 9 veelgemaakte fouten doornemen die het succes van A/B-testen kunnen verpesten. Als je weet wat je niet moet doen, is het makkelijker om het juiste te doen.
1. A/B-testen te vroeg in het proces stoppen
Dit is het perfecte recept voor het verkrijgen van statistisch onbeduidende resultaten. We hebben het allemaal meegemaakt: we hebben de A/B-test drie dagen lang uitgevoerd en beseften dat de ene versie absoluut superieur is aan de andere. Ja, het is mogelijk om een duizelingwekkend verschil tussen de twee versies te zien en te denken dat doorgaan met testen geen zin heeft.
In dit stadium is het belangrijk om te onthouden: stop de test NIET!
Op langere termijn kan de variant die op het eerste gezicht inferieur lijkt, beter uitpakken. Als u te vroeg in het proces stopt met testen, verliest u conversies en raakt het grootste deel van uw publiek gefrustreerd.
Hoe weet je eigenlijk wat de juiste testduur is? Je kunt de tool van VWO gebruiken om het antwoord te krijgen: de A/B Split en Multivariate Test Duur Calculator . Deze tool geeft je een schatting van de juiste duur van A/B-testen op basis van verschillende factoren: de minimale verbetering in conversies die je wilt detecteren, het geschatte huidige conversiepercentage, het gemiddelde aantal dagelijkse bezoekers, het aantal varianten dat je wilt uitvoeren en het percentage bezoekers dat in de test is opgenomen.
2. A/B-tests uitvoeren zonder hypothese
Stel jezelf deze vraag: waarom voer je de A/B-test uit? Is het omdat alle andere marketeers het doen? De aanpak “Ik test gewoon totdat iets werkt” is verkeerd. Je hebt een hypothese nodig. Je moet er bijna zeker van zijn dat iets zal werken, en dan moet je het testen om de definitieve goedkeuring te krijgen voordat je de update implementeert.
Formuleer een hypothese: Het publiek zal versie A beter vinden dan versie B. Test vervolgens of deze hypothese juist of onjuist is. Het doel is om meer te leren over het publiek. De informatie die je verkrijgt via A/B-testen zal je helpen je algemene klanttheorie te verbeteren en betere hypothesen te formuleren voor toekomstige tests.
3. Een mislukte test weggooien
Er is een casestudy die ons een belangrijke les leert. Om de website TruckersReport te verbeteren, voerde het team zes testrondes uit en uiteindelijk kozen ze voor een versie die 79.3% beter was dan de vorige.
Hoewel de variatie van de oude website qua ontwerp veel beter was, versloeg de controle deze bij de eerste test met 13.56%. Uit deze A/B-test blijkt dat u gefaald heeft in de pogingen om het ontwerp van de site een boost te geven. Is het team daar gestopt? Nee. Ze besloten dat er meer tests nodig waren om erachter te komen waarom dat gebeurde. Ze stelden een hypothese op voor het potentiële probleem en voegden meer veranderingen in de variatie toe.
Tijdens de tweede test versloeg het origineel de variant met een verschil van 21.7% in de onderste conversies van de trechter. Ze gingen door met testen en uiteindelijk gebruikten ze variant 3, die 79.3% beter presteerde dan de oorspronkelijke landingspagina.
De les die we hieruit kunnen trekken is: één mislukte test betekent niet dat je het proces moet stopzetten en terug moet vallen op het oude, vertrouwde ontwerp. Je blijft testen en uitzoeken waarom de verschillende varianten niet werken, net zo lang tot je er een vindt die wél werkt.
4. Tests uitvoeren met overlappend verkeer
Het is interessant om te zien hoe mensen denken tijd te kunnen besparen door meerdere A/B-tests tegelijkertijd uit te voeren. Ze doen het op de startpagina, de functiespagina, het abonnementsformulier... overal. Je verricht in korte tijd een enorme hoeveelheid werk.
Het grootste probleem bij A/B-testen met overlappend verkeer is de gelijkmatige distributie. Het verkeer moet altijd gelijkmatig worden verdeeld over de versies die u test. Anders zal die extreme werkdruk tot onrealistische resultaten leiden.
De oplossing? Je kunt meerdere A/B-tests tegelijk uitvoeren, maar je moet heel voorzichtig zijn dat je niet misleid wordt door overlappend verkeer. Het beste is om het simpel te houden en, indien mogelijk, één test tegelijk uit te voeren.
5. Niet voortdurend tests uitvoeren
Laten we onszelf herinneren aan de reden waarom we testen: weloverwogen beslissingen nemen, het conversiepercentage verbeteren, meer over de bezoekers leren, hun gebruikerservaring verbeteren en meer geld uit die website halen. Dat is niet iets waar we mee stoppen. Ooit!
Het is een grote fout om niet voortdurend te testen. De online wereld is constant in beweging. Als je de trends niet bijhoudt en stopt met het introduceren van nieuwe trends, verlies je uiteindelijk je publiek aan de concurrentie. Wil je dat voorkomen? Blijf dan altijd testen en optimaliseren!
6. A/B-testen uitvoeren zonder het juiste verkeer of de juiste conversies om te testen
Als u niet over de parameters beschikt die nodig zijn voor een goede A/B-test, krijgt u geen nauwkeurige resultaten. Ook al is versie B beter dan de controleversie, de A/B-test zal dat niet aantonen. Het zou vele maanden van testen vergen om resultaten met statistische significantie te krijgen. Maandenlang dezelfde test doen, betekent dat er middelen worden uitgegeven, of beter gezegd: verspild.
Wanneer de steekproefomvang groot genoeg is om statistische significantie te bereiken, kunt u beginnen met A/B-testen. Tot die tijd kunt u tijd en geld besparen door de promotiecampagne te verbeteren en meer bezoekers te trekken.
7. Parameters wijzigen tijdens het testen
Wanneer u op het punt staat een test te lanceren, moet u zich daarvoor inzetten. De experimentinstellingen, het controle- en variatieontwerp en de testdoelen blijven hetzelfde. U mag geen enkele parameter wijzigen, inclusief verkeerstoewijzingen aan varianten.
Heb je wel eens gehoord van Simpsons paradox ? Een trend die we in verschillende datasets zien, kan verdwijnen wanneer we die datasets combineren. Dat kan gebeuren als je de verkeersverdeling tussen varianten midden in een testfase wijzigt. Deze wijzigingen hebben alleen invloed op nieuwe gebruikers en verstoren de steekproef van terugkerende bezoekers.
Voordat je begint met A/B-testen, moet je een plan hebben. Verander de parameters niet, want dat leidt tot verwarrende en onrealistische resultaten.
8. Tests uitvoeren met te veel variaties
U krijgt misschien de indruk dat hoe meer variaties u moet testen, hoe meer inzichten u krijgt. Te veel variaties zullen de zaken echter vertragen. Bovendien vergroten ze uw kansen om een vals-positief resultaat te krijgen en uiteindelijk een variant te gebruiken die niet de echte winnaar is.
Optimizely , VWO en andere A/B-testtools houden rekening met het probleem van meervoudige vergelijkingen en passen het percentage valse positieven aan om ervoor te zorgen dat je realistische resultaten krijgt. Dat betekent echter nog steeds niet dat het testen van zoveel mogelijk varianten de juiste aanpak is. Deze praktijk leidt meestal tot een verschil dat statistisch gezien niet significant is.
9. Geen rekening houden met validiteitsbedreigingen
Dus je doet de test en je krijgt de gegevens die je nodig hebt. Het enige dat u nu hoeft te doen, is de versie kiezen die betere resultaten heeft behaald, toch? Fout! Zelfs als de steekproefomvang redelijk was, je de test een goede tijdsduur hebt gegeven en niet te veel variaties hebt om te testen, bestaat nog steeds de mogelijkheid dat je ongeldige resultaten krijgt.
U moet ervoor zorgen dat elke afzonderlijke maatstaf en elk doel dat u moet bijhouden, wordt bijgehouden. Als u merkt dat u uit bepaalde statistieken geen gegevens ontvangt, moet u uitzoeken wat er mis is, het probleem oplossen en de test helemaal opnieuw beginnen.
Kortom? Testen, testen en nog eens testen! Die tests moeten echter wel effectief en adequaat zijn. Er zijn veel tools die het je gemakkelijk maken, maar dat betekent niet dat ze je niet tot verkeerde beslissingen kunnen leiden. Let op de veelvoorkomende fouten die hierboven zijn beschreven. Maak jij er een paar? Je testmethode zal verbeteren zodra je de zichtbare fouten elimineert.
Brenda Savoie is een contentmarketeer en aspirant-romanschrijfster die werkt voor Essaysontime UK . Je kunt haar vinden op Twitter.
Veelgestelde vragen
A/B-testen worden om verschillende redenen gedaan. Daaronder vallen het oplossen van pijnpunten van bezoekers, het verhogen van websiteconversies en het verlagen van de bouncepercentages.
In Advertentiebeheer kun je een A/B-test maken door deze stappen te volgen:
i. Klik op Advertentiebeheer. Op de campagnepagina van uw advertentieaccount worden al uw beschikbare advertenties vermeld.
ii. Selecteer een bestaande campagne, advertentieset of advertentie en klik vervolgens op A/B-test.
iii. Kies Maak een kopie van deze advertentie of Kies een andere bestaande advertentie.
Optimizely en VWO waren de twee populairste AB-testtools. Bijna elke expert met wie we spraken, gebruikt beide tools regelmatig voor AB-testen, en het zijn de meest gebruikte tools door klanten van Conversion Sciences.
Shubham is een digitale marketeer met rijke ervaring in de advertentietechnologie-industrie. Hij heeft ruime ervaring in de programmatische industrie, waar hij de bedrijfsstrategie en schaalfuncties aanstuurt, inclusief maar niet beperkt tot groei en marketing, operations, procesoptimalisatie en verkoop.
