De volgende zijn negen fouten die het succes van A/B-testen verpesten. Het is gemakkelijker om te doen wat goed is als je weet wat je niet moet doen. Lees nu de blog!
Waarom test u elke verandering voordat u deze op uw website implementeert? Je weet dat dit belangrijk is als je de gebruikerservaring wilt verbeteren. Bovendien wil je geen geld verliezen. A/B-tests zijn een gouden standaard bij website-onderhoud – u kunt deze zelfs toepassen advertenties weergeven om uw advertentie-inkomsten te verhogen.
Het enige probleem is dat ze je niet altijd geven nauwkeurige resultaten. Dat betekent niet dat we allemaal A/B-testen achterwege moeten laten en vasthouden aan de ouderwetse manieren om ons te laten leiden door intuïtie of te doen wat iedereen doet. A/B-tests zijn nuttig en belangrijk; je hoeft alleen maar de fouten van die praktijk te vermijden.
Laten we 9 veelgemaakte fouten doornemen die het succes van A/B-testen verpesten. Wanneer je weet wat je moet niet doen, is het gemakkelijker om het goede te doen.
1. A/B-testen te vroeg in het proces stoppen
Dit is het perfecte recept voor het verkrijgen van statistisch onbeduidende resultaten. We hebben het allemaal meegemaakt: we hebben de A/B-test drie dagen lang uitgevoerd en beseften dat de ene versie absoluut superieur is aan de andere. Ja, het is mogelijk om een duizelingwekkend verschil tussen de twee versies te zien en te denken dat doorgaan met testen geen zin heeft.
In dit stadium is het belangrijk om te onthouden: stop de test NIET!
Op langere termijn kan de variant die op het eerste gezicht inferieur lijkt, beter uitpakken. Als u te vroeg in het proces stopt met testen, verliest u conversies en raakt het grootste deel van uw publiek gefrustreerd.
Hoe weet je eigenlijk wat de juiste testduur is? Je kunt gebruiken VWO-instrument om je het antwoord te geven: A/B gesplitste en multivariate testduurcalculator. Het geeft u de geschatte juiste lengte van A/B-tests op basis van verschillende factoren: minimale verbetering van de conversies die u wilt detecteren, geschatte bestaande conversieratio, gemiddeld aantal dagelijkse bezoekers, aantal uit te voeren varianten en het percentage bezoekers dat is opgenomen in de test.
2. A/B-tests uitvoeren zonder hypothese
Stel jezelf deze vraag: waarom voer je de A/B-test uit? Is het omdat alle andere marketeers het doen? De aanpak “Ik test gewoon totdat iets werkt” is verkeerd. Je hebt een hypothese nodig. Je moet er bijna zeker van zijn dat iets zal werken, en dan moet je het testen om de definitieve goedkeuring te krijgen voordat je de update implementeert.
Stel een hypothese op: Het publiek zal versie A leuker vinden dan versie B. Test vervolgens om te bewijzen dat die hypothese goed of fout is. Het doel is om meer over het publiek te leren. De informatie die u via A/B-testen krijgt, zal u helpen uw algehele klanttheorie te verbeteren en betere hypothesen te bedenken die u in de toekomst kunt testen.
3. Een mislukte test weggooien
Er is een case study dat leert ons een lesje. Voor de verbetering van de TruckersReport-website, Het team voerde zes testrondes uit en uiteindelijk gebruikten ze een versie die 6% beter was dan de vorige.
Hoewel de variatie van de oude website qua ontwerp veel beter was, versloeg de controle deze bij de eerste test met 13.56%. Uit deze A/B-test blijkt dat u gefaald heeft in de pogingen om het ontwerp van de site een boost te geven. Is het team daar gestopt? Nee. Ze besloten dat er meer tests nodig waren om erachter te komen waarom dat gebeurde. Ze stelden een hypothese op voor het potentiële probleem en voegden meer veranderingen in de variatie toe.
Tijdens de tweede test versloeg het origineel de variant met een verschil van 21.7% in de onderste conversies van de trechter. Ze gingen door met testen en uiteindelijk gebruikten ze variant 3, die 79.3% beter presteerde dan de oorspronkelijke landingspagina.
Hier is de les die u moet leren: Eén enkele test waaruit blijkt dat u gefaald heeft, betekent niet dat u het proces moet stopzetten en bij het goede oude ontwerp moet blijven. Je gaat door met testen en uitzoeken waarom de variaties niet werken totdat je er een vindt die dat wel doet.
4. Tests uitvoeren met overlappend verkeer
Het is interessant om te zien hoe mensen denken tijd te kunnen besparen door meerdere A/B-tests tegelijkertijd uit te voeren. Ze doen het op de startpagina, de functiespagina, het abonnementsformulier... overal. Je verricht in korte tijd een enorme hoeveelheid werk.
Het grootste probleem bij A/B-testen met overlappend verkeer is de gelijkmatige distributie. Het verkeer moet altijd gelijkmatig worden verdeeld over de versies die u test. Anders zal die extreme werkdruk tot onrealistische resultaten leiden.
De oplossing? Je blikje voer meerdere A/B-tests tegelijkertijd uit, maar u moet heel voorzichtig zijn dat u niet wordt misleid door overlappend verkeer. Het beste zou zijn om vast te houden aan eenvoud en, indien mogelijk, één test tegelijk te doen.
5. Niet voortdurend tests uitvoeren
Laten we onszelf herinneren aan de reden waarom we testen: weloverwogen beslissingen nemen, het conversiepercentage verbeteren, meer over de bezoekers leren, hun gebruikerservaring verbeteren en meer geld uit die website halen. Dat is niet iets waar we mee stoppen. Ooit!
Het is een grote fout om niet voortdurend tests uit te voeren. De online wereld evolueert voortdurend. Als je de trends niet bijhoudt en stopt met het introduceren van nieuwe trends, verlies je uiteindelijk je publiek aan de concurrentie. Wil je niet dat dat gebeurt? Stop nooit met testen en optimaliseren!
6. A/B-testen uitvoeren zonder het juiste verkeer of de juiste conversies om te testen
Als u niet over de parameters beschikt die nodig zijn voor een goede A/B-test, krijgt u geen nauwkeurige resultaten. Ook al is versie B beter dan de controleversie, de A/B-test zal dat niet aantonen. Het zou vele maanden van testen vergen om resultaten met statistische significantie te krijgen. Maandenlang dezelfde test doen, betekent dat er middelen worden uitgegeven, of beter gezegd: verspild.
Wanneer de steekproefomvang groot genoeg is om statistische significantie te bereiken, kunt u beginnen met A/B-testen. Tot die tijd kunt u tijd en geld besparen door de promotiecampagne te verbeteren en meer bezoekers te trekken.
7. Parameters wijzigen tijdens het testen
Wanneer u op het punt staat een test te lanceren, moet u zich daarvoor inzetten. De experimentinstellingen, het controle- en variatieontwerp en de testdoelen blijven hetzelfde. U mag geen enkele parameter wijzigen, inclusief verkeerstoewijzingen aan varianten.
Heb je gehoord van De paradox van Simpson? Een trend die we in verschillende groepen gegevens zien, kan verdwijnen als we die groepen combineren. Dat kan gebeuren als u tijdens het testen de verkeersverdeling tussen varianten wijzigt. Deze wijzigingen hebben alleen gevolgen voor nieuwe gebruikers en verstoren de steekproeftrekking van terugkerende bezoekers.
Voordat u met A/B-testen begint, moet u een plan hebben. Wijzig de parameters niet, omdat dit tot verwarrende, onrealistische resultaten zal leiden.
8. Tests uitvoeren met te veel variaties
U krijgt misschien de indruk dat hoe meer variaties u moet testen, hoe meer inzichten u krijgt. Te veel variaties zullen de zaken echter vertragen. Bovendien vergroten ze uw kansen om een vals-positief resultaat te krijgen en uiteindelijk een variant te gebruiken die niet de echte winnaar is.
Optimizely, VWO en andere A/B-testtools nemen de meervoudig vergelijkingsprobleem Houd hier rekening mee en pas het percentage fout-positieve resultaten aan om er zeker van te zijn dat u realistische resultaten behaalt. Dat betekent echter nog steeds niet dat het testen van zoveel mogelijk varianten de juiste keuze is. Deze praktijk resulteert meestal in een verschil dat geen statistische significantie heeft.
9. Geen rekening houden met validiteitsbedreigingen
Dus je doet de test en je krijgt de gegevens die je nodig hebt. Het enige dat u nu hoeft te doen, is de versie kiezen die betere resultaten heeft behaald, toch? Fout! Zelfs als de steekproefomvang redelijk was, je de test een goede tijdsduur hebt gegeven en niet te veel variaties hebt om te testen, bestaat nog steeds de mogelijkheid dat je ongeldige resultaten krijgt.
U moet ervoor zorgen dat elke afzonderlijke maatstaf en elk doel dat u moet bijhouden, wordt bijgehouden. Als u merkt dat u uit bepaalde statistieken geen gegevens ontvangt, moet u uitzoeken wat er mis is, het probleem oplossen en de test helemaal opnieuw beginnen.
Kortom? testen, testen en nog eens testen! Deze tests moeten echter effectief en adequaat zijn. Er zijn veel hulpmiddelen die het u gemakkelijk maken, maar dat betekent niet dat ze u niet tot verkeerde beslissingen kunnen leiden. Begin aandacht te besteden aan de veelvoorkomende fouten die hierboven zijn beschreven. Maak jij er een paar? U verbetert de manier waarop u test zodra u de merkbare tekortkomingen heeft geëlimineerd.
Brenda Savoie is een contentmarketeer en aspirant-romanschrijver die werkt voor Essaysontime UK. Vind haar op Twitter.
Veelgestelde vragen
A/B-testen worden om verschillende redenen gedaan. Daaronder vallen het oplossen van pijnpunten van bezoekers, het verhogen van websiteconversies en het verlagen van de bouncepercentages.
In Advertentiebeheer kun je een A/B-test maken door deze stappen te volgen:
i. Klik op Advertentiebeheer. Op de campagnepagina van uw advertentieaccount worden al uw beschikbare advertenties vermeld.
ii. Selecteer een bestaande campagne, advertentieset of advertentie en klik vervolgens op A/B-test.
iii. Kies Maak een kopie van deze advertentie of Kies een andere bestaande advertentie.
Optimizely en VWO waren de twee populairste AB-testtools. Bijna elke expert met wie we spraken, gebruikt beide tools regelmatig voor AB-testen, en het zijn de meest gebruikte tools door klanten van Conversion Sciences.
Shubham is een digitale marketeer met rijke ervaring in de advertentietechnologie-industrie. Hij heeft ruime ervaring in de programmatische industrie, waar hij de bedrijfsstrategie en schaalfuncties aanstuurt, inclusief maar niet beperkt tot groei en marketing, operations, procesoptimalisatie en verkoop.
