Hier sind neun Fehler, die den Erfolg von A/B-Tests zunichtemachen . Es ist einfacher, das Richtige zu tun, wenn man weiß, was man nicht tun sollte. Jetzt den Blog lesen!
Warum testen Sie jede Änderung, bevor Sie sie auf Ihrer Website implementieren? Ganz einfach: Das ist wichtig, um die Nutzererfahrung zu verbessern. Und natürlich wollen Sie kein Geld verlieren. A/B-Tests sind der Goldstandard in der Website-Pflege – Sie können sie sogar für Display-Anzeigen einsetzen, um Ihre Werbeeinnahmen zu steigern.
Das einzige Problem ist, dass sie nicht immer präzise Ergebnisse liefern . Das heißt aber nicht, dass wir A/B-Tests komplett aufgeben und uns wieder auf altmodische Methoden wie Intuition oder das, was alle anderen tun, verlassen sollten. A/B-Tests sind nützlich und wichtig; man muss nur die typischen Fehler vermeiden.
Lassen Sie uns neun häufige Fehler durchgehen, die den Erfolg von A/B-Tests zunichtemachen. Wenn Sie wissen, was Sie nicht tun sollten, ist es einfacher, das Richtige zu tun.
1. A/B-Tests zu früh in den Prozess einschneiden
Dies ist das perfekte Rezept, um statistisch unbedeutende Ergebnisse zu erzielen. Wir alle kennen das: Drei Tage lang den A/B-Test laufen lassen und feststellen, dass eine der Versionen der anderen absolut überlegen ist. Ja, es ist möglich, einen erstaunlichen Unterschied zwischen den beiden Versionen zu erkennen und zu denken, dass es keinen Sinn hat, mit dem Testen fortzufahren.
In dieser Phase ist es wichtig, sich daran zu erinnern: Brechen Sie den Test NICHT ab!
Längerfristig könnte sich die Variante, die zunächst minderwertig erscheint, als besser erweisen. Wenn Sie den Test zu früh im Prozess abbrechen, gehen Ihnen Conversions verloren und die meisten Ihrer Zielgruppe sind frustriert.
Wie findet man die richtige Testdauer? Mit dem Tool von VWO, dem A/B-Split- und multivariaten Testdauerrechner , erhalten Sie die Antwort . Er berechnet die optimale Testdauer anhand verschiedener Faktoren: der angestrebten minimalen Verbesserung der Conversion-Rate, der geschätzten aktuellen Conversion-Rate, der durchschnittlichen täglichen Besucherzahl, der Anzahl der zu testenden Varianten und des prozentualen Anteils der am Test teilnehmenden Besucher.
2. Durchführung von A/B-Tests ohne Hypothese
Stellen Sie sich diese Frage: Warum führen Sie den A/B-Test durch? Liegt es daran, dass alle anderen Vermarkter es tun? Der Ansatz „Ich teste einfach so lange, bis etwas funktioniert“ ist falsch. Sie brauchen eine Hypothese. Sie müssen fast sicher sein, dass etwas funktioniert, und dann testen Sie es, um die endgültige Genehmigung zu erhalten, bevor Sie das Update implementieren.
Stellen Sie eine Hypothese auf: Die Zielgruppe wird Version A besser finden als Version B. Testen Sie anschließend, ob diese Hypothese zutrifft oder nicht. Ziel ist es, mehr über die Zielgruppe zu erfahren. Die durch A/B-Tests gewonnenen Informationen helfen Ihnen, Ihre Kundentheorie zu verbessern und bessere Hypothesen für zukünftige Tests zu entwickeln.
3. Verwerfen eines fehlgeschlagenen Tests
Es gibt eine Fallstudie , die uns eine wichtige Lektion lehrt. Um die Website TruckersReport zu verbessern, führte das Team sechs Testrunden durch und entschied sich schließlich für eine Version, die 79.3 % besser war als die vorherige.
Obwohl die Variante der alten Website viel besser gestaltet war, übertraf die Kontrolle sie beim ersten Test um 13.56 %. Dieser A/B-Test zeigt, dass Ihre Versuche, das Design der Website zu verbessern, gescheitert sind. Hat das Team dort aufgehört? Nein. Sie entschieden, dass weitere Tests erforderlich seien, um herauszufinden, warum das passiert sei. Sie stellten eine Hypothese für das potenzielle Problem auf und fügten der Variation weitere Änderungen hinzu.
Beim zweiten Test übertraf das Original die Variante mit einem Unterschied von 21.7 % bei den Konvertierungen am unteren Ende des Trichters. Sie setzten die Tests fort und verwendeten schließlich Variante 3, die eine um 79.3 % bessere Leistung als die ursprüngliche Zielseite erbrachte.
Die Lehre daraus: Ein einzelner Test, der fehlschlägt, bedeutet nicht, dass man den Prozess abbrechen und beim bewährten Design bleiben sollte. Man testet weiter und findet heraus, warum die Varianten nicht funktionieren, bis man eine findet, die funktioniert.
4. Ausführen von Tests mit überlappendem Datenverkehr
Es ist interessant zu sehen, wie die Leute denken, sie könnten Zeit sparen, indem sie mehrere A/B-Tests gleichzeitig durchführen. Sie tun es auf der Startseite, der Funktionsseite, dem Abonnementformular … überall. Sie erledigen in kurzer Zeit ein riesiges Arbeitspensum.
Das größte Problem bei A/B-Tests mit überlappendem Traffic liegt in der gleichmäßigen Verteilung. Der Datenverkehr sollte immer gleichmäßig auf die von Ihnen getesteten Versionen aufgeteilt werden. Andernfalls führt diese extreme Arbeitsbelastung zu unrealistischen Ergebnissen.
Die Lösung? Man kann zwar mehrere A/B-Tests gleichzeitig durchführen, muss aber sehr vorsichtig sein, um sich nicht von sich überschneidendem Traffic täuschen zu lassen. Am besten ist es, sich an die Einfachheit zu halten und, wenn möglich, jeweils nur einen Test durchzuführen.
5. Nicht ständig Tests durchführen
Erinnern wir uns an den Grund, warum wir testen: fundierte Entscheidungen treffen, die Conversion-Rate verbessern, mehr über die Besucher erfahren, ihre Benutzererfahrung verbessern und mehr Geld mit dieser Website erzielen. Damit hören wir nicht auf. Immer!
Nicht ständig Tests durchzuführen, ist ein großer Fehler. Die Online-Welt entwickelt sich ständig weiter. Wer die Trends nicht verfolgt und keine neuen mehr einführt, verliert früher oder später seine Zielgruppe an die Konkurrenz. Das wollen Sie vermeiden? Dann testen und optimieren Sie unermüdlich!
6. Durchführung von A/B-Tests ohne ausreichenden Traffic oder zu testende Conversions
Wenn Sie nicht über die Parameter verfügen, die für ordnungsgemäße A/B-Tests erforderlich sind, erhalten Sie keine genauen Ergebnisse. Selbst wenn die Version B besser ist als die Kontrollversion, wird dies der A/B-Test nicht zeigen. Um Ergebnisse mit statistischer Signifikanz zu erhalten, wären viele Testmonate erforderlich. Wenn man monatelang denselben Test durchführt, bedeutet das, dass Ressourcen aufgewendet oder, besser gesagt, verschwendet werden.
Wenn die Stichprobengröße groß genug ist, um statistische Signifikanz zu erreichen, können Sie mit dem A/B-Testen beginnen. Sparen Sie bis dahin Zeit und Geld, um die Werbekampagne zu verbessern und mehr Besucher anzulocken.
7. Ändern von Parametern während des Tests
Wenn Sie im Begriff sind, einen Test zu starten, müssen Sie sich dazu verpflichten. Die Experimenteinstellungen, das Kontroll- und Variationsdesign sowie die Testziele bleiben gleich. Sie sollten keine Parameter ändern, einschließlich der Traffic-Zuweisungen zu Variationen.
Haben Sie schon einmal vom Simpson-Paradoxon gehört ? Ein Trend, der sich in verschiedenen Datengruppen zeigt, kann verschwinden, sobald man diese Gruppen zusammenfasst. Das kann passieren, wenn man die Traffic-Aufteilung zwischen verschiedenen Varianten mitten in der Testphase ändert. Diese Änderungen betreffen nur neue Nutzer und verfälschen die Ergebnisse für wiederkehrende Besucher.
Bevor Sie mit A/B-Tests beginnen, sollten Sie einen Plan haben. Ändern Sie die Parameter nicht, da dies zu verwirrenden und unrealistischen Ergebnissen führt.
8. Durchführung von Tests mit zu vielen Variationen
Sie könnten den Eindruck gewinnen, dass Sie umso mehr Erkenntnisse erhalten, je mehr Variationen Sie testen müssen. Zu viele Variationen verlangsamen jedoch die Arbeit. Außerdem erhöhen sie Ihre Chancen, ein falsches Ergebnis zu erzielen und am Ende eine Variante zu verwenden, die nicht der wahre Gewinner ist.
Optimizely , VWO und andere A/B-Testing-Tools berücksichtigen das Problem multipler Vergleiche und passen die Falsch-Positiv-Rate an, um realistische Ergebnisse zu gewährleisten. Dennoch ist es nicht ratsam, möglichst viele Varianten zu testen. Diese Vorgehensweise führt in der Regel zu einem Unterschied ohne statistische Signifikanz.
9. Keine Berücksichtigung von Gültigkeitsbedrohungen
Sie führen also den Test durch und erhalten die Daten, die Sie benötigen. Jetzt müssen Sie nur noch die Version auswählen, die bessere Ergebnisse erzielt, oder? Falsch! Selbst wenn die Stichprobengröße angemessen war, Sie dem Test eine gute Zeitspanne gegeben haben und nicht zu viele Variationen zum Testen hatten, besteht immer noch die Möglichkeit, dass Sie ungültige Ergebnisse erhalten.
Sie müssen sicherstellen, dass jede einzelne Metrik und jedes Ziel, das Sie verfolgen müssen, verfolgt wird. Wenn Sie feststellen, dass Sie von einigen Metriken keine Daten erhalten, müssen Sie herausfinden, was falsch ist, das Problem beheben und den Test von vorne beginnen.
Fazit? Testen, testen und nochmals testen! Diese Tests müssen jedoch effektiv und aussagekräftig sein. Es gibt viele Tools, die die Arbeit erleichtern, aber das heißt nicht, dass sie nicht auch zu Fehlentscheidungen führen können. Achten Sie auf die oben beschriebenen häufigen Fehler. Machen Sie vielleicht einige davon? Sobald Sie die offensichtlichen Schwächen beseitigt haben, werden Sie Ihre Testmethoden verbessern.
Brenda Savoie ist Content-Marketing-Expertin und angehende Romanautorin und arbeitet für Essaysontime UK . Sie ist auf Twitter zu finden.
Häufig gestellte Fragen
A/B-Tests werden aus verschiedenen Gründen durchgeführt. Dazu gehören die Lösung von Besucherproblemen, die Steigerung der Website-Conversions und die Senkung der Absprungraten.
Im Werbeanzeigenmanager können Sie einen A/B-Test erstellen, indem Sie die folgenden Schritte ausführen:
ich. Klicken Sie auf Werbeanzeigenmanager. Auf der Kampagnenseite Ihres Werbekontos werden alle verfügbaren Anzeigen aufgeführt.
ii. Wählen Sie eine vorhandene Kampagne, Anzeigengruppe oder Anzeige aus und klicken Sie dann auf A/B-Test.
iii. Wählen Sie entweder „Kopie dieser Anzeige erstellen“ oder „Eine andere vorhandene Anzeige auswählen“.
Optimizely und VWO waren die beiden beliebtesten AB-Testtools. Fast jeder Experte, mit dem wir gesprochen haben, verwendet diese beiden Tools regelmäßig für AB-Tests und sie sind die am häufigsten von Conversion Sciences-Kunden verwendeten Tools.
Shubham ist ein digitaler Vermarkter mit umfangreicher Erfahrung in der Werbetechnologiebranche. Er verfügt über umfassende Erfahrung in der Programmbranche und leitet Geschäftsstrategien und Skalierungsfunktionen, einschließlich, aber nicht beschränkt auf, Wachstum und Marketing, Betrieb, Prozessoptimierung und Vertrieb.
