Die folgenden sind Neun Fehler, die den Erfolg von A/B-Tests ruinieren. Es ist einfacher, das Richtige zu tun, wenn man weiß, was man nicht tun sollte. Lesen Sie jetzt den Blog!

Warum testen Sie jede Änderung, bevor Sie sie auf Ihrer Website implementieren? Sie wissen, dass dies wichtig ist, wenn Sie die Benutzererfahrung verbessern möchten. Außerdem möchten Sie kein Geld verlieren. A/B-Tests sind ein goldener Standard in der Website-Pflege – Sie können ihn sogar anwenden Display-Anzeigen, um Ihre Werbeeinnahmen zu steigern.

Das einzige Problem ist, dass sie einem nicht immer etwas geben präzise Ergebnisse. Das bedeutet nicht, dass wir alle einfach auf A/B-Tests verzichten und bei den altmodischen Methoden bleiben sollten, uns von der Intuition leiten zu lassen oder das zu tun, was alle anderen tun. A/B-Tests sind nützlich und wichtig; Sie müssen nur die Fehler dieser Praxis vermeiden.

Sehen wir uns 9 häufige Fehler an, die den Erfolg von A/B-Tests ruinieren. Wenn du weißt, was du bist sollte nicht tun, ist es einfacher, das Richtige zu tun.

1. A/B-Tests zu früh in den Prozess einschneiden

Dies ist das perfekte Rezept, um statistisch unbedeutende Ergebnisse zu erzielen. Wir alle kennen das: Drei Tage lang den A/B-Test laufen lassen und feststellen, dass eine der Versionen der anderen absolut überlegen ist. Ja, es ist möglich, einen erstaunlichen Unterschied zwischen den beiden Versionen zu erkennen und zu denken, dass es keinen Sinn hat, mit dem Testen fortzufahren.

In dieser Phase ist es wichtig, sich daran zu erinnern: Brechen Sie den Test NICHT ab!

Längerfristig könnte sich die Variante, die zunächst minderwertig erscheint, als besser erweisen. Wenn Sie den Test zu früh im Prozess abbrechen, gehen Ihnen Conversions verloren und die meisten Ihrer Zielgruppe sind frustriert.

Woher wissen Sie überhaupt, wie lange die Tests richtig sind? Sie können verwenden Das Tool von VWO um dir die Antwort zu geben: A/B-Split- und multivariate Testdauer-Rechner. Es gibt Ihnen die geschätzte angemessene Dauer von A/B-Tests basierend auf mehreren Faktoren: Mindestverbesserung der Conversions, die Sie erkennen möchten, geschätzte bestehende Conversion-Rate, durchschnittliche Anzahl täglicher Besucher, Anzahl der auszuführenden Variationen und Prozentsatz der darin enthaltenen Besucher prüfen.

2. Durchführung von A/B-Tests ohne Hypothese

Stellen Sie sich diese Frage: Warum führen Sie den A/B-Test durch? Liegt es daran, dass alle anderen Vermarkter es tun? Der Ansatz „Ich teste einfach so lange, bis etwas funktioniert“ ist falsch. Sie brauchen eine Hypothese. Sie müssen fast sicher sein, dass etwas funktioniert, und dann testen Sie es, um die endgültige Genehmigung zu erhalten, bevor Sie das Update implementieren.

Stellen Sie eine Hypothese auf: Dem Publikum wird Version A besser gefallen als Version B. Führen Sie dann einen Test durch, um zu beweisen, ob die Hypothese richtig oder falsch ist. Ziel ist es, mehr über das Publikum zu erfahren. Die Informationen, die Sie durch A/B-Tests erhalten, werden Ihnen helfen, Ihre allgemeine Kundentheorie zu verbessern und bessere Hypothesen zu entwickeln, die Sie in Zukunft testen können.

3. Verwerfen eines fehlgeschlagenen Tests

Es ist ein Fallstudie Das lehrt uns eine Lektion. Zur Verbesserung der TruckersReport-Website, Das Team führte sechs Testrunden durch und verwendete am Ende eine Version, die 6 % besser war als die vorherige.

Obwohl die Variante der alten Website viel besser gestaltet war, übertraf die Kontrolle sie beim ersten Test um 13.56 %. Dieser A/B-Test zeigt, dass Ihre Versuche, das Design der Website zu verbessern, gescheitert sind. Hat das Team dort aufgehört? Nein. Sie entschieden, dass weitere Tests erforderlich seien, um herauszufinden, warum das passiert sei. Sie stellten eine Hypothese für das potenzielle Problem auf und fügten der Variation weitere Änderungen hinzu.

Beim zweiten Test übertraf das Original die Variante mit einem Unterschied von 21.7 % bei den Konvertierungen am unteren Ende des Trichters. Sie setzten die Tests fort und verwendeten schließlich Variante 3, die eine um 79.3 % bessere Leistung als die ursprüngliche Zielseite erbrachte.

Hier ist die Lektion, die Sie lernen sollten: Ein einziger Test, der zeigt, dass Sie versagt haben, bedeutet nicht, dass Sie den Prozess abbrechen und beim guten alten Design bleiben sollten. Sie testen weiter und finden heraus, warum die Variationen nicht funktionieren, bis Sie eine finden, die funktioniert.

4. Ausführen von Tests mit überlappendem Datenverkehr

Es ist interessant zu sehen, wie die Leute denken, sie könnten Zeit sparen, indem sie mehrere A/B-Tests gleichzeitig durchführen. Sie tun es auf der Startseite, der Funktionsseite, dem Abonnementformular … überall. Sie erledigen in kurzer Zeit ein riesiges Arbeitspensum.

Das größte Problem bei A/B-Tests mit überlappendem Traffic liegt in der gleichmäßigen Verteilung. Der Datenverkehr sollte immer gleichmäßig auf die von Ihnen getesteten Versionen aufgeteilt werden. Andernfalls führt diese extreme Arbeitsbelastung zu unrealistischen Ergebnissen.

Die Lösung? Dir können. Führen Sie mehrere A/B-Tests gleichzeitig durch, aber Sie müssen sehr vorsichtig sein, um nicht durch überlappenden Datenverkehr getäuscht zu werden. Das Beste wäre, bei der Einfachheit zu bleiben und, wenn möglich, einen Test nach dem anderen durchzuführen.

5. Nicht ständig Tests durchführen

Erinnern wir uns an den Grund, warum wir testen: fundierte Entscheidungen treffen, die Conversion-Rate verbessern, mehr über die Besucher erfahren, ihre Benutzererfahrung verbessern und mehr Geld mit dieser Website erzielen. Damit hören wir nicht auf. Immer!

Es ist ein großer Fehler, nicht ständig Tests durchzuführen. Die Online-Welt entwickelt sich ständig weiter. Wenn Sie nicht mit den Trends Schritt halten und aufhören, neue Trends einzuführen, verlieren Sie Ihr Publikum irgendwann an die Konkurrenz. Du willst nicht, dass das passiert? Hören Sie nie auf zu testen und zu optimieren!

6. Durchführung von A/B-Tests ohne ausreichenden Traffic oder zu testende Conversions

Wenn Sie nicht über die Parameter verfügen, die für ordnungsgemäße A/B-Tests erforderlich sind, erhalten Sie keine genauen Ergebnisse. Selbst wenn die Version B besser ist als die Kontrollversion, wird dies der A/B-Test nicht zeigen. Um Ergebnisse mit statistischer Signifikanz zu erhalten, wären viele Testmonate erforderlich. Wenn man monatelang denselben Test durchführt, bedeutet das, dass Ressourcen aufgewendet oder, besser gesagt, verschwendet werden.

Wenn die Stichprobengröße groß genug ist, um statistische Signifikanz zu erreichen, können Sie mit dem A/B-Testen beginnen. Sparen Sie bis dahin Zeit und Geld, um die Werbekampagne zu verbessern und mehr Besucher anzulocken.

7. Ändern von Parametern während des Tests

Wenn Sie im Begriff sind, einen Test zu starten, müssen Sie sich dazu verpflichten. Die Experimenteinstellungen, das Kontroll- und Variationsdesign sowie die Testziele bleiben gleich. Sie sollten keine Parameter ändern, einschließlich der Traffic-Zuweisungen zu Variationen.

Hast du von ... gehört Simpsons Paradoxon? Ein Trend, den wir in verschiedenen Datengruppen sehen, kann verschwinden, wenn wir diese Gruppen kombinieren. Das kann passieren, wenn Sie während des Tests die Traffic-Aufteilung zwischen den Varianten ändern. Diese Änderungen betreffen nur neue Benutzer und stören die Auswahl wiederkehrender Besucher.

Bevor Sie mit A/B-Tests beginnen, sollten Sie einen Plan erstellen. Ändern Sie die Parameter nicht, da dies zu verwirrenden und unrealistischen Ergebnissen führt.

8. Durchführung von Tests mit zu vielen Variationen

Sie könnten den Eindruck gewinnen, dass Sie umso mehr Erkenntnisse erhalten, je mehr Variationen Sie testen müssen. Zu viele Variationen verlangsamen jedoch die Arbeit. Außerdem erhöhen sie Ihre Chancen, ein falsches Ergebnis zu erzielen und am Ende eine Variante zu verwenden, die nicht der wahre Gewinner ist.

Optimizely, VWO und andere A/B-Testtools übernehmen das Mehrfachvergleichsproblem Berücksichtigen Sie dies und passen Sie die Falsch-Positiv-Rate an, um sicherzustellen, dass Sie realistische Ergebnisse erhalten. Das bedeutet jedoch noch lange nicht, dass es richtig ist, möglichst viele Varianten zu testen. Diese Praxis führt normalerweise zu einem Unterschied, der keine statistische Signifikanz hat.

9. Keine Berücksichtigung von Gültigkeitsbedrohungen

Sie führen also den Test durch und erhalten die Daten, die Sie benötigen. Jetzt müssen Sie nur noch die Version auswählen, die bessere Ergebnisse erzielt, oder? Falsch! Selbst wenn die Stichprobengröße angemessen war, Sie dem Test eine gute Zeitspanne gegeben haben und nicht zu viele Variationen zum Testen hatten, besteht immer noch die Möglichkeit, dass Sie ungültige Ergebnisse erhalten.

Sie müssen sicherstellen, dass jede einzelne Metrik und jedes Ziel, das Sie verfolgen müssen, verfolgt wird. Wenn Sie feststellen, dass Sie von einigen Metriken keine Daten erhalten, müssen Sie herausfinden, was falsch ist, das Problem beheben und den Test von vorne beginnen.

Endeffekt? testen, testen und noch mehr testen! Allerdings müssen diese Tests wirksam und angemessen sein. Es gibt viele Tools, die es Ihnen leicht machen, aber das bedeutet nicht, dass sie Sie nicht zu falschen Entscheidungen führen können. Achten Sie auf die oben beschriebenen häufigen Fehler. Machen Sie einige davon? Sobald Sie die auffälligen Mängel beseitigen, verbessern Sie die Art und Weise, wie Sie testen.

---

Brenda Savoie ist eine Content-Vermarkterin und aufstrebende Romanautorin, die für arbeitet Essaysontime UK. Finde sie auf Twitter.

FAQs

---