A/B-Test ist ursprünglich ein Begriff aus dem Bereich Marketing und bezeichnet ein Test Verfahren, bei dem zwei unterschiedliche Versionen eines Werbemittels miteinander verglichen werden können. Inzwischen wird der Begriff hauptsächlich im Bereich Online Marketing verwendet. Dabei handelt es sich um einen Test, mit Hilfe dessen die Webseite Performance analysiert und ggf. verbessert werden kann. In diesem Fall wird die Originalseite gegen eine abgeänderte Version getestet. Banner und sonstige Online Werbemittel können auf diese Weise ebenso analysiert werden. Im Gegensatz zu multivarianten Tests wird beim A/B-Test nur eine Variable getestet. Dabei ist zu beachten, dass die Gruppengröße ausreichend ist, andernfalls können die Ergebnisse nicht als valide betrachtet werden.
Das Prinzip beim A/B-Test
Das Prinzip des Testverfahrens bei einem A/B-Test ist ziemlich einfach. Dabei werden die Besucher einer Webseite oder einer Landingpage in zwei Gruppen aufgeteilt und auf zwei unterschiedliche Varianten dieser Seite weitergeleitet. Das Verfahren wird daher manchmal auch Splittest genannt, da der Besucherstrom „gesplittet“ wird. Vergleicht man beide Besucherströme miteinander, kann man Rückschlüsse daraus ziehen, welche der beiden Varianten einer Seite von Besuchern besser angenommen wird. Üblicherweise werden dabei die sogenannten Conversion Rates miteinander verglichen (z.B. mit Hilfe von Piwik, Google Analytics oder anderen Tracking Tools), die im Vorfeld definiert werden können. Auf diese Weise kann man auch Fehler bzw. Usability Probleme einer Webseite ausmachen und beheben.
Im Gegensatz zu multivariaten Tests ist ein A/B-Test sowohl technisch als auch logistisch einfacher umzusetzen. Es gibt eine Reihe an Tools, die die Umsetzung des Tests erleichtern sollen. Eins der bekanntesten ist das Google Webseite Optimierungstool. Diese Software kann kostenlos genutzt werden, erfordert jedoch Kenntnisse in HTML. Auch Kenntnisse in CSS und JavaScript sind von Vorteil.
Die Schritte beim A/B-Test
Dabei werden im ersten Schritt die zu testenden Varianten der Landingpage definiert. Im nächsten Schritt kann bereits der Test beginnen. Auch die Auswertung der Ergebnisse eines A/B-Tests ist einfacher als bei multivariaten Tests – die Variante der Seite gilt als optimale, welche die meisten Conversions (Produktverkäufe, Newsletter-Anmeldungen oder Downloads etc.), zu verzeichnen hat. Anders als bei multivariaten Tests gibt es hierbei keinen großen Spielraum für mögliche Interpretationen.
Wann ist ein A/B-Test sinnvoll?
Daher eignen sich A/B-Tests, um innerhalb kurzer Zeit schnell herauszufinden, welche Variante der Landingpage besser funktioniert. Hat eine Landingpage jedoch nur wenige Besucher und Conversions, kann ein A/B-Test unter Umständen sehr zeitintensiv und langwierig werden. Außerdem lassen sich mit Hilfe des A/B-Tests nur wenige eindeutige Änderungen testen. Am besten führt man sogar nur eine einzige Modifikation durch.
Üblicherweise werden z.B. unterschiedliche Farbkombinationen eines Buttons getestet, auch Tests zu verschiedenen Formularausführungen werden gerne durchgeführt. Mit dem multivariaten Test können hingegen mehrere Änderungen gleichzeitig innerhalb desselben Tests getestet werden. A/B-Tests eignen sich gut bei einem niedrigen Budget oder bei einem niedrigen Besucherstrom bzw. bei nur wenigen Conversions. In diesem Falle ist ein A/B-Test eine praktikable Alternative, um nennenswerte Verbesserungen zu erreichen.
Vorteile beim A/B-Test
Der größte Vorteil eines A/B-Tests liegt generell in Messbarkeit der vorgenommenen Änderungen. Denn bereits minimale Änderungen im Design oder in der Struktur einer Seite können gravierende Auswirkungen auf den Traffic (Besucherverkehr) haben. Entscheidungen können somit nicht mehr intuitiv, sondern rational getroffen werden. A/B-Tests liefern eine objektiv messbare Grundlage, mit welcher man seine Ziele in Bezug auf die Webseite Optimierung besser verfolgen kann. Zu beachten ist hierbei, dass der A/B-Test zeitgleich ausgeführt werden soll. Dabei soll dem Besucher Nr. 1 die erste Variante gezeigt werden, dem Besucher Nr. 2 die zweite usw. Oft werden Splittests jedoch so konzipiert, dass die ersten 1.000 Besucher auf die erste Variante und die nächsten 1.000 Besucher auf die zweite Variante weitergeleitet werden. Dieser Einsatz soll nach Möglichkeit vermieden werden, da dies zu verzerrten Ergebnissen führen kann.
Außerdem ist es wichtig, dass man Schlussfolgerungen nicht zu früh zieht. Da der Zufall bei allen statistischen Auswertungen eine große Rolle spielt, sollte man den A/B-Test über einen längeren Zeitraum laufen lassen, damit die Ergebnisse als statistisch signifikant gelten können. Es wird darüber hinaus empfohlen, die Stammkunden der Webseite zu beachten und ihnen lieber die ihnen bereits bekannte Version der Seite zu präsentieren, um sie nicht zu verwirren – zumal es zu dem Zeitpunkt des Testverfahrens noch nicht sicher ist, ob neue Variante tatsächlich umgesetzt werden soll.
Ziele beim A/B-Test
Welche Features man auf der Webseite testen möchte, hängt von der Zielsetzung ab. Verbreitet sind z.B. A/B-Tests, mit denen man Anmeldeformulare für Newsletter testet. Dabei sind z. B. solche zu testende Optionen denkbar wie die Länge des Anmeldeformulars, die Ausführlichkeit, die Optik, ggf. eine Verknüpfung mit dem Facebook Account, das Vorhandensein der Datenschutzbestimmungen usw. Durch den Einsatz des A/B-Test kann man relativ zeitunkritisch herausfinden, welche Störfaktoren die Besucher der Webseite davon abhalten, sich für den Newsletter anzumelden. Typische Eigenschaften, die man im Rahmen eines A/B-Tests einer Analyse unterziehen könnte, sind darüber hinaus die jeweilige Wortwahl, Platzierung, die Menge des Textes, Bilder, unterschiedliche Handlungsaufforderungen (sog. Call to Action) etc.