Benedikt Schipper

03.01.2018

Was wir aus über 500 Tests gelernt haben

Wer sich täglich mit A/B-Tests & Conversion Rate-Optimierung beschäftigt, stößt auch täglich auf neue Artikel im Internet, die von neuen Trends oder Änderungen handeln, die man unbedingt auf der eigenen Webseite oder der seiner Kunden testen/einbauen sollte. Häufig geht es dabei um einen neuen Usability Trend, einen neuen “No Brainer” oder das “Next Big thing in CRO”.

Diese Dinge sollen und dürfen uns inspirieren, nur was dann?

Wir haben 2017 mehr als 500 Tests für unsere Kunden gelauncht und alle haben eines gemeinsam: Sie beruhen auf den gleichen drei “Fundamentals”. Diese benutzen wir um sicherzustellen, dass selbst die verrückteste Änderung wirklich effektiv getestet werden kann und Erfolg oder Misserfolg tatsächlich nachweisbar ist.

Keine Hypothese – kein Test

Ohne Hypothese gibt es bei uns keinen A/B Test. Wer folgenden Satz nicht vervollständigen kann, wird evtl. einen Glückstreffer landen, hat aber keinen funktionierenden CRO-Prozess:

“Wir glauben, dass wenn wir [A] für [B] verändern, wird das Ergebnis [C] sein. Wir können das anhand von [D] und [E] nachweisen.”

Wir sind immer auf der Suche nach Informationen & Antworten, die uns einen noch viel größeren Uplift ermöglichen, als möglicherweise nur auf den ausgewählten Seiten, auf denen wir testen. Wenn wir allerdings nicht analysieren und verstehen was und warum etwas erfolgreich ist, können wir dieses Prinzip nicht skalieren.

 

Conversion-Ziel ist nicht immer gleich Bestellquote

Als Conversion-Optimierer hat man am Anfang einer Zusammenarbeit häufig eine “Art Bildungsauftrag” gegenüber dem Neukunden. Viele gehen davon aus, dass jeder Test ausschließlich das Ziel haben sollte, die Anzahl der Bestellungen/Conversion Rate zu erhöhen.

Ja, wir testen nichts zum Spaß und ja, wir wollen für unsere Kunden mehr Umsatz und damit mehr Gewinn erwirtschaften.

Oft gibt es aber ein paar Zwischenstationen, die wir dafür nehmen müssen. Umso weiter weg von der “Danke-Seite” wir testen, desto unwahrscheinlicher wird es, dass wir ausschließlich auf die letztendliche Bestellquote achten. Wenn wir z.B. sicherstellen wollen, dass mehr Besucher ein geeignetes Produkt finden, könnte der Click auf den “In den Warenkorb”-Button ein geeignetes Ziel sein. Auch z.B. der Warenkorb-Wert kann, wenn er gesteigert wird, zu mehr Umsatz führen, ohne dass die eigentliche Conversion Rate beeinflusst wird.

Natürlich soll sich das letztendlich auf die Conversion Rate und die Anzahl der Bestellungen auswirken. In einem A/B-Test kann es allerdings sehr schwierig sein, ohne für sehr sehr lange Zeiträume zu testen, diesen Zusammenhang auch nachzuweisen. Ein direkteres, nähergelegenes Ziel ist also oft eine hilfreiche Zwischenstation.

Spannung & Geduld

In den ersten Stunden eines neuen A/B-Tests sind wir selbst ständig am Refreshen der Reports und der Webseite. Jeder Test ist eine große Verantwortung gegenüber unseren Kunden und wir nehmen diese dankend an. Wir kontrollieren also natürlich ob die Zahlen richtig in den Zielen ankommen, die Aufteilung auf Variation und Control richtig funktioniert oder irgendwelche Schwierigkeiten auftreten.

Kurz gesagt – wir stellen sicher, dass alles so funktioniert wie es soll.

Nachdem das passiert ist, haben wir allerdings auch die Geduld nicht alle 5 Minuten in den A/B-Test zu schauen. Jetzt heißt es: Daten sammeln! Momentaufnahmen nützen keinem und machen häufig nur nervös.

Keine Sorge, liebe Kunden, ihr dürft gerne so viel ihr wollt in unsere Tests schauen – nur wundert euch nicht, wenn kurz danach alles schon wieder anders aussieht. Gut Ding will Weile haben!

 

Benedikt, Head of User Experience & Conversion Optimization

Write a response

Hol Dir unsere besten Stuff in Deinen Posteingang!
close-image