Jill

06.02.2020

Lesezeit: 5 Minuten

A/B Test vs. Relaunch – Wofür solltest du dich entscheiden?

A/B Test vs. Relaunch

Du möchtest einen Relaunch für deine Website? Dann ist dieser Artikel perfekt für dich! Wir verraten dir warum das nicht die beste Option für dich ist und wie du dir am Ende viel Ärger und vor allem unzufriedene Kunden sparst. Während du beim A/B Test nur Stück für Stück Änderungen übernimmst, wirft ein Relaunch deine Website einmal um. In den meisten Fällen raten wir dazu auf einen kompletten Relaunch zu verzichten, aber es gibt immer wieder Kunden, die darauf bestehen. Es ist ein bisschen wie die Frage ob man mal Botox probiert oder direkt das Facelift mit anschließender neuer Identität bucht.

Die Macht der Gewohnheit

Manchmal ist es hilfreich sich anzuschauen was große Marken machen. Große Marken machen selten einen kompletten Relaunch. Es sei denn, sie haben etwas wirklich gegen die Wand gefahren. Große Marken sind nicht nur für ihre Produkte oder ihr Corporate Design bekannt, sondern Kunden wissen sich auch direkt auf der Seite zurechtzufinden. Wenn du etwas bei Amazon kaufst, dann weisst du automatisch oben links bis mittig ist das Suchfenster, ganz oben rechts der Warenkorb und direkt daneben kannst du dir deine bisherigen Bestellungen ansehen. Wenn Amazon nun beschließt den Warenkorb nach unten links zu setzen und den Login Bereich in die Mitte. Was passiert dann?

Dann würde Amazon eine Menge Geld verlieren! Nein, wir meinen damit nicht die Kosten für den Relaunch. Wir meinen damit den Wegfall von Kunden.

  1. Menschen sind Gewohnheitstiere. Das heißt sie reagieren nicht immer positiv auf Änderungen, sondern wollen ihr gewöhnliches Kauferlebnis beibehalten.  Finden sich deine Kunden auf deiner Website nicht mehr zurecht, weil z. B. die Merkliste nicht mehr da ist, wo sie immer war, dann führt das zu Frustration auf ihrer Seite und somit auch zu Frustration auf deiner Seite. 
  2. Bei einem Relaunch ist die Wahrscheinlichkeit hoch, dass etwas besser gemacht wird. Die Wahrscheinlichkeit, dass etwas schief geht ist leider höher. Häufig gehen dann auch Dinge schief, die zuvor reibungslos funktioniert haben und dann muss man erstmal dahinter kommen, dass es z. B. Probleme beim Implementieren der Datenbank gab. Bei einem Relaunch ist die Wahrscheinlichkeit das Fehler passieren, die deine Kunden betreffen wesentlich höher, als bei einem A/B Test.
  3. Vertraue niemals einem Designer oder Marketer, der dir verspricht, dass hinterher alles viel besser wird. Häufig steckt da vor allem eins hinter: Übermut mit einer Prise Arroganz. Denn was der Designer oder Marketer als “geil” empfindet muss nicht zwangsläufig das gleiche Empfinden bei deinen Kunden hervorrufen. Deine Kunden Anne & Peter haben nicht das gleiche intuitive Empfinden, wie der stylishe Designer, wenn es darum geht eine Menüleiste zu öffnen. Was dem Designer dann Euphorie beschert, sorgt bei denen Kunden womöglich für Frustration und im schlimmsten Fall für das Bedürfnis bei deinem Konkurrenten einzukaufen.

Wie kannst du deine Konversion ohne Relaunch verbessern?

Wir raten dir dazu einen A/B Test durchzuführen. Bei einem A/B Test dreht sich alles um die Frage:

Was verbessert das Shoppingerlebnis für deine Kunden?

Na gut, bei einem Relaunch sollte das auch so sein, aber wir lieben nun einmal  A/B Tests! Warum? Bei einem A/B Tests werden zwei Versionen deiner Landing Page erstellt. 50 % deiner Kunden bekommen deine Landing Page Version A zu sehen und 50 % deiner Kunden bekommen deine Landing Page Version B zu sehen. Was ist dein Vorteil dabei?

  1. Du kannst genau erkennen was deinen Kunden besser gefällt und was nicht. Bei einem Relaunch tappst du im Dunkeln und musst mühsam herausfinden, warum die Conversion Rate nun doch nicht gestiegen ist. Bei einem A/B Test lässt sich leicht darauf zurückschließen welches neue Feature deine Kunden dazu verleitet mehr zu kaufen.
  2. Deine Kunden werden nicht verschreckt, weil deine Website plötzlich anders aussieht und sie sich nicht mehr zurechtfinden. 
  3. Aus wirklich jedem A/B Test kannst du wichtige Informationen für dich ziehen. Das heißt, wenn es beim ersten Test nicht geklappt hat, dann wird der zweite mit Sicherheit erfolgreicher und wenn nicht der, dann auf jeder Fall der dritte oder vierte. Es ist praktisch unmöglich aus A/B Tests keine wichtigen Informationen zu ziehen, die am Ende deine Conversion Rate erhöhen. 

Die Fakten haben dich noch nicht überzeugt? Dann schau dir an, wie wir deineTorte.de mit nur einem Test zu einem Uplift von 1,49 € pro Seitenbesucher verhalfen. Hier gehts zur Fallstudie.

Wann funktioniert ein A/B Test nicht?

Es gibt natürlich auch Kunden, denen wir von einem A/B Test abraten. Wir wollen nicht das Geld unserer Kunden verschwenden und sind nur zufrieden, wenn wir am Ende auch wirklich etwas erreichen konnten. Dann macht Arbeit einfach mehr Spaß. Dafür brauchen wir aussagekräftige Daten. Wenn du nun auf deiner Website nicht ausreichend Traffic hast, dann genügt das leider nicht für einen A/B Test, weil die statistische Signifikanz nicht gegeben ist. Wir gehen in der Regel davon aus, dass man mindestens 250 Conversions haben sollte, um eine aussagekräftige Tendenz festzustellen. 

Jeder kennt das Sprichwort “Traue keiner Statistik, die du selbst nicht gefälscht hast!”. Damit du deiner nächsten Statistik vertrauen kannst erklären wir dir jetzt wie das funktioniert. Hier kommt es auf die Statistische Signifikanz an, aber was bedeutet statistische Signifikanz?

Die statistische Signifikanz ist die Wahrscheinlichkeit, dass zwischen zwei Variablen ein Zusammenhang besteht und sich das Ergebnis auf eine Grundgesamtheit übertragen lässt.

Beispiel: Der CRO Manager stellt die Hypothese auf, dass bei einer Änderung der Benefit Bar deine Konversion Rate steigt. D. h. es wird mit dem Designer abgesprochen und daraufhin die Benefit Bar auf der Ladung Page Version A geändert. Dadurch wird eine 5 % höhere Conversion erreicht mit einer Signifikanz von 95 %. Dieser Wert lässt sich auf die Gesamtheit übertragen und die Verbesserung der Conversion ist nicht nur eine Stichprobe oder eine Momentaufnahmen, sondern gilt für die Grundgesamtheit.

Um die statistische Signifikanz für A/B Tests zu berechnen brauchst du Chi.

Nein, nicht das Chi das deine Aura bereinigt, sondern das Chi, das deine Statistik bereinigt. Chi², um genau zu sein. Der Chi² Anpassungstest wird genutzt, um die statistische Signifikanz von A/B Testverfahren zu überprüfen. 

Wir könnten dir jetzt an dieser Stelle die Formel erklären. Dir sagen, dass du verschiedene Testvarianten benötigen, Anzahl der Unique Visitors, Anzahl der Conversion und dann berechnest du die Conversion Rate, Uplift oder Downlift, Konfidenz und natürlich Signifikanz. 

Aber wer setzt sich schon mit Taschenrechner Stift und Zettel hin und berechnet das? Da müssen wir niemandem etwas vormachen. Bei uns berechnet Nour für dich welche Variante deiner Landing Page eine höhere Conversion erzielt. Dafür nutzt sie am liebsten VWO. Es gibt aber auch noch andere Software dafür, wie z. B. Optimizely oder A/B tasty. Nour nutzt zusätzlich eine Prioritätenliste, damit sie weiß wie hoch der Aufwand für ein Testverfahren ist und was an Output erwartet wird.

Wie setzten große Marken A/B Tests um?

Große Unternehmen, wie Amazon, Facebook oder Netflix haben z. B. die 10.0000 Experimente Regel. Diese Regel besagt, dass es lieber viele kleine Änderungen oder auch Iterative Änderungen gibt als eine große. Interative Änderungen beschreiben den Prozess sich stetig mit kleinen Änderungen an ein Ziel oder eine Lösung anzunähern. Diesen Prozess haben auch Netflix und Facebook für sich entdeckt und nennen ihn die 10.000 Experimente Regel. Anstatt eine App komplett neu zu designen werden kleine Test, z.B. bzgl. der Navigation durchgeführt. 

Das wird dir nicht schlagartig eine höhere Retention oder Engagement Rate bringen. Das bringt dir aber auch nicht schlagartig Verluste und es bringt dir auf jeden Fall bessere Ergebnisse, als lediglich auf dein Bauchgefühl zu vertrauen und Änderungen vorzunehmen, die dich am Ende Umsatz kosten.

Facebook macht z. B. Tausende Experimente pro Jahr und nähert sich so einer immer höheren Engagement Rate an. Die können es sich aber auch gar nicht erlauben, einen Relaunch zu wagen. Das Risiko, dass die App nicht mehr funktioniert oder abstürzt ist einfach zu groß. Außerdem ist es für Facebook viel interessanter zu sehen welche Änderungen das Engagement und die Nutzung der App verbessern und das schafft kein Relaunch, das schaffen nur A/B Tests. Es geht bei A/B Tests jedoch nicht darum wilde neue Features auszuprobieren oder nur nach Bauchgefühl Tests zu machen. Es geht darum auf ein Ziel hinzuarbeiten und aus den vorherigen Testverfahren zu lernen. 

Beispiel aus der Praxis Netflix:

Das Data Team bei Netflix hat sich angeschaut worauf die User reagieren. Denn das Problem ist, wenn der User nicht innerhalb von 60-90 Sekunden ein Entscheidung getroffen hat, was er sehen möchte, dann ist er genervt und es besteht die Gefahr, dass er die Website verlässt. In verschiedenen Testverfahren hat Netflix herausgefunden, dass sich Nutzer auf die Artworks der Filme fokussieren. 

Daraufhin folgte A/B Tests, um herauszufinden, ob sich das Engagement erhöhen lässt, in dem man die Artworks austauscht. Dazu haben sie CTR, Laufzeit und andere Metriken gemessen. Als nächstes wollten sie wissen, ob ein Austausch der Artworks dazu führt, dass der Film länger gestreamt wird. Für eine bestimmte Zeitperiode wurde getestet welches Artwork am besten zum Titel passt, dann wurde dieses Artwork zukünftigen Usern angezeigt und gemessen, ob der Film dann länger gestreamt wird. So sorgt Netflix dafür, dass User auf der Website oder App bleiben und sich die Filme länger anschauen. Mit A/B Tests lässt sich also gezielt Filtern, worauf deine Kunden positiv reagieren.

Fazit

Mit A/B Tests bist du nicht nur auf der sicheren Seite, sondern dein CRO Team kann dir auch genau sagen auf welche Änderungen deine Kunden positiv oder negativ reagieren. Du kannst dir je nach Zielgruppe Informationen holen, die für dein Business relevant sind. So wirst du mit kleinen Schritten in die richtige Richtung am Ende mehr erreichen, als wenn du einen Relaunch deiner Website durchführen lässt. Falls du mehr darüber erfahren magst schreib uns oder lies dir unsere Case Study “Was wir aus 500 A/B Tests gelernt haben” durch.

1

2

3

Was sind deine Ziele?

Weiter

Was du von uns bekommst:

Kostenlos

Individuell

Persönlich

... und das in unter 20 Minuten



2

3

Mehr Traffic? Gute Wahl!

Welches Budget habt ihr für
Suchmaschinenoptimierung (SEO)?

Wer kümmert sich aktuell um das thema SEO?

Mehr Conversions? Gute Wahl!

Welches Budget habt ihr für Conversion Rate Optimierung (CRO) eingeplant?

Wer betreut aktuell das Thema CRO?

Bessere Social Ads, zahlen sich aus!

Wie hoch sind eure monatlich geplanten Spendings?

Wer betreut aktuell das Thema Social Ads?

Weiter

Sophie Brunn

Online Marketing & Content Management @ Ankerkraut

“Die Mädels und Jungs bei BOY & MAN haben mit uns in kurzer
Zeit eine tolle Kampagne auf die Beine gestellt und einen großartigen CPO für uns
herausgeholt. Die Kommunikation war super nett, ehrlich und zuverlässig. Sie haben unsere
Marke schnell verstanden und in tolle Creatives umgesetzt.”

Robert Schwärzle

Projectmanager @ Dildoking

“Wer eine sehr gute und zuverlässige Agentur sucht, der ist
hier vollkommen richtig. Die Zusammenarbeit mit BOY & MAN ist sehr transparent und man hat
eine sehr gute Erreichbarkeit der Mitarbeiter. Was ich auch super finde: BOY & MAN arbeitet
Pro-Aktiv, sie kommen mit neuen Ideen, die man umsetzen kann, oder weisen einen auf Probleme
hin.”

Philipp Reif

CEO & Founder @ Oatsome

“BOY & MAN ist für uns zu jederzeit ein zuverlässiger
Ansprechpartner. Man kann Sie zu praktisch jeder Tages- und Nachtzeit oder auch am Wochenende
erreichen und erhält sofort eine qualifizierte Antwort. Absolut weiterzuempfehlen!”

Sean Pfister

CEO & Founder @ dillysocky

“BOY & MAN ist auf dem neusten Stand und kann dich super bei
SEO und Conversion Optimierungs-Fragen beraten.”

Torben Buttjer

Gründer/Geschäftsführer @ Reishunger

"BOY & MAN hilft uns auf Facebook neue Kunden für unseren Reis
zu gewinnen. Außerdem haben sie bei uns die Abteilung Conversion Rate Optimierung geschaffen,
die uns effizienter macht. Es macht Spaß mit den ehrgeizigen und fleißigen Mitarbeitern von
BOY & MAN zu arbeiten" Torben ButtjerGründer/Geschäftsführer





3

Bevor es losgeht...





(Datenschutz)

Was du von uns bekommst:

Kostenlos

Individuell

Persönlich

... und das in unter 20 Minuten

close-link