Sobald ein Kunde bei uns eine bestimmte Größe erreicht, fangen wir mit dem A/B Testing an. Es ist wichtig, dass wir einen guten Durchsatz an Usern haben, damit wir überhaupt zu statistisch signifikanten Ergebnissen in angemessener Zeit kommen können.
Bei den Tests hat man unendlich viele Möglichkeiten. Was wichtig ist: die richtige KPI für einen Test zu definieren.
Im unteren Beispiel, sieht man, dass z.B. eine hohe Clickrate nicht immer zum gleichen Ergebnis im Umsatz führt. (Das Ergebnis beim Umsatz ist trotzdem statistisch signifikant, sogar bei einer Konfidenz von 99%)
Testet man z.B. Betreffzeilen muss man immer das Gesamtbild betrachten. Ist eine Betreffzeile z.B. „Bis zu 90% Rabatt“ dann hat man zwar eine super hohe Öffnungsrate, die Purchaserate aber wird höchstwahrscheinlich super niedrig sein. (ausser man gibt wirklich 90% auf relevante Produkte und nicht nur auf ein Nebenprodukt)
Testet man den Aufbau von E-Mails, ist es immer wichtiger den Kontext der E-Mail in der Customer Journey zu betrachten. Gerne lassen wir bei A/B Tests Dinge weg, um den Ablauf, je nach Touchpoint, reibungsloser zu gestalten. Problem ist, wenn der Kunde noch relativ früh in seiner Customer Journey ist, kann ein weglassen von Trust, USPs, Bannern o.Ä. eher einen negativen Effekt haben.
Wie schon auf der Webseite, gilt auch im E-Mail Marketing:
„Müssen wir safe testen“ – Samuel Hess
