Was ist der Unterschied zwischen A/B Testing und Split Testing?

Beide Begriffe werden synonym verwendet. Beim A/B Test werden zwei Varianten (A und B) eines Elements gegeneinander getestet, um die bessere Performance zu ermitteln.

Wie lange sollte ein A/B Test laufen?

Die Dauer hängt von deiner Zielgruppengröße ab. Der Test sollte so lange laufen, bis statistisch signifikante Ergebnisse vorliegen – meist mindestens 1-2 Wochen.

Welche Elemente kann ich in E-Mails per A/B Test optimieren?

Betreffzeilen, Preheader, CTA-Buttons (Farbe, Größe, Text), Bilder, Layouts, Versandzeitpunkte und Personalisierungselemente lassen sich effektiv testen.

Warum sollte ich nur eine Variable pro Test ändern?

Bei mehreren Änderungen gleichzeitig lässt sich nicht feststellen, welches Element für die Performance-Unterschiede verantwortlich ist. Die Ergebnisse werden unbrauchbar.

Was mache ich, wenn kein klarer Sieger beim A/B Test erkennbar ist?

Dann solltest du deine ursprüngliche Hypothese überprüfen, anpassen und einen neuen Test mit veränderten Parametern oder größerer Stichprobe durchführen.

Die Vorteile von A/B TESTING

Die Vorteile von A/B Testing

Wie ist A B Testing entstanden?

Einen a-b-test, der auch als split testing bezeichnet werden kann, gibt es nicht erst seit heute. 1989 steckte das Internet zwar noch in den Kinderschuhen, wurde jedoch von Jahr zu Jahr nicht nur beliebter, sondern auch für Marketingzwecke immer interessanter. Durch Google Optimize veränderte sich langsam aber sicher der Prozess und 2006 kamen die ersten A/B Tests ins Spiel.

Als 2010 VWO und Optimizely noch mit einigen Fehlern auf den Markt kamen (Web-Optimierungs- und Experimentier-Tools), war es für jeden möglich, das Tool zu verwenden. Die Qualität wurde jedoch mit der Zeit immer besser und a b testing tools entwickelten sich langsam zu einem vielversprechenden Instrument. Auch erste E-Mail Marketing Tools entwickelten sich, um damit erste Testmöglichkeiten anbieten zu können.

Das was ist A/B Testing genau und wie wird es genutzt?

Wie man A/B Testing nutzen kann

Mittels a b testing kann herausgefunden werden, welche Version einer Anzeige, E-Mail oder Marketingkampagne besser performt. Dabei können unterschiedliche Elemente entfernt und hinzugefügt werden, um eine Variante A und eine Variante B miteinander vergleichen zu können. Es können zahlreiche unterschiedliche Elemente getestet werden, wie z.B. Schlagzeilen, Untertitel, Bilder, Grafiken, Farbschemata, das Layout und auch gewisse Preisstrukturen.

A B Testing im Marketing (Werbeanzeigen & E-Mails)

Bei Werbeanzeigen und E-Mails sollte zu Beginn festgelegt werden, welche Elemente beim a b testing getestet werden sollen. Dabei können erst einmal vergangene Kampagnen näher analysiert werden. Ist der CTA-Button zu klein, die Farbe nicht ansprechend oder das Layout nicht optimal?

Wenn entschieden wurde, welche Elemente getestet werden sollen, geht es auch schon an die Testkonzeption. Nun werden zwei Varianten dieser Elemente in die E-Mail bzw. Werbeanzeige eingefügt. Beispielsweise wird eine Grafik hinzugefügt und einmal wird diese weggelassen. Oder es wird ein großer CTA-Button im Vergleich zu einem kleinen Button getestet usw.

Eine klare Strategie mit einem integrierten Zeitplan sollte beim a b testing stets verfolgt werden, damit auch genaue Ergebnisse zu Stande kommen können. Die Dauer sollte weder zu kurz noch zu lang und die zu messenden Indikatoren absolut klar sein!

Nun wird der Test auch schon durchgeführt, was in einem späteren Abschnitt noch einmal genauer erläutert wird. Auf jeden Fall sollte immer nur eine Variable verändert werden, damit die Ergebnisse nicht miteinander vermischt werden und es später schwierig wird sie auszuwerten.

Sobald die festgelegte Test-Dauer beim a b testing erreicht ist, ist es auch schon an der Zeit, die Ergebnisse auszuwerten. Ist hier ein klares Ergebnis zu erkennen, kann die Variante, die besser performt hat, direkt übernommen werden. Stellt sich bei der Überprüfung des a b testing heraus, dass es keinen klaren Sieger gibt, muss die Hypothese, die zu Beginn aufgestellt wurde, geändert und angepasst werden.

Dieser Vorgang wird im Anschluss mit den weiteren zu testenden Elementen mit dem ab testing tool wiederholt usw.

A B Testing im Online-Shop

Wenn du Produkte im Internet in einem Online-Shop verkaufst, solltest du anstatt einfach eine Änderung im Shop vorzunehmen, lieber auf einen ab test setzen. Denn du wirst zahlreiche Learnings aus dem Test ziehen können, die zu einem positiven Ergebnis für deinen Online-Shop führen werden.

Die einzelnen Punkte von dem a b testing Verfahren kannst du aus Punkt 1 übernehmen und in der gleichen Reihenfolge wie beschrieben durchführen. Auch hier wird es wieder Schritt für Schritt um die Optimierung einzelner KPIs (Umsatz / Kunde, Conversion Optimierung) gehen. Natürlich ist es auch hier möglich, das Farbschema zu testen, um zu schauen, ob beispielsweise ein CTA Button in Blau besser performt als in Rot.

Grundlagen des A B Testings

Anstatt die neuen Ideen einfach in das Marketing zu implementieren, sollten diese zuerst hinterfragt werden. Wir sollten also den Status Quo gegen unsere neue Idee im a b testing ausprobieren und schauen, was am Ende besser abschneidet. Wie schon erwähnt, wird anschließend ein Teil des Traffics auf Version A und ein Teil auf Version B gesendet. Anschließend können wir uns ansehen wie sich die KPI (z.B. Öffnungsrate, Klick-Rate, Umsatz, etc.) verändert hat.

Dieser Prozess ist auf Websites schon sehr verbreitet und am Markt gibt es schon viele verschiedene a b testing bzw. Conversion Rate Agenturen. Im Bereich E-Mail wird das (aus unserer Erfahrung) noch nicht so intensiv durchgeführt.
Warum? Auf der Website ist im Vergleich zum E-Mail Kanal die Testgruppe viel größer. Viele wollen sich hier den Aufwand nicht machen. Fakt ist aber, dass Tests im E-Mail Bereich auch einfacher gestaltet werden können. Wird zum Beispiel die Versandzeit einer Abandoned Cart E-Mail getestet, ist der Test in wenigen Minuten aufgesetzt. im Vergleich dazu müssen auf der Website i.d.R. immer neue Features konzipiert und programmiert werden.

Hier ein Screenshot von einem Test zwischen 30 Minuten und 2 Stunden. Ein Unterschied von 5,7% in der Order Rate.
Du siehst, es lohnt sich:

Metrik	DE-E1.1_AC-TI	Copy of DE-E1.1_AC-TI
Open Rate	53%	48%
Click Rate	21%	15%
Placed Order	15.0%	9.3%
Umsatz	€2.45K	€2.3K
Waiting	0	0
Review	53	0
Delivered	107	107
Skipped	8075	3024
Status	Live	Live

Ideen und Inspirationen finden

Um dein Marketing zu optimieren, solltest du immer wieder neue Ideen sammeln und auch für ausreichend Inspiration sorgen. Das ab email testing kann für die Conversion Optimierung so stets erweitert und dementsprechend ausgebaut werden. Allgemein schauen wir uns an, wie du neue Optimierungsideen findest, sprich für Werbeanzeigen & E-Mails sowie auch für deinen Online-Shop.

Im Marketing (In Werbeanzeigen & E-Mails)Werbeanzeigen Split testing bzw. a b testing ist der beste Weg, um zu sehen wie effizient Werbeanzeigen funktionieren. Dabei kann, wie bereits erwähnt, jede Variable verändert werden und gegeneinander getestet werden – egal ob es sich dabei um Elemente im Text oder im Design handelt. Einige Split Test Typen sind folgende: Creatives (Schriftart, Anzeigenbild), Zielgruppe (unterschiedliche Zielgruppen & Demografien), Auslieferungsoptimierung (Ausführung mit und ohne Kampagnen-Budget), Platzierungen (automatisch vs. spezifisch), Produktset (Vergleich unterschiedlicher Sets), benutzerdefinierte Variablen (alles andere).E-Mail MarketingUm das split testing bei E-Mails durchzuführen, eignet sich besonders gut die Plattform reallygoodemails.com, um Inspiration zu sammeln. Hier können gezielt unterschiedliche E-Mail Versionen von anderen Marken analysiert werden. Dazu werden jeweils zwei Varianten (A und B) einer E-Mail miteinander verglichen. Auch hier können wieder die einzelnen Elemente miteinander verglichen werden, um zu sehen, welche Variante im a b testing am Ende besser abschneidet.
Im Online-ShopIn einem Online-Shop funktioniert a b testing im Grunde gleich und unterscheidet sich nur in ein paar wenigen Punkten. Die Homepage und die Produktdetailseiten stellen hier die wichtigsten Seiten für den Traffic dar. Dies ist aber nicht für den Umsatz ausschlaggebend. Hier ist das Ziel, die Besucher in Neukunden zu konvertieren und bestehenden Kunden ein personalisiertes und gutes Erlebnis auf der Seite und beim Shoppen zu ermöglichen. Folgende Optimierungen können hier helfen, z.B.: Website schlanker gestalten, Trustelemente einbauen, saisonale Werbung schalten (Weihnachten, Ostern, etc.), Hamburger-Menüformat vs. vollständige Navigation, Sale- & Bestseller-Kategorie hervorheben.

Worauf sollte geachtet werden?

Teste eine Änderung pro Test. Wenn du sowohl den Text als auch die Farbe eines Buttons änderst, weißt du am Ende nicht, was für den Uplift gesorgt hat.
Editiere keinen live Test. Du kannst es gar nicht abwarten und möchtest direkt noch eine kleine Änderung vornehmen? a b testing braucht auch Geduld. Warte bis du ein signifikantes Ergebnis hast und triff dann eine datengetriebene Entscheidung.
Teste nicht, um zu testen. Überlege dir eine klare Hypothese und spiele nicht einfach einen beliebigen Test aus, denn mit jedem Text blockieren wir zeitliche Ressourcen. Optimiere lower hanging fruits zuerst, denn unser Ziel ist es, mit jedem Test den maximalen Uplift zu bringen. Das bedeutet wir konzentrieren uns auf die Bereiche, bei denen es möglich ist, die Werte besonders zu optimieren.
Vertraue nicht zu 100 % auf die Technik. Tools (wie z. B. auch Klaviyo) werten oftmals A/B Tests direkt aus bzw. optimieren diese für dich. Hinterfrage auch hier immer die Daten. Ist das Ergebnis wirklich signifikant? Gibt es eventuell einen Tracking Fehler? Nichts ist schlimmer als ein falscher Test. Dieser sorgt nicht nur für eine Verschlechterung der Conversion Rate, sondern auch für falsche zukünftige Hypothesen.
Werte Tests aus. Viel zu oft übernehmen wir Accounts, die allerdings seit Monaten laufen und von niemandem ausgewertet wurden. Was passiert? Alleine das Abstellen des A/B Tests auf die bessere Variante würde einen extremen Uplift verursachen.