A/B Test vs. Split Test: Gibt es einen Unterschied?

Jetzt, wo Conversion Optimierung (oder Conversion Rate Optimierung oder CRO) an Popularität gewinnt und sich auch der Einzelhandel massiv durch seinen Multi- Channel- Vorstoß dafür interessiert, ist auch mir aufgefallen, dass die Begriffe „Split Test“ und „A/B Test“ sehr gleich verwendet werden. Da bin ich bei Scott von Surgelabs auf einen brillianten Blog- Eintrag gestoßen, den ich euch mal ganz frech sinnverwandt ins deutsche übersetzt habe

Zum Start findet Ihr hier die Definitionen aus Wikipedia:

• Split Test (auch Split run Test) – Ein Split run Test ist eine Testmethode für Werbetestzwecke, bei der eine Originalversion eines Werbemittels gegen eine veränderte Version getestet wird.
• A/B Test – Ein A/B Test ist eine Testmethode für Werbetestzwecke, bei der eine Originalversion eines Werbemittels gegen eine veränderte Version getestet wird.Seht Ihr, identische Definitionen für verschiedenartige Testmethoden. Warum?

Hier nun wie ich die beiden Begriffe definieren würde:

• Split Test – Ein Split Test ist eine Testmethode für Werbetestzwecke, , bei der eine Originalversion eines Werbemittels gegen eine komplett veränderte Version getestet wird, um Reaktionsraten zu erhöhen.
• A/B Test – Ein A/B ist eine Testmethode für Werbetestzwecke, bei der eine Originalversion eines Werbemittels gegen eine Variation verschiedener veränderbarer Seitenelemente getestet wird, um Reaktionsraten zu erhöhen. Beispiel für einen Split Test:

Um es klarer zu machen, hier ein kurzes Besipiel:

Kontroll Anzeige

Kontroll Anzeige mit geändertem Seitenelement (ein grüner Button)

Um einen Landing Page Split Test durchzuführen, würde man 50% des Traffics zu einem Landing Page Design schicken (Kontroll Anzeige) und die anderen 50% zu der Landing Page mit dem anderen Design (Variations Anzeige). Beide Landing Pages hätten dasselbe Conversion Ziel (Für das Gewinnspiel anmelden, Bestätigung senden, etc.).

Beide Landing Pages hätten dabei unterschiedliche Texte, unterschiedliche Headlines, unterschiedliche Bilder, unterschiedliche Buttons, aber viel wichtiger: eine unterschiedliche URL.

Jetzt würde man den Gewinner aus dem Split Test als Kontroll Anzeige in einem A/B Test wählen.

A/B Test Beispiel

Für einen A/B Test würde ich die vorher ermittelte Gewinner Landing Page aus dem Split Test gegen eine in einem abgeänderten Seitenelement (z.B die Farbe eines Buttons von Orange zu Grün verändert) gegeneinander testen.

Diese A/B Tests würde man unter der Voraussetzung eines klar definierten KPI Ziels so lange testen, bis sich aus der Variation auch hier ein klarer Sieger hervorgetan hat. Von hier aus würden wir nun zu den etwas komplizierteren multivariaten Tests kommen.

Multivariate Tests

Hier ist eine Definition aus Wikipedia:

• Multivariate Test – Bei dieser Art des zeitgleichen Tests werden mehrerer Varianten und mehrere  Änderungen an einer Website zugleich auf ihre Effekte überprüft.

Wenn wir uns jetzt zum Beispiel unsere neue Kontroll Anzeige aus dem A/B Test nehmen, dann könnten wir bei der multivariaten Testreihe jetzt mehrere verschiedenartige Seitenelemente (wie Button Farben, Headlines, Zahl der Formularfelder, Bilder, Farbgebungen, etc.) gegeneinander zur selben Zeit testen. Achte bei den multivariaten Tests aber darauf, dass beim Testen der ganzen verschiedenartigen Variablen zur selben ein hohes Besucheraufkommen nötig ist, da sonst keine valide Aussage über diese Testreihe getroffen werden kann.

Ich würde euch also folgende Reihenfolge bei euren multiplen Testverfahren vorschlagen:

1)      Split Test – Nutzt einen Split Test um eine erste Richtung für das von eurer Zielgruppe präferierte Design zu

2)      A/B Test – Nutzt einen A/B Test um eine Variation eines Seitenelements auf einer einzigen Seite zu testen

3)      Multivariate Test – Nutzt multivariate Tests um multiple Variationen multipler Seitenelemente auf einer einzigen Seite zu testet.

Das Ergebnis dieser verschiedenen CRO Maßnahmen ist es letztendlich die Leads und Verkäufe Ihrer Landing Pages massiv zu erhöhen. Conversion Optimierung ist keine einmalige Angelegenheit, begreift Ihn als wiederkehrenden repititiven Prozess, der es euch ermöglicht aus bestehendem Meidia Budet zur Traffic Generierung mehr Kunden zu generieren.

Kontroll  Anzeige	Variations Anzeige

Um einen Landing Page Split Test durchzuführen, würde man 50% des Traffics zu einem Landing Page Design schicken (Kontroll Anzeige) und die anderen 50% zu der Landing Page mit dem anderen Design (Variations Anzeige). Beide Landing Pages hätten dasselbe Conversion Ziel (Für das Gewinnspiel anmelden, Bestätigung senden, etc.).

Beide Landing Pages hätten dabei unterschiedliche Texte, unterschiedliche Headlines, unterschiedliche Bilder, unterschiedliche Buttons, aber viel wichtiger: eine unterschiedliche URL.

Jetzt würde man den Gewinner aus dem Split Test als Kontroll Anzeige in einem A/B Test wählen.

A/B Test Beispiel

Für einen A/B Test würde ich die vorher ermittelte Gewinner Landing Page aus dem Split Test gegen eine in einem abgeänderten Seitenelement (z.B die Farbe eines Buttons von Orange zu Grün verändert) gegeneinander testen.

Kontroll Anzeige	Kontroll Anzeige mit geändertem Seitenelement (ein grüner Button)

Diese A/B Tests würde man unter der Voraussetzung eines klar definierten KPI Ziels so lange testen, bis sich aus der Variation auch hier ein klarer Sieger hervorgetan hat. Von hier aus würden wir nun zu den etwas komplizierteren multivariaten Tests kommen.

Multivariate Tests

Hier ist eine Definition aus Wikipedia:

• Multivariate Test – Bei dieser Art des zeitgleichen Tests werden mehrerer Varianten und mehrere  Änderungen an einer Website zugleich auf ihre Effekte überprüft.

Wenn wir uns jetzt zum Beispiel unsere neue Kontroll Anzeige aus dem A/B Test nehmen, dann könnten wir bei der multivariaten Testreihe jetzt mehrere verschiedenartige Seitenelemente (wie Button Farben, Headlines, Zahl der Formularfelder, Bilder, Farbgebungen, etc.) gegeneinander zur selben Zeit testen. Achte bei den multivariaten Tests aber darauf, dass beim Testen der ganzen verschiedenartigen Variablen zur selben ein hohes Besucheraufkommen nötig ist, da sonst keine valide Aussage über diese Testreihe getroffen werden kann.

Ich würde euch also folgende Reihenfolge bei euren multiplen Testverfahren vorschlagen:

1)      Split Test – Nutzt einen Split Test um eine erste Richtung für das von eurer Zielgruppe präferierte Design zu

2)      A/B Test – Nutzt einen A/B Test um eine Variation eines Seitenelements auf einer einzigen Seite zu testen

3)      Multivariate Test – Nutzt multivariate Tests um multiple Variationen multipler Seitenelemente auf einer einzigen Seite zu testet.

Das Ergebnis dieser verschiedenen CRO Maßnahmen ist es letztendlich die Leads und Verkäufe Ihrer Landing Pages massiv zu erhöhen. Conversion Optimierung ist keine einmalige Angelegenheit, begreift Ihn als wiederkehrenden repititiven Prozess, der es euch ermöglicht aus bestehendem Meidia Budet zur Traffic Generierung mehr Kunden zu generieren.