Als Schwarze Schwäne werden sehr unwahrscheinliche, aber mögliche Ereignisse bezeichnet. Als SEOs müssen wir uns damit auseinandersetzen. Das ist der Grund, warum wir A/B-Tests durchführen.
Will Critchlow und sein SearchPilot-Team haben daraus sogar einen sehr spannenden Newsletter gebaut, in dem sie immer wieder spannende Tests aus ihrer täglichen Arbeit zeigen (auch wenn man sich oft mehr Details wünschen würde).
Jean-Christophe Chouinard hat jetzt bei OnCrawl untersucht, wie gut eigentlich die Ergebnisse von CausalImpact sind. CausalImpact ist eine Machine Learning Library von Google, die oft genutzt wird, um Kausalität (= ursächlichen Zusammenhang) nachzuweisen.
Wir finden diese Punkte sehr wichtig. Vielleicht hast Du (wie einige unserer Kunden) ein eigenes Test-Setup und Auswertung mit CausalImpact? Vielleicht machst Du es wie wir und nutzt meist Ryte für die A/B-Tests, weil es wesentlich einfacher ist? Vielleicht nutzt Du etwas anderes? In jedem Fall solltest Du Dir diesen Post einmal anschauen.
Die wichtigsten Punkte, auf die wir auch immer achten:
-
Wenn Deine Domain aus verschiedenen Gründen (Corona, Relaunch, heftige Bugs) Schwankungen unterliegt sind die Ergebnisse wenig verlässlich
-
A-Gruppe vs. B-Gruppe funktioniert besser als die gleiche Gruppe Vorher vs. Nachher zu testen
-
Die Gruppen müssen (!) vergleichbar sein
-
Je größer die Änderungen, desto besser die Ergebnisse
-
Im Artikel nicht so richtig intensiv herausgearbeitet: Auf welche Metrik wird unsere Hypothese eigentlich genau wirken?
Eine schöne Erinnerung: Nicht immer muss es ein A/B für SEO sein. Manche SEO-Ergebnisse lassen sich auch über klassische User-A/B-Tests testen. Und deren Reliabilität ist deutlich größer.