Leonard ist seit mehr als 5 Jahren bei Kununu und für das SEO bei der Firma verantwortlich. In seinem Vortrag auf der SEOkomm "Warum SEO Experimente?" zeigte er uns wie und vor allem warum Kununu sehr viele Änderungen mit kleineren Gruppen von Profilseiten erst einmal testen, bevor sie diese Änderungen nach einem erfolgreichen Test auf alle Firmenprofile ausrollen.
Dabei nutzt Kununu die von Google entwickelte CausalImpact-Analyse um die im Test gemessenen Werte mit einem Vorhersagemodell zu vergleichen und die Aussage treffen zu können, ob es sich bei den gemessenen Werten auch um signifikante Änderungen handelt. Diese Modell ist besonders interessant, da wir für eine Verbesserung nur einen Test benötigen, für den die Wert erhoben werden.
Das CausalImpact-Model vergleicht diese Werte mit Vorhersagewerten, die darauf beruhen, dass das die Änderungen aus dem Test, nicht vorgenommen worden wären. Sobald eine Signifikanz und eine Verbesserung der Werte festgestellt wird gilt der Test auch als "bestanden". Dies kann natürlich auch mit einer signifikanten Verschlechterung als "gescheitert" bezeichnet werden.
Als Messwerte sollten dabei Klickraten, Verweildauer oder Registrierungen herangezogen werden. Und wieder einmal zeigt sich, dass wir mit der Aussage "Without data, you're just another person with an opinion" (W. Edwards Deming) gar nicht so schlecht liegen.
Leonard nutzt nach eigenen Angaben seine Tests dazu:
-
Eigene Hypothesen zu prüfen
-
Aussagen Anderer zu prüfen
-
und so schlimmeres zu verhindern
Wichtig dabei ist jedoch, dass in den Gruppen in etwa die gleichen Seitentypen mit ähnlichen Inhalten gruppiert werden um das Testergebnis nicht durch unterschiedliche Inhalte zu verfälschen.
Wenn ich Leonard zitieren darf:
"Mit diesen Auswertungen werdet Ihr nie wieder über Zahlen diskutieren"
Fazit: Auch ohne Statistik-Studium kann man, mit ein wenig Einarbeitung, dank dem fertigen Git-Repository von Google für die Programmiersprache R CausalImpact-Analyse selbst für seine eigenen Tests nutzen.