AI/LLM Experiment Community Standard
Na, biste auch mal wieder genervt von nem vermeintlich heiligen Gral, der auf LinkedIn durchs Dorf getrieben wird? Laaaaangweilig! Es schürt bei mir diese tiefe und innige Abneigung gegen Fach-Mythen aller Art, gefährliches Halbwissen und unsaubere, zusammengelunzte Daten. Nirgendwo wird aktuell mehr Bullshit produziert als beim Thema AI und LLMs. Halt. GEO-Stempel druff und passt schon. An dieser Stelle mal ein großes Dankeschön an die empirischen Daten-Helden, die nicht müde werden, öffentlich Licht ins Dunkel zu bringen und das mit vernünftiger Herangehensweise. Allen voran denke ich da an Malte Landwehr, Hanns Kronenberg und Olaf Kopp. Küsschen die Herren!
Andernorts wird einfach ein Prompt in ChatGPT geworfen, das Ergebnis sieht auf den ersten Blick plausibel aus, und bumm – ein neuer LinkedIn-Beitrag über den angeblich neuesten AI-Ranking-Faktor ist geboren.
Heute möchte ich auf den aktuellen Post von der lieben Emilija Gjorgjevska aufmerksam machen. Sie hat genau in diese Wunde den Finger gelegt und auf eine Initiative aufmerksam gemacht, die doch einen sehr edlen Zweck beschreibt. Der AI/LLM Experiment Community Standard 0.1 der SEO Community, unter anderem getrieben von Tory Gray, Shaun Davidson und Anne Berlin hat ein Rahmenwerk ausgearbeitet, um künftige Tests besser aufzusetzen.
Statt Behauptungen ungeprüft in die Welt zu posaunen, ist das Ziel, die Erkenntnisse mit einer Community zu teilen, gemeinsam zu lernen und auf diesem Crowd-Wissen aufzubauen.
Dabei ist ein 10-Punkte-Checklisten-Standard erstellt worden. Wer künftig behauptet, im AI-SEO-Umfeld Tests durchgeführt zu haben, muss sich an diese Kriterien halten. Die wichtigsten Do's und Don'ts aus dem Standard habe ich für Dich zusammengefasst.
Hypothesen sauber und falsifizierbar formulieren. Die pauschale Aussage, KI möge strukturierte Daten, ist keine Hypothese. Das Hinzufügen von FAQ-Schema auf PDPs erhöht die Wahrscheinlichkeit, dass GPT-4o bei transaktionalen Prompts spezifische Produktdetails zitiert – das ist eine Hypothese, die man belegen oder widerlegen kann.
Das Umfeld mikroskopisch genau dokumentieren. Es macht einen riesigen Unterschied, welches Modell genau genutzt wird, ob GPT-4o oder Claude 3.5 Sonnet und ob der Zugriff über die API oder das Web-UI erfolgt. Auch das Datum ist relevant, da sich die Modelle still und leise verändern und ein Test von Februar im Mai oft schon wertlos ist, wenn man die exakten Rahmenbedingungen nicht kennt. Erinnere Dich nur mal zurück an meinen kleinen Nutella-Test.
Logfiles checken
Wenn ein LLM behauptet, es hätte eine URL live gecrawlt, ist das kein Beweis. Ein Blick in die Server-Logs verrät die Wahrheit. Wenn der ChatGPT-Bot dort nicht auftaucht, gab es den Aufruf gar nicht.
Statistisch sauber arbeiten
Ein einzelner Testdurchlauf ist lediglich eine Beobachtung. Der Standard empfiehlt mindestens 40 Durchläufe pro Bedingung, bevor man überhaupt anfängt, von einem belastbaren Muster zu sprechen.
Korrelation vs. Kausalität
Nur weil sich zwei Parameter verändern, bedingen sie sich nicht zwangsläufig. Man muss klar benennen, was getestet werden soll und welche Parameter nicht kontrolliert werden konnten.
Dumm ist der, der Dummy-Content tut
Platzhalter-Inhalte wie Lorem Ipsum oder generierter Nonsense können direkt ignoriert oder gar nicht erst berechnet werden. Teste mit echtem einzigartigem Content. Ja, ich weiß… das erhöht direkt den Anspruch, nicht wahr.
Ergebnisse nicht ohne Rohdaten publizieren
Es muss strikt zwischen dem getrennt werden, was die Daten zeigen, und dem, was man daraus interpretiert. Wer seine Methodik nicht offenlegt, betreibt keine Tests, sondern PR.
Der Community Standard sieht dabei eine grobe Einstufung der Ergebnisse vor. Genau hier wird deutlich, wann ein Test eben nur Bauchgefühl ist und wann wir wirklich von empirischer Evidenz sprechen können.
1. Die Anekdote
N=1, eine einzelne Website, unkontrollierte Bedingungen. Bauchgefühl. Nett für den Flurfunk, aber wertlos für strategische Entscheidungen.
2. Die Beobachtung
Mehrfach wiederholt, konsistent, aber nur in einem spezifischen Umfeld getestet.
Interessant. Ein guter Startpunkt, um tiefer zu graben, aber noch keine allgemeingültige Regel.
3. Getestete Erkenntnis
Kontrollierte Bedingungen, statistisch signifikante Stichprobengröße.
Empirische Evidenz. Hier fängt echtes SEO an. Wir wissen, was isoliert funktioniert.
4. Reproduzierte Erkenntnis
Von unabhängigen Dritten unter exakt gleichen Bedingungen reproduziert.
Ein verifizierter Standard, auf den wir (fast) bedenkenlos Budgets einplanen können.
Wir bewegen uns aktuell in einer Wildwest-Phase. Es ist völlig in Ordnung, Dinge auszuprobieren und es ist genauso in Ordnung, dabei zu scheitern. Aber wir müssen aufhören, jeden isolierten Zufallstreffer als die neue absolute Wahrheit zu verkaufen. (Vermutlich ist das gerade ein gesamtgesellschaftliches Problem.)
Hier mein kleiner Hoffnungsschimmer… wenn Du das nächste Mal einen angeblichen KI-SEO-Hack siehst, dann fordere den Beleg der These ein. Welche Größe war denn N? Wo wurde denn getestet? Wie umfangreich? Wie viele Wiederholungen? Mit oder ohne Kontrollgruppe? Echte Daten oder hingelunzter AI-Brei?
In diesem Sinne… Happy Testing, aber richtig!