Kein Wasser in der Wüste: Warum AI Overview Overlap Studien (bisher) Quatsch sind

Eine Fata Morgana in der Wüste sieht aus der Distanz wie Wasser aus und kann selbst erfahrene Reisende in die Irre führen. Genauso ist es auch mit fragwürdiger SEO-Forschung – sie lockt uns mit falschen Versprechungen in die Irre.

Schlimmer als sich nur zu irren: Schlechte Studien, Umfragen & Co sabotieren unser Ziel, Entscheidungen auf einer stabilen Basis zu treffen. Stattdessen stehen wir auf einer Plattform, die auf Wasser gebaut ist.

Ergebnis: Schlechtere Performance in der organischen Suche = weniger Umsatz.

Johan hat vor einigen Wochen geschrieben:

“Lass Dich nicht ANSCHREIEN. Unsicherheit wird bewusst geschürt, weil damit Ziele erreicht werden sollen. [...] Deine Panik macht es leicht, Dir etwas zu verkaufen.”

Oft sind das Tools oder Dienstleistungen, die Dich retten sollen. Vor fast 2 Jahren habe ich darauf aufmerksam gemacht, dass bei den Shiny New AI Toys viel Blödsinn dabei ist, der die aktuelle Unruhe ausnutzen will.

Aus diesem Grund habe ich bei Search Engine Land einen Artikel geschrieben (Thema: SEO-Forschung – noch unveröffentlicht), aus dem ich Dir heute einen Auszug zu AI Overview Overlap Studien zeigen möchte.

Ich sage Dir,

• was das Ergebnis aller (10+) AI Overview Overlap Studien bzw. meiner Meta-Studie ist,
• warum alle Studien dieser Art suspekt sind und
• welche Fragen Du Dir bei der Forschung immer stellen solltest.

Das Ziel von AI (Overview) Overlap Studien

Herauszufinden, wie groß der Einfluss von klassischer SEO auf das Ranking bzw. das Erscheinen im AIO ist. Seit der SGE, wie AIOs damals hießen, gab es viele dieser Studien.

Meine AIO Overlap Meta Studie

11 Studien habe ich mir angeschaut und andere ignoriert, die folgende Kriterien nicht erfüllen:

• Vergleich von URLs, nicht Domains
• Basiert auf allen URLs, nicht nur einer
• Messung des Overlaps der organischen Top-10 und den AIO URLs

Folgende Studien haben diesen Test bestanden:

1. Authoritas 1
2. Authoritas 2
3. Advanced Web Ranking
4. Authoritas 3
5. Rich Sanger
6. idea hills
7. Surfer SEO
8. seoClarity
9. Bright Edge
10. Semrush
11. Ahrefs

Der Overlap aus der organischen Suche mit den AIOs reicht von 5 bis 77%

Die Ergebnisse sind nach der Prozentangabe des Overlaps sortiert:

• Der Durchschnitt liegt bei 45,85%
• Der Median bei 46,40%

Wie kann es zu so großen Diskrepanzen kommen? Ich kann mir das so erklären:

• Unterschiedliche Anzahl an an Keywords
• Unterschiedliche Keyword-Sets
• Unterschiedliche Keyword-Typen
• Unterschiedliche Zeiträume

Was mir ansonsten aufgefallen ist:

• Die meisten Studien beziehen sich auf den US-Markt
• Nur 1 Studie (Rich Sanger) hat den Datensatz zur Verfügung gestellt (für ein potenzielles Peer-Review)
• Nur 2 Studien (Surfer und Ahrefs) haben mehr als 100k Keywords analysiert
• Keine Studie hat beschrieben, wie die Keyword-Auswahl erfolgt ist

Das sagen die AIO Overlap Studien aus

1. Über die Zeit hilft eine Top-10-Platzierung immer mehr, im AIO aufzutauchen

Oder: Google verlässt sich mehr auf die Top-10 als am Anfang.

2 Studien fallen dabei auf und verzerren das Ergebnis – beide geben nicht an, wie viele Keywords in die Untersuchung eingeflossen sind.

Wenn wir diese exkludieren, sieht das Bild so aus:

2. Ein Top-10 Ranking scheint dabei zu helfen, in einem AIO zu ranken und zu einer Grundvoraussetzung zu werden

Viele dieser Studien sind unendlich lang, um am Ende relativ wenig auszusagen und gleichzeitig sind die Ergebnisse aus unterschiedlichen Gründen zweifelhaft.

Die AIO-Overlap-Studien sind (bisher) alle fragwürdig, weil

❌ keine der Studien ein Keyword-Set hat, das groß genug ist.

❌ KI sich die ganze Zeit verändert (+ und es die ganze Zeit schon getan hat).

❌ nicht immer klar ist, was gemessen wurde.

❌ es einen zu starken Fokus auf den Durchschnitt gibt und Durchschnitte gefährlich sind.

❌ sie den Query-Fan-out ignorieren.

Alle prominenten KI-Chatbots haben so etwas wie einen Query-Fan-out. Jetzt könnte man sagen:

“Ja, das wissen wir erst seit Mai 2025” – das stimmt aber nicht.

Google hat im März 2023 ein Patent veröffentlicht "Generative Engine Summaries for Search Results”), in dem sie bei der Antwortgenerierung Folgendes zu den Search Result Documents (SRDs) thematisieren:

• Related-query-responsive
• Recent-query-responsive
• Implied-query-responsive

Google hat das bis Mai 2025 nicht vermarktet – wir wussten das theoretisch aber schon seit mehr als zwei Jahren. In der täglichen Dosis SEO zur CAMPIXX 2024 habe ich bereits über das Thema gesprochen und das Patent erklärt.

Der wahre Overlap ergibt sich also nur aus den initialen Queries und den Fan-out-Queries. Wenn man das nicht misst, sollte man das in der Studie angeben, vor allem bei zukünftigen Studien.

Augen auf bei der SEO-Forschung, egal ob Studie, Umfrage oder Experiment

Damit es Dir leichter fällt, die gute Forschung von der schlechten zu unterscheiden, habe ich Fragen gesammelt, die Du Dir stellen kannst. Im Prinzip das, was Sokrates gemacht hat, um klüger zu sein.

• Wer hat die Forschung durchgeführt?
  • Wer sind die Menschen dahinter?
  • Was ist oder könnte ihr Ziel sein?
  • Gibt es Interessenkonflikte?
  • Welche Anreize könnten das Urteilsvermögen der Forschenden verfälschen?
• Wie gut ist das Studiendesign und die Methodik dahinter?
  • Welchen Zeitraum deckt die Studie ab?
  • Gab es eine Test- und Kontrollgruppe?
  • Beobachtung oder Umfrage (+ bei einer Umfrage, ob es Suggestivfragen sind)?
  • Basierend auf welchen Kriterien wurde das Sample ausgewählt?
  • Sind die Ergebnisse statistisch signifikant?
• Sind die Ergebnisse verallgemeinerbar und replizierbar?
  • Wie groß und repräsentativ war das Sample?
  • Gibt es Unterscheidungen zwischen unterschiedlichen Ländern/Branchen?
  • Thematisieren die Forschenden Replizierbarkeit und Peer-Reviews (+ stellen die Daten zur Verfügung)?
  • Gibt es Hinweise zu Einschränkungen der Studie?

Oft wirst Du feststellen, dass “SEO-Forschung” wenig wissenschaftlich ist und in Frage gestellt gehört.

Autoritäten zu folgen kann blind machen

Was ich am Ende ganz wichtig finde: Auch Menschen, die eine Autorität sind, können falsch liegen, Fehler machen oder Unfug erzählen.

“Blind obedience to authority is the greatest enemy of the truth.”

– Albert Einstein

Aristoteles war unfassbar schlau und beeindruckend. Paradoxerweise hat er dadurch teilweise menschlichen Fortschritt aufgehalten und genau das kann uns in der SEO auch passieren.

Also: Lieber mehr Fragen als zu wenig stellen.