GEO KPI und Metriken: BVDW-Messung kritisch hinterfragt

Wie heißt es so schön?

Wer KPIs sagt hat die Kontrolle über sein Marketingcontrolling verloren.

Zur Messbarkeitsillusion und dem fehlerhaften Umgang mit Key Performance Indikatoren als aggregierte Kennzahl hab ich schon mal geschrieben. Aber ich muss es nochmal tun, denn der BVDW hat mich getriggert.

An der Überschrift „Sichtbarkeit im KI-Zeitalter messen — Die neun wichtigsten GEO-KPI“ kann ich nicht vorbeigehen. Denn es kann keine 9 KPI für GEO geben, wenn man das Konzept der KPI ernst nimmt. Vor allem keine redundanten KPI. Überspitzt hatte ich formuliert:

KPI im Plural? Ist wie „Alleinstellungsmerkmale“.

Ich bleibe da auch weiter recht dogmatisch. Eine KPI ist das Schlüsselziel. Die Zentrale, an der ich mich abarbeite. Habe ich mehrere KPI, dann habe ich vermutlich mehrere Ziele und das ist ein Schlüsselindikator dafür, dass ich mich nochmal ans strategische Reißbrett stellen sollte.

Im BVDW-Whitepaper sollen die neun wichtigsten KPI stehen. Es gibt also beim BVDW noch mehr wichtige KPI. Aber man stellt die wichtigsten vor.

Ich bin also gespannt und schaue mir die neun an. Die Übersicht steht in einer Tabelle, die vom BVDW als Screenshot (ohne ALT-Attribut) in den Artikel eingefügt wurde.

Die wichtigste KPI (mit einer 1 im Screenshot der Tabelle markiert) ist der Citation Share. Sie zeigt, wie häufig die eigene Brand in einem Prompt-Set zitiert wird.

Dabei ist mir gerade noch unklar:

• ob eine Quelle pro Prompt-Result gezählt werden soll, oder mehrere Quellen einer Quelle in einem KI-Output mehrfach gezählt werden sollten
• ob die Ergebnisse mehrerer Durchläufe des gleichen Prompt-Sets gemittelt werden sollen, oder ein einzelner Durchlauf gezählt werden sollte
• ob die Prompts – beziehungsweise die Antworten auf die Prompts – nach angenommenem Volumen des Prompts oder Relevanz des KI-Systems in der eigenen Zielgruppe (s. auch unsere kleine Umfrage) gewichtet werden sollten

Die zweitwichtigste KPI ist tatsächlich eine Schlüsselkennzahl, die verschiedene Metriken zusammenbringt: Share of Model. Laut BVDW gehen hier eine Erwähnung der Brand (auch ohne Citation), die Position der Erwähnung und das Sentiment mit ein, sowie die Korrektheit der Erwähnung (Faktenfehler, Verwechslung mit anderen Brands). Ich finde den Namen der Kennzahl irreführend. Sentiment hat mit dem Share erstmal nichts zu tun.

Ich finde diese Kennzahl viel wichtiger als die erste, aber vielleicht bin das ja nur ich? Trotzdem braucht die Zahl noch Tuning. Ist eine fehlerhafte Erwähnung an erster Stelle mehr wert als eine richtige Erwähnung an letzter Stelle? Ist eine Erwähnung mit schlechtem Sentiment sinnvoller als eine Erwähnung mit positivem Sentiment, aber altem Markennamen?

Die KPI drei-5 (und 8) sind wieder Messwerte, die in die Berechnung der zweiten KPI eingehen. Share of Voice, Mention Share und Sentiment Score. Für alle 3 geht aber wieder nicht hervor, wie Du sie erheben solltest.

In der unteren Hälfte der KPI steht dann der AI Conversion Impact. Ich finde Conversions ja wichtig als Indikator für die Business-Relevanz und den Business-Erfolg eines Kanals.

Deutlicher: Dass eine Branchenvereinigung fünf Visibility- und Vanity-Metriken (Citations, Sentiments, Shares) höher priorisiert als den tatsächlichen Business-Impact (Conversions), zeigt die klassische Agentur-Krankheit (vor der sogar in einem Nebensatz im Disclaimer des Whitepapers gewarnt wird): Man misst das, was hübsche Dashboards füllt, nicht das, was Rechnungen bezahlt.

Der Recommendation Share (7) ist dann wichtiger als die Brand Mention Accuracy (8). Dafür geht sie nicht in den Share of Model (2) ein. Ich bin verwirrt.

Das ist aber nicht schlimm. Denn spätestens bei Nummer 9 komme ich wirklich nicht mehr mit:

Prompt Coverage: „Anteil relevanter Prompts, bei denen die eigene Marke, Domain oder Quelle erscheint“. Dieser Indikator „misst, wie repräsentativ ein Prompt für reale Nutzerkonversationen zu einem Thema ist.“ Ich weiß nicht, wie es Dir geht. Aber die erste Definition hätte ich mir unter “Prompt Coverage” vorgestellt. Sie hat aber überhaupt nichts mit der Repräsentativität des Prompts für reales Nutzerverhalten zu tun.

Ganz neugierig hab ich also das Whitepaper-PDF geöffnet in der Hoffnung hier Klarstellung und Aufklärung zu finden. Das klappt leider nicht. Nicht nur, dass das Whitepaper nicht wesentlich mehr enthält als diese Grafik. Es beginnt auch mit dem Satz „Der BVDW beschreibt diese Entwicklung als Übergang von der >Suche nach Links< zur >Suche nach Antworten<. The-Answer-Economy“.

Ich meine: Es ist ja toll, dass der BVDW das Schlagwort der “Answer Economy“ prägen möchte. Aber es ist auch nicht so, dass Menschen nicht vorher nach Antworten gesucht haben. Abgesehen von uns SEOs hat niemand nach Links gesucht. Die Links waren immer ein Zwischenschritt auf der Suche nach der Antwort. Aber da bin ich jetzt auch zugegeben ein bisschen pingelig bei der Wortwahl.

Und was noch schlimmer ist: Man übernimmt den Begriff von Pete Bradshaw (den er mindestens seit 2024 propagiert) ohne im darauf fokussierten Whitepaper „The answer economy“ auch nur ein einziges Mal den Namen zu erwähnen. Ein Whitepaper zur Quellenattribution zu schreiben und eine Quelle zu verlinken, die mit Quellenangaben schludrig umgeht…

Doch zurück zum KPI-Whitepaper: Dort heißt es, dass alles komplexer wird:

Entscheidend ist nicht mehr allein, auf welcher Position eine Marke oder Website erscheint.

Nun auch hier wieder Wortklauberei. Aber für mich ist auch früher im SEO entscheidend gewesen, was an Traffic und vor allem Conversion, Umsatz und Deckungsbeitrag rumgekommen ist. Position allein (auch nicht gewichtet nach Volumen) war in nur ganz wenigen Projekten eine sinnvolle KPI.

Ein paar positive Dinge am Whitepaper möchte ich hervorheben:

1. Das Autorenteam verweist explizit darauf, dass es keine pauschal beste Liste von KPI geben kann: „Welche Kennzahlen im Einzelnen besonders wichtig sind, hängt vom jeweiligen Geschäftsmodell, der Zielgruppe, den betrachteten KI-Systemen sowie den strategischen Kommunikations- und Marketingzielen ab.“ Leider wird dieser Satz direkt durch den nächsten Satz wieder unzulässig generalisiert. Denn es kann ja durchaus Geschäftsmodelle geben, in denen KI nicht entscheidend ist. Und überhaupt: Entscheidend ist, was wir im Marketing machen. Die Messung dafür ist nur ein Hilfsmittel: „Entscheidend ist, die neuen Formen digitaler Sichtbarkeit frühzeitig in die Erfolgsmessung einzubeziehen und daraus konkrete Handlungsmöglichkeiten für Content, Marke und Search-Strategie abzuleiten.“
2. Es gibt einen deutlichen Disclaimer, dass sich das Feld entwickelt und die Zahlen, die es bisher gibt, noch schlechter sind, als die Zahlen, die wir bisher aus dem SEO gewohnt sind. Sie gehen auch direkt auf einen Kritikpunkt ein, der mir sofort aufgefallen ist, dass eine Messung allein nicht ausreicht. Allerdings beschränken sie den Hinweis auf zwei KPI Metriken: „Share-of-Voice- und Citation-Werte“, obwohl das Problem eigentlich alle Beispiele betrifft.
3. Es gibt einen Hinweis darauf, dass dies eher ein „Starterkit“ ist, als eine abschließende, fertige Liste. Leider bleibt es damit deutlich hinter den Erwartungen zurück, die die Überschrift erzeugt: Wenn es wichtig ist, dann sollte es klar definiert werden.
4. Sehr gut gefällt mir, dass die Autoren GEO sehr nüchtern in das SEO eingliedern. Die GEO-Metriken „erweitern den bisherigen Blick auf Search um jene Faktoren, die in einer zunehmend KI-geprägten Informations- und Entscheidungslandschaft an Bedeutung gewinnen.“

Für mich ein Novum ist, dass in einem Whitepaper des BVDW die Studien einzelner Autoren nochmal verlinkt werden. Das ist etwas, was eine so übergreifende Organisation nicht notwendig hat und ist leider ein weiterer Störfaktor für mich beim Lesen.

Als ehemaliges Vorstandsmitglied der Fokusgruppe Search und aktives Mitglied im Zertifikats-Beirat kenne ich die Qualität, die dieser Verband liefern kann – und genau deshalb enttäuscht mich dieses Papier.“

Du hast beim Lesen dieses Newsletter-Beitrags aber auch zurecht ein Störgefühl:

Na was hält denn Johan jetzt für die wichtigste KPI im GEO?

Die enttäuschende Antwort: Es kommt drauf an, denn...

• GEO ist Teil der SEO-Aktivitäten, die KPI für GEO sollte also Teil der KPI im SEO sein.
• SEO wiederum ist Teil der KPI im Online Marketing.
• Und das ist wiederum mit der Marketing-KPI verknüpft.
• Und die wiederum in die zentrale Unternehmens-KPI. Das ist oft, aber nicht immer Gewinn. Das kann auch Marktanteil (Hallo ChatGPT, Gemini, Claude), langfristige Wirtschaftlichkeit oder etwas ganz anderes sein.

Die GEO-KPI muss entsprechend abgeleitet werden. Und daher sieht jede GEO-KPI unserer Kunden anders aus. Und auch völlig anders aus, als unsere eigene. Für uns ist aktuell der richtige Weg, Leads zu fragen, ob sie sich im Prozess von KI haben beraten lassen und wie sie Wingmen dabei wahrgenommen haben. Für viele unserer Kunden wäre das zurecht nicht ausreichend, weil sie andere Zielsysteme bedienen und andere Anforderungen an Messbarkeit haben.

Für uns Wingmen ist das oberste Ziel: Freude an der Arbeit.

Das lässt sich nur schwer messen, daher nehmen wir als Krücke eine Zahl, die wir wirtschaftliche Auslastung nennen könnten. Wir wollen genug ausgelastet sein, dass wir uns keine Sorgen machen müssen, aber so wenig, dass wir genug Zeit haben für Fortbildung, Forschung und Extra-Leistungen, die wir vielleicht mal nicht abrechnen können, aber die für uns zum Projekt passen. Das soll langfristig passen, denn uns macht es Freude, Dinge langfristig wachsen zu sehen. Das Marketing-Ziel ist daher auch langfristig. Unser Brand soll bekannt sein, als „Die Nerds, die nicht nur schlau sind, sondern mit denen man auch intelligent Spaß an der gemeinsamen Arbeit haben kann. Daran, das messbar zu machen, arbeiten wir noch. Im Online Marketing folgen daraus aber einige wichtige Erkenntnisse:

1. Diesen Eindruck von „Intelligenz“ und „Humor“, den können wir nicht in einem einzelnen Kontakt herstellen
2. Dieser Eindruck lebt von der Persönlichkeit der einzelnen Wingmenschen
3. Jeder Wingmensch ist anders und kommuniziert anders. Hat daher auch andere Kanäle, die einem liegen. Jolle und Flo freuen sich einen Keks beim Podcasten. Philipp, wenn er auf Searchengineland schreibt und so weiter. Der kleinste gemeinsame Nenner ist dabei unser Newsletter.
4. SEO spielt eine untergeordnete Rolle. Unser Ziel regelmäßiger Kontakte kann (und wird) durch SEO unterstützt werden. Aber es ist (für unsere Ziele! Und in unserer Wettbewerbssituation!) nicht sehr effizient im Vergleich zu unserem Newsletter. Unser SEO-Ziel ist daher eher, mit geringem Aufwand den Newsletter sichtbarer zu machen und Brand-Suchanfragen nicht zu enttäuschen. Natürlich freuen wir uns auch, wenn Menschen nach SEO-Sparring suchen. Aber viele der Online-Anfragen für klassische SEO-Leistungsbegriffe werden bei uns nicht glücklich. Sie suchen vielmehr operative Leistung als strategische und technische Beratung mit eigener Umsetzung.
5. Unsere GEO-KPI ist daher auch nicht „Share of Voice“ oder „Share of Model“, wir brauchen unsere Ziele nicht gegen Konkurrenten zu benchmarken. Wenn genügend Anfragen für unsere freien Kapazitäten reinkommen, dann ist das „gut genug“. Entsprechend ist unsere GEO-KPI „Anzahl relevanter Anfragen, die über GEO beeinflusst worden sind“. Und wie messen wir das? Wir fragen unstrukturiert im Kennenlerngespräch nach. Ganz einfach.

Jetzt fragst Du natürlich:

Warum ist denn das KPI-System von Wingmen so schwammig?

Nun, das hat etwas damit zu tun, dass wir (für unsere eigenen Aktivitäten!) lieber machen als messen.

Ein guter Newsletter-Artikel, der in Unternehmen weitergeleitet wird, bringt uns (bei unserer Größe, Zielgruppe und Ressourcen) mehr, als ein optimiertes Kennzahlensystem.

Das ist vielleicht nicht schlau, wenn man den Gewinn maximieren will, aber das ist auch gar nicht unser Ziel. Das KPI-System für die einzelnen Kanäle muss zu den Zielen passen.

Und das ist glücklicherweise im BVDW-Whitepaper deutlich dargelegt worden.