Man kann Inhalte indexieren lassen und gleichzeitig von Googles AI-Nutzung ausschließen.
Auch wenn es nicht so gern verbreitet wird wie die Schlagzeile, dass Google die Seitenbetreiber erpressen würde, weil AI-Overview-Opt-Out und Indexierung (und damit organischer Traffic) aneinander gekoppelt wären.
Weil ich das auch viele SEOs in letzter Zeit hab sagen hören und damit Du das nicht selbst jedes Mal neu erklären musst: Hier ist der Weg, um Google Gemini, AI Overviews und AI Mode die Nutzung der eigenen Inhalte zu verbieten, aber die organische Suche nicht minimal zu beeinträchtigen.
Das Setup sieht dann so aus:
-
User-Agent Google-Extended über Robots.txt blocken, damit die Inhalte nicht mehr für die KI-Schulung verwendet werden können
-
Googlebot und Googlebot-News kann das Crawling entsprechend erlaubt werden
-
Zusätzlich wird Googlebot und Googlebot-News die Indexierung der Inhalte erlaubt
-
Anschließend wird um den Teil der Inhalte, die man nicht für AI zur Verfügung stellen möchte, ein data-nosnippet-Attribut im HTML eingebunden. Das kostet ca. 5 Minuten Aufwand durch das Einbinden eines
<div>. Aufwändiger ist die Diskussion, welche Inhalte damit ausgezeichnet werden sollen.Man könnte das data-nosnippet auch für die gesamte HTML-Seite definieren, aber dann würde man auch Google verbieten, eine Description, beispielsweise aus der Description im Teaser, zu ziehen, wenn man das möchte.
Die data-nosnippet-Doku sagt (Fettung eigene):
Nosnippet: This applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.
Die Doku für Google-Extended-Blocking sagt (Fettung eigene):
Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models that power Gemini Apps and Vertex AI API for Gemini and for grounding (providing content from the Google Search index to the model at prompt time to improve factuality and relevancy) in Gemini Apps and Grounding with Google Search on Vertex AI. Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.
Mit diesen Settings wäre also:
- Die Indexierung und Nutzung der Inhalte für die klassische Suche erlaubt.
- Inhalte für AI Mode und AI Overviews direkt (Inference) zu nutzen verboten.
- Die Nutzung der Inhalte für Training und Grounding verboten.
- Downside: Aus den Inhalten, die mit data-nosnippet ausgezeichnet sind, dürfen keine Inhalte für Featured Snippets oder Descriptions verwendet werden. Aber wer in AI Overviews nicht auftauchen möchte, möchte vermutlich auch keine Featured Snippets (#Leistungsschutzrecht).
Ein Schlupfloch für Google könnte sein, dass AI Mode oder AI Overviews nicht unter “Gemini Apps” fallen. Das wäre aber schon sehr hart, da Google überall davon spricht, dass beides von Gemini supportet wird.
In den DOJ-Dokumenten spricht Google davon, dass data-nosnippet das Training für Gemini, aber nicht für SGE (Vorgänger von AI Overviews) und KITE/MUM (Suchalgorithmen) verbietet.
AI Overviews sind aber auf einem „Customized Gemini” trainiert (sagt Google ebenfalls in den DOJ-Dokumenten).
Ich hoffe, mit dieser kleinen Doku kannst Du nächstes Mal schnell den Lemmingen widersprechen, die einfach rausposaunen, dass das nicht ginge. Es geht. Man muss sich nur 10 Minuten mit der Dokumentation beschäftigen.