Nutzt Du Cloudflare? Oder vielleicht Deine Kunden? Freunde? Bekannte? Ehrlich gesagt: Wer genau es nutzt, spielt gar keine so große Rolle.
Denn aus unserer Sicht ist es für ALLE relevant, dass man mit dem Cloudflare AI Audit Feature den Google-& BingBot blocken kann und damit Googles organischen Index von der eigenen Seite aussperrt.
Wait what??
Ja, wir waren auch erstmal skeptisch – und haben’s getestet.
Aber bevor wir zum Ergebnis kommen, lass uns kurz vorne anfangen, denn wir müssen vorab zwei Cloudflare Funktionen voneinander abgrenzen:
-
AI Audit (Worum es in unserem Test gehen wird) und
-
dem neuen Security Bot Blocking Feature
Das Security Bot Blocking Feature
Dieses Feature ermöglicht es einem, AI Bots zu blockieren. Mittels Dropdown kann ausgewählt werden, ob man das für alle Seiten, nur Hostnamen mit Ads oder gar nicht möchte.
Ansicht: Cloudflare Security Bot Blocking
Dieses Feature ist standardmäßig aktiviert für neue Accounts. Die Bots, die dadurch blockiert werden, kannst Du zum einen in der Doku von Cloudflare zu AI Bots und, weil in dieser ersten Ansicht nicht alle Bots aufgeführt sind, auch noch einmal im Cloudflare Radar > Bots > Traffic > Directory, einsehen.
Setzt man hier den Filter auf
- AI Assistant
- AI Crawler
- AI Search
so bekommt man eine zusätzliche Übersicht darüber, welche Bots außerdem geblockt werden.
Ansicht: Cloudflare Bots Directory
Wie sinnvoll das ist, da Cloudflare mit Shopify kooperiert und dadurch neue Shops im Standard erstmal auf Block stehen, wie auch Kevin Indig bestätigt, das ist Thema für einen eigenen Artikel.
Nun also zu dem zweiten, bereits länger bestehenden AI Audit Bericht.
Was genau kann der AI Audit Bericht?
Cloudflare bietet einen Bericht an, er nennt sich AI Audit, aus dem sich ablesen lässt,
- wie viele Zugriffe (Hits) welcher Bot erzeugt und
- ob diese Zugriffe gegen die Angaben in Deiner robots.txt verstoßen.
Außerdem lassen sich gezielt Bots blockieren, mittels Kippschalter, und diese werden damit technisch komplett blockiert:
Ansicht: Cloudflare Feature Bot Blocking
In dieser Liste befinden sich, im Gegensatz zum Security Feature, auch der Google- und der BingBot.
Die unangenehme These:
Hakt man diesen Kippschalter an, weil man denkt, man würde innerhalb des AI Audits “testen” oder “probieren” und lediglich AI-Bots ausschließen, kann es passieren, dass man sich über kurz oder lang, ganz aus dem Google Index katapultiert.
Wie kommen wir darauf?
Schaut man auf die Funktionsweise des Googlebot-Extended, der zuständig ist für Trainingsdaten, dann sagt Google selber darüber folgendes
“Google-Extended doesn’t have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.”
Ergo: Googles GoogleBot-Extended stellt keine HTTP-Requests.
Wir hätten also hier einen Bericht, der unsere Seite von der Indexierung ausschließen kann, ohne einen Disclaimer, der uns anschreit, damit wirklich aufzupassen…
Klingt wild, oder? Das fanden wir auch, also haben wirs getestet
Das Testsetup
-
Um 11:43 Uhr am Samstag hat Johan das Blocking des Googlebots und des Bingbots im AI Audit live gestellt
Ansicht: Cloudflare Feature Bot Blocking
-
Anschließend hat er einen Indexing Request für seine Team Page gestellt
Ansicht: Search Console URL Inspection der https://wngmn.de/team/johan-von-huelsen
-
Und siehe da: Googlebot bekommt einen 403er zurückgeliefert. Sprich, der Bot wird ausgesperrt.
Ansicht: Cloudflare “Requests volume by Source, Setup: Source Browser = GoogleBot, BingBot & Page ist die Teamseite von Johan
Was bleibt unterm Strich?
- Dieser Bericht ist nicht nur eine Übersicht, wie man zunächst denken könnte und auch kein reines AI-Bot-Blocking, denn es betrifft ganz konkret auch Suchbots.
- Wer Cloudflare nutzt und innerhalb dieses Berichts sich bewegt, läuft Gefahr gleichzeitig Googles organischen Index von der eigenen Seite auszuschließen.
Was bedeutet das für Dich?
Wenn Du oder Deine Kunden Cloudflare nutzt, solltest Du genau hinschauen und ein paar Dinge im Hinterkopf behalten:
- Sei sensibel mit dem Blocken von Bots mittels Cloudflare, egal in welchem Feature oder Bericht
- Check Dein Setup und das Deiner Kunden
- Treten plötzlich Indexierungsprobleme auf, könnte dieser Bericht der Grund sein
Falls Du Support beim challengen Deines Set-ups brauchst, melde Dich gerne bei uns! 📬