Cloudflare dreht an den Regelungen für AI-Crawler
Alle mal die Hände hoch: Wer von euch benutzt Cloudflare? Es handelt sich um einen Newsletterartikel, daher kann ich eure Hände nicht sehen, aber mein Educated Guess sagt mir, dass es ziemlich viele sind.
Wenn Cloudflare also ändert, welche Bots standardmäßig Zugriff bekommen, dann ist das keine Randnotiz, sondern etwas Weitreichendes.
Am 1. Juli hat Cloudflare genau das getan.
Die wichtigste Änderung: Ab dem 15. September werden bei neuen Cloudflare-Domains Agent- und Training-Bots standardmäßig blockiert, sobald auf einer Seite Werbung läuft.
Search bleibt erlaubt. Und genau diese Unterscheidung ist wichtig.
Mit “Agent” sind Bots gemeint, die Inhalte live abrufen, um daraus direkt eine Antwort für Nutzer zu bauen.
Das bedeutet: Auf monetarisierten Seiten werden realtime AI-Answers erst einmal blockiert. Sofern man sie nicht aktiv wieder erlaubt.
Soweit, so gut. Publisher bekommen mehr Macht über ihre Inhalte. Es gelten mehr Regeln, an die sich AI-Crawler zu halten haben:
Aber das hier wäre ja keine News im Wingletter, wenn es kein großes ABER gäbe:
Denn es ist so, dass Cloudflare auch Multipurpose-Crawler jetzt nach der strengsten Regel bewertet.
Und damit fallen auch, wer hätte es gedacht, Googlebot, Bingbot etc. darunter.
Wer also „block AI training“ aktiviert, blockiert unter Umständen nicht nur die Crawler, die man im Kopf hatte, sondern Googlebot gleich mit. Juchu!
Also schaut zweimal und lieber noch ein drittes Mal hin und holt das alte Mantra wieder hervor: Was tun wir nicht? Richtig! WIR BLOCKIEREN NICHT DEN GOOGLEBOT. Auch nicht versehentlich :)
Noch 2 Kleinigkeiten, die der Artikel uns mitgibt:
- „Verified“ bedeutet nicht mehr automatisch „allowed“. Ein verifizierter Bot ist künftig nur noch innerhalb einer Kategorie erlaubt, die Du selbst freigegeben hast. Ein “Der Bot ist bekannt” reicht nicht mehr. Die Kategorie entscheidet.
- Cloudflare versucht ebenfalls die Content Signals Policy in der Robots.txt, die Cloudflare letztes Jahr gepusht hat (und die Johan damals schon kritisch eingeordnet hat) weiter anzuschieben. In der Robots.txt soll über eine zusätzliche Anweisung: use=immediate|reference|full kommuniziert werden, was ein Bot nach dem Lesen Deiner Inhalte behalten oder weiterverwenden darf. Cloudflare setzt in seiner verwalteten robots.txt standardmäßig auf reference: indexieren und verlinken ja, Inhalte reproduzieren nein. Ob sich irgendwelche Bots daran halten, ist natürlich eine andere Frage. Teil des offiziellen Robots.txt Standards ist es zumindest noch immer nicht.
Das Web (zumindest der Teil, der über Cloudflare läuft) wird standardmäßig restriktiver gegenüber AI-Crawlern. Das ist nicht per se schlecht. Viele Publisher wollen genau das. Die alte Default-Logik war schließlich: Wer crawlen kann, crawlt. Jetzt gibt es mehr Kontrolle, mehr Granularität und mehr explizite Entscheidungen.
Aber genau darin liegt auch das Risiko.
Denn „block AI“ klingt nach einer einfachen Haltung. In der Praxis ist es eine technische Konfiguration mit möglichen Nebenwirkungen.
Wer diese Einstellungen setzt, sollte nicht nur fragen: „Will ich AI-Training erlauben?“
Sondern auch: „Welche Crawler verliere ich dadurch gleich mit?“
Das ist der Unterschied zwischen Kontrolle und Selbstsabotage.