Wir mögen Cloudflare.
Aber aktuell geht die politische Positionierung im AI-Thema leider zu Lasten meiner Markenwahrnehmung.
Ein Herz für Cloudflare
Cloudflare bietet einen CDN-Service an. Das Tolle daran ist, dass man dabei auch mal in den Antworten rumfummeln kann. Über Cloudflare Redirects einrichten, Seitenbereiche schnell auf Noindex setzen, das alles und noch viel meeeehr kann man mit Cloudflare machen.
Cloudflare ist aber auch als Ritter gegen die bösen AI-Crawler unterwegs.
- Teilweise mit lustigen Ideen, wie der Erstellung einer AI-Bot-Jauchegrube.
- Teilweise mit guten Ideen, wie dem Versuch ein Payment-System für AI-Bots und Publisher aufzubauen.
- Teilweise mit richtig schlechten Ideen:
Schon beim automatischen Blocken von AI Bots (inklusive Google) fand ich es enorm schwierig, dass das bei neuen Konten direkt aktiviert wird.
Kommt, wir machen unseren eigenen Standard!
Jetzt hat Cloudflare aber einen eigenen Standard in viele robots.txt geschrieben. Sie haben quasi einen neuen robots.txt-Dialekt entwickelt. Und diesen Dialekt auf Kunden mit aktiviertem Bot-Blocking ausgerollt.
Wenn Du Cloudflares Bot-Management aktiviert hast, dann wird jetzt in der robots.txt rumgewerkelt. Ohne Rücksprache mit Dir. Das finde ich schwierig.
Noch schlimmer aber ist, dass Cloudflare gleichzeitig erzählt, dass Google möglicherweise Strafe zahlen muss, wenn sie sich nicht daran halten. Was für ein Unsinn.
Das Schlimme ist, dass das Playbook klar ist:
- Cloudflare verspricht das den Kunden
- Installiert das in 1.000enden robots.txt
- Wird dann in ein paar Wochen von der überwältigenden Adoption Rate berichten
- Um Google schlecht aussehen zu lassen.
Das ist genauso durchschaubar wie falsch.
Die robots.txt ist ein Webstandard. Für die Weiterentwicklung dieses Standards gibt es entsprechende Gremien. Dort sollten Standards verhandelt werden.
Wie wollen wir denn Standards im Internet durchsetzen, wenn jeder seinen eigenen baut, nur, um irgendwelche Machtspielchen zu spielen.
Hier geht es nur um eigene Positionierung. Auf dem Rücken der eigenen Kunden.
Der Angriff gegen Google ist außerdem grundfalsch. Google hat die granularsten Möglichkeiten zur Bot-Steuerung von allen Akteuren auf dem Markt. Mit Data-Nosnippet kann man sogar einzelne Worte von der Nutzung ausschließen.
Und das gewählte Mittel ist auch das Falsche. Die robots.txt ist für eine Einzelsteuerung nicht geeignet. Natürlich kann ich pauschal alles sperren. Aber wenn ich nur die Artikel ab 2025 sperren möchte, oder nur die von Werner, die von Marianne nicht, dann funktioniert die robots.txt nicht. Genau deswegen sind Index-Steuerung und Crawl-Steuerung aus guten Gründen an unterschiedlichen Stellen geregelt.
Sich jetzt hinzustellen, die Kunden zu belügen (weil Google die Angaben zurecht ignoriert) ein konzeptionell schlechteres Mittel ins Rennen zu schicken und dann mit dem Finger zu zeigen funktioniert auch nur, weil Cloudflare konsequent die Steuerungsmöglichkeiten ignoriert hat.
Ich hab mich ja auch schon beruhigt. Mit etwas zeitlichem Abstand bezeichne ich das schon gar nicht mehr als Arroganz (denke aber weiter, dass es welche ist).