Letzte Woche tauchten plötzlich gehäuft Fragen in SEO-Chatgroups rund um Googlebot und Cloudflare auf.
“anyone else see that cloudflare started marking googlebot as a regular bot starting at 12PM PT?”
“yes, real Googlebot is now being considered a non-verified bot by Cloudflare which is 403 forbidden status code for almost all our pages. [...] what a mess!”
“I was just about to [...] ask if anyone else has suddenly encountered a high number of 403 errors!”
Zunächst dachte ich: Na klar. Da hat das Dev-Team vielleicht nicht mitbekommen, dass Googles IP-Ranges, um legitime Googlebot-Zugriffe zu verifizieren, auf eine neue URL umgezogen sind, wie uns Cleo berichtete.
Oder Menschen haben sich in den Cloudflare-Settings verklickt beziehungsweise den notwendigen Click unterlassen. Das kann schon mal passieren, wie wir von Saskia wissen.
Nicht grundlos bemängelte Johan:
“Schon beim automatischen Blocken von AI Bots (inklusive Google) fand ich es enorm schwierig, dass das bei neuen Konten direkt aktiviert wird.”
Aber daran lag es nicht. Cloudflare hatte selbst in die Sch…erben gegriffen.
Quelle: Bot Information for GoogleBot
“Cloudflare is investigating issues with our Bot Management feature. Customers may observe a limited number of verified bots incorrectly identified as automated traffic,” ordnete Cloudflare den Vorfall ein.
Schon im November hatte Cloudflare fälschlicherweise legitime User als Bots klassifiziert und somit im weltweiten Internet für massive Ausfälle gesorgt – Cleo berichtete. So dramatisch war es diesmal nicht. Aber Cloudflare erinnert uns erneut daran, dass wir das komplette Tech-Stack durchgehen müssen, um Schlüsse zu ziehen, warum das Monitoring plötzlich Fehlermeldungen auswürfelt.
Wie schlimm war der Fehler diesmal?
Nach einer guten Stunde hatte Cloudflare den Vorfall behoben und die 403-Fehler nahmen wieder ab. In der Zwischenzeit konnte Googlebot die Websites aber tatsächlich nicht crawlen. Anschließend dürfte Googlebot bemüht gewesen sein, den Stau in der Crawl Queue wieder abzuarbeiten.
Wenn Googlebot seither bei Dir auf wichtigen Seiten nicht erneut vorbeigekommen ist, ping ihn für einzelne URLs in der Search Console gezielt nochmal an, reiche eine Extra-XML-Sitemap ein und/oder verlinke die Seiten erneut von clickstarken URLs wie der Homepage.
Und erzähl mir gerne von Deinen Erfahrungen, wenn Du betroffen warst!