Anfang des Monats hat Gary Illyes wieder einmal eine Frage zum Crawl-Budget einer Website beantwortet. Dabei ging es um die Frage, ob sich die unterschiedlichen Crawler von Google eigentlich das Crawl-Budget einer Website teilen. Und die Antwort lautet "ja" und er ging noch einen Schritt weiter und betonte noch einmal, dass es auch für jeden Host (also auch Subdomains) ein unterschiedliches Crawl-Budget gibt. Warum mich diese Antwort erst einmal kalt lässt? Ganz einfach: Da wir das eigentliche Crawl-Budget für einen Host nicht kennen und die wenigsten Websites überhaupt ein Problem mit dem Crawl-Budget haben, ist diese Information erst einmal so interessant wie ein SEO-Streit zwischen Subdomain und Folder.
Hintergrund: Die Antwort ist eigentlich für uns SEOs nichts Neues. Schon lange war klar, dass das Crawl-Budget auch für jegliche Content-Elemente wie Bilder, Videos, PDFs usw. zählte. Interessant könnte es aber werden, wenn sich wirklich alle Google-Bots das Crawl-Budget teilen müssten. Darunter\ befinden sich natürlich Crawler, die erstens nichts mit der organischen Suche zu tun haben und zweitens ggf. sogar erst durch Benutzerinteraktion (Google Read Aloud-Dienst) ausgelöst werden. Alleine schon der Gedanke an einen Benutzer, der eine Anfrage an den Google Read Aloud-Dienst bei einem überzogenen Crawl-Budget stellt, lässt schon vermuten, dass wir nicht alle Crawler über einen Kamm scheren sollten bzw. können.
Daher gilt für uns: Sicherlich handelt es sich dabei um eine interessante Information, die aber nicht unbedingt sehr viel Neues auftut.
Daher gilt weiterhin: Vermeide unnötige URLs da wo sie entstehen. Gerade wenn es sich um Parameter-URLs wie Filterfacetten oder eine interne Suchfunktion handelt entstehen an diesen Stellen häufig unnötig viele URL-Variationen mit nahezu identischen Inhalten. Neben der Tatsache, dass solche URLs die URL-Warteschlange von Google verstopfen und damit unnötig an unserem Crawl-Budget nagen, bringen diese URLs natürlich weitere Probleme für uns SEOs mit sich (Near DC, Soft 404, etc.).