Immer wieder kommt der Begriff Crawl Budget bei uns SEOs ins Gespräch. Wir müssen unbedingt das Crawling Budget im Griff behalten. Was jedoch nach Aussagen von John Müller nicht einmal von 100.000 URLs einer Domain beeinträchtigt werden würde. Und wenn Deine Website nicht mit irgendwelchen wilden Parametern zigtausende URLs erzeugt, die denselben Inhalt ausliefern, sollte dies auch weiterhin kein Problem darstellen. Jedoch sollte man eigentlich bei der Erstellung von URLs, sei es per Hand oder automatisiert, auch ein Konzept besitzen.
Letztendlich geht es hier ja nicht nur um die Erstellung der URL, deren Inhalt und die Entscheidung, ob der Inhalt ranken soll oder nicht, sondern auch um die Frage der internen Verlinkung und wie diese sichergestellt wird.
Was ist nun, wenn man eine Domain mit 70.000 indexierbaren URLs hat, der etwa 1.4 Mio nicht indexierbare URLs gegenüberstehen? Besteht hier das Risiko, dass die kleinere Gruppe der wichtigen indexierbaren URLs benachteiligt wird und die größere Gruppe der noindex-URLs ihre zügige Verarbeitung behindert? Denn letztlich muss Google ja alle URLs crawlen, um auch bei den 1.4 Mio nicht indexierbaren URLs das "noindex" zu erkennen, zu verarbeiten und in zeitlichen Abständen erneut zu prüfen. Das wollte Praveen Sharma auf Twitter von John Mu wissen.
"A small Q: A website has some 70K valid indexed URLs. But also has 1.4M URLs that are tagged as noindex. Though these are not indexed but crawled occasionally. Can these nonindexed URLs impact the crawl budget negatively in the future?"
Die Antwort von John Müller ist jedoch eine kleine Überraschung: Er sagt, dass man sich in so einem Fall nicht so große Sorgen um das Crawl Budget machen sollte und in seiner Berechnung die 1.4 Mio. URLs so behandeln und einschätzen sollte, als wenn diese 1 Mal im Jahr von Google gecrawlt werden würden.
"Unlikely. Consider how many server requests you have per minute, and how many this would at most add, assuming they're crawle 1/year (and most won't get recrawled at all. "
Die spannende Frage stellt sich nun, ob Google diese große Menge an URLs nur in der Berechnung des Crawl Budget so behandelt oder ob Google im Regelfall diese URLs wirklich so selten crawlt, wie John Müller es beschrieben hat. Sicherlich ist hier die richtige Antwort (Wer hätte es gedacht?) "It depends".
Denn auch in diesen Überlegungen müssen wir so etwas wie die Gesamtmenge aller URLs einer Website in Betracht ziehen. Sicherlich ist Google bei kleineren Websites, die eh das Crawl Budget nicht ausreizen, auch bereit, Seiten mit einer "noindex"-Kennzeichnung häufiger zu crawlen, als bei Websites, die sowieso schon mit ihrem Crawl Budget zu kämpfen haben.
Aus diesem Grund sollten größere Websites unbedingt einen Blick auf die Gesamtanzahl der URLs, den Crawl-Bericht in der Google Search Console haben und schauen, ob Google überhaupt eine Chance hat, alle URLs in einem angemessenen Zeitrahmen zu crawlen. Zusätzlich wird hier auch sehr deutlich, dass wir Änderungen an der Indexierung von Seiten sehr sorgfältig erarbeiten und überwachen müssen, da Änderungen in unseren Robots-Anweisungen doch unter Umständen lange benötigen, um von Google verarbeitet zu werden. Gerade Fehlkonfigurationen können hier fatale Auswirkungen haben, die es unter allen Umständen gilt zu verhindern.
Man sollte sich selbst aber auch die kritische Frage stellen, warum eine Website so viele URLs besitzt, die nicht ranken sollen. Gibt es ggf. bessere Lösungen in der Umsetzung, um diese URLs vor Suchmaschinen zu verstecken? Die Maskierung via PRG-Pattern könnte hier eine adäquate Lösungsansatz sein.