Im Vortrag zum Thema Crawl-Management von Darius Erdt und Jan-Peter Ruhso auf der SEOkomm ging es darum, wie die Effizienz des Crawlings gesteigert werden kann.
Besonders gut haben mir dabei zwei Dinge gefallen:
-
Anhand von praxisnahen Beispielen und Tipps haben Darius und Jan aufgezeigt, wie Du erkennen kannst, dass Du das Crawling Deiner Website verbessern kannst.
-
Dabei haben sie mehrmals betont, weshalb das unter anderem so wichtig ist, denn unnötiges Crawlen ist nicht nur aus SEO Sicht doof.
Nachhaltigkeit ist in aller Munde und die Awareness bereits groß. Wir ergreifen fleißig Maßnahmen in verschiedenen Bereichen: es wird vermehrt Second-Hand und/oder unverpackt und regional eingekauft, Müll wird getrennt & so gut es geht vermieden und Vieles mehr.
Was viele oft nicht berücksichtigen, ist der ganze Müll, den wir durch das ständige Online sein entstehen lassen. Darius und Jan sprechen hierbei von e-waste.
Immer wieder hören wir SEOs, dass es ja nicht so schlimm sei, wenn Google Seiten unnötig crawlt.
Darius und Jan haben ein Rechenbeispiel gezeigt, was toll verdeutlicht, wie viel Ressourcen eigentlich gespart werden können, wenn nur das gecrawlt wird, was auch wirklich wichtig ist, denn:
"Jeder einzelne Visit einer Webseite, auch der des Googlebots, verbraucht Bandbreite, RAM & CPU und somit Energie."
Unnötig mehr Energie wird zusätzlich verbraucht durch ineffizient ladende Seiten, fehlendes Caching, nicht erforderliches JavaScript oder auch nicht komprimierte Bilder.
Merke: Wenn Deine Seite schnell lädt, dann ist das also nicht nur gut für Deinen Core Web Vitals Score, sondern auch für die Umwelt 🙂 Und wenn keine unnötigen Seiten gecrawlt werden, hat Google natürlich auch mehr Kapazität, Deine wirklich wichtigen und neuen Inhalte zu crawlen und prüfen. Das wiederum bringt Dein Indexierungsmanagement nach vorn.
Auf websitecarbon.com kannst Du den Verbrauch Deiner Seite prüfen.
Für unsere Wingmen-Seite kann ich stolz sagen, wir sind im grünen Bereich.
Jan und Darius haben für ihre Rechnung
-
den Durchschnittswert einer Seite ermittelt,
-
dann Caching eingeführt
-
und anschließend erneut den Durchschnittswert ermittelt.
So konnten sie feststellen, wie viel CO2 Einsparungen pro Visit zusammenkommen.
Dann haben sie
-
die Logfiles gecheckt
-
und nur die Googlebot-Visits herausgezogen, die Status 200 hatten, indexierbar waren und keine Ressourcen Requests waren.
Die Anzahl haben sie dann mit den CO2-Einsparungen multipliziert und kamen für die Beispiel-Website auf 1,2 Tonnen!
Was kannst Du also tun, um Dein Crawl-Management effizient(er) zu gestalten? Nachfolgend ein paar Tipps:
-
Prüfe zunächst die Crawling-Statistiken in der GSC (etwas versteckt zu finden unten links bei den Einstellungen) und verschaffe Dir einen Überblick über das Crawling Deiner Seite und das Verhältnis zwischen erforderlichem und überflüssigem Crawling.
-
Vermeide Duplicate Content - nutze 404 oder 410 um Seiten zu konsolidieren oder leite sie per 301 weiter.
-
Vermeide das Crawling von unnötigen Parameter-URLs, die beispielsweise durch Login-URLs entstehen, durch Filterung, Sortierung oder sogar Session-IDs.
-
Bringe Deine Seite technisch auf Kurs und optimiere Dein Caching und die Ressourcen-Nutzung.
-
Achte auf Deine Server-Kapazitäten.
-
Optimiere Deine interne Verlinkung und vermeide Crawling von Weiterleitungen und 4xx-er Seiten
-
Weiterhin empfehlen Darius und Jan den Einsatz von Linkmaskierung
Ich denke das Ganze nun noch ein wenig weiter und forsche, wie wir auch im Vorfeld schon einmal abwägen können, wie viel CO2 Einsparungen erlangt werden können durch verschiedene Maßnahmen - sobald ich dazu mehr habe, melde ich mich wieder ;)