Unsere Branchenkollegin Kristina Azarenko hat mit ihrer Liste 2020 Must-Read SEO Posts and Bonus Resources eine großartige Sammlung an Artikeln kuratiert, die insbesondere fortgeschrittene SEOs im letzten Jahr gelesen haben oder es zumindest schleunigst nachholen sollten.
Für viele einer der spannendsten Links und in Kristinas Liste gleich der erste führt zu Googles Large site owner's guide to managing your crawl budget, in dem das Search Central Team konkrete Tipps gibt, wie Websites mit mehr als einer Million Unterseiten oder kleinere mit sehr schnell wechselnden Inhalten Einfluss darauf nehmen können, wie Google ihre Websites crawled.
Das Thema, das in Sachen Crawling-Steuerung regelmäßig den größten Hebel hat, wird im Abschnitt Hide URLs that shouldn’t be in search results besprochen: Es geht darum, zu verhindern, dass Google große Mengen für die Suche irrelevanter URLs überhaupt findet. Üblicherweise ist das vor allem für Filterfunktionen in Online-Shops oder vergleichbaren Modellen wichtig, in denen ohne die notwendigen SEO-Vorkehrungen quasi unendlich viele URLs generiert werden, weil so viele verschiedene Kombinationen aus Filteroptionen möglich sind.
In der Dokumentation unerwähnt bleiben in diesem Zusammenhang aber die beliebte Lösung über Link-Maskierung per JavaScript oder das etablierte PRG Pattern. Beide sorgen dafür, dass Nutzer die Seiten problemlos erreichen können, Google aber keinen crawlbaren Link findet und sich so auf die wirklich Google-relevanten URLs fokussieren kann.
Inhaltlich ist das Dokument nicht wirklich neu; hilfreich ist aber, dass es direkt von Google selbst kommt. Das macht es manchmal einfacher, den Implementierungsaufwand für die technischen Lösung zur Crawling-Steuerung zu rechtfertigen.