Jes Scholz, Group Chief Marketing Officer bei der Ringier AG, war zu Gast beim Whiteboard Friday und hat sich das Thema Crawling vorgeknöpft. Ein tolles Format, bei dem wir alle wählen können, ob wir lieber das Video schauen, das Schaubild durchgehen, das Transkript lesen oder alles durchmischen möchten.
Warum sollten wir das überhaupt tun? Weil Jes eine absolute SEO-Ikone ist und hier Stoff für eine Viertelstunde Druckbetankung zu einem Thema abgeliefert hat, das ich zum SEO-Fundament zähle.
Mit Blick aufs Crawling spricht Jes viele Dinge an, die Darius Erdt und Jan-Peter Ruhso auf der SEOkomm vorgestellt haben (hier geht's zu Hannahs Einschätzung) -- auch wenn sie bei Logfiles vs. GSC-Tooling einen anderen Schwerpunkt setzt.
Warum Crawling- und Indexing-Wirksamkeit?
Jes spricht nicht vom Crawl-Budget, nicht von Crawling-Effizienz, sondern von Crawling- und Indexing-Effektivität, also der Wirksamkeit.
Es geht nicht darum, dass alle möglichen URLs permanent gecrawlt werden, sondern darum, dass wichtige inhaltliche Veränderungen und Optimierungen -- sei es bei Neuveröffentlichungen, sei es bei Auffrischungen vom Bestand -- möglichst schnell von Suchmaschinen entdeckt, gecrawlt und aufgrund ihrer Qualität in den Index aufgenommen werden können.
Deshalb behält Jes mithilfe der URL Inspection API für ausgewählte URL-Sets den Zeitraum im Auge, der zwischen dem Crawling einer URL und einer Änderung am Indexing-Status vergeht. Ihre KPI für Crawling- und Indexing Efficacy.
Vorsicht bei IndexNow
Es ist nur konsequent, dass Jes nicht die größte Verfechterin von IndexNow ist. Mit diesem Protokoll kann man Suchmaschinen wie Bing oder Yandex anpingen und Bescheid sagen, wenn sich etwas an einer URL getan hat. Auch Google behält die Technologie im Auge, setzt aber in erster Linie auf die eigene ausgeklügelte Crawling- und Indexing-Methode.
Die Idee dahinter ist mit Blick auf Serverressourcen auch dem Klima zuliebe eine wichtige. Warum nicht Bots Bescheid geben, wenn sich ein Besuch lohnt, statt permanent immer und alles crawlen zu lassen? Doch zeigt die Vergangenheit, dass sich SEOs und Seitenbetreiber:innen bei leicht manipulierbaren Hebeln wie diesem einen Vertrauensvorschuss nicht gerade verdient haben.
Jes macht aber andere Faktoren zur Grundlage ihrer Skepsis:
Ist meine Zielgruppe auf Yandex anzutreffen? Falls nicht, warum sollte ich meine Server grillen, wenn eine Indexierung in dieser Suchmaschine mich nicht näher an mein Publikum führt?
Häufig lässt sich IndexNow durch das Anhaken eines Schalters in meinem CMS oder über ein Plugin nutzen. Doch oft ist die Implementation fehlerhaft. Vielleicht löst Dein Tools den Ping bei jedem Speichern der URL aus, obwohl sich nichts verändert hat. Oder es wird wegen unwichtiger URLs gepingt. So angeklingelt kommen die Bots dann vorbei, verfeuern Deine Serverressourcen, jagen CO2 in die Luft, doch einen Push gibt es für Deine wichtigen Inhalte im Index trotzdem nicht.
Daher empfiehlt Jes, sich auf die Basics zu konzentrieren. Vernünftig gepflegte XML-Sitemaps, starke interne Verlinkungssignale und den Ausschluss von Parametern -- zum Beispiel fürs Marketing-Tracking -- für Suchmaschinen-Crawler.
Genau deshalb ist der Beitrag von Jes so wertvoll für mich. Absoluter Fokus auf die fundamentalen Basics ohne Chichi. Was meinst Du?