Ausmisten des Heuhaufens lohnt sich, sofern die Nadel kein rostiger Nagel ist

In der SEO-Sprechstunde wurde John Müller neulich gefragt, ob das Eindampfen eines Großteils des URL-Inventars in einem Shop dabei helfen kann, den in der Google Search Console (GSC) kommunizierten Fehler "Discovered - currently not indexed" zu beheben.

Konkret ging es darum, aus 8 Millionen Produktdetailseiten (PDPs) durch Deindexieren und Aggregieren 2 Millionen zu machen, wie Roger Montti im Search Enginge Journal dokumentiert.

Discovery, Crawling, Indexing, Ranking

Vorsicht bei der Lektüre des SEJ-Artikels! Da geht mit Blick auf die Begriffe "Crawling" und "Indexing" einiges durcheinander.

Für gute Rankings in den Suchergebnissen muss Google die URLs mit Deinen relevanten Inhalten finden, crawlen, verarbeiten, einordnen und gemessen am Wettbewerb bewerten.

Discovered - currently not indexed

Dieses Problem fällt laut GSC in den Entscheidungsbereich von Google. Im Gegensatz zum noindex-Metatag gibt es hier keinen Knopf oder eine Direktive, die wir als Website-Betreibende ein- oder ausschalten können, um das Problem zu beheben. In Googles Dokumentation heißt es hierzu:

"The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl. This is why the last crawl date is empty on the report."

Google hat mit der Einschätzung, ob es sich um gute (nützliche) oder schlechte Inhalte handelt, noch gar nicht begonnen, da die URLs noch gar nicht gecrawlt worden sind.

Du bist Google trotzdem nicht hilflos ausgesetzt

Natürlich haben wir indirekt trotzdem Einfluss auf dieses Problem. John gibt keine konkrete Antwort auf den Einzelfall, bringt aber generelle Prinzipien und Ressourcen ins Spiel, die Du mit Blick auf die eigene Situation prüfen kannst, um zu einer Entscheidung zu kommen:

• Er verweist auf den Large site owner's guide to managing your crawl budget, damit Du sicherstellen kannst, dass Deine Website mit mehr Crawling durch Google überhaupt umgehen kann.

• Als nächstes strapaziert John die "Overall site quality". Nur wenn sich die Qualität Deiner Domain durch das Eindampfen des URL-Inventars um ein Viertel von 8 auf 2 Millionen verbessert, hält er die Maßnahme für zielführend – andernfalls versenkst Du viel Zeit und Ressourcen und kommst trotzdem nicht vom Fleck.

Technische Hebel

Je größer Deine Domain, desto größer ist auch der Hebel, den Du mit Technical SEO in der Hand hältst. Sorge dafür, dass Dein Server schnell und erreichbar ist und nur wertvolle Ressourcen gecrawlt werden:

• Die GSC berichtet Dir in den Crawl Stats von "inacceptable fail rates", weil Dein Server nicht angepingt werden kann oder die Antwortzeiten Deines Servers liegen regelmäßig oberhalb von durchschnittlich 700 oder sogar 1.000 Millisekunden? ➡️ Dann kann Dich ein Serverupdate nach vorne bringen.

• Verlinke intern ausschließlich auf URLs mit Status 200.

• Erstelle und melde nur Sitemaps via robots.txt und GSC, die ausschließlich URLs mit Status 200 enthalten, indexierbar sind und rankingwürdigen Content enthalten.

• Googlebot hat sich in Deine Schriftarten verliebt und hört trotz passender Caching-Settings nicht auf, diese wieder und wieder zu crawlen? ➡️ Trau Dich wie Johan, diese Ressourcen per robots.txt für den Bot zu blockieren.

• Das PPC-Team schaltet regelmäßig Google Ads auf URLs mit Status Code 301 und der Adsbot frisst laut Crawl Stats mehr als 5-10 Prozent des Crawl Budgets? ➡️ Gib dem Performance-Team den Hinweis, dass auch sie am besten nur auf URLs mit Status Code 200 verlinken.

• Die GSC zeigt Dir Probleme mit Canonicals an und es gibt demnach redundante Inhalte, bei denen Google nicht genau weiß, welche die Originale sind, die Rankings bekommen sollen? ➡️ Dann entferne inhaltliche Dubletten, deindexiere sie und/oder zieh die Canonicals nochmal glatt.

Inhaltliche Hebel

Doch Deine Website kann technisch schnurren wie ein Kätzchen, wenn die Inhalte darauf für niemanden einen Mehrwert bieten, nützt es nichts. Wenn Du den Heuhaufen entfernst und trotzdem keine Nadel zu finden ist, gibt es für Google keinen Anreiz, Deine URLs für Suchanfragen mit einem Top-Ranking vor die Nase von Menschen mit Fragen und Bedürfnissen zu setzen.

Was kannst Du also stattdessen tun?

Lies Dir die Quality Rater Guidelines mit Blick auf "3.2 Quality of the Main Content" nochmal genau durch. Dann verstehst Du, dass Google Content mit Rankings belohnen möchte, in dem hoher Aufwand, Originalität und neue Perspektiven sowie Einzigartigkeit, Erfahrung, Talent und Können eingeflossen sind, die nicht beliebig imitiert werden können.

Brand

Allerdings schaffen es bekannte Marken immer wieder, andere Seiten aus den Top-Rankings rauszuhalten, obwohl sie selbst weder technisch noch inhaltlich auf der Höhe sind. Das liegt daran, dass für bestimmte Suchanfragen wie nach der Marke selbst oder nach Themen, mit denen die Brand untrennbar verknüpft ist, ein Suchergebnis dieser Marke selbst die beste Antwort ist.

Diese Säule ist am weitesten von Deiner direkten Einflusssphäre entfernt, aber gute PR- und Marketing-Leute wissen seit Jahrzehnten, wie sie Ihre Marke mit Werbung, PR und Influencern ins passende Licht rücken und ein Image entwickeln. Product People wissen, welche Qualitäten, Lösungen und Funktionalitäten ein Produkt braucht, um am Markt bestehen zu können oder sogar geliebt zu werden.

Von diesen Maßnahmen profitiert auch SEO. Doch was können wir hier direkt beisteuern?

• Über digitale PR lassen sich organische Backlinks aufbauen. Aber vielleicht überlässt SEO diesen Teil doch lieber den Hardcore-PR- und Content-Menschen. Kein manipulatives Linkbuilding, bitte!

• Auch Mentions, also Erwähnungen Deines Markennamens ohne Link, zählen. Baue also Kookkurrenzen Deiner Marke mit Deinem relevanten Thema auf. Wie das im Prinzip (aber nur kurzfristig) funktioniert, hat Kai Spriestersbach hier mal aufgeschrieben.

• Lies Dir die Quality Rater Guidelines durch, diesmal mit Blick auf "3.3 Reputation of the Website and Content Creators": Denn nicht nur Dein Produkt und Deine Website brauchen einen guten Ruf, auch die Menschen, die auf Deiner Seite veröffentlichen, sollten die typischen E-E-A-T-Kriterien (Experience/Erfahrung, Expertise, Authoritativeness/Autorität und Trustworthiness/Vertrauenswürdigkeit) mit Blick auf die Themen, über die geschrieben wird, erfüllen. Eine gute Verlinkung und Schema-Markup können dabei helfen, externe Quellen als Zeugen für E-E-A-T strukturiert für Google lesbar zu machen.

Fazit

Ich denke, dass die Reduktion der URLs um drei Viertel von 8 Millionen auf 2 Millionen durchaus viel bewirken kann. Die fragende Person sprach schließlich nicht nur vom Deindexieren, sondern auch vom Aggregieren. Das klingt danach, als würden verschiedene redundante Versionen von Produkten zusammengeführt auf nur noch eine starke URL. Das würde ich als Benutzerin und SEO sehr begrüßen.

Google kann die Seite dann viel schneller crawlen und hat weniger Canonical-Probleme, die es zu sortieren gäbe. Das sollte in der Tat helfen.

Was mich darüber hinaus beim Lesen des Artikels im SEJ zum Grübeln gebracht hat:

• Letztes Jahr war die SEO-Bubble sauer und hat sich von Google benutzt gefühlt, als das Helpful Content System so riesig angekündigt wurde und dann kaum Auswirkungen spürbar waren.

• Google macht hier nochmal deutlich, dass sie oft Monate brauchen, um die Qualität einer ganzen Domain beurteilen zu können, wozu neben Technik und Inhalten auch Design, Layout und UX zählen.

Das bedeutet für mich, dass viele Ranking-Schwankungen in den letzten Monaten, bei denen wir den Bezug zu einem Google Update nicht mit einer klaren Abbruch- oder Aufschwungkante in Zusammenhang bringen konnten, insgeheim doch mit dem Wirken des Helpful Content Systems zusammenhängen.

Nach und nach gelingt es Google besser und besser, das, was sie den Quality Ratern als Ziel vorgeben, algorithmisch in Suchergebnisse zu übersetzen.