In dieser Search-Off-The-Record-Folge sprechen Martin Splitt und John Mu über den Indexing-Report in der Google Search Console (Transkript). Für SEOs, die täglich damit arbeiten, waren nur wenige Überraschungen dabei. Aber es sind ein paar Sätze gefallen, die wir so in der Beratung häufig wiederholen müssen. Deshalb stell ich sie hier nochmal ins Schaufenster (Zitatfettungen von mir).
Expected Errors: Nicht jeder Fehler muss behoben werden
Der Pages- bzw. Seitenbericht ist keine Todo-Liste. Vermutlich spricht Google deshalb lieber von “Reasons”, also “Gründen” für die Nicht-Indexierung statt von “Fehlern”.
Bei einer Seitenmigration mit Weiterleitungen ist der Anstieg von 301-Seiten erwartbar. Genauso ist der Anstieg von 404-Seiten zu erwarten, wenn Du absichtlich ein komplettes Seitensegment löschst. Es geht also mehr darum, Muster zu erkennen, die nicht zu erwarten waren.
“It's an error. You want to fix an error, right? But it's an error that is expected. It's actually a good thing.” Martin Splitt, Google-Sprecher, SOTR-Episode 112.
“The other thing is that sometimes you see changes that you haven't triggered. I mean, with a redirect or like if you remove a whole category of stuff on your website, then you expect to see a steep rise in 404s because you removed stuff from your website. And again, if that hasn't happened, then that tells you something has gone wrong maybe, or something hasn't happened yet, or hasn't been processed yet.” Martin Splitt, Google-Sprecher, SOTR-Episode 112.
Auf allgemeine Trends und Muster schauen
Im Podcast versuchen mir die zwei Google-Kollegen meinen Wunschtraum auszureden, zu jedem Zeitpunkt wissen zu können, welchen Indexierungsstatus eine URL hat. Wir kennen das 1.000-Zeilen-Limit pro Tabelle im User Interface der GSC sowie das 2.000er Limit pro Property bei der Inspection-API. Bei großen Domains sehen wir also immer nur einen Ausschnitt der Realität. Ich werde mich von meinem Traum nicht abbringen lassen, aber ein gutes Argument haben die zwei trotzdem: Viele allgemeine Probleme kannst Du auch anhand der Samples erkennen.
Zum Beispiel kann ein plötzlicher Anstieg von 404-/410- oder 403-Fehlern ein Indiz dafür sein, dass die Bot-Protection des Servers oder des CDN nicht korrekt konfiguriert ist. Vielleicht wolltest Du massenhaftes AI-Bot-Crawling ausschließen, hast aber versehentlich den Googlebot gleich mit erwischt?
Validierungs-Feature lädt zu Aktionismus ein
Wenn ein Server-Fehler vorlag, der tatsächlich behoben wurde, dann kannst Du Google nochmal anpingen/zum Crawling einladen, um prüfen zu lassen, ob die Lösung funktioniert. Aber einfach immer wieder auf den Button zu drücken, in der Hoffnung, die Fehler würden verschwinden, ist keine gute Idee. Im besten Falle bringt es nichts. Im Schlechtesten entzieht Dir Google das Vertrauen, dass Deine Angaben Wahrheitswert haben und lässt Deine Pings außer Acht. Publishern, die mit künstlich aktualisierten Lastmod-Datumsangaben in Sitemaps Freshness vorgaukeln wollten, haben das schon schmerzlich erfahren dürfen.
Wegen Soft-404-Fehlern könnte Google Deine URLs auf externe Seiten kanonisieren
Hier musst Du in der Analyse ein bisschen Fantasie mitbringen und die Sherlock-Lupe rausholen. Es kann passieren, dass Bots auf Deinen URLs massenhaft ein Interstitial mit dem Inhalt “Bist Du ein Bot, ja oder nein” mit 200er Status Code ausgeliefert wird. Als User siehst Du diesen Inhalt vielleicht gar nicht. Für Google sind diese Seiten dann nicht nur Error Pages, die es in den Soft-404-Eimer packt, sondern aufgrund des identischen Inhalts alles Duplicates. Kopien kanonisiert Google auf URLs, die es schon kennt und ggf. aufgrund des früheren Entdeckungsdatums oder der Verlinkung im Netz für relevanter hält.
Die Crux. Als Canonical wählt Google nicht notwendigerweise eine URL Deiner Domain, sondern eine externe. Diese Fälle können im Soft-404 oder auch im “Google chose different canonical”-Bericht landen.
“But if you see a lot of pages on your site being duplicated, eliminated in favor of some random other page, oftentimes that's a sign that you have some kind of a soft error on your page [...] some kind of soft block that tries to block crawlers and bots and basically just ruins your SEO.” John Müller, Google-Sprecher, SOTR-Episode 112.
👉‼️ “Discovered/Crawled – currently not indexed” könnte auf Qualitätsprobleme hinweisen ‼️👈
Wenn Du nur eine Sache mitnimmst, dann ist es hoffentlich diese. Sobald die technische Basis steht, geht es darum, dass Du dem Internet etwas Wertvolles, Neues hinzufügst. Hier steckt das Konzept des Information Gain dahinter. Gekoppelt mit der kompletten User Experience der Seite.
“‘Crawled - currently not indexed,‘ which means we visited them and we didn't put them in the index, and that can have all sorts of different reasons. Would you say that that is often or only sometimes a sign of a quality issue?” Martin Splitt, Google-Sprecher, SOTR-Episode 112.
“Sometimes. So it's definitely the case if our systems are seriously worried about the quality of a website, that they will reduce the number of pages that they index. Because if we [...] have strong concerns about the overall quality, then it doesn't make much sense for our systems to spend a lot of time on the website. So we'll probably crawl a lot less, we'll index a lot less.” John Müller, Google-Sprecher, SOTR-Episode 112.
"[One] other thing that is worth mentioning with regards to quality is it's not just the text. So a lot of times people will say like, 'Well, my text is unique,' or, 'My articles are good,' and they're packaged in a page that is terrible to access, where anyone who when they try to load it, [...] their computer fan spins up and they're like, 'My gosh, I have to run away to make sure my computer doesn't explode.'
[... You]'ve all seen these pages where basically the text is there, but it's almost hidden away – hidden behind ads, hidden behind interstitials, hidden behind other things that are moving and coming and going. [Maybe] hidden below a bunch of filler content [...].
These are all the kind of things where the overall quality is much more than just that piece of text that you say like, 'This is my main content. This is what Google should be counting for my site.' And from our point of view, [we] have to take into account the full experience on a page because [that's] what users see." John Müller, Google-Sprecher, SOTR-Episode 112.
Die Indexed-zu-Not-Indexed-Quote spielt keine Rolle
“[There's] no such thing as a ratio between indexed and non-indexed pages. I mean there is, but [...] it doesn't matter. I've seen so many healthy websites that have [...] a million non-indexed pages and [...] half a million that are in the index and they are doing perfectly fine.
[... A] lot of people are seeing this and they're like, 'Google probably thinks my website is low quality because only [...] 20% of my pages are indexed.' No. That's not something that you need to worry about." Martin Splitt, Google-Sprecher, SOTR-Episode 112.
"Yeah. When I take a look at the Search Console for our developer documentation, for example, I think it's something like 5% of the pages are indexed.” John Müller, Google-Sprecher, SOTR-Episode 112.
Ausnahme: Bei den “submitted pages”, die Du absichtlich per XML-Sitemap bei Google einreichst, solltest Du in der Regel einen hohen Anteil an indexierten Seiten (grün) sehen. Nicht indexierbare Seiten gehören nicht in die Sitemap. Ausnahme von der Ausnahme: Es sei denn, wir wollen die Info, dass die URLs nicht indexierbar sind, einmal von Google verarbeiten lassen – zum Beispiel mit einer 301er-Sitemap während einer Migration.
Der Indexing-Report hat keine Echtzeitdaten
Daten laufen mit Zeitverzögerung ein. Ein, zwei Tage sind normal. Aktuell sehen wir vier Tage Verzögerung. Es gibt aber auch besonders bescheidene Phasen, in denen der Report wochenlang keine aktuellen Daten zeigt. Im konkreten Einzelfall hilft da der Live-Test, um den Zustand einer URL abzurufen. Frisch getestet: Auch die Inspection API liefert aktuellere Daten als der Report in der GSC.
Fun Fact: Site-Abfrage spiegelt nicht den Indexierungszustand
Eine “site:”-Abfrage kann noch jahrelang weitergeleitete URLs ausgeben, weil man spezifisch danach fragt. Es bedeutet nicht, dass Google den Redirect noch nicht verarbeitet hat. Vielmehr gibt es die Realität in der Regel zutreffender wieder: Diese URL gab es mal und wenn Du sie klickst, landest Du auf der aktuellen Adresse.
Im November werde ich auf der SEOkomm in Salzburg noch ein bisschen tiefer in die Indexing-Daten einsteigen. Ich freu’ mich, wenn ich Dein Gesicht im Publikum sehe und/oder Du mir vorab schon Fragen zur Indexierung von Google stellst. Was interessiert Dich? Schreib mir gerne.