Hattest Du schon einmal den Fall, dass einige Deiner heiß geliebten URLs von Google zwar gefunden wurden, es aber nicht in den Index geschafft haben und stattdessen in “Discovered - currently not indexed” (oder “Crawled - currently not indexed”) gelandet sind? Meist nicht der gewünschte Ort, an dem Du Deine Seiten gerne sehen möchtest.
Wenn das schon einmal der Fall gewesen sein sollte, hast Du Dir vermutlich auch schon die Frage gestellt, woran es jelegen hat oder liegt, dass Google Deine Seite nicht indexiert.
Passend dazu hat Martin Splitt vor Kurzem in einem Video der Google Search Central ein paar Worte verloren. Darin nennt er drei mögliche Gründe für URLs, die bei “Discovered - currently not indexed” landen:
1 - Der Faktor Zeit
Der erste und vermutlich beruhigendste Grund: Google ist bislang einfach noch nicht dazu gekommen, Deine URL zu crawlen. Vorher stehen erst noch andere URLs auf der Liste, die ebenfalls darauf warten, endlich gecrawlt und idealerweise indexiert zu werden. Oder um es anders zu formulieren: Manchmal dauert es eben einfach eine Weile. Die magische Antwort lautet demnach: Geduldig sein. So gern wir das alle sind.
Was aber, wenn die Tage und Wochen verstreichen und Deine URLs immer noch in “Discovered – currently not indexed” verweilen? Dann liegt es an einem der beiden folgenden Gründe.
2 - Dein Server keucht und röchelt
Möglichkeit Nummer eins: Es liegt am Server. Gerade wenn Google in der Vergangenheit festgestellt hat, dass Dein Server etwas schwach auf der Brust ist und bei zu viel Crawling-Power fleißig 500er-Status Codes hustet, wird der Crawler seine Leistung künftig etwas zurückschrauben, um Deinen Server nicht komplett den Garaus zu machen. Meist ist das aber eher bei größeren Websites der Fall. Die nötigen Einblicke dazu bekommst Du unter anderem in den “Crawling stats” in der Google Search Console (Settings → Crawling stats):
Wenn es nicht daran liegt und Dein Server vor Leistung nur so sprudelt, dann bleibt noch eine zweite Möglichkeit, woran es liegen kann. Und die lautet…
3 - Die Qualität Deiner Inhalte ist mangelhaft
So ungern man sich das auch eingesteht, aber manchmal liegt es schlichtweg daran, dass Deine Inhalte schlecht (oder zumindest nicht gut genug) sind. Wenn Google feststellt, dass sich eine regelrechte Müllhalde auf Deiner Website tummelt, kann es leicht passieren, dass Deine URLs in Discovered - currently not indexed landen. Und dort bleiben!
Man kann sagen: Google ignoriert die Inhalte dann, bis Du hier entsprechend nachbesserst (Mehr zum Thema besserer Content findest Du in meinem Beitrag darüber, wie Du zum Unique-Corn wirst oder in Philipps Artikel über guten Content und schlechten Content). Wie so häufig lautet das “Geheim”-Rezept demnach auch hier: Qualität statt Quantität. Gleiches gilt übrigens auch für URLs in “Crawled - currently not indexed”.
Spannender Hinweis noch dazu an dieser Stelle: Eine URL kann übrigens auch den Weg rückwärts geben: Von Indexed zu Crawled zu Discovered und schließlich zu Unknown. Dazu hat auch Adam Gent vor einer Woche etwas bei LinkedIn geschrieben, ebenfalls mit Verweis auf das Video von Martin Splitt. Es geht also nicht nur in eine Richtung.