Wenn ich eins in meinen nur 1,5 SEO-Jahren (zu) oft gehört habe, dann sind es die zwei Worte "It depends", die ja scheinbar zu jeder, wirklich JEDER Frage erstmal passen. Natürlich sollte Deine Antwort nicht bei dieser hilfreichen Aussage enden und mit den einzelnen Szenarien und Handlungsmöglichkeiten ergänzt werden.
Beim "Indexing-Problem" ist es wohl auch so.
Warum Deine Seiten nicht in den Index gelangen? It depends halt.
Mögliche Gründe, die Du überprüfen solltest:
-
Meta Robots Tag auf noindex
-
kein 200er Status Code
-
Zu wenig Content oder schlecht gewählte Worte lassen Google die Seite als Soft 404 klassifizieren
-
Die Seite ist nicht crawlbar (Ausschluss per Robots.txt oder nicht auffindbar, da weder in Sitemap noch interner Verlinkung, Fehlerhafter Status Code)
-
Google wertet die Seite als Duplikat und eine andere URL als das Original
-
Google "möchte" die Seite nicht crawlen
-
Google "möchte" die Seite nicht indexieren
Diese und weitere Gründe findest Du übrigens auch in Tomeks Artikel "9 Reasons Why Your Pages Aren't Indexed" in ausführlicher Form.
Vor allem die letzten 2-3 Punkte werden immer interessanter.
Indexing-Probleme werden seit ungefähr einem Jahr auf Twitter und Co immer häufiger thematisiert. Dan Taylor hat in dem Artikel "Is Indexing The Next Big Challenge In SEO?" mögliche Gründe hierfür angeführt:
-
Suchmaschinen seien grundsätzlich nicht nur user-fokussiert, sondern auch auf Profit aus und für die Indexierung, Verarbeitung und Speicherung der Datenmengen fallen Kosten nunmal auch an.
-
Außerdem seien wir an eine Indexierungs-Obergrenze stoßen. Damit meint Dan, dass sich bis auf kleine Nischen und Ausnahmen eigentlich nur noch gleiche Inhalte veröffentlicht werden und Google somit gar nicht alle Inhalte im Internet zu crawlen, zu parsen und zu indexieren braucht, denn wie Gary Illyes schon meinte:
"About 60% of the internet is duplicate."
...Duplikate werden nunmal nicht indexiert.
- und außerdem von Google:
"It's impossible to crawl the whole web."
Google versuche immer wieder, durch verschiedene Updates, schlechte Inhalte aus dem Index zu schmeißen. Dieses Mal ist es zum Beispiel das Helpful Content Update und der AI generated Content.
Dan thematisiert auch ein weiteres mögliches Problem, falls Suchmaschinen aufhören würden, den Großteil des Internets zu crawlen. Wie kann Google dann überhaupt noch neue Inhalte entdecken?
Wir hätten bereits eine Antwort auf diese Frage, meint Dan: Einreichung von URLs via IndexNow.
Bing und Yandex supporten dies bereits jetzt schon. Google testet es gerade.
Fokussierung und Priorisierung in Hinblick auf Content-Erstellung und Keyword-Targeting werden damit wichtiger als jemals zuvor. Dazu gehört auch, gar nicht erst URLs ins Rennen für Queries zu schicken, wo die Ranking-Chancen aufgrund der Suchintention sowieso viel zu gering sind.
Reizen Dich diese Themen auch so wie uns?
Möchtest Du mehr dazu wissen, warum Google Deine URLs manchmal einfach nicht crawlt oder indexiert und was Du alles tun kannst, um das Crawling und die Indexierung Deiner URLs zu begünstigen?
Wie Du mit Google's Crawling und Indexierungs-Ressourcen umgehen kannst und wie viel davon in Deiner Macht liegt, erfährst Du im anstehenden Workshop von Johan auf der SMX Advanced.
Eins interessiert mich noch: Was sagt Deine innere Stimme, wenn Du "It depends" hörst?