Geteiltes Leid ist halbes Leid. Daher möchte ich meine zunehmende Frustration über gefühlt immer mehr werdende Ungereimtheiten in der "Zusammenarbeit" mit Google mit Dir teilen. In der Hoffnung, dass es mir danach besser geht. Vielleicht geht es Dir ähnlich und Du fühlst Dich ein kleines Stück weniger allein mit den dicken Fragezeichen, die die Suchmaschine unseres Vertrauens manchmal hinterlässt.
Oder aber Du hast genau diese Probleme auch schon gehabt und die Lösung parat. Dann gerne dringend melden!
#1 robots.txt oder wer liest die eigentlich?
Bei mittlerweile zwei Projekten finde ich eine ganze Reihe an URLs, die nicht indexiert werden. Die Search Console sagt dazu "Blocked by robots.txt". Soweit so gut, das kann ja vorkommen. Aber verdammt nochmal nicht, wenn die betroffenen URLs keiner einzigen Regel in der besagten Datei unterliegen. 😡
Selbst das robots.txt Testing Tool von Google bescheinigt mir, dass die URLs nicht gesperrt sind. Lügt mich also einfach der GSC-Bericht an und die Seiten werden heimlich indexiert? Site Search und URL-Inspektion sagen nein, tatsächlich nicht indexiert. Das führt zu dem Schluss, dass entweder sehr merkwürdige Umstände zu sehr spontanen robots.txt-Fluktuationen führen (was eigentlich ausgeschlossen ist). Oder das Google nun anfängt, auch die robots.txt mehr als Richtlinie zu behandeln, als als Direktive. Oder sie komplett ignoriert.
Beides zugegebenermaßen nicht besonders wahrscheinlich. Dennoch merkwürdig, dass es gleich an zwei Stellen passiert und die Informationen aus GSC und robots.txt-Test komplett gegensätzlich sind.
#2 Wer wird denn da gleich indexieren wollen?
Einen Schritt weiter sind wir bei meinem zweiten Stein des Anstoßes. Da hat Google wenigstens nicht die falsche Annahme, sich bestimmte URLs nicht ansehen zu dürfen. Aber nachdem im vergangenen Dezember (!) einige URLs von "noindex" auf "index" gestellt wurden, wollte ich meinen Augen kaum glauben, als sie dann tatsächlich vor ein paar Wochen in den Index aufgenommen wurden. 😳
Seit einiger Zeit hat man ja das Gefühl, dass bei Google ein oder mehrere Data Centers den Geist aufgegeben haben müssen. Aber noch bizarrer ist, wenn der Crawler in der Zwischenzeit die Seite besucht hat, den beantragten Fix als "validiert" meldet, die Seiten aber weiter im Bericht "Submitted URL marked 'noindex'" führt.
So langsam habe ich das Gefühl, dass unser "Och Menno! GUUHGL"-Spiel ein Add-On gebrauchen kann. Wobei ich diesmal für die Objektivität der Schmerz-Skala keine Garantie abgeben würde. Sowohl das Tempo der Indexierung als auch die Berichterstattung darüber lassen doch aktuell leider sehr zu wünschen übrig.
#3 Niemand hat die Absicht, Seiten vom Index auszuschließen
Google ist doch Freund aller Seiten. Als solcher käme man ja auch nicht auf die Idee, größere Anteile einer Seite in 'Crawled - Currently not indexed' oder 'Discovered - Currently not indexed' zu parken. Wobei man das insbesonder bei größeren Seiten mit hunderttausenden an URLs ja noch verstehen könnte.
Insbesondere aber bei kleineren Seiten wundert man sich dann doch. Nochmal insbesondere dann, wenn gleichzeitig die URLs mit Weiterleitungen auf die von Google nicht indexierten URLs weiter im Index bleiben, aber mit langsam abnehmenden Positionen. Man könnte ja schlichtweg das Weiterleitungsziel indexieren, auf das sämtliche anderen Seitensignale auch zeigen. Aber das wäre wohl zu langweilig.
Nichts wird so heiß gegessen, wie es gekocht wird
Und eine tiefgehende Analyse dieser Probleme wird womöglich in den jeweiligen Bereichen noch eine mögliche Ursache auftun können. Dennoch juckt es einem manchmal in den Fingern, einen Flug nach Irland zu buchen. Ich fühle mich aber tatsächlich schon etwas besser und spare mir das Geld und meinen CO2-Fußabdruck nochmal auf.
Hast Du gerade auch etwas SEO-Frust? Lass es uns wissen, vielleicht finden wir gemeinsam die Lösung!