Na, bist Du da aufmerksam geworden?
Ich bin auf diesen Artikel "The Story of Blocking 2 High-Ranking Pages With Robots.txt" von Ahrefs gestoßen. Hier hat Patrick Stox getestet, was passiert, wenn ein paar URLs „versehentlich" in der robots.txt blockiert werden.
Vor ein paar Jahren hat sich auch John Müller zu einem eng verwandten Thema auf Twitter geäußert. Er schrieb, dass Google auch, nachdem ein Inhalt nicht mehr auf einer Seite zu finden ist, diese trotzdem für besagten Inhalt in den Suchergebnissen anzeigen kann. Google weiß also in einigen Fällen auch nach dem Entfernen von Inhalten noch, worum es auf dieser Seite geht.
Wenn eine URL aber durch die robots.txt blockiert ist, sieht Google den (entfernten) Inhalt nicht und diese Hypothese wurde getestet:
"Was passiert mit meinen Rankings und dem Traffic, wenn Google meine Inhalte nicht crawlen kann/darf?"
Auswirkungen auf die Rankings und Traffic
In dem Experiment von Ahrefs ranken beide URLs nach 5 Monaten immer noch für viele Begriffe inklusive neuer Rankings, die in der Zeit hinzugekommen sind. Insgesamt wurde deutlich weniger Traffic eingebüßt, als vorher gedacht.
Wie zu erwarten, wurden die URLs in den Suchergebnissen ohne Title und Meta Description angezeigt. Die Google Search Console hat den "Fehler" natürlich mit dem Hinweis berichtet, dass die URLs indexiert, aber durch die robots.txt blockiert seien.
Was auch erkennbar ist: Die Impressions haben nicht deutlich verloren, die Klicks hingegen schon.
Dadurch, dass kein richtiges Snippet mehr angezeigt wurde, ist das auch logisch. Wer klickt schon gerne auf ein nacktes Suchergebnis.
Was wir daraus lernen können und bedenken sollten
Es ist ein kleiner Test von einer autoritären Seite aus der SEO-Branche. Die Erkenntnisse lassen sich daher auf keinen Fall verallgemeinern. Eine spannende Frage wäre zudem:
Wie verändert sich das Crawlverhalten nachdem die Sperre aufgehoben wurde?
Eine Legende besagt, dass Google dann besonders gierig sei, sobald die Blockierung aufgelöst wird. Eine andere Legende wiederum behauptet, dass eine (kurzzeitige) Blockierung in der robots.txt helfen könne, um Indexierungsprobleme zu beheben.
So etwas auszuprobieren ist aber mit gewissen Risiken verbunden und sollte daher abgewogen werden. Johan hat hier berichtet, wie Du den Wert eines Risikos oder einer Chance bestimmen kannst.
Beim Thema SEO spielt außerdem das Snippet eine weniger wichtige Rolle, als es in anderen Branchen der Fall ist. Merkt man vielleicht auch daran, dass Du den Artikel bis hierhin gelesen hast, obwohl die Überschrift keinen richtigen Inhalt hatte und ihre Aufgabe doch vor allem ist, zum Lesen zu motivieren.
Der Impact auf die Klick-Performance kann in anderen Fällen deutlich größer sein. Beispielsweise im E-Commerce sind bei so etwas größere Auswirkungen zu erwarten, da hier ein richtiges Snippet inklusive Bild große Wirkung auf die CTR hat.
Der Test war also interessant, die Aussagekraft darf aber nicht überbewertet werden.