2020 hat Google das URL-Removal-Tool eingeführt. Zeit, um genau zu beleuchten, was es eigentlich tut, und es von anderen Möglichkeiten abzugrenzen, URLs aus der Google-Suche herauszuhalten (Noindex und robots.txt).
Ich schreibe hier bewusst "aus der Google-Suche heraushalten" und nicht "Deindexierung".
Die einzigen Instrumente, um sauber zu steuern, ob Google eine URL in den Suchindex aufnimmt, sind und bleiben das Robots-Meta-Tag und der X-Robots-Tag-HTTP-Header.
So arbeitet das URL-Removals-Tool
Wie genau das URL-Removal-Tool arbeitet, können wir aus der Dokumentation des "Removals and SafeSearch Reports Tool" ableiten.
Google spricht hier auch explizit nicht von Deindexierung, sondern von zeitlich begrenztem Blockieren der URL aus den Google-Suchergebnissen.
[the URL-Removal tool] Blocks the URL from Google Search results for about six months.
Durch den Einsatz des Tools ändert sich auch nichts in anderen GSC-Berichten. Eine URL, die Du mittels Removal-Tool aus den SERPs geworfen hast, taucht weiterhin in den Pages-Reports dort auf, wo sie vorher war. Wenn Google keinen anderen Grund hat, sie zu deindexieren, wird sie in der URL Inspection auch weiterhin mit grünem Häkchen als indexiert dargestellt.
Im Kleingedruckten neben dem grünen Häkchen und "URL is on Google" wird das Removal-Tool explizit erwähnt:
It can appear in Google Search results (if not subject to a manual action or removal request)[...]
(Fettung von mir)
Im Leistungsbericht bleibt die URL rückwirkend vorhanden. In der Zukunft wird sie aber natürlich erstmal keine neuen Impressionen oder gar Klicks einsammeln – zumindest für 6 Monate.
Kurzum: Der Indexierungstatus der URL/des Dokuments im Index bleibt gleich.
Es gibt nur einen Punkt, in dem das Temporary-Removal-Tool tatsächlich mit dem Index interagiert. Und zwar werden die zu der URL im Index gespeicherten Daten zum Snippet einmal gelöscht.
These steps will also clear the page snippet from Google's index.
Im Prinzip passiert hier das Gleiche wie beim benachbarten Outdated Content Tool. Man könnte sagen, das Temporary-Removal-Tool löst für die URL auch das Outdated Content Tool einmal aus.
Das Crawling der URL läuft weiter wie bisher. Wie auch beim Outdated Content Tool werden, sobald Googlebot die Seite erneut besucht, neue Snippet-Informationen zu der URL im Index gespeichert. Auch wenn die Blockierung noch nicht abgelaufen ist.
Google may recrawl the page during the blackout period and refresh the page snippet
Fehlende Nutzersignale zu einer blockierten URL können die Crawl-Frequenz natürlich beeinflussen, aber das verhindert das Crawling generell nicht.
Wie blockiert das URL-Removal-Tool dann URLs in der Suche?
Das Removal-Tool arbeitet nicht auf Indexierungsebene. Der Ascorer bearbeitet das Dokument zu der URL wie alle anderen blockierten URLs und reicht sie zu passenden Queries an das Superroot-System für das Reranking weiter.
Im Reranking gibt es einen Twiddler, der die URL aus dem Prozess wirft. Wichtig dabei: Das URL-Removal funktioniert auf URL-Basis, der Ascorer gibt aber ein Dokument aus. Theoretisch kann eine andere URL, die Google dem Dokument zuordnet, weiter in der Suche auftauchen, aber das ist nicht gesichert:
[Do not use the tool to] get the right "version" of your site indexed. [...] It won't keep your favorite version of a page; instead, could remove all versions (http/https and www/non-www) of a URL.
Also nicht als Ausgleich für ein mangelhaftes Canonical-Setup einsetzen.
Wann setzt Du das Tool sinnvoll ein?
Manchmal ist es auch im White-Hat-SEO nicht sinnvoll, den Empfehlungen von Google 1 zu 1 zu folgen, aber die "When to Use"- und "When not to Use"-Regeln, die Google in der Dokumentation des Tools aufstellt, solltest Du alle beherzigen.
Der primäre Nutzen dieses Tools ist, ein ungewolltes oder problematisches Ranking schnellstmöglich aus den SERPs zu bekommen, um danach in Ruhe aufräumen zu können.
Wenn Du das Tool einsetzen willst, denk kurz darüber nach, ob das Outdated-Content-Tool vielleicht schon reicht, wenn der Inhalt bereits entsprechend angepasst ist.
Ansonsten gibt es Edge-Cases, insbesondere bei sehr großen URLs mit Crawling- und Indexierungsproblemen, bei denen ein SEO darüber nachdenken kann, das URL-Removal-Tool zu zweckentfremden.
In diesen Fällen löst es aber nur ein Symptom und nicht Dein Problem. Wenn Du glaubst, dass Du einen solchen Edge Case gefunden hast, dann sprich mich gerne an, und wir können gemeinsam schauen, ob das für Dich sinnvoll ist oder ob wir einen besseren Weg finden, Dein Problem zu lösen. Melde Dich dafür gerne unter [email protected], wenn Du Bedarf hast.