Bislang waren von außen die Abrufe des URL Inspection Live Tests und des Rich Result Tests der Google Search Console nicht von denen des normalen Googlebots zu unterscheiden.
Damit ist nun Schluss. Gary Illyes hat mitgeteilt, dass es einen neuen Google User Agent gibt und verweist auf den neuen Abschnitt "Google-InspectionTool" in der User Agent Dokumentation:
Statt [crawler version](compatible; Googlebot/2.1; +http://www.google.com/bot.html) heißt es für die Inspection-Tools in Zukunft [crawler version](compatible; Google-InspectionTool/1.0).
Für die meisten Domains macht das keinen großen Unterschied
Schließlich sollte der Googlebot nicht anders behandelt werden als normale Nutzer. Auch lauscht der neue User Agent in der robots.txt nicht nur auf seinen Namen (Google-InspectionTool), sondern auch auf Googlebot.
Die SEOs vieler Publisher betrifft das aber schon
Zum Beispiel, wenn:
-
Sie Inhalte hinter der Paywall haben, die Googlebot vollständig sehen soll.
-
Das Consent-Banner über eine eigene URL leitet, von der der Googlebot tunlichst ausgeschlossen gehört, da er schließlich niemals den Consent akzeptieren kann.
In beiden Fällen ist das normale Crawling nicht beeinflusst, aber das Inspection Tool wird wahrscheinlich nicht mehr so behandelt, wie der reguläre Googlebot.
Für die oben genannten Beispiele bedeutet das
-
Technisch versierte Nutzer können sich nicht mehr über den Rich Result Test an der Paywall vorbeischleichen, sondern sehen auch dort erstmal nur noch die Paywall oder das Consent-Banner, wie hier beim Spiegel:
-
Du als SEO in der Search Console siehst im Live-Test im Zweifel nur noch das Consent-Banner.
Ersteres ist möglicherweise der Hauptgrund für diese Anpassung, auch wenn das vermutlich kein massiv genutztes Schlupfloch für Gratislesepiraten war. So oder so, wenn Deine Domain irgendwo eine Sonderbehandlung für Googlebot vorsieht, solltest Du klären, wie Du damit umgehen willst.
Möglicherweise ist es am einfachsten, den neuen User-Agent genauso zu behandeln wie Googlebot. Alternativ könntest Du vorbereiten, den Inspector kurzfristig für das Debugging freischalten zu können. Denn wenn Probleme mit Paywall, Consent oder Ähnlichem plötzlich die Indexierung der Inhalte blockieren, ist ein schnelles Debugging bares Geld wert. 🤑