Google hat keinen Bock mehr

...auf Sitemap Ping Spam und setzt stattdessen lieber auf ordentlich und gewissenhaft gepflegte lastmod Angaben.

Ähm Moment - Worum geht's?

Das Sitemap Protocol existiert schon ne ganze Weile. Seit 2005, um genau zu sein. Es wurde damals mit dem Ziel, Suchmaschinen bei der Discovery neuer URLs zu unterstützen, eingeführt. Auf der Basis stellte es ebenfalls eine Hilfe beim Scheduling von Crawls entdeckter URLs dar. Der große Erfolg des Sitemap Protocols zeigt sich auch dadurch, dass über lange Jahre hinweg keine Änderungen notwendig waren.

Nun tut sich aber was:

"While the general idea is still useful, some aspects have become less practical in today's internet."

Sayonara, Sitemap Ping

Google wird auch direkt konkret in der Ankündigung vom 26. Juni 2023:

"To that end, we're announcing deprecation of the sitemaps "ping" endpoint and providing additional recommendations for the use of the lastmod element."

"You can still submit your sitemaps through robots.txt and Search Console, but the HTTP requests ("pings") to the deprecated REST endpoint will result in a 404 error."

Also Klartext: Die Möglichkeit, Sitemaps an Google zu pingen, wird es nicht mehr lange geben. Sie wird in den nächsten 6 Monaten abgeschaltet. Also können wir grob davon ausgehen, dass Sitemap Ping ab 2024 Geschichte ist.

Bing hat Sitemap Ping übrigens schon im Mai 2022 ad acta gelegt:

"Despite its promise, recent evaluations have shown that it was often subject to misuse by spammers. As a result, we will be deprecating the ability for anonymous sitemap submissions starting today."

Google begründet die Abschaffung ähnlich:

"Our internal studies – and also other search engines such as Bing – tell us that at this point these unauthenticated sitemap submissions are not very useful.

In fact, in the case of Google Search, the vast majority of the submissions lead to spam."

Also: Aus die Maus. Sitemap Ping ist nicht das erste (und sicherlich auch nicht das letzte) Feature, das aufgrund von Missbrauch abgeschaltet wurde. Schon schade, wenn das Fehlverhalten einiger weniger solche Maßnahmen zur Folge hat, die am Ende uns alle treffen.

Die Reaktionen auf das Ende von Sitemap Ping sind auch eher verhalten:

"i can't tell you how many times the google sitemaps ping URL came to the rescue (client didn't want GSC, client wouldn't give me GSC access and didn't know how to use the sitemap tool, etc.). another googlefail for the books"

– Ian Cappeletti auf Twitter

(Wobei der Wegfall von Sitemap Ping in solchen "spaßigen" Fällen vermutlich eher das geringste Problem ist...)

"Not great the sitemap ping endpoint is going away...

...but the good news is that the Google team confirmed the lastmod has more weight when it comes to crawling and scheduling."

– Adam Gent auf Twitter

(Immer positiv denken!)

Auch Johan kommentiert diese Neuigkeit in unserem Slack mit begrenzter Begeisterung:

"Das ist bitter: Sitemap Ping ist die einzige Variante, teilweise tote Sitemaps zu aktivieren und hat hervorragend funktioniert, auch in den zahlreichen Fällen von widerspenstigen Sitemaps."

Ach ja, wenn Du Sitemap Ping irgendwo als Feature verbaut hat, musst Du Dir keine Gedanken machen und auch nicht zwingend aktiv werden:

"Any existing code or plugins which use this endpoint will not cause problems for Google Search; you don't need to make any changes (but using the endpoint will also not do anything useful)."

Sowohl Google als auch Bing weisen in ihren Meldungen auf die weiterhin bestehenden Möglichkeiten hin, die Sitemaps

• in der robots.txt zu referenzieren

• über die Google Search Console bzw. die Bing Webmaster Tools zu submitten

Darüber hinaus dropt Bing auch noch einen Hinweis auf IndexNow:

"Additionally, we encourage all webmasters to adopt https://www.indexnow.org to inform Bing and other search engines real time of latest content changes on their websites."

Dazu hatten Jolle in Ausgabe 147 (➡️ Wirksames Crawling- und Indexierungsmanagement) und Johan in Ausgabe 74 (➡️ Ein MiniWow für IndexNow) etwas geschrieben, falls Du da nochmal reinlesen magst.

Lang lebe lastmod

Während die Ära des Sitemap Ping zu Ende geht, bekennt sich Google klar zu lastmod:

"...nowadays lastmod is indeed useful in many cases and we're using it as a signal for scheduling crawls to URLs that we previously discovered."

Die Angaben müssen im richtigen Datenformat vorliegen, ist klar. Und den Tatsachen entsprechen.

"Second, it needs to consistently match reality: if your page changed 7 years ago, but you're telling us in the lastmod element that it changed yesterday, eventually we're not going to believe you anymore when it comes to the last modified date of your pages."

Zudem handelt es sich bei lastmod um eine optionale Angabe. Also wenn Du Dir bei manchen URLs nicht ganz sicher bist, lass es lieber weg. Denn unwahrheitsgemäße Angaben an dieser Stelle kommen bei Google nicht so gut an und können im Ernstfall sogar dazu führen, dass Google dem lastmod domainweit keine Bedeutung mehr schenkt.

"And when we say "last modification", we actually mean "last significant modification".

If your CMS changed an insignificant piece of text in the sidebar or footer, you don't have to update the lastmod value for that page.

However if you changed the primary text, added or changed structured data, or updated some links, do update the lastmod value."

Also:

• Lieber kein lastmod als ein falsches.

• Nur bei essentiellen Änderungen im Main Content.

An der Stelle noch als kleiner Reminder: Die Angaben von changefreq und priority in der Sitemap sind Google nach wie vor komplett Wurst.

"Google still doesn't use the changefreq or priority elements at all."

Wenn Du Dich hier selbst nochmal tiefer reingraben möchtest, gibt es hier die Sitemap-Doku von Google oder dort einen seeehr ausführlichen Wissensartikel von Johan.