Das Jahresende neigt sich dem Ende und manche Menschen, so wie ich, versuchen dann dem kalten und tristen Wetter in Deutschland zu entkommen. An alles hast Du gedacht: Dreifach geimpft, PCR-Test negativ, alle Unterkünfte, Auto und ein fettes Tauchpaket gebucht sitzt Du im Flieger und kaum bist Du angekommen und Du schaltest Dein Handy an begrüßt Dich eine E-Mail in Deinem Posteingang. Deine liebe Search Console von Google schickt Dir eine Nachricht die so beginnt: "Neues Problem mit Abdeckung auf der Website...". Danke Google! Du liest die Mail in Ruhe weiter und stellst fest, ok der Hauptfehler ist ein "Serverfehler (5xx)". Und dann geht die Fehlersuche los.
Wieso ich so etwas im Urlaub mache und nicht damit warte bis ich wieder im Büro bin? Ganz einfach: Ein 500er Fehler sollte nur für kurze Zeiten ausgespielt werden. Zum Beispiel wenn ein Update Deines CMS durchgeführt wird und dies dadurch kurzfristig nicht anders möglich ist.
Diese Fehler sollten auf keinen Fall länger als 1 Tag von einer Website ausgegeben werden, da Google bei einem längeren Andauern davon ausgeht, dass der Fehler dauerhaft auf Deiner Seite auftritt. In diesem Fall deindexiert Google langsam die betroffenen URLs, weil sie als Suchergebnis nicht geeignet sind. John Müller von Google kann auch nicht garantieren, dass nach einer Fehlerbehebung alle Rankings einer solchen betroffenen URLs wieder ihre alten Positionen erreichen. Das hat er noch einmal in seinem Google Hangout am 10.12.2021 beschrieben. Dort wurde John Müller noch einmal zum Handling von Seiten gefragt, die zum Zeitpunkt des Besuchs durch Google mit einem 500er Fehler antworten:
"I don't think you'll be able to do it for that time, regardless of whatever you set up. For an outage of maybe a day or so, using a 503 result code is a great way to tell us that we should check back. But after a couple of days we think this is a permanent result code, and we think your pages are just gone, and we will drop them from the index.
And when the pages come back we will crawl them again and we will try to index them again. But it's essentially during that time we will probably drop a lot of the pages from the website from our index, and there's a pretty good chance that it'll come back in a similar way but it's not always guaranteed."
Deshalb sollte Dir der Crawling Report in der Google Search Console auf keinen Fall egal sein und Du solltest Dir diese Berichte in regelmäßigen Abständen anschauen um Probleme beim Crawling Deiner Website frühzeitig erkennen zu können.
Einstellungen → "Crawl Statistik" Bericht öffnen
Mit einem Klick auf diesen Eintrag erhältst Du weitere Details:
Und wir sehen, dass Google im Zeitraum vom 10.12. bis zum 12.12. Probleme mit der Serververbindung hatte. Seit dem 12.12. scheinen die Probleme behoben zu sein. Sollten diese aber noch weiter anhalten, so sollte man diesem Problem auf den Grund gehen.
Die gestrichelte rote Linie zeigt den Toleranzwert, bis zu dem Google bereit ist ein Auge zuzudrücken. Darüber hinaus wird es für Deine Seite jedoch schnell eng. Diese Grenze liegt bei ca. 4 bzw. 5% aller Anfragen des Googlebots.
Spätestens wenn Du eine Mail aus der Search Console bekommst solltest Du also tätig werden. Dir nützt es auch nicht, wenn Du in bei dem Aufruf der im Fehlerbericht aufgeführten URLs keine Fehlermeldung erhälst. Oft liegt in so einem Fall ein Performance Problem des Servers vor. Der Server könnte in so einem Fall also Probleme haben sehr viele Anfragen zeitgleich zu verarbeiten oder schlecht geschriebene Scripte benötigen einfach zu viel Ressourcen.
In so einem Fall können Dir gegebenenfalls Auswertungen der Logfiles helfen um weiterhin auftretende Fehler und deren Quellen zu identifizieren. Wichtig ist in so einem Fall, dass der Googlebot diese Fehlermeldungen erhält und Dir nicht viel Zeit bleibt, bis Google anfängt die fehlerhaften URLs aus dem Index zu nehmen. Damit wirst Du natürlich die Rankings verlieren, die Du mit diesen URLs erzielst. Kümmere Dich also rechtzeitig um interne Fehlermeldungen, nimm sie ernst und beseitige sie so schnell wie möglich.