Erinnerst Du Dich an das SEO-Bookmarklet, das ich Anfang des Jahres vorgestellt habe? Ich hoffe, es leistet Dir noch immer gute Dienste beim schnellen Checken von Onpage-Elementen. Damals hatte ich ja schon angedeutet, dass Bookmarklets an ihre Grenzen stoßen, wenn es um Dinge geht, die der Browser versteckt – etwa HTTP-Header. Für solche Fälle gibt es Browser-Extensions.
Der eigentliche Auslöser für mein neuestes Projekt war aber ein ganz simples, alltägliches Problem: Ich hatte in meiner Browserleiste schon immer eine Extension, die mir brav den Meta-Robots-Tag und X-Robots-Tag der aktuellen Seite angezeigt hat. Praktisch. Aber das ist ja nur die halbe Wahrheit.
Mir fehlte immer eine Extension, die auch gleich mitprüft, ob die aufgerufene URL nicht vielleicht über die robots.txt für Crawler gesperrt ist. Um das zu validieren, musste ich immer selbst nachschauen oder externe robots.txt Checker ansteuern, um das manuell abzugleichen. Diese Lücke im Workflow wollte ich schließen.
Und wie das bei solchen Projekten nun mal so ist: Wenn man schon dabei ist, schaut man direkt, was noch alles so geht. Wenn das Tool schon die robots.txt lädt, warum sie nicht direkt nach offiziellem Standard auf Fehler prüfen? Und was ist eigentlich mit den ganzen XML-Sitemaps, die dort verlinkt sind?
Das Ergebnis: RoboX
Herausgekommen ist eine Chrome Extension namens RoboX.
Das kann das Browser-Tool ab sofort für Dich übernehmen:
- Alles in einem Icon sehen: Das Extension-Icon zeigt Dir sofort an, ob die Seite indexierbar ist (Index/Noindex) und ob sie gleichzeitig in der robots.txt gecrawlt werden darf (Allowed/Disallowed).
- Meta vs. Header Konflikte anzeigen lassen: Das Tool liest das HTML und den HTTP-Header (X-Robots-Tag) parallel aus. Es warnt sofort bei Widersprüchen (z.B. HTML sagt "Index", Header sagt "Noindex") oder wenn JavaScript die Meta-Werte nach dem initialen Laden heimlich abändert.
- Robots.txt validieren: RoboX prüft die Syntax strikt nach RFC 9309 und zeigt Dir exakt an, welche Zeile blockiert. Es erkennt auch direkt, ob für spezifische Bots (wie Googlebot, Bingbot, ChatGPT-User etc.) abweichende Regeln existieren.
- XML Sitemaps checken: Verlinkte Sitemaps werden erkannt und lassen sich mit einem Klick validieren. Das Tool checkt direkt auf inhaltliche Fehler wie ungültige W3C-Datumsformate, fehlende Pflicht-Tags oder fehlerhafte XML-Strukturen.
- Mit dem Snapshot Overlay den Status quo im Call direkt zeigen: Du kannst Dir die Analyseergebnisse als schwebendes Fenster (Overlay) direkt über die Webseite legen. Ziemlich praktisch, um einem Kunden den Status quo per Screen-Sharing zu zeigen, ohne direkt den ganzen Browser teilen zu müssen.
Genug der Vorrede. Probier es einfach aus und schmeiß die alten, unvollständigen Extensions aus Deiner Leiste.
Du findest RoboX ab sofort kostenlos im Chrome Web Store.
Ob es durch die Fülle an Checks noch Verbesserungsbedarf gibt, Du eine Edge-Case-URL hast, die das Tool nicht versteht, oder Dir noch ein Feature fehlt – schreib mir gern!
Ansonsten viel Spaß mit der Extension.