RoboX – Dein Robots & Sitemap Validator
Meta-Robots-Tag, X-Robots-Header, robots.txt und verlinkte Sitemaps direkt beim Seitenaufruf validieren. Clever prüfen, schneller handeln.
Was ist RoboX?
RoboX ist eine von uns entwickelte Chrome Extension, die technische SEO-Analysen direkt in Deinem Browser vereinfacht. RoboX kombiniert die Prüfung von Meta-Tags, unsichtbaren HTTP-Headern und der robots.txt in einer zentralen Oberfläche. Das Tool bewertet in Echtzeit, ob eine URL für Suchmaschinen zugänglich (Crawlability) und indexierbar (Indexability) ist.
Die ganze Wahrheit: Meta-Tags & X-Robots-Tag
Viele SEO-Fehler bleiben unentdeckt, weil Anweisungen im Hintergrund überschrieben werden. RoboX löst dieses Problem durch eine duale Analyse:
- Parallele Prüfung: Das Tool liest gleichzeitig die <meta name="robots">-Tags im HTML und den X-Robots-Tag im HTTP-Response-Header aus.
- Konflikt-Erkennung: RoboX warnt Dich sofort, wenn sich HTML und Header widersprechen (z. B. wenn das HTML "Index" signalisiert, der Header aber "Noindex" erzwingt).
- JavaScript-Manipulation: Es erkennt und warnt Dich, wenn JavaScript die Meta-Werte nach dem initialen Laden der Seite abändert.
Live-Status, Robots.txt & URL-Tester
RoboX automatisiert die Prüfung der robots.txt sowie der Meta- und Header-Anweisungen direkt beim Seitenaufruf:
- Visueller Live-Status: Das Extension-Icon im Browser zeigt über dynamische Badges in Echtzeit an, ob die aktuelle Seite indexierbar ist (Index/Noindex) und ob sie gecrawlt werden darf (Allowed/Disallowed).
- Strikte Validierung (RFC 9309): Die robots.txt wird nach offiziellem Standard auf Syntax-Fehler, kritische Probleme und veraltete Direktiven geprüft. Das Tool zeigt Dir exakt an, welche Code-Zeile die aktuelle URL blockiert.
- Abweichende Bot-Anweisungen: RoboX erkennt sofort, ob für spezifische User-Agents (wie den Googlebot, Bingbot oder KI-Crawler wie den GPTBot) abweichende Regeln im Vergleich zum Standard-Wildcard (*) existieren.
- Path Simulator: Über ein integriertes Eingabefeld kannst Du beliebige URLs oder Verzeichnisse der aktuellen Domain testen und simulieren, ob ein bestimmter Crawler Zugriff hätte, ohne die Seite physisch aufrufen zu müssen.
XML Sitemap Validator
Oft liegen Sitemaps ungenutzt oder fehlerhaft auf dem Server. RoboX bringt einen leistungsstarken XML-Parser direkt in den Browser:
- Auto-Erkennung: Sitemaps, die in der robots.txt verlinkt sind, werden automatisch aufgelistet und können mit einem Klick validiert werden.
- Sitemap-Validierung: Die Sitemap wird auf inhaltliche und strukturelle Fehler geprüft, wie z. B. ungültige W3C-Datumsformate, fehlende Pflicht-Tags (<loc>) oder fehlerhafte XML-Knoten.
Wichtiger Hinweis zur Sitemap-Prüfung:
Da die Validierung clientseitig im Browser stattfindet, entpackt das Tool komprimierte .gz-Sitemaps zwar nativ, ist aber aus Performance-Gründen begrenzt. Bei extrem großen Sitemaps (über 10.000 URLs) kann der Arbeitsspeicher (RAM) stark beansprucht werden. Für tiefergehende, groß angelegte Sitemap-Audits empfehlen wir andere Tools. Sprich uns dazu gerne an, wir helfen Dir dabei weiter!
Workflow-Optimierung & Datenschutz
RoboX ist so konzipiert, dass es sich nahtlos in Deinen Arbeitsalltag einfügt:
- Das Snapshot Overlay: Mit einem Klick kannst Du das Popup-Fenster der Extension in ein schwebendes Overlay verwandeln, das direkt über der Webseite liegt. Ideal, um die SEO-Daten bei der weiteren Navigation im Blick zu behalten oder für Präsentationen im Screen-Sharing.
- Einstellbare Performance: In den Optionen kannst Du festlegen, ob RoboX die Hintergrund-Checks bei jedem Seitenaufruf (für den Live-Icon-Status) durchführt, oder ob die Analyse ressourcenschonend erst beim aktiven Öffnen des Popups starten soll.
- 100% Client-Side: RoboX arbeitet vollständig lokal in Deinem Browser. Es werden keine Tracking-Daten, Browserverläufe oder analysierten Inhalte an externe Server gesendet. Die Extension nutzt lediglich die Chrome Storage API, um Einstellungen und robots.txt-Daten kurzzeitig lokal zwischenzuspeichern.
Installation
RoboX ist kostenlos und direkt über den offiziellen Chrome Web Store verfügbar.
So fügst Du RoboX hinzu:
- Öffne den Eintrag im Chrome Web Store
- Klicke auf "Hinzufügen".
- Pinne das RoboX-Icon in Deiner Browserleiste an, um das Tool immer griffbereit zu haben.
- Gehe mit der rechten Maustaste auf das RoboX-Icon, klicke auf “Options” und entscheide, ob das Tool Dir live den Status von aufgerufenen URLs anzeigen soll oder nur bei einem Klick auf das Icon.
- Rufe eine beliebige Webseite auf und klicke auf das Icon für mehr Details zur Crawl- und Indexierbarkeit der aufgerufenen URL und um die robots.txt und Sitemaps validieren zu lassen.