RoboX 5.0: Weitere Updates für unsere Technical SEO Extension

It’s the final countdown... 🎶 Wer jetzt direkt den Europe-Synthesizer im Kopf hat: Gern geschehen! Das Intro passt thematisch aber ganz hervorragend. In den letzten Wochen wurde noch einmal ordentlich getüftelt, und heute kann ich verkünden, dass das nächste große Update unserer Browser Extension RoboX online ist.

Das Tool hat sich m.E. in den letzten Monate ordentlich weiterentwickelt und fühlt sich nun mit Version 4.0 so langsam sehr komplett und rund an. Daher wird dies vorerst auch das letzte geplante größere Feature-Update für die Extension sein.

Endlich: RoboX jetzt auch für Firefox

Höchste Eisenbahn war vor allem der Schritt zu Firefox. Der geschätzte Branchenkollege René Dhemant hatte mir auf der Campixx schon ordentlich Feuer unterm Hintern gemacht, dass er die Extension endlich auch in seinem präferierten Browser nutzen möchte. Bitteschön, René: Ab sofort steht RoboX ganz offiziell im Mozilla Firefox Add-on Store bereit!

Das ist neu bei RoboX 4.0

Für Version 4.0 wurde die Architektur noch einmal massiv angepasst, um die reine Googlebot-Fixierung aufzubrechen:

• Globale Crawler-Perspektive: Die feste Ausrichtung auf den Googlebot gehört der Vergangenheit an. Du kannst jetzt in den Einstellungen festlegen, aus welcher primären Crawler-Perspektive RoboX die aufgerufenen URLs betrachten und die Informationen für Dich auswerten soll. Das betrifft konsequenterweise auch die integrierten RoboX-Tools: Features wie der Blocked Resources Analyzer oder der Link Analyzer bewerten alle Daten ab sofort dynamisch aus dem Blickwinkel genau dieses eingestellten Bots.
• Integrierter User-Agent-Switcher: Darüber hinaus hast Du nun die Möglichkeit, URLs mit einem simulierten User-Agent Deiner Wahl zu laden. Liegt serverseitig eine User-Agent-Weiche vor, kannst Du mit RoboX direkt sehen, wie die Webseite für diesen speziellen Crawler ausgespielt wird. Typische Bots sind bereits vorinstalliert, eigene UA-Strings lassen sich aber problemlos hinterlegen. Nutzt Du diese Simulation, wird auch der primäre Crawler für die Anzeige des Popups temporär überschrieben – Du kannst das gesamte technische Setup der Seite (inkl. blockierter Ressourcen oder Links) also nahtlos aus dem exakten Blickwinkel dieses User-Agents nachvollziehen.
• Erweitertes AI-Crawler Dashboard: Wir haben die Übersicht im Dashboard um weitere KI-Crawler erweitert. So siehst Du nun auf einen Blick für 64 spezifische Bots, ob diese über die robots.txt gesperrt wurden oder Zugriff haben.

Warum ein bestimmtes Feature fehlt (und ein Tool-Tipp!)

Ich hatte vor dem Release kurz überlegt, noch ein weiteres Feature zu integrieren, das Bastian Grimm vor ein paar Monaten vorgestellt hat. Das aber einfach nur stumpf zu replizieren, fühlte sich falsch an. Daher verweise ich an dieser Stelle lieber direkt auf seine – wie ich finde – hervorragende Ergänzung: den Robots Disallow Checker.

Was macht das Tool? Seiten, die per robots.txt vom Crawling ausgeschlossen sind (Disallow), können bekanntlich trotzdem im Google-Index landen – beispielsweise, wenn sie über externe Links entdeckt wurden. Bastians Tool schließt genau diese Lücke im Erkenntnisprozess: Es liest Deine robots.txt aus, wandelt jede hinterlegte Regel in eine gezielte site:-Abfrage um und meldet direkt zurück, wie viele URLs Google für das jeweilige Muster tatsächlich im Index führt. Das liefert ein präzises Bild über die Lücke zwischen Absicht (robots.txt) und Realität (Index). Schau da unbedingt mal rein, es ist eine großartige Ergänzung zu RoboX.

Teste die neue Version

Auch wenn die Feature-Liste damit vorerst steht, ist das Projekt natürlich nicht tot. Das Tool wird selbstverständlich weiter gepflegt, und Feedback, Bug-Reports oder sachdienliche Hinweise sind weiterhin jederzeit willkommen, falls an irgendeiner Stelle ein Edge-Case noch nicht so läuft, wie er soll.

Die Updates für Google Chrome sollten bereits automatisch eingespielt worden sein. Wer RoboX neu installieren oder für Firefox laden möchte, findet die Links hier:

👉 RoboX im Chrome Web Store

👉 RoboX im Firefox Add-on Store

In den letzten Wochen war ich extrem motiviert, noch einmal an unserer Chrome Extension RoboX zu basteln. Was als kleines Tool anfing, ist mittlerweile schon zu einem ziemlich umfangreichen Alltagshelfer geworden. Wir haben nun noch einmal ordentlich nachgelegt und Funktionen eingebaut, die das technische SEO-Leben weiter deutlich angenehmer machen sollen.

Das ist neu bei RoboX

• Redirect Trace Icons erweitert: Bisher wusste das Icon in der Browserleiste nicht immer, was am Ende einer langen Weiterleitungskette passiert. Das haben wir geändert. Jetzt zeigt das Icon die identifizierten Weiterleitungen zzgl. des finalen Status direkt im Icon an (wenngleich alles aufgrund der Icon-Größe natürlich nur begrenzt gelesen werden kann).
• SEO- und Robots.txt-Monitoring: Du kannst jetzt den technischen SEO-Status (Statuscode, Canonicals, Meta-Tags) oder die komplette robots.txt einer URL als "Baseline" speichern. Rufst Du die Seite in Zukunft wieder auf, gleicht RoboX den Live-Status mit Deinem gespeicherten Stand ab. Der große Vorteil: Da das Tool direkt im Browser läuft, können wir uns auch den fertig gerenderten Quellcode wegspeichern und mit dem aktuellen Status quo vergleichen. Hier stoßen klassische Tools wie Testomato aufgrund ihrer Restriktionen oft noch an ihre Grenzen. Das Ganze ist natürlich kein vollständiger Ersatz für ein vollumfängliches SEO-Monitoring-Tool, da es kein Mail-Alerting gibt. Da man als Inhouse-SEO oder Consultant aber ohnehin regelmäßig auf den eigenen Projekten surft, ist das Ausrufezeichen-Icon, das bei Abweichungen sofort im Browser warnt, eine enorme Hilfe.
• AI-Bot Block Detection Box: KI-Crawler sind überall, und das Blockieren wird immer kleinteiliger. Deshalb gibt es jetzt eine dedizierte AI Bots Box, die Dir auf einen Blick zeigt, ob GPTBot, Claude, Perplexity & Co. über Deine robots.txt blockiert oder erlaubt sind. Passend dazu haben wir die Crawler-Liste im URL-Pfad Tester noch einmal massiv erweitert.
• Bulk Robots.txt Tester: Die Testfunktion gibt es jetzt auch im großen Stil: Mit dem neuen Bulk Tester kannst Du bis zu 100 URLs auf einmal gegen Deine Live-robots.txt prüfen. Und nicht nur das: Du kannst auch eine eigene robots.txt hinterlegen und die URLs damit einmal testen.
• Link Analyzer & Blocked/Broken Link Visualizer: Um den Status aller Verlinkungen auf einer Seite zu checken, musst Du nun keine großen Crawler mehr anwerfen. Der Link Analyzer zieht Dir alle Links inklusive HTTP-Status, Canonical-Zielen und Robots-Daten in eine saubere Tabelle. Und um zu erkennen, wo die fehlerhaften oder per robots.txt blockierte Links auf der aufgerufenen Seite sind, kann der Visualizer das Ganze auch farblich direkt auf der Webseite markieren.
• Blocked Resources Analyzer: Fehlt dem Googlebot wichtiges CSS oder JavaScript zum Rendern Deiner Seite? Dieses neue RoboX-Tool listet per robots.txt blockierte Ressourcen auf und gibt Dir ein erstes Indiz, wie risikohaft eine Blockierung dieser Ressourcen möglicherweise wäre. Ist dies bei einer aufgerufenen Seite gegeben, kannst Du Dir einmal anschauen, wie der Googlebot die Seite mit den geblockten Ressourcen annäherungsweise rendern wird. So kannst Du potenzielle Rendering-Fehler schneller identifizieren!
• Neue HTTP-Header & Cloudflare Content-Signals: Die Ausspielung des HTTP-Headers hatten wir beim letzten Update bereits integriert (ggf. war sie für den ein oder anderen etwas zu versteckt, das haben wir nun nochmal etwas besser kenntlich gemacht!). Neu hingegen ist, dass wir bestimmte Angaben aus dem HTTP-Header nun direkt im Popup anzeigen, wenn sie vorhanden sind. So fallen Weiterleitungen via Refresh, Cache-Control Vorgaben (no-cache / no-store) oder ein fehlender Vary: User-Agent direkt auf. Außerdem greifen wir topaktuelle Entwicklungen auf: RoboX erkennt die neue Content-Signals-Direktive von Cloudflare in der robots.txt und meldet Dir zuverlässig, ob der von Johan kürzlich vorgestellte No-Vary-Search Header aktiv ist.

Dazu gab es kleinere Bugfixes und Feinschliffe, wie etwa eine saubere Soft-404-Erkennung. Außerdem haben wir das von Philipp angekündigte Update bzgl. Microsoft Copilot umgesetzt: Das Tool warnt Dich nun explizit, wenn noarchive oder nocache verwendet werden, da dies als Signal gewertet wird, Inhalte aus generativen KI-Antworten auszuschließen.

Mach Dir selbst ein Bild und teste RoboX

Ein fettes Dankeschön geht an dieser Stelle an meinen Kollegen Behrend, der intern über die Extension testweise einmal rübergebügelt ist. Aber wir wollen nicht ausschließen, dass wir doch noch irgendwo etwas übersehen haben. Daher probiere die neuen Tools einfach selbst aus und schick uns Dein Feedback.

Das Update sollte in Deinem Chrome-Browser bereits automatisch installiert worden sein. Wer RoboX noch nicht hat: Hier geht's direkt zum Chrome Web Store.

Anfang des Monats sind wir mit der ersten Version von RoboX live gegangen. Die ersten von Euch haben sich bereits mit der Extension vertraut gemacht und uns erstes Feedback gegeben.

Besonders gefreut hat mich dabei die Rückmeldung von Valentin Pletzer, der schrieb:

"Schöne Chrome Extension! Gefällt mir eigentlich noch viel besser als meine eigene, die ich dann auch irgendwann hab auslaufen lassen. [...] Hab die Extension gerade bei uns im internen Chat empfohlen!"

Valentin hat mir indirekt viel bei der Erarbeitung der Extension geholfen. Seine Indexierungs-Experimente waren eine ideale Spielwiese, um auf weitere Ideen für Edge-Cases zu kommen (wer die Insights noch nicht kennt, da lohnt es sich, reinzuschauen!).

In dem Feedback und in den Gesprächen mit einigen von Euch stand vor allem ein Punkt auf der Wunschliste ganz oben: Canonicals und HTTP-Statuscodes noch in das Tool integrieren. Das habe ich mir zu Herzen genommen und die Extension noch einmal komplett auf links gedreht.

Das ist neu bei RoboX

• Canonicals inkl. Deep-Check: Wir prüfen Canonicals jetzt nicht nur im HTML, sondern auch im HTTP-Header auf Dopplungen und Widersprüche. Verweist ein Canonical auf eine fremde URL, siehst Du das direkt am Icon. Per Klick kannst Du dann einen "Deep-Check" der Ziel-URL durchführen.
• HTTP-Status & Redirect-Ketten: Der Statuscode wird erkannt und im Popup dargestellt. Redirects werden präzise erfasst: Du kannst Dir die komplette Redirect-Chain ansehen und Dir für jeden einzelnen Hop den Raw-HTTP-Header ausgeben lassen. Dabei wird auch mitgedacht: Ist eine der Weiterleitungs-URLs in der robots.txt gesperrt, weist RoboX Dich direkt darauf hin.
• 4xx/5xx Warn-Icons: Wenn die final aufgerufene URL keinen 200er HTTP-Statuscode liefert, wird Dir der exakte 4xx- oder 5xx-Statuscode direkt als Warn-Icon angezeigt (wenn Du das möchtest).
• Volle Individualisierbarkeit & Dark Mode: "Wenn Du das möchtest" ist hier direkt das Stichwort. Jeder hat andere Wünsche an ein Tool und manche Funktionen sind einem im Alltag vielleicht zu viel. Daher kannst Du in den Einstellungen nun gezielt Features ein- oder ausblenden und die UI stark individualisieren. Ebenfalls neu: ein nativer Dark Mode.
• SPA Support: In Single Page Applications (SPAs) bleiben SEO-relevante Signale beim Navigieren im Hintergrund oft auf dem Stand der Einstiegsseite. RoboX erkennt diese clientseitigen Routenwechsel nun automatisch, gibt eine Warnung aus und fordert einen kurzen Refresh. So stellst Du sicher, dass die gesamte Datengrundlage für die Analyse immer zu 100 % der aktuellen URL entspricht.

Wenn Du die erste Version von RoboX noch nicht kennst, findest Du alles zur Chrome Extension auch nochmal zusammengefasst auf unserer Tool-Seite.

Die RoboX-Icon-Logik auf einen Blick

Gleichzeitig wurde ich nach dem Launch öfter gebeten, die Icon-Logik einmal transparent zu machen. Das will ich hiermit gern nachholen.

Die Logik kurz erklärt:

• Hintergrund (Indexierung): Im Hintergrund wird mit einer Ampel-Logik der Meta-Robots-Tag bzw. X-Robots-Tag visualisiert. Das linke Kästchen steht für Index/Noindex, das rechte Kästchen für Follow/Nofollow. Wenn nichts hinterlegt ist, bleibt das Kästchen grau.
• Roboter-Symbol (Crawling): Darüber platziert sich das RoboX Roboter-Symbol. Ist es als weiße Kontur hinterlegt, darf die URL laut robots.txt von Google gecrawlt werden. Wenn das Crawling blockiert ist (disallowed), ist ein weißer Kasten und ein rotes RoboX Roboter-Symbol zu sehen.
• Canonical: Wenn eine URL einen Canonical zu einer anderen URL hat, ist ein blaues "C" innerhalb des RoboX Roboter-Symbols zu erkennen.
• Statuscode-Fehler: Wie oben erwähnt (und sofern Du es in den Einstellungen nicht deaktiviert hast), wird bei einem 4xx- oder 5xx-Fehler der exakte HTTP-Statuscode im Symbol angezeigt – zuzüglich der Info, ob diese fehlerhafte URL laut robots.txt blockiert ist (roter Roboter) oder nicht (schwarzer Roboter).

Wenn Du RoboX bereits installiert hast, sollte sich die Extension in Deinem Chrome-Browser automatisch auf Version 2.0 updaten.

Für alle anderen geht es hier direkt zum Chrome-Extension-Store: 👉 RoboX Chrome Extension

Viel Spaß mit der neuen Version.

P.S.: Wenn Dir weiterhin noch ein Feature fehlt, Dich bei der UI etwas stört oder Du auf einen kuriosen Edge-Case stößt, schreib mir gern!

Erinnerst Du Dich an das SEO-Bookmarklet, das ich Anfang des Jahres vorgestellt habe? Ich hoffe, es leistet Dir noch immer gute Dienste beim schnellen Checken von Onpage-Elementen. Damals hatte ich ja schon angedeutet, dass Bookmarklets an ihre Grenzen stoßen, wenn es um Dinge geht, die der Browser versteckt – etwa HTTP-Header. Für solche Fälle gibt es Browser-Extensions.

​Der eigentliche Auslöser für mein neuestes Projekt war aber ein ganz simples, alltägliches Problem: Ich hatte in meiner Browserleiste schon immer eine Extension, die mir brav den Meta-Robots-Tag und X-Robots-Tag der aktuellen Seite angezeigt hat. Praktisch. Aber das ist ja nur die halbe Wahrheit.

​

Mir fehlte immer eine Extension, die auch gleich mitprüft, ob die aufgerufene URL nicht vielleicht über die robots.txt für Crawler gesperrt ist. Um das zu validieren, musste ich immer selbst nachschauen oder externe robots.txt Checker ansteuern, um das manuell abzugleichen. Diese Lücke im Workflow wollte ich schließen.

​Und wie das bei solchen Projekten nun mal so ist: Wenn man schon dabei ist, schaut man direkt, was noch alles so geht. Wenn das Tool schon die robots.txt lädt, warum sie nicht direkt nach offiziellem Standard auf Fehler prüfen? Und was ist eigentlich mit den ganzen XML-Sitemaps, die dort verlinkt sind?

​Das Ergebnis: RoboX

​Herausgekommen ist eine Chrome Extension namens RoboX.

Das kann das Browser-Tool ab sofort für Dich übernehmen:

• ​Alles in einem Icon sehen: Das Extension-Icon zeigt Dir sofort an, ob die Seite indexierbar ist (Index/Noindex) und ob sie gleichzeitig in der robots.txt gecrawlt werden darf (Allowed/Disallowed).
• ​Meta vs. Header Konflikte anzeigen lassen: Das Tool liest das HTML und den HTTP-Header (X-Robots-Tag) parallel aus. Es warnt sofort bei Widersprüchen (z.B. HTML sagt "Index", Header sagt "Noindex") oder wenn JavaScript die Meta-Werte nach dem initialen Laden heimlich abändert.
• Robots.txt validieren: RoboX prüft die Syntax strikt nach RFC 9309 und zeigt Dir exakt an, welche Zeile blockiert. Es erkennt auch direkt, ob für spezifische Bots (wie Googlebot, Bingbot, ChatGPT-User etc.) abweichende Regeln existieren.
• XML Sitemaps checken: Verlinkte Sitemaps werden erkannt und lassen sich mit einem Klick validieren. Das Tool checkt direkt auf inhaltliche Fehler wie ungültige W3C-Datumsformate, fehlende Pflicht-Tags oder fehlerhafte XML-Strukturen.
• ​Mit dem Snapshot Overlay den Status quo im Call direkt zeigen: Du kannst Dir die Analyseergebnisse als schwebendes Fenster (Overlay) direkt über die Webseite legen. Ziemlich praktisch, um einem Kunden den Status quo per Screen-Sharing zu zeigen, ohne direkt den ganzen Browser teilen zu müssen.

​Genug der Vorrede. Probier es einfach aus und schmeiß die alten, unvollständigen Extensions aus Deiner Leiste.

​Du findest RoboX ab sofort kostenlos im Chrome Web Store.

​Ob es durch die Fülle an Checks noch Verbesserungsbedarf gibt, Du eine Edge-Case-URL hast, die das Tool nicht versteht, oder Dir noch ein Feature fehlt – schreib mir gern!

Ansonsten viel Spaß mit der Extension.