In den letzten Wochen war ich extrem motiviert, noch einmal an unserer Chrome Extension RoboX zu basteln. Was als kleines Tool anfing, ist mittlerweile schon zu einem ziemlich umfangreichen Alltagshelfer geworden. Wir haben nun noch einmal ordentlich nachgelegt und Funktionen eingebaut, die das technische SEO-Leben weiter deutlich angenehmer machen sollen.
Das ist neu bei RoboX
- Redirect Trace Icons erweitert: Bisher wusste das Icon in der Browserleiste nicht immer, was am Ende einer langen Weiterleitungskette passiert. Das haben wir geändert. Jetzt zeigt das Icon die identifizierten Weiterleitungen zzgl. des finalen Status direkt im Icon an (wenngleich alles aufgrund der Icon-Größe natürlich nur begrenzt gelesen werden kann).
- SEO- und Robots.txt-Monitoring: Du kannst jetzt den technischen SEO-Status (Statuscode, Canonicals, Meta-Tags) oder die komplette robots.txt einer URL als "Baseline" speichern. Rufst Du die Seite in Zukunft wieder auf, gleicht RoboX den Live-Status mit Deinem gespeicherten Stand ab. Der große Vorteil: Da das Tool direkt im Browser läuft, können wir uns auch den fertig gerenderten Quellcode wegspeichern und mit dem aktuellen Status quo vergleichen. Hier stoßen klassische Tools wie Testomato aufgrund ihrer Restriktionen oft noch an ihre Grenzen. Das Ganze ist natürlich kein vollständiger Ersatz für ein vollumfängliches SEO-Monitoring-Tool, da es kein Mail-Alerting gibt. Da man als Inhouse-SEO oder Consultant aber ohnehin regelmäßig auf den eigenen Projekten surft, ist das Ausrufezeichen-Icon, das bei Abweichungen sofort im Browser warnt, eine enorme Hilfe.
- AI-Bot Block Detection Box: KI-Crawler sind überall, und das Blockieren wird immer kleinteiliger. Deshalb gibt es jetzt eine dedizierte AI Bots Box, die Dir auf einen Blick zeigt, ob GPTBot, Claude, Perplexity & Co. über Deine robots.txt blockiert oder erlaubt sind. Passend dazu haben wir die Crawler-Liste im URL-Pfad Tester noch einmal massiv erweitert.
- Bulk Robots.txt Tester: Die Testfunktion gibt es jetzt auch im großen Stil: Mit dem neuen Bulk Tester kannst Du bis zu 100 URLs auf einmal gegen Deine Live-robots.txt prüfen. Und nicht nur das: Du kannst auch eine eigene robots.txt hinterlegen und die URLs damit einmal testen.
- Link Analyzer & Blocked/Broken Link Visualizer: Um den Status aller Verlinkungen auf einer Seite zu checken, musst Du nun keine großen Crawler mehr anwerfen. Der Link Analyzer zieht Dir alle Links inklusive HTTP-Status, Canonical-Zielen und Robots-Daten in eine saubere Tabelle. Und um zu erkennen, wo die fehlerhaften oder per robots.txt blockierte Links auf der aufgerufenen Seite sind, kann der Visualizer das Ganze auch farblich direkt auf der Webseite markieren.
- Blocked Resources Analyzer: Fehlt dem Googlebot wichtiges CSS oder JavaScript zum Rendern Deiner Seite? Dieses neue RoboX-Tool listet per robots.txt blockierte Ressourcen auf und gibt Dir ein erstes Indiz, wie risikohaft eine Blockierung dieser Ressourcen möglicherweise wäre. Ist dies bei einer aufgerufenen Seite gegeben, kannst Du Dir einmal anschauen, wie der Googlebot die Seite mit den geblockten Ressourcen annäherungsweise rendern wird. So kannst Du potenzielle Rendering-Fehler schneller identifizieren!
- Neue HTTP-Header & Cloudflare Content-Signals: Die Ausspielung des HTTP-Headers hatten wir beim letzten Update bereits integriert (ggf. war sie für den ein oder anderen etwas zu versteckt, das haben wir nun nochmal etwas besser kenntlich gemacht!). Neu hingegen ist, dass wir bestimmte Angaben aus dem HTTP-Header nun direkt im Popup anzeigen, wenn sie vorhanden sind. So fallen Weiterleitungen via Refresh, Cache-Control Vorgaben (no-cache / no-store) oder ein fehlender Vary: User-Agent direkt auf. Außerdem greifen wir topaktuelle Entwicklungen auf: RoboX erkennt die neue Content-Signals-Direktive von Cloudflare in der robots.txt und meldet Dir zuverlässig, ob der von Johan kürzlich vorgestellte No-Vary-Search Header aktiv ist.
Dazu gab es kleinere Bugfixes und Feinschliffe, wie etwa eine saubere Soft-404-Erkennung. Außerdem haben wir das von Philipp angekündigte Update bzgl. Microsoft Copilot umgesetzt: Das Tool warnt Dich nun explizit, wenn noarchive oder nocache verwendet werden, da dies als Signal gewertet wird, Inhalte aus generativen KI-Antworten auszuschließen.
Mach Dir selbst ein Bild und teste RoboX
Ein fettes Dankeschön geht an dieser Stelle an meinen Kollegen Behrend, der intern über die Extension testweise einmal rübergebügelt ist. Aber wir wollen nicht ausschließen, dass wir doch noch irgendwo etwas übersehen haben. Daher probiere die neuen Tools einfach selbst aus und schick uns Dein Feedback.
Das Update sollte in Deinem Chrome-Browser bereits automatisch installiert worden sein. Wer RoboX noch nicht hat: Hier geht's direkt zum Chrome Web Store.