It’s the final countdown... 🎶 Wer jetzt direkt den Europe-Synthesizer im Kopf hat: Gern geschehen! Das Intro passt thematisch aber ganz hervorragend. In den letzten Wochen wurde noch einmal ordentlich getüftelt, und heute kann ich verkünden, dass das nächste große Update unserer Browser Extension RoboX online ist.
Das Tool hat sich m.E. in den letzten Monate ordentlich weiterentwickelt und fühlt sich nun mit Version 4.0 so langsam sehr komplett und rund an. Daher wird dies vorerst auch das letzte geplante größere Feature-Update für die Extension sein.
Endlich: RoboX jetzt auch für Firefox
Höchste Eisenbahn war vor allem der Schritt zu Firefox. Der geschätzte Branchenkollege René Dhemant hatte mir auf der Campixx schon ordentlich Feuer unterm Hintern gemacht, dass er die Extension endlich auch in seinem präferierten Browser nutzen möchte. Bitteschön, René: Ab sofort steht RoboX ganz offiziell im Mozilla Firefox Add-on Store bereit!
Das ist neu bei RoboX 4.0
Für Version 4.0 wurde die Architektur noch einmal massiv angepasst, um die reine Googlebot-Fixierung aufzubrechen:
- Globale Crawler-Perspektive: Die feste Ausrichtung auf den Googlebot gehört der Vergangenheit an. Du kannst jetzt in den Einstellungen festlegen, aus welcher primären Crawler-Perspektive RoboX die aufgerufenen URLs betrachten und die Informationen für Dich auswerten soll. Das betrifft konsequenterweise auch die integrierten RoboX-Tools: Features wie der Blocked Resources Analyzer oder der Link Analyzer bewerten alle Daten ab sofort dynamisch aus dem Blickwinkel genau dieses eingestellten Bots.
- Integrierter User-Agent-Switcher: Darüber hinaus hast Du nun die Möglichkeit, URLs mit einem simulierten User-Agent Deiner Wahl zu laden. Liegt serverseitig eine User-Agent-Weiche vor, kannst Du mit RoboX direkt sehen, wie die Webseite für diesen speziellen Crawler ausgespielt wird. Typische Bots sind bereits vorinstalliert, eigene UA-Strings lassen sich aber problemlos hinterlegen. Nutzt Du diese Simulation, wird auch der primäre Crawler für die Anzeige des Popups temporär überschrieben – Du kannst das gesamte technische Setup der Seite (inkl. blockierter Ressourcen oder Links) also nahtlos aus dem exakten Blickwinkel dieses User-Agents nachvollziehen.
- Erweitertes AI-Crawler Dashboard: Wir haben die Übersicht im Dashboard um weitere KI-Crawler erweitert. So siehst Du nun auf einen Blick für 64 spezifische Bots, ob diese über die robots.txt gesperrt wurden oder Zugriff haben.
Warum ein bestimmtes Feature fehlt (und ein Tool-Tipp!)
Ich hatte vor dem Release kurz überlegt, noch ein weiteres Feature zu integrieren, das Bastian Grimm vor ein paar Monaten vorgestellt hat. Das aber einfach nur stumpf zu replizieren, fühlte sich falsch an. Daher verweise ich an dieser Stelle lieber direkt auf seine – wie ich finde – hervorragende Ergänzung: den Robots Disallow Checker.
Was macht das Tool? Seiten, die per robots.txt vom Crawling ausgeschlossen sind (Disallow), können bekanntlich trotzdem im Google-Index landen – beispielsweise, wenn sie über externe Links entdeckt wurden. Bastians Tool schließt genau diese Lücke im Erkenntnisprozess: Es liest Deine robots.txt aus, wandelt jede hinterlegte Regel in eine gezielte site:-Abfrage um und meldet direkt zurück, wie viele URLs Google für das jeweilige Muster tatsächlich im Index führt. Das liefert ein präzises Bild über die Lücke zwischen Absicht (robots.txt) und Realität (Index). Schau da unbedingt mal rein, es ist eine großartige Ergänzung zu RoboX.
Teste die neue Version
Auch wenn die Feature-Liste damit vorerst steht, ist das Projekt natürlich nicht tot. Das Tool wird selbstverständlich weiter gepflegt, und Feedback, Bug-Reports oder sachdienliche Hinweise sind weiterhin jederzeit willkommen, falls an irgendeiner Stelle ein Edge-Case noch nicht so läuft, wie er soll.
Die Updates für Google Chrome sollten bereits automatisch eingespielt worden sein. Wer RoboX neu installieren oder für Firefox laden möchte, findet die Links hier: