Bei den Wingmen nehmen wir Announcements über neue Tools in der Regel so gleichgültig entgegen wie ein Hamburger den Nieselregen dieser Jahreszeit. Das hängt damit zusammen, dass beides relativ häufig vorkommt. Der Unterschied dabei ist, dass man beim Regen weiß, was einen erwartet. Wenn ein neues Tool angekündigt wird, sind häufig erstmal viele Versprechungen dabei, von denen man im Vorfeld nicht weiß, ob sie auch gehalten werden können.
Das gilt für Tools im Allgemeinen und auch für (SEO-)Crawler. Davon haben wir auch schon einige kommen und gehen sehen. Nun sind wir allerdings ein wenig hellhöriger geworden als sonst. Das liegt an dem "Artikel Horseman SEO Crawler. And why you REALLY (!) need it." von Christian Hänsel. Er erzählt darin von ein paar Features des Crawlers "Horseman", der von Chris Johnson aka @defaced ins Leben gerufen wurde. Von Chris habt ihr womöglich schon mal ein SEO-Tool benutzt, davon hat er schon so einige programmiert. Ich finde zum Beispiel seinen Layout Shift Generator ganz nett. Dort kann man eine URL reinschmeißen und bekommt ein kleines GIF, das CLS-Quellen in einem bunten Rahmen hervorhebt.
Seit einer Weile arbeitet er aber schon an dem Crawler. Der Artikel von Christian hebt insbesondere die Möglichkeiten durch die Verwendung von Headless Chrome und dem damit verbundenen Zugriff auf JavaScript hervor. Die Möglichkeit, eigene Code-Schnipsel im Crawler zu erstellen und zu verwenden, klingt schon sehr spannend. Auch wenn man dafür natürlich erstmal Javascript beherrschen oder zumindest ein geeignetes Stück Code per Copy/Paste einfügen können muss.
Im Gegensatz zu vielen anderen Tools von Chris ist der Crawler allerdings nicht kostenlos verfügbar. Zugriff erhält man, wenn man ihn bei Github sponsert. Falls Dir Dein bisheriger Werkzeugkasten an zu vielen Stellen Grenzen aufzeigt und dich ein neues Tool nicht abschreckt, dann könnte Horseman für Dich interessant sein. Insbesondere bei der potentiellen Individualisierung sehen wir hier viele Möglichkeiten. Wenn Dir der Screaming Frog bisher immer gereicht hat, brauchst Du aber nicht umsteigen.