Im Netz tummeln sich mittlerweile zahlreiche Bots, deren Anfragen unter Umständen zu einer Überlastung Deiner Website führen können. Oder Du hast andere Gründe, warum Du einem Bot bestimmte Inhalte deiner Seite unzugänglich machen möchtest. Hierfür kann die Robots.txt eine Lösung sein. Sie dient dazu, Bots mitzuteilen, was sie auf Deiner Seite dürfen und was nicht. Die Robots.txt sollte aber nicht dazu genutzt werden, Webseiten aus der Google-Suche auszuschließen. Dafür solltest Du noindex-Anweisungen verwenden oder deine Seite mit einem Passwort schützen.
Falls dieses Thema nun komplettes Neuland für Dich ist, hat Johan einen umfassenden Artikel zur Robots.txt geschrieben.
Nun ist es leider so, dass nicht alle Bots gut sind, es gibt auch zahlreiche Bad Bots da draußen. In dem Artikel Bot Wars sagt Tobias von Dewitz, dass häufig sogar 20% des Traffics von Bad Bots stammt. Daher liegt die Vermutung nahe, diese einfach mittels der Robots.txt auszuschließen. Und genau diese Frage hat sich Florian Elbers auf Twitter gestellt:
Aus SEO-Sicht wäre es aber nicht sinnvoll, Bad Bots mittels der Robots.txt auszuschließen, da die Erstellung einer solchen Datei mit relativ hohem Arbeitsaufwand verbunden ist und viel wichtiger ein hohes Risiko für Fehler bietet.
Aber halten sich Spambots überhaupt an die durch die Robots.txt definierten Regeln? Lass uns diese Frage mit einem Beispiel aus dem Alltag beantworten: Stell Dir vor, ein Auto fährt auf ein Stoppschild zu. Laut den Verkehrsregeln musste der/ die Fahrende mindestens drei Sekunden halten. Nun frage Dich einmal selbst. Würdest Du anhalten? Der Bad Bot jedenfalls nicht. Im Fall Deiner Robots.txt freut sich der Spam-Bot sogar für den netten Hinweis, dass seine Anwesenheit Probleme bereitet. Viele default-robots.txt Files sind sogar ein deutliches Indiz für das genutzte CMS. Ein Blick weiter ist die README in der die Versionsnummer steht und noch ein Schritt weiter dann ein Blick in die Exploit-Datenbank mit gängigen Schwachstellen für die eingesetzte Software-Version.