Wir SEOs und Webmaster kommen nicht an einer robots.txt vorbei, wenn wir der Suchmaschine sagen wollen, welche Seiten(bereiche) gecrawled werden sollen - und welche bitte nicht.
Aber hast Du Dich mal gefragt, wie groĂ diese Datei eigentlich ist? đ¤
Gary Illyes hat zum Thema GrĂśĂe der Robots-Datei auf LinkedIn vor kurzem eine spannende Info rausgehauen, die ich noch nicht auf dem Schirm hatte.
Ein paar Wochen zuvor hatte er eine Umfrage gestartet, wie viele Bytes die robots.txt der Teilnehmer umfasst. Immerhin 8% gaben an, dass die Datei mehr als 500 kb groĂ ist.
Dazu kam jetzt von Gary folgender Kommentar:
"To those who said their robotstxt file is over 500kb, just keep in mind that Google only processes the first 500kb of the file."
Nur die ersten 500kb werden von Google verarbeitet. Bedeutet also:
"Basically try to put everything you mean for googlebot to see in the first 500kb and you're good."
Wie sieht es bei Dir aus? Wie groĂ ist Deine robots.txt? Checken kannst Du das zum Beispiel mit den Chrome Entwicklertools im "Network" Tab. Ist die Datei aus irgendeinem Grund grĂśĂer als 500kb, solltest Du sicherstellen, dass die wichtigsten Informationen innerhalb der ersten 500kb stehen.Â
Im Normalfall solltest Du aber gar nicht erst in die Verlegenheit kommen, ein solches robots.txt Monstrum erschaffen zu mĂźssen. Ansonsten solltest Du Dir die interne Verlinkung Deiner Website etwas genauer anschauen.
Viele weitere nĂźtzliche Infos findest Du in unserem Wissensartikel Ăźber die robots.txt.