Zum Hauptinhalt springen
Geschäftsführender Gesellschafter

Wäre das Internet ein Land, dann hätte es den viertgrößten CO2 Ausstoß aller Länder.

Wir können davon ausgehen, dass wir Ende nächsten Jahres schon über 7% des CO2 Ausstoßes durch das Internet verursachen.

In jedem Fall verursacht das Internet schon jetzt deutlich mehr Emissionen als der Flugverkehr. 🤯

Dabei wird der größte Teil (ca. 85%) von Datencentern verbraucht. Die User-Endgeräte machen nur 4% aus (allerdings dürfte dabei die Produktion nicht berücksichtigt sein).

Am Ende spielt es keine Rolle: Das Internet ist wichtig. Wir brauchen das (unter anderem um den Klimawandel zu bekämpfen).

Das bedeutet aber nicht, dass wir alles davon brauchen:

Die Schätzungen gehen auseinander, aber zwischen 47% und 64% des Internet-Traffics kommt von Bots. 🤯 🤯

Das bedeutet, dass Bots schätzungsweise so viel CO2 produzieren, wie der Flugverkehr. 🤯 🤯 🤯

(Zugegeben: Das kommt nicht ganz hin. Die ganzen Videos kommen noch dazu, wahrscheinlich ist Bitcoin mit eingerechnet, aber in jedem Fall ist der Ressourcenverbrauch durch Bots beachtlich).

Daher möchte ich noch mal auf eine Idee verweisen:

Wie wäre es, wenn wir nicht mehr allen Bots den Zugriff erlauben, sondern allen den Zugriff verbieten und dann nur noch denen erlauben, die wir unbedingt haben wollen?

Wir schreiben die Robots.txt also etwa so (natürlich noch nicht exakt so, sondern an Deine Bedürfnisse angepasst):


User-Agent: /

Disallow: /


User-Agent: Googlebot #Main Googlebot

User-Agent: Bingbot #Main Bingbot

User-Agent: duckduckbot #Main DuckDuckGo

User-Agent: ia_archiver #Main Web Archive

User-Agent: archive.org_bot #Web Archive

User-Agent: Googlebot-Image

User-Agent: AdsBot-Google

Disallow: 

Disallow: *.woff2 #Bots brauchen keine Schriftarten

Disallow: /store-api/ #Bots brauchen keinen Zugriff auf das Warenkorb-JSON

...

Was würde Dich von diesem Ansatz abhalten?

Und welche Bots würdest Du noch den Zugriff erlauben?

Und natürlich hast Du recht: Das hält nur die Bots ab, die sich auch an die Regeln halten. Viele tun das nicht. Manche, weil sie es nicht wissen. Manche, weil es ihnen egal ist und andere (wie beispielsweise Facebook oder Slack) weil sie meinen, dass sie ja nur für einen User agieren.

Aber auch hier kann man noch was machen: Du könntest beispielsweise Deinem CDN beibringen, nur Zugriffe von Bots zuzulassen, wenn dieser Bot in der Robots.txt für diese URL freigeschaltet ist.

Geschäftsführender Gesellschafter

Das ist ein Artikel aus unserem Newsletter. Wenn Du jeden Dienstag Morgen schlauer werden möchtest, melde jetzt kostenfrei für den SEO-Newsletter an

Kurze, praxisnahe SEO-Tipps – maximal 1× pro Woche. Keine Werbung, kein Spam.

Deine Daten sind bei uns in guten Händen und werden ausschließlich für diesen Newsletter genutzt.