Consultant
Der Huawei-Bot zeigt schlechte Manieren. Die hauseigene Suchmaschine befindet sich aktuell in der Beta. Beim fleißigen Durchsuchen des Webs ignoriert Crawler die robots.txt, wie auch wir schon in Logfile-Analysen für unsere Kunden bemerken mussten.
Ein Kommentar von Dawn Anderson via Twitter dazu:
Die Entwicklung einer eigenen Suchmaschine ist als Reaktion von Huawei auf den Ausschluss aus dem Google-Ökosystem zu verstehen. Auch wenn Google bereits eine Rücknahme der US-Sanktionen gegen Huawai beantragt hat.
Sollten bei Dir durch dieses massive Crawl-Aufkommen des Huawai-Bots Serverprobleme auftreten, sollte hier reagiert werden.