Bing und Yandex machen das Indexieren einfacher. Mit IndexNow haben sie eine Initiative gestartet, die Indexierung einfacher machen soll.
Das Problem
Suchmaschinen zügig über neuen Content benachrichtigen. Einfach nur warten bis der Crawler vorbeikommt reicht uns SEOs ja oft nicht.
Der Lösungsansatz
Du schickst einen HTTP-Request an eine URL von Bing oder Yandex mit zwei Parametern:
-
url: Die URL, die Du gerade neu erstellt oder deren Inhalt Du verändert hast
-
key: Dein API-Key. Den denkst Du Dir selbst aus und speicherst ihn in einer TXT-Datei auf Deinem Server. Damit ermöglichst Du der Suchmaschine zu validieren, dass dieser Indexing-Request auch wirklich von Dir kommt
Das Lob
Die API ist herrlich einfach gestrickt. Da haben Bing und Yandex aus der (gescheiterten) Initiative von Google rund um Pubsubhubbub gelernt.
Und die 1-Click-Integration über Cloudfront (und möglicherweise Akamai) könnte tatsächlich für eine brauchbare Verbreitung sorgen.
Wenig Aufwand ist an der Stelle notwendig, denn die Relevanz von Bing ist in vielen Märkten so gering, das Extra-Locken wirklich nicht lohnen.
Und es ist ebenfalls gut, dass Bing sich hier auf die Socken macht. Bing crawlt wahnsinnig viel. Und unfassbar ineffizient.
Ebenfalls gut: Suchmaschinen die IndexNow implementieren teilen die gepushten URLs miteinander
Die Kritik
Das Problem ist eigentlich schon gelöst. Wir haben ja Sitemaps. Die Suchmaschinen (und SEOs) haben es allerdings nie geschafft die zu einem echten Standard zu machen. 2009 hab ich mit meinem damaligen Chef Christoph immer gewitzelt, dass wir eigentlich eine Sitemap-Überwachungs-GmbH gründen müssten, weil News-Publisher immer wieder Basics nicht hinbekommen haben. Für einen einfachen Service gibt es immer noch eine Berechtigung, weil weiter Sitemaps veralten, nicht indexierbare Dateien eingetragen werden und die Last-Modifieds nicht sauber gepflegt werden.
Das Problem dabei: Wenn wir schon Sitemaps nicht hinbekommen, warum sollte dann irgendwas mit einer API besser werden?
Zusätzlich gibt es konzeptionelle Probleme: Wenn sich Suchmaschinen drauf verlassen, was passiert, wenn ein Teil der Website die API unterstützt (bspw. das Typo3), aber ein anderer Teil (bspw. das Shopware) nicht? Was passiert, wenn ein böser Mitmensch den Inhalt nachträglich ändert und über diese Änderung dann nicht benachrichtigt. Und was ist, wenn sich nur die Reihenfolge der Links ändert, aber nicht der Haupt-Inhalt? Soll das dann eingereicht werden oder nicht? Und natürlich ist ein einfaches Tool auch eine einfache Möglichkeit sich sein Crawl-Budget zu zerschiessen.
Das erste Fazit
Bing hat ein Problem erkannt und versucht das Problem mit Verbündeten für Seitenbetreiber einfach zu lösen. Trotzdem wird die Marktdurchsetzung eher unwahrscheinlich bleiben. Denn auch wenig Aufwand ist schnell zu viel Aufwand für wenig zusätzlichen Traffic. Für Websites in Märkten mit relativ hohem Bing- oder Yandex-Anteil kann eine Implementierung lohnen.
Wahrscheinlich ist es aber sinnvoller sich die Sitemaps noch einmal vorzunehmen, kritisch anzuschauen und zu optimieren und allen(!) Suchmaschinen damit besser zu helfen.
Wirklich großartig wäre es aber, wenn die Suchmaschinen diesen Ansatz nutzen würden ihren Crawl-Corpus zu öffnen. Wenn die Submits schon geteilt werden, dann könnten auch die Crawls geteilt werden. Dann bleibt immer noch der Aufwand den Index zu erstellen, aber es wäre ein deutlicher Treiber für Innovation auf dem Suchmaschinenmarkt und ein relevanter Beitrag zur Reduzierung des Internet-Traffics.