Im Januar 2022 gab Google die Existenz eines neuen Robots Tags bekannt: "indexifembedded" und Nora berichtete im Newsletter, was es damit auf sich hat.
In welchen Fällen die eingebetteten Elemente, wie beispielsweise PDFs, im Index landen oder nicht, hat Dave Smart in einem super strukturierten Experiment aufgedröselt und für TameTheBots dokumentiert.
Dave zeigt, auch mit einer kleinen Test-Domain, die vermutlich nicht den Traffic für statistische signifikante Splittests aufweist, lässt sich ein Proof of Concept sauber ausarbeiten.
Dazu hat er sechs verschiedene Seiten angelegt, jeweils einen uniquen Textabschnitt ins HTML gepackt und weiteren Inhalt (PDF oder HTML) per iframe eingebettet. Die Seiten unterschieden sich wie folgt:
-
HTML-Embed mit noindex & indexifembedded
-
HTML-Embed nur mit noindex
-
HTML-Embed ohne Robots Meta Tag
-
PDF-Embed mit X-Robots-Tag im HTTP-Header: googlebot: noindex, indexifembedded
-
PDF-Embed mit X-Robots-Tag im HTTP-Header: googlebot: noindex
-
PDF-Embed ohne X-Robots-Tag im HTTP-Header
Die sechs Seiten hat Dave per Sitemap an Google gemeldet und das Indexierungsverhalten an drei Stellen überprüft:
-
URL Inspection Tool: Crawled HTML
-
URL Inspection Tool: Live Test
-
Auf der Suchergebnisse selbst (SERP)
Sein Verdikt: Funktioniert so, wie es soll. Da, wo Dave es nur als "sort of expected" eingestuft hat, führt er es darauf zurück, dass er eigentlich keine klare Vorstellung davon hatte, wie es funktionieren soll.
Während ich Anfang des Jahres noch unsicher war, wofür man das neue Tag genau gebrauchen kann, hat das Experiment die Use Cases für mich verdeutlicht. Inhalte eines PDFs suchen zu können, sodass der Content auf die HTML-Seite einzahlt und nicht das PDF selbst im Index landet, finde ich tatsächlich nützlich.\ Schau Dir die Ergebnisse direkt bei Dave an. Abschauen können wir uns alle die klare Struktur und sorgfältige Dokumentation des Experiments. Was meinst Du?