Es kann der Anwendungsfall auftreten, dass Du eine URL bis zu einem bestimmten Datum in Suchmaschinen auffindbar haben möchtest und anschließend nicht mehr. Google stellt dafür den Wert "unavailable_after: [date/time]" für das Robots Meta Tag sowie für das X-Robots-Tag zur Verfügung.
Das könnte zum Beispiel so aussehen:
<meta name="robots" content="unavailable_after: 2023-09-21T09:05:00+00:00">
Wann findet die Deindexierung statt?
Doch auch wenn sich sogar eine konkrete Uhrzeit bei diesem Ablaufdatum angeben lässt, solltest Du Dich nicht darauf verlassen, dass die Indexierung genau auf diese Sekunde wegfällt.
Dass die geplante Dexindexierung generell aber funktioniert, hat Oliver H.G. Mason für Dich getestet und seine Erkenntnisse hier zusammengeschrieben. Der Höllenhund, der verwegene, ist mit seiner Seite ohgm.co.uk dafür ganz schön ins Risiko gegangen und hat das Ablaufdatum direkt mal für seine komplette Domain per HTTP-Header auf den 1. Januar 1970 gesetzt.
Mit dem URL Inspection Tool der Google Search Console konnte er die Änderung im Header entsprechend sehen. Doch damit die Indexierung wirksam wurde, musste er warten, bis Google die jeweilige Seite erneut gecrawlt hatte.
Indexing allowed? Yes?
Die GSC gibt übrigens weiterhin an: "Indexing allowed? Yes". Das ist natürlich nicht ganz stimmig. Korrekt ist, dass weiterhin kein "noindex"-Tag gesetzt ist und die Indexierung bis zum gepflegten "unavailable after"-Datum erlaubt war. Ich stimme Oliver zu, dass dieser Grenzfall im passenden Abschnitt "What isn't tested" der Support-Seite zum URL Inspection Tool ergänzt werden könnte.
Deindexierungs-Direktive
Dass Google die URL nach Recrawl, sobald das Ablaufdatum verarbeitet werden konnte, aus dem Index genommen hat, spricht laut Oliver dafür, dass es sich nicht nur um eine Empfehlung an Google handelt, so wie wir das von Canonicals kennen, sondern um eine Direktive. Dafür spricht auch, dass die Sprungmarke in Googles Dokumentation "#directives" heißt:\ https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag#directives
Vorsicht ist also geboten. Google nimmt Deine Angaben entsprechend ernst. Obwohl Bing häufig nachzieht, was die Behandlung von Robots Meta Tags betrifft, so wird "unavailable after" von Bing aktuell nicht unterstützt. Hier müsstest Du also tatsächlich mit dem "noindex"-Tag arbeiten, um Deine URL aus sämtlichen Suchmaschinen zu räumen.