Die Interaktion mit Chatbots ist schon ziemlich gruselig. Zumindest fühlt es sich so für mich an. Ist ja aber auch kein Wunder: ChatGPT, Gemini und wie sie sonst noch alle heißen, werden (vermeintlich) von Update zu Update klüger. Sie verstehen Zusammenhänge besser, schreiben überzeugendere Texte und erscheinen mittlerweile geradezu menschlich. Wie ein verlässlicher Partner oder eine enge Vertraute. Ein Experte, der weiß, wovon er spricht (beziehungsweise schreibt).
Doof nur, dass der Eindruck manchmal täuscht… Oder eher häufig.
KI ist ein Fiebertraum. Halluzinationen inklusive
Tatsächlich nimmt die Zahl der „Halluzinationen“ nämlich ordentlich zu. Laut internen Tests von OpenAI halluziniert das aktuelle Spitzenmodell GPT-o3 bei ganzen 51 Prozent der allgemeinen Wissensfragen, also bei mehr als der Hälfte. Noch krasser ist es beim kleineren Bruder GPT-o4-mini: Hier liegt die Fehlerrate sogar bei erschreckenden 79 Prozent. Das ist viel. Sehr viel. Zu viel! Zum Vergleich: Bei GPT-o1 waren es noch rund 44 Prozent.
Bei Fragen zu Personen des öffentlichen Lebens sind es übrigens 33 Prozent bei GPT-o3 und 48 Prozent bei GPT-o4-mini. Zwar ein wenig besser. Aber immer noch katastrophal.
Dabei sollen die neuen „Reasoning“-Modelle doch eigentlich der Heilsbringer sein. Statt bloßer Statistik versuchen sie, Probleme Schritt für Schritt zu lösen. Und rennen dabei wohl in die aus dem Matheunterricht längst verdrängten Folgefehler. Jeder Einzelschritt eröffnet eine neue Fehlerquelle und so wird schnell aus einer kleinen Ungenauigkeit totaler Blödsinn. Da hilft es auch nicht, dass ChatGPT Dir den Unsinn in einer schönen Geschenkpackung serviert.
Ironischerweise rätselt auch OpenAI selbst über die genauen Gründe für diesen paradoxen Trend. Klar ist jedoch: Die Spirale dreht sich aktuell in die falsche Richtung.
Shit in, Shit out. Noch mehr Shit in, Bullshit out.
So weit, so schlecht. Doch das ist ja nicht das einzige Problem, das sich daraus ergibt. Stattdessen fluten diese fehlerhaften und allenfalls mittelmäßigen KI-generierten Inhalte zunehmend das Netz. Und die Trainingsdaten für KIs werden knapp. In der Folge fließen statt neuer hochwertiger Texte zahlreiche KI-generierte Schmodderinhalte zurück in die eigenen Datenbanken der KI, was langfristig die Qualität weiter senken dürfte. Ein Teufelskreis.
Diese Entwicklung wirft eine unangenehme Frage auf: Sind wir womöglich schon über den Gipfel hinaus und es geht jetzt langsam wieder bergab mit der KI? Nun, soweit würde ich nicht gehen. Sicher ist aber zumindest eins: Die Zuverlässigkeit lässt aktuell nach, obwohl KI immer intelligenter wirkt. Die Tools wirken oft überzeugend. Und genau das macht sie so gefährlich, wenn es um faktische Genauigkeit geht. “Wird schon passen", denkt man sich. Und dann ab mit dem Rohrreiniger auf die nächste Pizza.
Bei AI Overviews ist übrigens ebenfalls Vorsicht geboten. Auch hier ist die Fehlerquote nach wie vor sehr hoch.
Abschließende Worte
Was heißt das nun wieder? Ganz einfach: Verlasse Dich niemals blind auf KI-Tools. Ganz gleich, wie gut Dein Prompt auch sein mag oder wie souverän ChatGPT, Gemini oder wer auch immer klingt – Du musst trotzdem die Fakten checken. Immer noch! Oder eher: Noch kritischer als je zuvor! Und das nicht mit einem anderen KI-Tool. Nope, hier ist Dein menschlicher Verstand nach wie vor unverzichtbar. Der Faktor Mensch wird auf lange Sicht wohl nicht verschwinden, sondern eher wichtiger denn je.
Gerade in sensiblen Bereichen wie Medizin, Recht oder Bildung kann blindes Vertrauen auf KI verheerende Folgen haben. Es gibt ja bereits genügend Fälle, in denen Anwälte nicht existierende Gerichtsurteile aus ChatGPT zitiert haben. Upps. Das ist natürlich peinlich. Und gefährlich obendrein, um noch einmal zurück auf das Pizza-Beispiel zu kommen…
Okay. Genug der kleinen Weltuntergangsstimmung am Dienstag. Wie gehst Du mit der steigenden Fehlerrate bei KI-Content um? Nutzt Du KI trotzdem intensiv weiter oder hat sich Dein Umgang bereits verändert und eine Art KI-Verdrossenheit eingestellt? Lass es uns gerne wissen →