Google versucht die Zuverlässigkeit von AI, genauer Large Language Models (LLM), nachvollziehbarer zu machen und hat vorgeschlagen, dafür Selective Prediction zu nutzen.
Wenn sie sich für Entwicklung der neuen KI nur halb so viel Mühe gegeben haben wie für das Zusammenbauen des Projekt-Namens "ASPIRE" (kurz für "Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs", nichts geht über ein cleveres Akronym), dann sollte das Ergebnis bald marktreif sein. Vermutlich ist das eher noch ein Forschungsthema. Wenn es aber klappt, könnte es die Verlässlichkeit von LLMs relevant erhöhen.
Ob das ausreicht, um sich wirklich auf die Ergebnisse verlassen zu können? Wer weiß... und ob sich ein LLM damit davon abhalten ließe, via einfacher Prompts seinen Herausgeber lächerlich zu machen oder möglicherweise finanziellen Schaden zu verursachen?
Was macht ASPIRE?
Die Idee klingt erstmal simpel: Neben dem Ergebnis zum Prompt wird auch die Wahrscheinlichkeit berechnet, dass dieser korrekt ist.
Im Gegensatz zu vielen klassischen Machine Learning Ansätzen ist es bei LLMs nicht einfach möglich, zu prüfen, wie sicher das Modell bei der Antwort ist.
ASPIRE ist nun ein Konzept, wie man eine Wahrscheinlichkeit dafür bekommen kann, dass die Antwort korrekt ist. Wenn Du Formeln mit vielen griechischen Buchstaben magst, kannst Du Dir das von Google verlinkte Paper dazu selbst durcharbeiten.
Seeeeehr (wirklich sehr) grob vereinfacht wird die Antwort nochmal gegen das LLM geworfen und gefragt, wie wahrscheinlich das LLM die Antwort findet.
Mit dieser Wahrscheinlichkeit kann man in der Theorie auch das Modell selbst weiter optimieren.
Angewendet auf bestehende (kleinere) LLMs konnten die Forscher von Google bei einigen Benchmarks für die Zuverlässigkeit – im Vergleich – einige Prozentpunkte herausholen.
Sie gaben keine Einschätzung ab, ob das bei einer Umsetzung auf die großen LLMs, die im Einsatz sind, sich ähnlich signifikant auswirken würde.
Wird Dein Job jetzt endlich von der KI geklaut?
Selbst wenn damit LLMs zuverlässiger werden, von einer echten Genauigkeit sind sie noch weit entfernt.
Eine Lehrkraft, die 15 % der Klassenarbeiten grob falsch bewertet, wäre besser als eine, die 25 % falsch bewertet. Aber in beiden Fällen wäre die Benotung schlicht unfair. Und dabei ist noch gar nicht betrachtet, wie viel Quatsch im Unterricht beigebracht wird.
Außerdem wird die Korrektheit natürlich nur auf Basis der vorliegenden Trainingsdaten geschätzt. Wenn die Trainingsdaten falsch oder verzerrt sind, sind sowohl die Antwort, als auch die berechnete Wahrscheinlichkeit genauso verzehrt. Quasi so eine arte Dunning-Kruger-Effekt für LLMs.
Insofern kann so ein Wahrscheinlichkeitswert auch sehr irreführend sein und einen halluzinierenden Chatbots sogar noch glaubwürdiger wirken lassen...
Dennoch machen LLMs nach wie vor große Fortschritte und zumindest bestimmte Arten von Aufgaben kann so ein LLM auch heute schon hervorragend erledigen.
Wo die Grenzen liegen, verschiebt sich stetig und es wird viel experimentiert. Johan hatte zum Beispiel in seinem Artikel zum Appen-Abschuss aufgrund algorithmisch automatisierter Anforderungs-Auswertung (wäre meiner Meinung nach die bessere Artikelüberschrift gewesen, aber mich hat niemand gefragt) die Möglichkeit erwähnt, dass Google die Aufgaben der Quality Rater durch KI ersetzt. Search Engine Land hat noch einen Kommentar von einem Googler dazu, dass der Quality Rater-Vertrag mit Appen nicht fortgeführt wird:
Our decision to end the contract was made as part of our ongoing effort to evaluate and adjust many of our supplier partnerships across Alphabet to ensure our vendor operations are as efficient as possible
Wenn man den genau liest, dann spricht man hier nicht über die "Quality Rater", sondern die "Quality Rater Work"... also nicht Menschen, sondern Arbeit. Arbeit, die auch KI machen könnte?
Das ist jetzt natürlich spitzfindig gelesen und fernab einer offiziellen Bestätigung von Google, aber für einen motivierten Verschwörungstheoretiker wäre dieses überspezifische Dementi Beweis genug, oder wie Cory Doctorow sagt:
We're nowhere near a place where bots can steal your job, we're certainly at the point where your boss can be suckered into firing you and replacing you with a bot that fails at doing your job
Hoffen wir mal nicht, dass Google versucht, Quality Rater durch LLMs komplett zu ersetzen, das kann auf Dauer nicht gut gehen.
Wenn Du ein Boss bist, lass Dich nicht von Augenwischerei mit Konfidenzmetriken dazu bringen zu glauben, dass Deine Mitarbeiter überflüssig sind. KI ist nur ein Werkzeug, keine echte Intelligenz. Überlege lieber genau, ob und wie das Werkzeug eingesetzt werden kann, damit es Dir und Deinen Mitarbeitern wirklich hilft, ohne dass das Automation Bias und Co die Vorteile zunichtemachen. Schlau eingesetzte KI macht die Arbeit von Menschen besser und schneller. Nicht schlau eingesetzte KI macht das exakte Gegenteil.