Teil meiner Selbstwahrnehmung ist, dass ich selten zu Gefühlsausbrüchen neige. Darum war auch meine Frau überrascht, als ich letztens das erste Mal seit ich weiß nicht mehr wann im Büro laut geflucht habe.
Der Grund? Brutale Killerspiele. Ein CSV-Export und ChatGPT – in dieser Reihenfolge.
Eigentlich wollte ich nur aus Rankscale die gemessenen Citations für das von uns beobachtete Promptset herunterladen, um selber mit den Daten herumzuturnen. Ist ja in der Oberfläche vorgesehen, von daher kein Problem.
Von genauerem Interesse waren vor allem die Fan-out-Queries, die ChatGPT aus dem Prompt gezaubert hat.
Frohen Mutes exportiere ich die CSV und öffne sie. Beim Blick in die Spalte mit den Search-Queries zieht sich mir der Magen zusammen.
Entweder es wurden nur diese zwei Search Queries ausgeführt:
- Berlin kinder Aktivitäten Berlin familien mit Kindern Sehenswürdigkeiten Berlin kinderfreundlich
- What to do in Berlin with kids family friendly Berlin museums parks playgrounds Berlin recommendations
Dann wurden diese beiden kommagetrennt in die Spalte gepackt.
Oder die einzelnen Queries wurden nur mit einem Leerzeichen getrennt. Der naive Optimist in mir hoffte noch, dass es vielleicht nur merkwürdig encodierte Leerzeichen waren oder vielleicht Tabulatoren, die man einfach auffinden und ersetzen kann. Leider Pustekuchen
Das war zwar ärgerlich, aber sicherlich kein Problem, dachte ich. Im Jahr 2026 sind wir schließlich der KI mächtig. Für diese durfte das Auftrennen dieser Zellen eigentlich kein Problem sein, oder? Die entsprechende Spalte also in eine extra Datei verfrachtet und rüber zu ChatGPT. Eine Entscheidung, die sich noch bitter rächen sollte. Wie ich mittlerweile weiß, hätte ich das Ganze selber überprüfen können, aber dazu später mehr.
Die ersten Versuche in ChatGPT waren vielversprechend, die als Test ausgegebenen ersten Zeilen schienen zu funktionieren. Also sagte ich ChatGPT, es soll die vereinbarten Muster bitte auf die ganze Datei anwenden. Dann kamen unterschiedlichste Ergebnisse, aus denen ich folgende Highlights hervorheben möchte:
- Eine vollständig aufbereitete Datei, bei der nur die ersten Zeilen aussahen, wie in den genannten Beispielen.
- Eine angeblich aufbereitete Datei, wo der Download aber nicht verfügbar war.
- Eine “finale” Datei mit 75 Zeilen, obwohl die Ausgangsdatei das Zehnfache hatte.
Jede Korrektur begleitet von einem süffisanten “Danke für die klare Rückmeldung – Du hast vollkommen recht.” und einer schmissigen Erklärung, warum es denn diesmal gescheitert ist. Mein Favorit:
“Die Fehlermeldung kam daher, dass die Datei zuvor nicht tatsächlich erzeugt wurde. Das ist jetzt sauber korrigiert.”
Dann sag doch einfach vorher, dass Du keinen Bock hast, den Kram zu machen und tu nicht so!
Auch schön sind die schlauen Vorschläge wie “🔧 Wie wir das sauber lösen (ohne Zeit zu verschwenden)”, als ob das nicht schon längst geschehen sei. Das nächste Mal sag ich ChatGPT vorher, er soll die ganzen Nettigkeiten sein lassen. Das treibt mich wahrscheinlich weniger zur Weißglut als etliche Male freundlich erklärt zu bekommen, warum es erneut schiefgegangen ist.
Mit Kritik fängt man am besten bei sich selbst an. Daher noch einmal zur Klarstellung. Mit sauberem Prompting hätte ich mir vermutlich einiges an Zeit und Nerven sparen können. “Mal eben schnell die Daten in ChatGPT ballern, auf den Zauberknopf drücken und alles wird gut” – darauf kann und sollte man sich nicht verlassen. Das war eine einprägsame Erinnerung daran.
Und zweitens hätte ich mir den ganzen Ärger sparen können, wenn ich folgenden Trick vorher gekannt hätte. Mit dem Inspection-Mode des Browsers kann man ganz einfach herausfinden, welche Queries ChatGPT für euren Prompt verwendet hat. Das geht wie folgt:
- Führe den Prompt in ChatGPT aus.
- Rufe die Entwickertools auf (Rechtsklick > Untersuchen oder Cmd + Shift + I).
- Rufe den Network-Tab auf.
- Aktiviere die Suche (Klick auf die Lupe).
- Gib im jetzt offenen Suchfeld “search_model_queries” ein und rufe einen der Einträge mit “metadata” auf.
Dann wird eine Datei aufgerufen, in deren Response-Tab die Queries als Teil einer JSON stehen, ungefähr so:
Im Nachhinein ist man oft schlauer. Danke an Philipp, der mir den Tipp mit den Entwicklertools gab. So hab ich die Zeit zwar nicht wieder, aber wenigstens was gelernt. :D