Wir sind es ja gewohnt, dass es mit der Genauigkeit manchmal nicht so genau genommen wird. Manchmal aus Dummheit, manchmal aus Faulheit und manchmal, weil jemand Interessen mit der Falschdarstellung verfolgt.
Gerade sehen wir von vielen LLM / GenAI / Search-Anbietern Beta-Versionen, Prototypen und finale Systeme, deren Versprechen ist: Du gibst uns eine Frage und wir recherchieren, untersuchen die Zielseiten und erstellen Dir einen fertigen Report.
Ich hab mir ein paar dieser Systeme angesehen. Mein Prompt war einfach:
What are the most important takeaways from the Google leak of 2024? Please provide a detailed analysis along with a summary of 20 specific lessons.
Diesen Prompt habe ich verschiedenen Tools gegeben:
You.com
You.com besticht mit einer allgemeinen und nichtssagenden Einleitung. Um dann Ranking Faktoren im Leak zu finden. Dabei wissen wir, dass keine Rankingfaktoren in den Modulen stehen.
You.com hat außerdem Security-Probleme hineinfabuliert: „Vulnerabilities in OAuth Authentication” und „Following the leak, there has been a notable increase in cybersecurity investments across the tech industry. Security budgets have grown by an average of 6% in 2023“ → Durch den Leak 2024 sind also die Budgets 2023 gestiegen. Im Leak wurden also Zeitreisen gefunden. Dieses Detail hat die SEO-Community definitiv noch nicht im Leak entdeckt. Ursache ist das Verwechseln von verschiedenen Leads. Da hilft dann auch nicht, wenn man reportet, dass ach so viele Quellen genutzt worden sind.
In der aktuellen Form ist das Feature unbrauchbar. Tatsächlich ist mit 3-4 Nachfragen das Ergebnis am Ende aber auf dem Niveau eines Schülerpraktikanten. Aber der bräuchte natürlich deutlich eher 3-4 Tage für das gleiche Ergebnis. Anleitung und Fachkenntnis brauchen beide.
Link zur unzureichenden Analyse
ChatGPT-DeepResearch
ChatGPT hat deutlich weniger Quellen herangezogen (15 URLs). Zitiert wird aber nur von brandwell, ovative, slashdot, goelement.
Von diesen Quellen gibt es eine brauchbare Summary. Aber die Artikel sind mir bisher nicht aufgefallen als die besten Summaries des Leaks.
Auf diesem Weg schafft es ChatGPT aber eine Summary zu erstellen, die ich auch von einem Trainee in den ersten Monaten erwarten würde.
Als Feedback würde ich aber den Hinweis auf ein paar gute Artikel geben. Und darum bitten, dass man sich die Originalquellen noch mal ansieht, was wirklich drin steht und ob das, was in den Artikeln geäußert wird, wirklich so aus dem geleakten Material zu lesen ist.
Einem Junior Consultant würde ich dieses Ergebnis nicht durchgehen lassen. Dazu fehlt das Verständnis der Suchmaschine, die Einordnung und Diskussion der Faktoren und die kritische Auseinandersetzung, damit, dass es sich nicht um Rankingfaktoren handelt.
Perplexity
Perplexity kriegt direkt einen Pluspunkt dafür, dass es von potential ranking factors spricht. Den braucht Perplexity auch. Denn wegen reißerischer Sprache war Perplexity schon nach dem ersten Halbsatz im Minus.
Perplexity gibt trotz der reißerischen Note einen guten Überblick über die Entwicklung und handelnden Personen. Auch zu ein paar Key-Findings und es sieht auch alles erstmal richtig aus.
Von den 20 gefundenen Quellen werden 8 für den Artikel herangezogen. Es wäre aber gut gewesen, wenn vielleicht noch weitere Quellen zitiert worden wären. Dann wäre vielleicht auch der Anteil mit den 20 Insights geglückt. So taugt der Artikel für einen Überblick an ein allgemeines Online Marketing Publikum. Für ein Fachpublikum fehlt leider die Deepness dieses Deep Research pieces.
Grok
Auf das LLM des Fake News Kings Doge-Dompteurs war ich gespannt. Bisher hat es Grok noch nicht geschafft, mich zur Nutzung zu motivieren.
Grok nimmt sich 88 (!) Quellen. Gut gefällt mir, dass vor der Summary noch die Key Points aufgelistet werden. Die Key Points sind aber in der Formulierung und Auswahl schon diskussionswürdig.
Google likely makes frequent small adjustments, known as "twiddlers," impacting site rankings.
Das klingt etwas mehr nach statischen Anpassungen, als nach einer dynamischen Komponente, die bei jeder Anfrage ausgeführt wird.
Insgesamt ist die Analyse sehr fokussiert darauf, ob aus den Faktoren Kontroversen entstanden sind.
Grok ist trotz der an sich guten Liste der interessanten Punkte des Leaks ebenfalls eher auf der schwächeren Seite. Die Quellenangaben sind sparsam (oder gar broken).
Fazit
Wie bei allen LLM-Geschichten ist es im ersten Moment beeindruckend. Da läuft ein System los, recherchiert im Netz und stellt mir etwas zusammen, was mich selbst mehrere Stunden Arbeit gekostet hätte.
Wie immer bei der „Arbeit“ mit unseren lustigen neuen Spielzeugen entscheidet die Qualität des Promptings mit über die Qualität des Ergebnisses.
Und natürlich ist es auch gemein nach dem Leak zu fragen, wenn doch die meisten Artikel zum Leak, die für die Systeme zugänglich sind, auch von mittelmäßiger Qualität sind.
Trotzdem:
- Nicht ein Report hat auf das Originalmaterial verlinkt.
- Bis auf You.com haben alle es geschafft, den Leak von anderen Leaks zu unterscheiden.
- Der Überblick ist teilweise recht gelungen. Oft aber reißerisch und weit entfernt von dem, was ich als Deep Research betrachten würde.
Long story short: Unsere statistischen Papageien kriegen hier teilweise brauchbare Zusammenfassungen hin. Benutzbar sind die aber nur, wenn:
- Einem die Qualität des Ergebnisses egal ist.
- Man sich in dem Thema gut genug auskennt, um einen sehr guten Prompt zu schreiben, die Quellen kuratiert und Nachfragen stellt.
Die Nase vorn hat aktuell ChatGPT.
Aber: Das war jetzt ein einzelnes Experiment mit einer Frage.
Lust auf einen großen Vergleich habe ich noch nicht. Dafür müsste die Qualität schon besser sein.
Wiedervorlage in 6 Monaten.