Appen ist vermutlich die größte Agentur, die Quality Rater für Google beschäftigt.
Insgesamt verwendet Google den Input von 16.000 Quality Ratern, die Ergebnisse auf Basis der Quality Rater Guidelines bewerten. Google nutzt diese Ergebnisse dann zur Evaluation der Qualität der Suchergebnisse und dem Impact von Ranking-Anpassungen.
Das australische Unternehmen hat jetzt veröffentlicht, dass Google den Vertrag gekündigt hat (entdeckt bei Cyrus Shepard).
Die Kündigung steht (laut Appen) im Kontext strategischer Vertragsreview auf Google-Seite (Google ist ja weiter auf Sparkurs).
Google verzichtet damit auf den größten Lieferanten von Ranking-Reviews. Wie wichtig der Quality-Rater-Prozess (und der resultierende IS4-Score) ist, hat Google im laufenden FTC-Hearing immer wieder betont (nachzulesen in den Protokollen der öffentlichen Sitzung).
Meine These ist ja, dass Google auch ein Interesse hat den Impact der Quality Rater in diesem Verfahren stärker zu betonen. Je wichtiger Richterinnen und Richter die Quality Rater für das Ranking wahrnehmen, desto geringer ist die Wichtigkeit der User-Daten für die Richter. Damit wird der Impact des Monopols runtergespielt. Schließlich steht es ja jedem Startup frei Quality Rater anzuheuern. Aber die Such- und User-Daten, die kann niemand reproduzieren.
Was bedeutet das also, wenn Google den Vertrag kündigt? Was steckt dahinter?
Variante 1 - Vertragspoker: Wir sehen das Ganze als klassisches Business-Theater. Google hat entweder bereits einen billigeren Anbieter gefunden oder möchte Druck auf Appen ausüben, den Vertrag deutlich billiger zu machen (bei 82,8m US$ Vertragsvolumen nur bei Appen kann man das mal versuchen). Wie Cyrus in seinem (sehr lesenswerten) Text über sein Experiment als Quality Rater schrieb: Die Liste der Dienstleister ist nicht statisch, sondern ändert sich regelmäßig.
Variante 2 - KI/Machine Learning: Möglicherweise können ja über Clicks und User-Daten und die Historie der Quality Rater-Ergebnisse die Informationen gewonnen werden, ohne die Quality Rater beschäftigen zu müssen. Diese Option hat Dawn Anderson im November in Search Engine Land lesenswert diskutiert:
Quality rater and algorithmic evaluation systems: Are major changes coming? Recent breakthroughs indicate that AI systems can replace human raters in search evaluation. Still, concerns remain over quality and bias.
Tatsächlich ist es sehr wahrscheinlich, dass Google die Anzahl der Quality Rater auf ein Minimum reduziert. Die Aufgabe der verbliebenen Rater ist es dann lediglich zu schauen, ob die Qualität des Machine Learning-Systems ausreichend funktioniert.
Das hätte Impact auf die Google Suche:
-
Eine weitere Pflege der öffentlichen Quality Rater Guidelines wird nicht mehr notwendig. Damit könnten die Guidelines noch stärker genutzt werden, um Website-Betreiber zu motivieren, ihre Seiten in eine spezifische Richtung zu entwickeln.
-
Wird Quality Rating billiger (und schneller), dann können wesentlich mehr Ratings durchgeführt werden. Das ermöglicht spannende Perspektiven in der Spam-Bekämpfung. Aber es ermöglicht auch generell, die Ratings (anders als bisher) in das Ranking einzubeziehen.
Google gibt sich weiter den AI-Ergebnissen hin. Das muss nichts Schlechtes sein. Kann aber gehörig schief gehen. Auch da, wo Google auf KI setzt, sehen wir nicht durchgängig positive Effekte.