Von großen und kleinen Suchexperimenten

Donnerstag, 28. August 2008

In meinem letzten Post bin ich auf die Elemente eingegangen, aus denen sich euer Google-Sucherlebnis zusammensetzt, sowie auf die Grundlagen, die unsere Suche so gut funktionieren lassen. Scheinbar simple Features wie die Rechtschreibprüfung oder das zweizeilige Snippet, das jedes Suchergebnis beschreibt, basieren auf komplexen Algorithmen. Was wirklich funktioniert, erkennen wir in unseren Experimenten - winzigen Testläufen für eine kleine Anzahl von Usern, die uns dabei helfen, herauszufinden, welche Features Sinn machen - und welche eben nicht.

Diese Form des Experimentierens hat sich als äußerst hilfreich erwiesen und wir setzen sie im großen Rahmen ein, um potentielle Änderungen in der Suche auszutesten. Zwischen 50 und 200 Experimente laufen ständig auf Google-Sites auf der ganzen Welt. Ich gehe zuerst einmal auf experimentelle Änderungen ein, die so klein sind, dass man sie kaum wahrnehmen kann, selbst wenn man sie gerade vor Augen hat, und schließe mit einigen jener Experimente, die kaum zu übersehen sind. Eine Menge Leute haben es sich zur Aufgabe gemacht, jede Veränderung auf Google-Seiten mitzukriegen. Gelegentlich bilden sie sich dabei Sachen nur ein, aber sie bemerken auf jeden Fall eine Menge unserer offensichtlichen Experimente. Kleinere Änderungen werden im Gegensatz dazu beinahe immer übersehen.

Was zum Beispiel ist der Unterschied zwischen den beiden unten abgebildeten Seiten?

Variante 1:
Variante 2:

Ich bin ziemlich sicher, dass ich keinen Unterschied bemerken würde, wären die Bilder nicht direkt gegenüber gestellt. Ihr seid dazu aber offensichtlich in der Lage! Zumindest nebeneinander kann man den Unterschied erkennen. Solltet ihr es nicht sehen: der weiße Abstand um den ersten Treffer wurde verändert. Das betont ihn in Bild 2 ein wenig. Dieses visuelle Hervorheben vermittelt die Tatsache, dass unseren Rankingsignalen nach, das erste Resultat deutlich passender ist als Treffer Nummer 2. Dies hat den Vorteil, dem User zu helfen, sich aufs erste Suchergebnis zu konzentrieren. Falls man aber an einem anderen der Treffer interessiert sein sollte, kann es das Überfliegen der Seite erschweren. Ein Experiment hilft uns festzustellen, welcher Effekt stärker ist und ob eine Änderung euch dabei helfen würde, schneller zum Ergebnis zu kommen.

Eine andere Änderung, die beinahe genauso winzig ist, findet sich hier:

Hier entsteht so ein großer Unterschied im Userverhalten, dass wir sehr schnell feststellen konnten, welche Variante besser funktioniert: der Unterschied besteht in der Darstellung der Plus-Box vor dem "stock quote"-Link. Natürlich ist es nicht leicht zum Schluss zu kommen, dass eine Option "besser" ist, und man könnte bei einer Einschätzung Fehler begehen. Bedeutet eine stärkere Nutzung der Plus-Box "besser"? Was, wenn der User gute Resultate verpasst, weil er von der betonten Plus-Box abgelenkt wird? Schaut euch doch einfach die Google-Resultate an, um zu sehen, was sich am Ende durchgesetzt hat! Wenn wir unseren Job richtig machen, wird das Resultat für euch brauchbarer sein, auch wenn ihr es kaum bemerkt. Die Welt wird zu einem besseren Ort, erfüllt von fröhlichem Vogelgezwitscher. Okay, vielleicht ist das ein wenig übertrieben - aber zumindest habt ihr die beste Plus-Box, die wir euch liefern können. :)

Aber nicht alle unserer Experimente sind solche verrückten Sehtests. Worum es mir bei diesen beiden Beispielen hauptsächlich ging, war darzustellen, dass wir beinahe alles ausprobieren - sogar Details, von denen man glauben könnte, sie seien so winzig, dass sie uns egal sein können (und dass sie sowieso keinen Unterschied machen). Tatsache ist aber: winzige Änderungen machen einen Unterschied, und sie sind uns nicht egal.

Eine andere Form von Experimenten hat mit Änderungen zu tun, die nicht rein optischer Natur sind, sondern sich mit Modifikationen der zu Grunde liegenden Präsentationsalgorithmen befassen. Jener Algorithmus z. B., der für Titel und Snippets der Ergebnisseite verantwortlich ist, hebt seit einiger Zeit den Suchbegriff und auch einige Synonyme dazu hervor . Für die Suche [hp printer drivers] gibt es so auch Ergebnisse, die das Wort "driver" beinhalten und entsprechend hervorheben...

Diese Form des "stemmings", wie wir es nennen, ist deshalb nützlich, weil sie euch normalerweise dabei unterstützt, jene Ergebnisse, die mit dem Suchbegriff übereinstimmen, herauszufiltern - aber nicht in jedem Fall. Hier helfen uns die Experimente bestimmte Annahmen in Bezug auf Änderungen dieser Algorithmen zu verifizieren (oder unter Umständen als falsch auszuweisen).
Es gibt noch eine weitere Art von Experimenten, die kaum übersehen werden: jene, die ziemlich offensichtliche Features einführen. Auch in diesen Fällen bleibt das Ziel des Experiments dasselbe: fügen wir etwas hinzu, das den Leuten wirklich hilft, oder lenken wir nur vom Wesentlichen ab? Google liegt keine Gebrauchsanweisung bei. (Zugegebenermaßen gibt es zwar einige gut geschrieben Hilfe-Seiten, aber wir sind ziemlich sicher, ihr macht euch nicht die Mühe, sie zu lesen!) Folglich müssen sich Features selbst erklären, ohne die Unterstützung umständlicher Erläuterungen. Teilziel der Experimente ist es, zu verstehen, wie ein Feature benutzt wird - und das kann anders geschehen, als wir es uns vorgestellt haben.
Hier gibt es ein Beispiel für ein Experiment, dass euch die Suchergebnisse kommentieren läßt, in dem ihr sie am Bildschirm umordnet:

Im Moment kann ich noch nicht sagen, was wir davon halten sollen; wir sind einfach neugierig mitzukriegen, wie es verwendet wird.

Das waren einige Beispiele für die unterschiedlichen Arten von Experimenten, die zum Einsatz kommen, wenn wir alles Mögliche - von kaum wahrnehmbar bis nicht zu übersehen - testen. Wenn ihr das nächste Mal Google benutzt und ihr den Eindruck habt, irgendwas wäre anders - vielleicht ist es ja tatsächlich so. Und vielleicht nur für euch!

Search experiments, large and small (English version)

Post von Ben Gomes, Distinguished Engineer (Übersetzung von Jörg, Search Quality)