Usability of Search Engine Result Pages (SERP)

My diploma thesis which was finished in 2003 is published as:
  • Kaczmirek, L. (2007). Verloren im Informationsdschungel: Gebrauchstauglichkeit der Ergebnisseiten von Suchmaschinen. Saarbrücken: Vdm Verlag Dr. Müller.
  • Kaczmirek, L. (2006). Information und Selektion. Gebrauchstauglichkeit der Ergebnisseiten von Suchmaschinen. Mannheim: Universitätsbibliothek Mannheim (MADOC). [Information and Selection. Usability of search engine result pages]. Available at: http://madoc.bib.uni-mannheim.de/madoc/volltexte/2006/1314/

  • It was awarded with the Otto-Selz-Preis 2004 of the University of Mannheim.
  • A short version of the main findings and theory was published as:
    Kaczmirek, L. (2003). Gebrauchstauglichkeit der Ergebnisseiten von Suchmaschinen. In G. Szwillus, J. Ziegler (ed.), Mensch & Computer 2003: Interaktion in Bewegung (S. 337-347). Stuttgart: B. G. Teubner.

    Abstract

    When searching the web with search engines, users apply information provided by the link descriptions of result pages to decide whether the link is relevant for their search and should be selected. The link description is therefore a key element in the selection process of the search. However, the question of how the link description should be structured to allow an efficient selection process presents a challenge.

    This thesis puts forth a new framework for a systematic analysis of result pages which integrates the three main factors relevant for a differentiated research: user, machine and task. Besides the criteria precision and recall, which are well known in information retrieval, it also considers confidence in decisions, satisfaction and time needed for selection.

    In a web experiment based on the proposed framework, effects of different link descriptions and task specificity were examined. The link descriptions were composed according to the following three currently competing strategies: (a) keywords in context, (b) the beginning text of a document and (c) essential keywords derived from a document.

    Participants decided which links to select on the basis of different information needs and then evaluated their decisions and the viewed result pages. The data provided by 191 participants permitted an evaluation of the different kinds of link descriptions and of the effects caused by varying the difficulty of the search task.

    The results show that a link description composed of the first 400 characters of the content of a document is superior to the other representations, and therefore optimally supports the user’s decision. Based on these findings, the thesis proposes a link description that uses continuous text as a method to summarise a document. The user should be able to control the amount of displayed text according to his or her needs.

    Zusammenfassung

    Bei Ergebnisseiten von Suchmaschinen nutzen Anwender die Informationen in den Linkbeschreibungen, um zu entscheiden, ob ein Link für die Suche relevant ist und weiterverfolgt werden soll. Die Linkbeschreibung ist damit ein Kernelement im Selektionsprozess der Suche. Bisher ungelöst ist die Frage, welcher Text aus den verlinkten Dokumenten zur Beschreibung am besten geeignet ist.

    Ein neues Modell für eine systematische und differenzierte Forschung über Ergebnisseiten von Suchmaschinen wird vorgestellt. Dazu werden die drei Faktoren Mensch, Maschine, Aufgabe und ihre Implikationen erläutert. Berücksichtigt werden neben den im Informationretrieval gängigen Kriterien Präzision und Vollständigkeit auch die Sicherheit, mit der Entscheidungen getroffen werden, die Zufriedenheit, sowie Entscheidungszeiten.

    In einem Web-Experiment wurden die Linkbeschreibungen zu den verlinkten Internetseiten und die Spezifität der Suchaufgabe variiert. Die Linkbeschreibungen entsprachen den aktuell konkurrierenden Ansätzen: (a) die Suchwörter im Kontext des Vorkommens im Dokument darzustellen, (b) Text vom Anfang des Dokuments darzustellen und (c) Schlüsselwörter zur Beschreibung zu verwenden.

    Teilnehmer trafen Selektionsentscheidungen auf Ergebnisseiten anhand verschiedener Suchaufgaben mit anschließenden Bewertungen ihrer Entscheidungen und der Ergebnisseiten. Die Daten von 191 Personen erlaubten einen Vergleich der Gebrauchstauglichkeit verschiedener Linkbeschreibungen, sowie Aussagen zu den Effekten durch unterschiedliche Aufgabenschwierigkeiten.

    Die Ergebnisse zeigen, dass eine Linkbeschreibung durch 'Anfangstext mit 400 Zeichen redaktionellem Inhalt' den anderen Bedingungen überlegen ist und die Entscheidung am besten unterstützt. Es wird daher vorgeschlagen, dass Suchmaschinen zur Beschreibung der Links redaktionellen, zusammenhängenden Text verwenden. Dabei sollte die Menge auf die Bedürfnisse des Anwenders variabel einstellbar sein.