Die Benutzerforschung zu digitalen Bibliotheken sieht sich aktuell zwei Herausforderungen gegenüber: dem Bestreben, Studien vermehrt über das Internet durchzuführen, und dem Wunsch, Benutzerverhalten in natürlichen Umgebungen statt in Laborsituationen zu erforschen. Asynchrone Remote-(Usability-)Tests sind eine methodische Herangehensweise, die möglicherweise die Lösung beider Bedürfnisse sind. Sie erlauben Personen die Teilnahme an einer Studie zu einem Zeitpunkt und an einem Ort ihrer Wahl; der Ort der Wahl entspricht dabei i.d.R der natürlichen Nutzungsumgebung der Teilnehmer. Da die Validität einer Studie von der Qualität der Daten abhängt, ist es für die Forschung sehr wichtig, die möglichen Einflüsse von Ablenkungen in der natürlichen Umgebung auf das Nutzerverhalten in der Testsituation zu bedenken. Das Dissertationsprojekt untersuchte, inwieweit asynchrone Remote-Studien aufgrund von störenden Ablenkungsfaktoren systematischen Fehler bei der Evaluierung digitaler Bibliotheken produzieren. In einem Experiment wurde das Vorhandensein von Ablenkung während der Testdurchführung in natürlichen Umgebungen ermittelt sowie der Einfluss dieser Ablenkung auf das Nutzungsverhalten analysiert. Experimentell wurde die Zeit gemessen, die Teilnehmer in einem Labor und Teilnehmer in ihrer natürlichen Umgebung zur Fertigstellung des Tests benötigten. Die Ergebnisse des Experiments zeigen, dass die Teilnehmer während der Studie stark abgelenkt waren und dass sie in ihrer natürlichen Umgebung deutlich mehr Zeit für denselben Test benötigten. Der Ort der Testdurchführung beeinträchtigte jedoch statistisch gesehen weder die Erledigung der Aufgaben noch die abgegebenen Bewertungen der Teilnehmer noch ihren Entscheidungsprozess. Aus den Ergebnissen folgt, dass der Ort der Testdurchführung nicht relevant ist, aber dass es von großer Bedeutung für die Validität der Daten ist, im Test zu erheben, was während der Durchführung in der natürlichen Umgebung des Teilnehmers geschieht. / User studies in digital libraries face two fundamental challenges. The first is the necessity of running more user studies in an online environment. Users can access digital library collections and services worldwide and the services should be usable at any time. This need for more online studies is coupled with a second need, a demand to test under realistic conditions outside of laboratories in users’ natural environment. Asynchronous remote usability tests are a methodological approach that might answer both needs: they allow participants to take part in a study at a time and place of their choice, often in the participants’ natural environment. Any chosen place, however, might be noisy. Distractions are ubiquitous in a user’s natural environment. An awareness of the potential influences of distractions on users’ behavior during test situations is of great importance, because the validity of a study depends on the quality of the data. If an instrument allows systematic mistakes in measurements because of distractions, the validity is at risk. This dissertation examined if distraction in the users’ natural environment produces a systematic mistake in digital library studies that take place at a time and location of participants’ choice. In order to investigate the existence of distractions during online user studies in digital libraries and to analyze the influence(s) of that distraction, a psychological experiment was set up. It ex¬amined completion time scores between participants in a laboratory and participants in their natural environment. The results of the experiment showed that participants were highly distracted and that participants in their natural environment needed more time to complete the same test. The setting did not affect successful task completions, the participants’ judgments of sites or their decision-making processes. This work can conclude that it does not matter where we test, but it matters what happens during the test.

Die Digitalisierung von kulturellen Gütern und der darausfolgende Online-Zugang zu ihnen hat dazu geführt, dass Gedächtnisinstitutionen wie Museen, Bibliotheken und Archive, neue Instrumente für Nutzer bereitstellen können mit denen das kulturelle Erbe erlebbar gemacht werden kann. Diese Dissertation beschreibt Interaktionen in kulturellen Informationssystemen und verbindet diese mit Zugangsmöglichkeiten zu digitalen Materialien. Basierend auf Fallstudien und dem Ansatz, Theorien aus empirischen Daten zu gewinnen (Grounded Theory), wurde ein theoretischer Rahmen entwickelt, mit dem man Interaktionen beschreiben und analysieren kann. Dieser Bewertungsrahmen für Interaktionen bietet einen ganzheitlichen Ansatz um Interaktionen und deren Zusammenspiel mit dem Informationszugang zu bestimmen. Dieser Zusammenhang hilft Gedächtnisinstitutionen zu verstehen, wie Entscheidungen im Design ihrer Informationsarchitektur den Umgang von Nutzern mit den präsentierten digitalen Artefakten beeinflussen. Der theoretische Rahmen wurde anschließend herangezogen um 72 kulturelle Informationssysteme in einer Inhaltsanalyse eingehender zu studieren. Die Systeme wurden nach ihren Charakteristika in verschiedenen Gruppen - Museen, Bibliotheken, Archive, Aggregatoren, Kollektionen und Gemeinschaften - eingeordnet, zwischen welchen Unterschiede und Gemeinsamkeiten aufgedeckt wurden, die es erlauben Zugang und Interaktionen in jedem einzelnen System besser zu verstehen. Weiterhin wurde der theoretische Rahmen für eine tiefergehende Bewertung eines Systems aus jeder Gruppe genutzt um Empfehlungen für ein effektives Systemdesign zu erarbeiten. Dabei wurde besonderes Augenmerk auf den Einfluss von Interaktionen auf die verschiedenen Zugangsformen gelegt, mit dem Ziel, zweckgerichtete Interaktionen in Systemen anzubieten. Die Dissertation leistet einen wichtigen Beitrag um nachhaltige Interaktionen in Informationssystemen des kulturellen Bereiches zu verstehen, zu bewerten und zu implementieren. / Through digitization of cultural heritage and online access to it, memory institutions such as museums, libraries and archives can provide new instruments for engaging users with cultural heritage. The thesis describes interactions in cultural heritage information systems and links them to access points of the digital material. Based on use cases and a grounded theory approach for data analysis, a framework for interactions was developed. This framework offers a holistic approach to understand interactions and their interplay with information access. The interrelatedness allows stakeholders in cultural heritage institutions to understand that each decision in the information design influences how users access and interact with digital material. The framework was then used in a content analysis of 72 cultural heritage systems that were clustered according to their characteristics. The outcomes reveal shortcomings and pinned down peculiarities between the groups Museums, Libraries, Archives, Aggregators, Collections and Communities. In a next step, the framework was applied as a tool for evaluation to help shape effective system design that guides the implementation of purposeful interactions. For that, one system per cultural heritage group was chosen as a use case for the evaluation. The results are recommendations for a more effective system design that acknowledges the impact of interactions on the access modes. This dissertation promotes a new perspective on interactions and derives strategies for effective system design.

Trotz großer Dokumentmengen für datenbankübergreifende Literaturrecherchen erwarten akademische Nutzer einen möglichst hohen Anteil an relevanten und qualitativen Dokumenten in den Trefferergebnissen. Insbesondere die Reihenfolge und Struktur der gelisteten Ergebnisse (Ranking) spielt, neben dem direkten Volltextzugriff auf die Dokumente, inzwischen eine entscheidende Rolle beim Design von Suchsystemen. Nutzer erwarten weiterhin flexible Informationssysteme, die es unter anderem zulassen, Einfluss auf das Ranking der Dokumente zu nehmen bzw. alternative Rankingverfahren zu verwenden. In dieser Arbeit werden zwei Mehrwertverfahren für Suchsysteme vorgestellt, die die typischen Probleme bei der Recherche nach wissenschaftlicher Literatur behandeln und damit die Recherchesituation messbar verbessern können. Die beiden Mehrwertdienste semantische Heterogenitätsbehandlung am Beispiel Crosskonkordanzen und Re-Ranking auf Basis von Bradfordizing, die in unterschiedlichen Phasen der Suche zum Einsatz kommen, werden hier ausführlich beschrieben und im empirischen Teil der Arbeit bzgl. der Effektivität für typische fachbezogene Recherchen evaluiert. Vorrangiges Ziel der Promotion ist es, zu untersuchen, ob das hier vorgestellte alternative Re-Rankingverfahren Bradfordizing im Anwendungsbereich bibliographischer Datenbanken zum einen operabel ist und zum anderen voraussichtlich gewinnbringend in Informationssystemen eingesetzt und dem Nutzer angeboten werden kann. Für die Tests wurden Fragestellungen und Daten aus zwei Evaluationsprojekten (CLEF und KoMoHe) verwendet. Die intellektuell bewerteten Dokumente stammen aus insgesamt sieben wissenschaftlichen Fachdatenbanken der Fächer Sozialwissenschaften, Politikwissenschaft, Wirtschaftswissenschaften, Psychologie und Medizin. Die Evaluation der Crosskonkordanzen (insgesamt 82 Fragestellungen) zeigt, dass sich die Retrievalergebnisse signifikant für alle Crosskonkordanzen verbessern; es zeigt sich zudem, dass interdisziplinäre Crosskonkordanzen den stärksten (positiven) Effekt auf die Suchergebnisse haben. Die Evaluation des Re-Ranking nach Bradfordizing (insgesamt 164 Fragestellungen) zeigt, dass die Dokumente der Kernzone (Kernzeitschriften) für die meisten Testreihen eine signifikant höhere Precision als Dokumente der Zone 2 und Zone 3 (Peripheriezeitschriften) ergeben. Sowohl für Zeitschriften als auch für Monographien kann dieser Relevanzvorteil nach Bradfordizing auf einer sehr breiten Basis von Themen und Fragestellungen an zwei unabhängigen Dokumentkorpora empirisch nachgewiesen werden. / In spite of huge document sets for cross-database literature searches, academic users expect a high ratio of relevant and qualitative documents in result sets. It is particularly the order and structure of the listed results (ranking) that play an important role when designing search systems alongside the direct full text access for documents. Users also expect flexible information systems which allow influencing the ranking of documents and application of alternative ranking techniques. This thesis proposes two value-added approaches for search systems which treat typical problems in searching scientific literature and seek to improve the retrieval situation on a measurable level. The two value-added services, semantic treatment of heterogeneity (the example of cross-concordances) and re-ranking on Bradfordizing, which are applied in different search phases, are described in detail and their effectiveness in typical subject-specific searches is evaluated in the empirical part of the thesis. The preeminent goal of the thesis is to study if the proposed, alternative re-ranking approach Bradfordizing is operable in the domain of bibliographic databases, and if the approach is profitable, i.e. serves as a value added, for users in information systems. We used topics and data from two evaluation projects (CLEF and KoMoHe) for the tests. The intellectually assessed documents come from seven academic abstracting and indexing databases representing social science, political science, economics, psychology and medicine. The evaluation of the cross-concordances (82 topics altogether) shows that the retrieval results improve significantly for all cross-concordances, indicating that interdisciplinary cross-concordances have the strongest (positive) effect on the search results. The evaluation of Bradfordizing re-ranking (164 topics altogether) shows that core zone (core journals) documents display significantly higher precision than was seen for documents in zone 2 and zone 3 (periphery journals) for most test series. This post-Bradfordizing relevance advantage can be demonstrated empirically across a very broad basis of topics and two independent document corpora as well for journals and monographs.