Previous usability evaluation method (UEM) comparison studies have noted an evaluator effect on problem detection in heuristic evaluation, with evaluators differing in problems found and problem severity judgments. There have been few studies of the evaluator effect in usability testing (UT), task-based testing with end-users. UEM comparison studies focus on counting usability problems detected, but we also need to assess the content of usability problem descriptions (UPDs) to more fully measure evaluation effectiveness. The goals of this research were to develop UPD guidelines, explore the evaluator effect in UT, and evaluate the usefulness of the guidelines for grading UPD content. Ten guidelines for writing UPDs were developed by consulting usability practitioners through two questionnaires and a card sort. These guidelines are (briefly): be clear and avoid jargon, describe problem severity, provide backing data, describe problem causes, describe user actions, provide a solution, consider politics and diplomacy, be professional and scientific, describe your methodology, and help the reader sympathize with the user. A fourth study compared usability reports collected from 44 evaluators, both practitioners and graduate students, watching the same 10-minute UT session recording. Three judges measured problem detection for each evaluator and graded the reports for following 6 of the UPD guidelines. There was support for existence of an evaluator effect, even when watching pre-recorded sessions, with low to moderate individual thoroughness of problem detection across all/severe problems (22%/34%), reliability of problem detection (37%/50%) and reliability of severity judgments (57% for severe ratings). Practitioners received higher grades averaged across the 6 guidelines than students did, suggesting that the guidelines may be useful for grading reports. The grades for the guidelines were not correlated with thoroughness, suggesting that the guideline grades complement measures of problem detection. A simulation of evaluators working in groups found a 34% increase in severe problems found by adding a second evaluator. The simulation also found that thoroughness of individual evaluators would have been overestimated if the study had included a small number of evaluators. The final recommendations are to use multiple evaluators in UT, and to assess both problem detection and description when measuring evaluation effectiveness. / Ph. D.

In the coming years, augmented reality, mobile computing, and related technologies have the potential to completely redefine how we interact with and use computers. No longer will we be bound to desktops and laptops, nor will we be bound to monitors, two-dimensional (2D) screens, and graphical user interface (GUI) backgrounds. Instead we will employ wearable systems to move about and augmented reality displays to overlay 2D and three-dimensional (3D) graphics onto the real world. When the computer graphics and user interface communities evolved from text-based user interfaces to 2D GUIs, many in the field noted the need for “new analyses and metrics“ [Shneiderman et al., 1995]; the same is equally true today as we shift from 2D GUI-based user interfaces and environments, to 3D, stereoscopic virtual (VR) and augmented reality (AR) environments. As we rush to advance the state of technology of AR and its capabilities, we need to advance the processes by which these environments are designed, built, and evaluated. Along these lines, this dissertation provides insight into the processes and products of AR usability evaluation. Despite the fact that this technology fundamentally changes the way we visualize, use, and interact with information, very little HCI work in general, and user-centered design and evaluation in particular, have been done to date specifically in AR [Swan & Gabbard, 2005]. While traditional HCI methods can be successfully applied in AR to determine what information should be presented to the user [Gabbard, 2002], these approaches do not tell us, and what, to date, has not been researched, is how information should be presented to the user. A difficulty in producing effective AR user interfaces (UIs) in outdoor AR settings lies in the wide range of environmental conditions that may be present, and specifically large-scale fluctuations in natural lighting and wide variations in likely backgrounds or objects in the scene. In many cases, a carefully designed AR user interface may be easily legible under some lighting and background conditions, and minutes later be totally illegible in others. Since lighting and background conditions may vary from minute to minute in dynamic AR usage contexts, there is a need for basic research to understand the relationship between real-world backgrounds and objects and associated augmenting text drawing styles. This research identifies characteristics of AR text drawing styles that affect legibility on common real-world backgrounds. We present the concept of active text drawing styles that adapt in real-time to changes in the real-world backgrounds. We also present lessons learned on applying traditional usability engineering techniques to outdoor AR application development and propose a modified usability engineering process to support user interface design of novel technologies such as AR. Results of this research provide the following scientific contributions to the field of AR: Empirical evidence regarding effectiveness of various text drawing styles in affording legibility to outdoor AR users. Empirical evidence that real-world backgrounds have an effect on the legibility of text drawing styles. Guidelines to aid AR user interface designers in choosing among various text drawing styles and characteristics of drawing styles produced by the pilot and user-based studies described in this dissertation. Candidate drawing style algorithms to support an active, real-time, AR display system, where sensors interpret real-world backgrounds to determine appropriate values for display drawing style characteristics. Lessons learned on applying traditional usability engineering processes to outdoor AR. A modified usability engineering process to assist developers in identifying effective UI designs vis-à-vis user-based studies. / Ph. D.

<p>IT systems with poor usability are a serious problem in many workplaces. Many workers, particularly office workers, spend a large part of their workday at the computer, and usability problems can cause frustration and impact negatively on productivity. This thesis discusses some of the problems associated with addressing usability and users’ needs in IT systems development.</p><p>Usability issues and users’ needs are often marginalised or even abandoned in systems development. Technical issues and deadlines are given precedence, while usability activities and user activities are cut back or cancelled. Research shows that there are various obstacles to usability and user involvement, including difficulties with understanding the usability concept, insufficient usability expertise and a lack of time and resources.</p><p>This thesis presents a number of studies that look at the problem from different angles. The main question is why usability and users’ needs are marginalised in bespoke systems development, where IT systems are built for a specific work context. The research presented in this thesis also addresses user-centred systems design as a way of integrating usability issues and users’ needs into systems development. The thesis concludes with a discussion about different ways of viewing and representing the users’ work: the systems theoretical view and the view of work as a social process. The former emphasises the formal aspects of work and views users as components in an overall system, whereas the latter focuses on work as a social process and people as active agents. The discussion concludes with the argument that the conflict between these two views is played out in the systems development process, which may help explain some of the difficulties that arise when working with usability and users’ needs.</p>

IT systems with poor usability are a serious problem in many workplaces. Many workers, particularly office workers, spend a large part of their workday at the computer, and usability problems can cause frustration and impact negatively on productivity. This thesis discusses some of the problems associated with addressing usability and users’ needs in IT systems development. Usability issues and users’ needs are often marginalised or even abandoned in systems development. Technical issues and deadlines are given precedence, while usability activities and user activities are cut back or cancelled. Research shows that there are various obstacles to usability and user involvement, including difficulties with understanding the usability concept, insufficient usability expertise and a lack of time and resources. This thesis presents a number of studies that look at the problem from different angles. The main question is why usability and users’ needs are marginalised in bespoke systems development, where IT systems are built for a specific work context. The research presented in this thesis also addresses user-centred systems design as a way of integrating usability issues and users’ needs into systems development. The thesis concludes with a discussion about different ways of viewing and representing the users’ work: the systems theoretical view and the view of work as a social process. The former emphasises the formal aspects of work and views users as components in an overall system, whereas the latter focuses on work as a social process and people as active agents. The discussion concludes with the argument that the conflict between these two views is played out in the systems development process, which may help explain some of the difficulties that arise when working with usability and users’ needs.

Syftet med den här uppsatsen var att belysa frågan om hur många användare det behövdes för att uppnå en viss mättnad i en användbarhetsutvärdering för en specifik flash-applikation kallad My Garden. De aspekter som låg till grund för denna uppsats var brytpunkten i ökningen av unika fynd i korrelation med höga procentsatser. Med hjälp av den formativa utvärderingen och analysen av denna gick det sedan att ta reda på vilka problem (så kallade fynd) som upplevdes av användarna i gränssnittet. Resultatet av analysen resulterade i 95 unika fynd i tio användbarhetsutvärderingar. Resultatet visade följaktligen att för denna sorts utvärdering behövdes sju användare för att uppnå 93 % av alla unika fynd som hittades och därmed uppnå en slags mättnad i avklingandet av hittade unika fynd. / The purpose of this report was to highlight the issue of how many people are needed to reach a certain level of saturation in a usability evaluation of a specific flash application called My Garden. The aspects that formed the basis of this study were the breakpoint in the growth of unique findings in correlation with high percentages. The help of the formative evaluation and the analysis made it possible to find out what kind of problems (so called findings) the users experienced within the interface. The results of the analysis resulted in 95 unique findings in ten usability evaluations. The results showed consequently that for this kind of evaluation seven users where needed to reach 93 % of all unique findings and thereby achieve a kind of saturation in the unwinding of the findings of unique findings.

Usability studies are conducted as a part of the usability engineering process, ensuring the usability of a developing product. Such usability studies can be conducted in a usability laboratory, or at the anticipated context of use. At the School of Computing &amp; Informatics Technology (CIT) at Makerere University in Kampala, Uganda, plans for usability facilities are being evolved.This study maps what facilities are beneficial for CIT at Makerere University to adapt in order to fulfil the potential stakeholders’ needs, as well as enabling the stakeholders to conduct wanted usability studies. Furthermore, the study presents various usability engineering methods, to be compared with the needs of the stakeholders.26 potential stakeholders of the usability facilities answered two different surveys. The result shows that the stakeholders’ conceptions about usability studies in some cases are misconceptions, why educational activities about usability and usability studies should be planned alongside the development of the facilities. Further the study shows that the facilities must support usability studies conducted in field as well as studies conducted in a controlled laboratory environment. Moreover, the facilities need to provide facilities for testing mobile services, web applications, user interfaces, and provide for stress and load testing.

Die Usability von Webanwendungen in Geodateninfrastrukturen gewinnt zunehmend an Bedeutung. Eine große Anzahl von Webanwendungen stellt einem heterogenen und wachsenden Nutzerkreis Geoinformationen auf verschiedene Weise über das Web zur Verfügung. Diese Nutzergruppen benötigen robuste und nutzerfreundliche User-Interfaces. Die Usability der verfügbaren Webanwendungen variiert stark, wobei sich eine unzureichende Usability nicht nur auf die Akzeptanz der Webanwendung, sondern vielfach auf die Akzeptanz der bereitgestellten Geoinformationen bzw. auf die der ganzen Geodateninfrastruktur auswirkt. Die Behebung von Usability-Problemen aus Webanwendungen in Geodateninfrastrukturen (GI-Webanwendungen) ist derzeit mit einem hohen Aufwand verbunden. Ein Grund dafür ist die fehlende Strukturierung wiederkehrender Usability-Probleme, die zur Folge hat, dass Usability-Probleme stets durch Usability-Evaluierungen neu erkannt werden müssen. Strukturierte Usability-Probleme lassen sich durch Lösungsmuster beheben. Die Vielzahl der verfügbaren GI-Webanwendungen lässt darauf schließen, dass für die grundlegenden wiederkehrenden Probleme bereits Lösungen in anderen GI-Webanwendungen existieren. Bisher werden die Lösungen jedoch für jede Anwendung neu entwickelt und implementiert. Es fehlt an Methoden und Konzepten die (häufig) auftretenden Usability-Probleme in GI-Webanwendungen strukturiert zu erfassen und durch Lösungsmuster zu beheben. Die Beiträge der vorliegenden Arbeit bestehen unter anderem in einer Auseinandersetzung mit dem Themengebiet der Usability für Webanwendungen in Geodateninfrastrukturen. Ein Ergebnis der Arbeit besteht in der interdisziplinären Grundlagenbetrachtung zur Usability im Softwareentwicklungsprozess und zu Kernaspekten von Geodateninfrastrukturen und darin verfügbaren Webanwendungen. Im Rahmen der Arbeit erfolgte ebenfalls eine Systematisierung bisheriger Forschungsarbeiten zur Usability in GI-Webanwendungen. Diese zeigte, dass das Bewusstsein für die Bedeutung der Usability in der GI-Domäne bereits vorhanden ist, es zum Teil aber noch an detaillierten Untersuchungen fehlt. Daher wurden in verschiedenen eigenen Usability-Studien Untersuchungen zur Usability in der GI-Domäne durchgeführt. Die daraus resultierende strukturierte Sammlung von Usability-Problemen in GI-Webanwendungen bildet ein Usability-Grundwissen für zukünftige Neuentwicklungen oder Überarbeitungen von GI-Webanwendungen. Die gesammelten Usability-Probleme lassen sich teilweise auch in anderen Anwendungen der Domäne finden, und bilden somit auch für deren Entwicklung bzw. Redesign eine sinnvolle Wissensbasis. Für die strukturierte Erfassung von Usability-Problemen aus GI-Webanwendungen und entsprechende Lösungsvorschläge wird das Konzept der Usability-Patterns für GI-Webanwendungen vorgeschlagen. Durch die Integration des GIDomänenwissens in die Patternstruktur, können Usability-Probleme der Domäne entsprechend spezifischer beschrieben und passende Lösungen aufgefunden werden. Neue Patterntypen und -relationen mit Regeln zur Kombinierbarkeit der Typen und Relationen ermöglichen die Vermeidung mehrfach auftretender Usability-Probleme, wie z. B. des Mangels eines konsistenten Design- und Interaktionskonzepts. Aufbauend auf einem komplexen Anwendungsfall wird die Umsetzbarkeit des Konzepts der Usability-Patterns für GI-Webanwendungen gezeigt. In einer selbst entwickelten Anwendung zur Exploration und Visualisierung wissenschaftlicher GI-Ressourcen werden dazu Beispielpatterns umgesetzt und evaluiert. Die Anwendung implementiert neuartige Visualisierungs- und Interaktionskonzepte für die Exploration von GI-Ressourcen, zeigt aber auch die Übertragbarkeit von Lösungskonzepten aus anderen Domänen. Ein sogenannter Patternbrowser veranschaulicht, wie die Recherche und Exploration von Patterns einer Patternsammlung auf Basis der Patternmerkmale erfolgen kann. Die Webanwendung stellt damit ein Werkzeug für die projektübergreifende Arbeit interdisziplinärer Teams dar. Eine Formalisierung der wesentlichen Patternmerkmale bildet die Grundlage für die vielfältige Nutzung des neuen Konzepts, z. B. in verschiedenen Softwareanwendungen wie GUI-Buildern, und damit verbundene weiterführende Forschungsarbeiten.

This thesis deals with the topic of website optimization and user testing, with focus on the user experience. The main objective of this thesis is to design a software tool for on-line testing of the user experience of web applications, which currently does not exist on the Czech Internet. The first part deals with the user experience in theoretical aspect. It contains a comparison of experts' opinions on the issue and deals with the definition of basic concepts. The theoretical part contains an analysis of research techniques used in designing the user experience, which is an important output for the second part. Practical part of thesis includes at the beginning a research of the availability of tools to support analyzed research techniques on Czech Internet and assess their suitability for implementation into the designed tool. Afterwards thesis follow up the main goal - the development of a software tool for usability testing of web applications and websites (incl. the proposed business model and potential areas for future development). This tool should among other things provide benefits in terms of speed up and simplification of usability testing, including reducing the costs of testing.

The master's thesis deals with the quality of software products focusing on usability of these products and methods of its measurement. The thesis resumes the definitions of quality from different sources and quality models according to available standards. It also describes usability in detail and methods and metrics for its measurement and analyses current situation in this field. In the thesis the tool for measuring usability of desktop software products was designed and implemented.

Die Usability von Webanwendungen in Geodateninfrastrukturen gewinnt zunehmend an Bedeutung. Eine große Anzahl von Webanwendungen stellt einem heterogenen und wachsenden Nutzerkreis Geoinformationen auf verschiedene Weise über das Web zur Verfügung. Diese Nutzergruppen benötigen robuste und nutzerfreundliche User-Interfaces. Die Usability der verfügbaren Webanwendungen variiert stark, wobei sich eine unzureichende Usability nicht nur auf die Akzeptanz der Webanwendung, sondern vielfach auf die Akzeptanz der bereitgestellten Geoinformationen bzw. auf die der ganzen Geodateninfrastruktur auswirkt. Die Behebung von Usability-Problemen aus Webanwendungen in Geodateninfrastrukturen (GI-Webanwendungen) ist derzeit mit einem hohen Aufwand verbunden. Ein Grund dafür ist die fehlende Strukturierung wiederkehrender Usability-Probleme, die zur Folge hat, dass Usability-Probleme stets durch Usability-Evaluierungen neu erkannt werden müssen. Strukturierte Usability-Probleme lassen sich durch Lösungsmuster beheben. Die Vielzahl der verfügbaren GI-Webanwendungen lässt darauf schließen, dass für die grundlegenden wiederkehrenden Probleme bereits Lösungen in anderen GI-Webanwendungen existieren. Bisher werden die Lösungen jedoch für jede Anwendung neu entwickelt und implementiert. Es fehlt an Methoden und Konzepten die (häufig) auftretenden Usability-Probleme in GI-Webanwendungen strukturiert zu erfassen und durch Lösungsmuster zu beheben. Die Beiträge der vorliegenden Arbeit bestehen unter anderem in einer Auseinandersetzung mit dem Themengebiet der Usability für Webanwendungen in Geodateninfrastrukturen. Ein Ergebnis der Arbeit besteht in der interdisziplinären Grundlagenbetrachtung zur Usability im Softwareentwicklungsprozess und zu Kernaspekten von Geodateninfrastrukturen und darin verfügbaren Webanwendungen. Im Rahmen der Arbeit erfolgte ebenfalls eine Systematisierung bisheriger Forschungsarbeiten zur Usability in GI-Webanwendungen. Diese zeigte, dass das Bewusstsein für die Bedeutung der Usability in der GI-Domäne bereits vorhanden ist, es zum Teil aber noch an detaillierten Untersuchungen fehlt. Daher wurden in verschiedenen eigenen Usability-Studien Untersuchungen zur Usability in der GI-Domäne durchgeführt. Die daraus resultierende strukturierte Sammlung von Usability-Problemen in GI-Webanwendungen bildet ein Usability-Grundwissen für zukünftige Neuentwicklungen oder Überarbeitungen von GI-Webanwendungen. Die gesammelten Usability-Probleme lassen sich teilweise auch in anderen Anwendungen der Domäne finden, und bilden somit auch für deren Entwicklung bzw. Redesign eine sinnvolle Wissensbasis. Für die strukturierte Erfassung von Usability-Problemen aus GI-Webanwendungen und entsprechende Lösungsvorschläge wird das Konzept der Usability-Patterns für GI-Webanwendungen vorgeschlagen. Durch die Integration des GIDomänenwissens in die Patternstruktur, können Usability-Probleme der Domäne entsprechend spezifischer beschrieben und passende Lösungen aufgefunden werden. Neue Patterntypen und -relationen mit Regeln zur Kombinierbarkeit der Typen und Relationen ermöglichen die Vermeidung mehrfach auftretender Usability-Probleme, wie z. B. des Mangels eines konsistenten Design- und Interaktionskonzepts. Aufbauend auf einem komplexen Anwendungsfall wird die Umsetzbarkeit des Konzepts der Usability-Patterns für GI-Webanwendungen gezeigt. In einer selbst entwickelten Anwendung zur Exploration und Visualisierung wissenschaftlicher GI-Ressourcen werden dazu Beispielpatterns umgesetzt und evaluiert. Die Anwendung implementiert neuartige Visualisierungs- und Interaktionskonzepte für die Exploration von GI-Ressourcen, zeigt aber auch die Übertragbarkeit von Lösungskonzepten aus anderen Domänen. Ein sogenannter Patternbrowser veranschaulicht, wie die Recherche und Exploration von Patterns einer Patternsammlung auf Basis der Patternmerkmale erfolgen kann. Die Webanwendung stellt damit ein Werkzeug für die projektübergreifende Arbeit interdisziplinärer Teams dar. Eine Formalisierung der wesentlichen Patternmerkmale bildet die Grundlage für die vielfältige Nutzung des neuen Konzepts, z. B. in verschiedenen Softwareanwendungen wie GUI-Buildern, und damit verbundene weiterführende Forschungsarbeiten.:1 Einleitung 9 1.1 Motivation 9 1.2 Forschungsfragen 11 1.3 Aufbau der Arbeit 13 2 Usability und Webanwendungen in Geodateninfrastrukturen 16 2.1 Usability und Usability-Evaluierungsmethoden 16 2.2 Webanwendungen in Geodateninfrastrukturen 25 3 Untersuchungen zur Usability in Geodateninfrastrukturen 34 3.1 Abgrenzung der Usability in GI-Webanwendungen 35 3.2 Usability-Evaluierungsmethoden für GI-Webanwendungen 36 3.3 Konzeption und Durchführung von Usability-Inspektionen für GIWebanwendungen 41 3.4 Usability-Probleme in GI-Webanwendungen 57 4 Patterns in der Softwareentwicklung 61 4.1 Patterns und Design-Patterns 61 4.2 Mensch-Computer-Interaktions-Patterns 63 4.3 Usability-Patterns 65 4.4 Organisationsprinzipien von Patterns 70 4.5 Formalisierung von Patterns 73 5 Konzeption von Usability-Patterns für GI-Webanwendungen 76 5.1 Anwendbarkeit der Usability-Patterns auf GI-Webanwendungen 76 5.2 Allgemeine Anforderungen und Patternbeispiele 80 5.3 Integration von Hilfsstrukturen zur Patternnutzung und des GIDomänenwissens in die Patternstruktur 82 5.4 Modellierung eines konsistenten Design- und Interaktionskonzepts 88 6 Umsetzung und Evaluierung des Konzepts 100 6.1 Fallstudie: GLUES – Suchen wissenschaftlicher GI-Ressourcen 100 6.2 Exemplarische Umsetzung von Usability-Patterns 106 6.3 Usability-Studie zur Umsetzung der Usability-Patterns 111 7 Unterstützung bei der Nutzung des Patternkonzepts 132 7.1 Patternbrowser zur Suche nach Usability-Patterns 132 7.2 Formalisierung von Usability-Patterns für GI-Webanwendungen 134 8 Zusammenfassung 144 8.1 Diskussion und Beantwortung der Forschungsfragen 144 8.2 Ausblick und zukünftige Arbeiten 148 9 Anhang 152 9.1 Modelle 152 9.2 Usability-Studien 153 9.3 Eyetracking-Studie 159 10 Verzeichnisse 185 10.1 Abbildungsverzeichnis 185 10.2 Tabellenverzeichnis 188 10.3 Listingverzeichnis 190 10.4 Literaturverzeichnis 191