Purpose – Artificial Intelligence has seen important growth in the digital area in recent years. Our aim is to explore possible guidelines that make use of AI advances to design good user experiences for digital products. Method – The proposed methods to gather the necessary qualitative data to support our claim involve open-ended interviews with UX/UI Designers working in the industry, in order to gain a deeper understanding of their thoughts and experiences. In addition, a literature review is conducted to identify the knowledge gap and build the base of our new theory. Findings – Our findings suggest a need to embrace new technological developments in favour of enhancing UX designers’ workflow. Additionally, basic AI and ML knowledge is needed to utilise these capabilities to their full potential. Indeed, a crucial area of impact where AI can augment a designer’s reach is personalization. Together with smart algorithms, designers may target their creations to specific user needs and demands. UX designers even have the opportunity for innovation as mundane tasks are automated by intelligent assistants, which broadens the possibility of acquiring further skills to enhance their work. One result, that is both innovative and unexpected, is the notion that AI and ML can augment a designer’s creativity by taking over mundane tasks, as well as, providing assistance with certain graphics and inputs. Implications – These results indicate that AI and ML may potentially impact the UX industry in a positive manner, as long as designers make use of the technology for the benefit of the user in true human-centred practice. Limitations – Nevertheless, our study presents its own unique limitations due to the scope and time frame of this dissertation, we are bound to the knowledge gathered from a small sample of professionals in Sweden. Presented guidelines are a suggestion based on our research and not a definitive workflow.

L’évaluation de l'utilisabilité des systèmes interactifs est l'un des plus grands intérêts de la communauté des Interactions Homme-Machine. Pour réussir cette évaluation, plusieurs méthodes et outils d'évaluation subjective et objective ont été proposés et appliqués dans l'académie et l'industrie. Dans ce contexte, les évaluateurs d'utilisabilité travaillent habituellement avec beaucoup et différents types de données. Ceux-ci sont générés à partir de diverses méthodes et outils et liés à différents critères d'utilisabilité. En général, la compréhension et l'interprétation de ces données hétérogènes ne sont pas des tâches faciles. Dans cette thèse, nous proposons d'intégrer des données d'évaluation subjective et objective afin de mieux aider les évaluateurs à la prise de décision sur la qualité des systèmes interactifs dans le domaine des systèmes de supervision du trafic. En effet, nous avons appliqué le modèle de mesure d'information défini par la norme ISO/IEC 15939 avec l'utilisation des indicateurs dans un environnement d'évaluation des systèmes interactifs. Le développement de cet environnement a débuté depuis une décennie. Ainsi, pour compléter sa mise en œuvre et le mettre en pratique, nous avons appliqué plusieurs indicateurs d'utilisabilité proposés dans l'évaluation d’un système de supervision du trafic. Ces indicateurs intègrent les résultats d'évaluation subjective et objective des questionnaires d'utilisabilité, un inspecteur des règles ergonomiques et un mouchard électronique. Ils fournissent une base pour aider à l'interprétation des résultats obtenus. De plus, ils permettent la détection des problèmes d'utilisabilité et donnent des recommandations pour améliorer les interfaces utilisateur. Enfin, cette thèse propose des perspectives de recherche sur la base des limites rencontrées. / Usability evaluation for interactive systems is one of the greatest interests for Human-Computer Interaction community. To the success of this evaluation, several subjective and objective evaluation methods and tools have been proposed and applied in academy and industry. In this context, usability evaluators usually work with a lot of and different kind of data. These data are generated from various methods and tools and related to different usability criteria. In general, understanding and interpreting these heterogeneous data are not easy tasks. In this thesis, we propose to integrate subjective and objective evaluation data to better support the quality evaluators’ decision-making for traffic supervision systems domain. In fact, we applied the measurement information model defined by ISO/IEC 15939 with the use of indicators in an interactive system evaluation environment. The development of this environment has started in a decade. Thus, for completing implementation and putting it into practice, we have applied several proposed usability indicators in the evaluation of a traffic supervision system. These indicators integrate subjective and objective evaluation results from usability questionnaires, an ergonomic guidelines inspector and an electronic informer. They provide a basis for aiding the interpretation of their results obtained. Furthermore, they allow detecting usability problems and give recommendations for enhancing the user interfaces. Finally, this thesis propose research perspectives based on the encountered limits.

Ce mémoire contribue à la thématique de l'évaluation des interfaces utilisateur. Il se base sur deux contributions pour l'évaluation de ces interfaces. La première consiste en un Framework se basant sur trois différentes techniques d'évaluation (le mouchard électronique, le questionnaire et l'inspection des règles ergonomiques). La seconde consiste en deux ensembles de composants graphiques pour la composition d'interfaces graphiques avec les environnements de développement intégral du type WYSIWYG. Le premier ensemble vise à inspecter la présentation statique de l'interface lors de la conception de cette dernière. Cette inspection s'effectue localement par le composant graphique lui-même par rapport à un ensemble de règles ergonomiques. Le second ensemble consiste à l'évaluation de l'interface utilisateur en analysant l'interaction entre l'utilisateur et l'interface. Cet ensemble de composants opère avec un mouchard dédié à cet usage. Une évaluation de ces deux contributions ainsi que des perspectives de recherche concluront ce présent mémoire. / This thesis report is a contribution to the user interface evaluation theme. Our thesis is based mainly on two contributions for user interface evaluation. The first one consists of a Framework dedicated for user interface evaluation. It is based on three evaluation techniques (the electronic informer, the questionnaire and the ergonomic inspection). The second consists of two sets of graphical controls for composing the user interface using WYSIWYG integrated development environment. The thirst set is intended to inspect the user interface static display during the design phase. This inspection is elaborated by the control itself according to ergonomic guidelines. The second set consists in evaluating user interfaces by analyzing the interaction between the user and the interface. This set of controls operates with an electronic informer dedicated to user interface evaluation. An evaluation of these two contributions as well as research perspectives concludes this present report.

Die Usability von Webanwendungen in Geodateninfrastrukturen gewinnt zunehmend an Bedeutung. Eine große Anzahl von Webanwendungen stellt einem heterogenen und wachsenden Nutzerkreis Geoinformationen auf verschiedene Weise über das Web zur Verfügung. Diese Nutzergruppen benötigen robuste und nutzerfreundliche User-Interfaces. Die Usability der verfügbaren Webanwendungen variiert stark, wobei sich eine unzureichende Usability nicht nur auf die Akzeptanz der Webanwendung, sondern vielfach auf die Akzeptanz der bereitgestellten Geoinformationen bzw. auf die der ganzen Geodateninfrastruktur auswirkt. Die Behebung von Usability-Problemen aus Webanwendungen in Geodateninfrastrukturen (GI-Webanwendungen) ist derzeit mit einem hohen Aufwand verbunden. Ein Grund dafür ist die fehlende Strukturierung wiederkehrender Usability-Probleme, die zur Folge hat, dass Usability-Probleme stets durch Usability-Evaluierungen neu erkannt werden müssen. Strukturierte Usability-Probleme lassen sich durch Lösungsmuster beheben. Die Vielzahl der verfügbaren GI-Webanwendungen lässt darauf schließen, dass für die grundlegenden wiederkehrenden Probleme bereits Lösungen in anderen GI-Webanwendungen existieren. Bisher werden die Lösungen jedoch für jede Anwendung neu entwickelt und implementiert. Es fehlt an Methoden und Konzepten die (häufig) auftretenden Usability-Probleme in GI-Webanwendungen strukturiert zu erfassen und durch Lösungsmuster zu beheben. Die Beiträge der vorliegenden Arbeit bestehen unter anderem in einer Auseinandersetzung mit dem Themengebiet der Usability für Webanwendungen in Geodateninfrastrukturen. Ein Ergebnis der Arbeit besteht in der interdisziplinären Grundlagenbetrachtung zur Usability im Softwareentwicklungsprozess und zu Kernaspekten von Geodateninfrastrukturen und darin verfügbaren Webanwendungen. Im Rahmen der Arbeit erfolgte ebenfalls eine Systematisierung bisheriger Forschungsarbeiten zur Usability in GI-Webanwendungen. Diese zeigte, dass das Bewusstsein für die Bedeutung der Usability in der GI-Domäne bereits vorhanden ist, es zum Teil aber noch an detaillierten Untersuchungen fehlt. Daher wurden in verschiedenen eigenen Usability-Studien Untersuchungen zur Usability in der GI-Domäne durchgeführt. Die daraus resultierende strukturierte Sammlung von Usability-Problemen in GI-Webanwendungen bildet ein Usability-Grundwissen für zukünftige Neuentwicklungen oder Überarbeitungen von GI-Webanwendungen. Die gesammelten Usability-Probleme lassen sich teilweise auch in anderen Anwendungen der Domäne finden, und bilden somit auch für deren Entwicklung bzw. Redesign eine sinnvolle Wissensbasis. Für die strukturierte Erfassung von Usability-Problemen aus GI-Webanwendungen und entsprechende Lösungsvorschläge wird das Konzept der Usability-Patterns für GI-Webanwendungen vorgeschlagen. Durch die Integration des GIDomänenwissens in die Patternstruktur, können Usability-Probleme der Domäne entsprechend spezifischer beschrieben und passende Lösungen aufgefunden werden. Neue Patterntypen und -relationen mit Regeln zur Kombinierbarkeit der Typen und Relationen ermöglichen die Vermeidung mehrfach auftretender Usability-Probleme, wie z. B. des Mangels eines konsistenten Design- und Interaktionskonzepts. Aufbauend auf einem komplexen Anwendungsfall wird die Umsetzbarkeit des Konzepts der Usability-Patterns für GI-Webanwendungen gezeigt. In einer selbst entwickelten Anwendung zur Exploration und Visualisierung wissenschaftlicher GI-Ressourcen werden dazu Beispielpatterns umgesetzt und evaluiert. Die Anwendung implementiert neuartige Visualisierungs- und Interaktionskonzepte für die Exploration von GI-Ressourcen, zeigt aber auch die Übertragbarkeit von Lösungskonzepten aus anderen Domänen. Ein sogenannter Patternbrowser veranschaulicht, wie die Recherche und Exploration von Patterns einer Patternsammlung auf Basis der Patternmerkmale erfolgen kann. Die Webanwendung stellt damit ein Werkzeug für die projektübergreifende Arbeit interdisziplinärer Teams dar. Eine Formalisierung der wesentlichen Patternmerkmale bildet die Grundlage für die vielfältige Nutzung des neuen Konzepts, z. B. in verschiedenen Softwareanwendungen wie GUI-Buildern, und damit verbundene weiterführende Forschungsarbeiten.:1 Einleitung 9 1.1 Motivation 9 1.2 Forschungsfragen 11 1.3 Aufbau der Arbeit 13 2 Usability und Webanwendungen in Geodateninfrastrukturen 16 2.1 Usability und Usability-Evaluierungsmethoden 16 2.2 Webanwendungen in Geodateninfrastrukturen 25 3 Untersuchungen zur Usability in Geodateninfrastrukturen 34 3.1 Abgrenzung der Usability in GI-Webanwendungen 35 3.2 Usability-Evaluierungsmethoden für GI-Webanwendungen 36 3.3 Konzeption und Durchführung von Usability-Inspektionen für GIWebanwendungen 41 3.4 Usability-Probleme in GI-Webanwendungen 57 4 Patterns in der Softwareentwicklung 61 4.1 Patterns und Design-Patterns 61 4.2 Mensch-Computer-Interaktions-Patterns 63 4.3 Usability-Patterns 65 4.4 Organisationsprinzipien von Patterns 70 4.5 Formalisierung von Patterns 73 5 Konzeption von Usability-Patterns für GI-Webanwendungen 76 5.1 Anwendbarkeit der Usability-Patterns auf GI-Webanwendungen 76 5.2 Allgemeine Anforderungen und Patternbeispiele 80 5.3 Integration von Hilfsstrukturen zur Patternnutzung und des GIDomänenwissens in die Patternstruktur 82 5.4 Modellierung eines konsistenten Design- und Interaktionskonzepts 88 6 Umsetzung und Evaluierung des Konzepts 100 6.1 Fallstudie: GLUES – Suchen wissenschaftlicher GI-Ressourcen 100 6.2 Exemplarische Umsetzung von Usability-Patterns 106 6.3 Usability-Studie zur Umsetzung der Usability-Patterns 111 7 Unterstützung bei der Nutzung des Patternkonzepts 132 7.1 Patternbrowser zur Suche nach Usability-Patterns 132 7.2 Formalisierung von Usability-Patterns für GI-Webanwendungen 134 8 Zusammenfassung 144 8.1 Diskussion und Beantwortung der Forschungsfragen 144 8.2 Ausblick und zukünftige Arbeiten 148 9 Anhang 152 9.1 Modelle 152 9.2 Usability-Studien 153 9.3 Eyetracking-Studie 159 10 Verzeichnisse 185 10.1 Abbildungsverzeichnis 185 10.2 Tabellenverzeichnis 188 10.3 Listingverzeichnis 190 10.4 Literaturverzeichnis 191

Ziel der vorliegenden Arbeit ist die Erstellung eines Konzeptes für ein softwarebasiertes Assistenzsystem für die Erstellung des innermaschinellen Verfahrens produktionstechnischer Systeme. Das Konzept wird dabei in Form eines Software-Mockups für die Benutzerschnittstelle des Systems präsentiert. Nach einer Recherche zum Stand von Wissenschaft und Technik, hinsichtlich des konstruktiven Entwicklungsprozesses von Verarbeitungsmaschinen, werden besonders die Arbeitsinhalte und Methoden der zum Prozess zugehörigen Konzeptphase untersucht. Dabei wird abschließend geprüft, inwiefern konkrete Rechnerunterstützungen für die Konzeptphase des allgemeinen Maschinenbaus auf den Bereich des Verarbeitungsmaschinenbaus übertragbar sind. Es folgt die Zusammenfassung verschiedener Vorgehensmodelle für die Softwareentwicklung sowie ein Überblick zu den Grundlagen der Softwareergonomie. Bei der folgenden Konzeptentwicklung werden die Rechercheergebnisse aufgegriffen. Angelehnt an die Arbeitsschritte des klassischen Phasenmodells der Softwareentwicklung werden zunächst Anforderungen und Spezifikationen für das zu entwickelnde Assistenzsystem aufgestellt. In einer sich anschließenden Entwurfsphase wird der zukünftige Systemaufbau umrissen. Zudem werden Entwürfe, in Form von Wireframes, für die Darstellung einzelner Funktionalitäten der künftigen Benutzerschnittstelle des Assistenzsystems erstellt. Diese werden verglichen und kombiniert, sodass eine gewählte Vorzugslösung für die Mockup-Erstellung bereitsteht. Abschließend werden, nach erfolgter Umsetzung des Mockups, für die Erstellung des innermaschinellen Verfahrens anhand eines konkreten Maschinenbeispiels, Möglichkeiten zur Konzepterweiterung und -umsetzung vorgeschlagen. / The aim of the following thesis is the development of a concept for a software-based assistance system which supports the creation of the process model of processing machines. The concept is presented as a software mockup that shows the user interface of the system. After an investigation on the state of science and technology, regarding the constructive development process of processing machines, especially the contents and methods of the concept phase, which is associated with the process, are examined. Finally, it is being checked which specific computer support for the concept phase of general mechanical engineering can be transferred to the field of processing machine construction. The summary of various proceed models for general software development follows as well as an overview on the basics of software ergonomics. During the subsequent concept development, the findings from the research are used. Based on the work steps of the phase model of software development, requirements and specifications for the concept, which has been developed, are initially set up. In the following design phase, the future system structure is outlined. In addition, drafts presented as wireframes are created for the presentation of individual functionalities of the future user interface of the assistance system. In the conclusion they are compared to and combined with each other so that a chosen preferred solution is available for mockup creation. Finally, after the realization of the mockup that shows the creation of the process model based on a tangible machine example, ways to expand and to implement the concept are proposed.

This diploma thesis deals with the accessibility of a voice user interface (VUI) for digitally illiterate people. The first part summarizes the principles of VIU design, the standardized methods of usability evaluation and analyzes empirical studies of the accessibility of VUI. The second part of the thesis describes in detail the proposed experiment which uses the OZ method. It deals with the segmentation of digitally illiterate people and describes their typical representatives. The third part is devoted to the analysis of the research results, the evaluation of the usability of interaction systems and analyzes recorded dialogues between participants and the prototype of the voice user interface. The last part discusses the results of the research and formulates preliminary conclusions on the accessibility of VUI for digitally illiterate persons. In addition to the preliminary conclusions, the product of this work presents new hypotheses concerning this specific area of human-computer interaction. Keywords human computer interaction, voice user interface, digital literacy, accessibility, usability 1

Graphical user interfaces for high-assurance systems must fulfill a range of security requirements such as protected and reliable presentation, prevention of unauthorized cross-domain talk, and prevention of user-input eavesdropping. Additionally, it is desirable to support legacy applications running in confined compartments. Standard isolation methods such as virtual-machine monitors provide one frame buffer per security domain, where each frame buffer is managed by one legacy window system. This raises the question of how to safely integrate multiple (legacy) window systems and protect the displayed data while preserving the usability of modern user interfaces. Our paper describes the OverlayWindow System, a general mechanism for multiplexing windows of multiple distinct window systems into the host frame buffer. Thus, each legacy window appears to the user as one corresponding host window that can be moved and resized. To achieve this, only slight modifications of the legacy window system are required whereby, the source code does not have to be available. Our implementation of an Overlay Window System successfully multiplexes Linux, GEM and native L4 applications.

The goal of the project has been to investigate how room reservation systems should be designed so that booked rooms are utilized and so that ambiguities about booked rooms do not arise. User interfaces have been created through a prototype and algorithms have been designed and implemented. The Design Science method was utilized for activities related to prototypes and algorithms. Evaluation of the prototype involved conducting usability tests which have shown that the user interface is easy to use. Unit tests and integration tests have been applied to ensure that the implemented algorithms work properly. A survey was conducted to examine how an existing system and the proposed features are perceived. The results of the survey indicate that the identified problems are experienced by the respondents and that the proposed features are appreciated. More respondents would however have been desirable. Moreover, the results of the usability tests may differ if they are performed on a complete system. These tests should include people of different technical competence. Analysis of the algorithms mentions assumptions made during design, considerations for implementation and possible corrections. Analysis of the unit tests and integration tests mentions that they are limited in some aspects. Design Science has been useful for the project but has not always been perfect. Future work involves examining how authentication for the systems should be designed, developing a complete system that implements the proposed solutions, correcting the algorithms and gathering more data on how the proposed solutions and existing systems are perceived. / Projektets mål har varit att undersöka hur rumsreservationssystem ska utformas så att bokade rum nyttjas och så missförstånd om vilka rum som är bokade ej uppstår. För ändamålet har användargränssnitt skapats genom en prototyp och algoritmer har framställts och implementerats. Framställningen av prototyper samt konstruktion och implementering av algoritmer har skett enligt Design Science. Utvärdering av prototypen har inneburit genomförande av användbarhetstester som har visat att det föreslagna användargränssnittet är lättanvänt. Enhetstester och integrationstester har tillämpats upprepade gånger för att säkerställa att de implementerade algoritmerna fungerar korrekt. En enkätundersökning har genomförts för att ta reda på hur ett befintligt rumsreservationssystem och de föreslagna funktionerna uppfattas. Resultatet av enkätundersökningen tyder på att problemen som identifierats upplevs bland enkätdeltagarna och att de föreslagna funktionerna är eftertraktade. Projektets resultat tyder på att fler enkätdeltagare hade varit önskvärt och att användbarhetstestens resultat kan bli annorlunda om de genomförs på ett riktigt system samt att de bör innefatta personer av olika teknisk kompetens. Analys av algoritmerna nämner antaganden som gjorts för deras framställning, vad som bör tas i åtanke för deras implementation och korrigeringar som kan genomföras. Analys av enhetstesten och integrationstesten nämner att de är begränsade i vissa avseenden. Design Science har varit användbart för projektets syfte men har inte alltid varit perfekt. Framtida arbete innebär att ta reda på hur autentisering för systemen bör utformas, utveckla ett komplett system som implementerar lösningsförslagen, korrigera algoritmerna som framställts samt samla in mer data om hur lösningsförslagen och befintliga system uppfattas.

This work is an interdisciplinary study involving mainly the fields of information visualisation and human-computer interaction. The advancement of technology has expanded the ways in which humans interact with machines, which has benefited both the industry as well as several fields within science. However, scientists and practitioners in the information visualisation domain remain working, mostly, with classical setups constituted of keyboard and standard computer mouse devices. This project investigates how a shift in the human-computer interaction aspect of visualisation software systems can affect the accomplishment of tasks and the overall user experience when analysing two-dimensionally displayed multivariate networks. Such investigation is relevant as complex network structures have seen an increase in use as essential tools to solve challenges that directly affect individuals and societies, such as in medicine or social sciences. The improvement of visualisation software’s usability can result in more of such challenges answered in a shorter time or with more precision. To answer this question, a web application that enables users to analyse multivariate networks through interfaces based both on hand gesture recognition and mouse device was developed. Also, a number of gesture designs were developed for several tasks to be performed when visually analysing networks. Then, an expert in the field of human-computer interaction was invited to review the proposed hand gestures and report his overall user experience of using them. The results show that the expert had, overall, similar user experience for both hand gestures and mouse device. Moreover, the interpretation of the results indicates that the accuracy offered by gestures has to be carefully taken into account when designing gestures for selection tasks, particularly when the selection targets are small objects. Finally, our analysis points out that the manner in which the software’s graphical user interface is presented also affects the usability of gestures, and that both factors have to be designed accordingly.

Today media centers are often cluttered with multiple devices each controlled by their own remote control. It is often hard and/or painful to manage and utilize these devices, especially for inexperienced users. Simstream wants to build an innovative smart-TV that as much as possible centralizes functions and controls.  Operating the system should be intuitive and simple, yet experienced users should have access to more advanced operations. This requires acquiring several inputs as well as integrating the communication devices that are necessary to control the attached external devices. Whenever possible, we want to efficiently process every input while minimizing latencies.  As a result, we want all the frequent operation to be as quick and lightweight as possible in order to provide a high quality user experience even under high system loads. This project takes advantage of the widespread availability of touchscreen mobile devices in order to provide an innovative means of control over the television, with remote control mobile applications running on an user’s familiar device. A remote controller will also be sold together with the television, and this remote controller will also have a touchscreen, and will propose the same capabilities as the remote control mobile applications. Finally, this platform will be open to third-party applications, and as a result this thesis project developed a software development kit which is designed to be easy and familiar enough for developers to adopt it and create applications with it. Applications will be developed together with an interface displayed on the remote controllers, in order to tailor the remote control interface to what is currently displayed on the television screen / Idag är mediecentrer ofta belamrade med många enheter som är kontrollerade av sina egna fjärrkontroller. Det är ofta svårt och / eller smärtsamt att använda dessa enheterna, särskilt för oerfarna användare. Simstream vill bygga en innovativ smart TV som centraliserar funktioner och kontroller så mycket som möjligt. Att använda systemet ska vara intuitivt och enkelt, men mer erfarna användare ska också ha tillgång till mer avancerade funktioner. Detta kräver att förvärva flera indata samt att integrera kommunikationsenheterna som är nödvändiga för att kontrollera de anslutna externa enheter. När det är möjligt vill vi behandla varje indata på ett effektivt sätt oh samtidigt minimera latenser. Det här betyder att en operation som utförs ofta skall vara så snabb och så lätt som möjligt, för att förbättra användarupplevelse även när systemet är hårt belastad. Detta projekt drar fördel av den vidsprädda tillgången till pekskärma mobila enheter för att tillföra användaren en innovativ kontroll över sin TV, direkt från sin bekanta enhet. Slutligen kommer denna plattformen att vara öppen för tredjepartsutvecklare, och som ett resultat har detta examensarbete utvecklat ett software development kit som är gjort för att vara enkelt och välbekant nog för att utvecklare ska kunna använda det och skapa applikationer med det.