For formative evaluations of user experience (UX) a variety of methods have been developed over the years. However, most techniques require the users to interact with the study as a secondary task. This active involvement in the evaluation is not inclusive of all users and potentially biases the experience currently being studied. Yet there is a lack of methods for situations in which the user has no spare cognitive resources. This condition occurs when 1) users' cognitive abilities are impaired (e.g., people with dementia) or 2) users are confronted with very demanding tasks (e.g., air traffic controllers). In this work we focus on emotions as a key component of UX and propose the new structured observation method Proxemo for formative UX evaluations. Proxemo allows qualified observers to document users' emotions by proxy in real time and then directly link them to triggers. Technically this is achieved by synchronising the timestamps of emotions documented by observers with a video recording of the interaction.
In order to facilitate the documentation of observed emotions in highly diverse contexts we conceptualise and implement two separate versions of a documentation aid named Proxemo App. For formative UX evaluations of technology-supported reminiscence sessions with people with dementia, we create a smartwatch app to discreetly document emotions from the categories anger, general alertness, pleasure, wistfulness and pride. For formative UX evaluations of prototypical user interfaces with air traffic controllers we create a smartphone app to efficiently document emotions from the categories anger, boredom, surprise, stress and pride. Descriptive case studies in both application domains indicate the feasibility and utility of the method Proxemo and the appropriateness of the respectively adapted design of the Proxemo App.
The third part of this work is a series of meta-evaluation studies to determine quality criteria of Proxemo. We evaluate Proxemo regarding its reliability, validity, thoroughness and effectiveness, and compare Proxemo's efficiency and the observers' experience to documentation with pen and paper. Proxemo is reliable, as well as more efficient, thorough and effective than handwritten notes and provides a better UX to observers. Proxemo compares well with existing methods where benchmarks are available.
With Proxemo we contribute a validated structured observation method that has shown to meet requirements formative UX evaluations in the extreme contexts of users with cognitive impairments or high task demands. Proxemo is agnostic regarding researchers' theoretical approaches and unites reductionist and holistic perspectives within one method.
Future work should explore the applicability of Proxemo for further domains and extend the list of audited quality criteria to include, for instance, downstream utility. With respect to basic research we strive to better understand the sources leading observers to empathic judgments and propose reminisce and older adults as model environment for investigating mixed emotions. / Für formative Evaluationen der User Experience (UX) wurden im Laufe der Jahre zahlreiche Methoden entwickelt. Die meisten Methoden erfordern jedoch, dass die Benutzer als Nebenaufgabe mit der Studie interagieren. Diese aktive Beteiligung an der Evaluation kann das untersuchte Erlebnis verfälschen und schließt Benutzer komplett aus, die keine kognitiven Ressourcen zur Verfügung haben. Dies ist der Fall, wenn 1) die kognitiven Fähigkeiten der Benutzer beeinträchtigt sind (z. B. Menschen mit Demenz) oder 2) Benutzer mit sehr anspruchsvollen Aufgaben konfrontiert sind (z. B. Fluglotsen). In dieser Arbeit konzentrieren wir uns auf Emotionen als eine Schlüsselkomponente von UX und schlagen die neue strukturierte Beobachtungsmethode Proxemo für formative UX-Evaluationen vor. Proxemo ermöglicht es qualifizierten Beobachtern, die Emotionen der Nutzer in Echtzeit zu dokumentieren und sie direkt mit Auslösern zu verknüpfen. Technisch wird dies erreicht, indem die Zeitstempel der von den Beobachtern dokumentierten Emotionen mit einer Videoaufzeichnung der Interaktion synchronisiert werden.
Um die Dokumentation von beobachteten Emotionen in sehr unterschiedlichen Kontexten zu erleichtern, konzipieren und implementieren wir zwei verschiedene Versionen einer Dokumentationshilfe namens Proxemo App. Für formative UX-Evaluationen von technologiegestützten Erinnerungssitzungen mit Menschen mit Demenz erstellen wir eine Smartwatch-App zur unauffälligen Dokumentation von Emotionen aus den Kategorien Ärger, allgemeine Wachsamkeit, Freude, Wehmut und Stolz. Für formative UX-Evaluationen prototypischer Nutzerschnittstellen mit Fluglotsen erstellen wir eine Smartphone-App zur effizienten Dokumentation von Emotionen aus den Kategorien Ärger, Langeweile, Überraschung, Stress und Stolz. Deskriptive Fallstudien in beiden Anwendungsfeldern zeigen die Machbarkeit und den Nutzen der Methode Proxemo und die Angemessenheit des jeweiligen Designs der Proxemo App.
Der dritte Teil dieser Arbeit besteht aus einer Reihe von Meta-Evaluationsstudien zu den Gütekriterien von Proxemo. Wir evaluieren Proxemo hinsichtlich der Reliabilität, Validität, Gründlichkeit und Effektivität, und vergleichen die Effizienz von Proxemo und die UX der Beobachter mit der Dokumentation mit Stift und Papier. Proxemo ist reliabel, sowie effizienter, gründlicher und effektiver als handschriftliche Notizen und bietet den Beobachtern eine bessere UX. Proxemo schneidet gut ab im Vergleich zu bestehenden Methoden, für die Benchmarks verfügbar sind.
Mit Proxemo stellen wir eine validierte, strukturierte Beobachtungsmethode vor, die nachweislich den Anforderungen formativer UX Evaluationen in den extremen Kontexten von Benutzern mit kognitiven Beeinträchtigungen oder hohen Aufgabenanforderungen gerecht wird. Proxemo ist agnostisch bezüglich der theoretischen Ansätze von Forschenden und vereint reduktionistische und ganzheitliche Perspektiven in einer Methode. Zukünftige Arbeiten sollten die Anwendbarkeit von Proxemo für weitere Domänen erkunden und die Liste der geprüften Gütekriterien erweitern, zum Beispiel um das Kriterium Downstream Utility. In Bezug auf die Grundlagenforschung werden wir versuchen, die Quellen besser zu verstehen, auf denen die empathischen Urteile der Beobachter fußen und schlagen Erinnerungen und ältere Erwachsene als Modellumgebung für die künftige Erforschung gemischter Emotionen vor.
| Identifer | oai:union.ndltd.org:uni-wuerzburg.de/oai:opus.bibliothek.uni-wuerzburg.de:30573 |
| Date | January 2023 |
| Creators | Huber, Stephan |
| Source Sets | University of Würzburg |
| Language | English |
| Detected Language | German |
| Type | doctoralthesis, doc-type:doctoralThesis |
| Format | application/pdf |
| Rights | https://creativecommons.org/licenses/by-nc/4.0/deed.de, info:eu-repo/semantics/openAccess |
Page generated in 0.0029 seconds