Masters of Science / The communication barriers between deaf and hearing society mean that interaction between these communities is kept to a minimum. The South African Sign Language research group, Integration of Signed and Verbal Communication: South African Sign Language Recognition and Animation (SASL), at the University of the Western Cape aims to create technologies to bridge the communication gap. In this thesis we address the subject of whole hand gesture recognition. We demonstrate a method to identify South African Sign Language classifiers using an eigenvector approach. The classifiers researched within this thesis are based on those outlined by the Thibologa Sign Language Institute for SASL. Gesture recognition is achieved in real time. Utilising a pre-processing method for image registration we are able to increase the recognition rates for the eigenvector approach.

Nowadays, usability mainly perceived as a basis of the instrumental evaluation of an information system (IS) capability. Notably, rule-of-thumb usability heuristic evaluation (HE) is widely known and used as a cost-efficient and effective inspection-based usability evaluation. However, it is evident in prior research that there is communicative action captured when users interact with a system. Accordingly, socio-instrumental (SI) perspective perceives a particular event of the user’s interaction toward system (social action) is composed of both instrumental aspect and social aspect. Our study aims to explain the completeness of recent HE studies, and also to describe underlying connections between inspection-based usability evaluation and socio-instrumental aspects. We conducted a qualitative systematic review throughout thirteen qualified documents we appraised from filtering out 89 documents which consist of research articles within the last five years and existing professional reports. In a qualitative manner, our study result has identified the qualified documents present a positive degree of completeness. We have also analyzed various usability problems that are connected with specific heuristics and SI aspects. It is evident in this study that the SI perspective has contributed to revealing the communicative rationale behind the user’s social action toward the system. In addition, we, therefore, suggest improvement suggestions for further works to address the shortcomings in the present study.

Our lives become longer with new advancements in medicine and technology. As a result, cognition and memory impairments will become a growing concern[23]. To be able to treat cognitive decline, dementia and related diseases, the need for early detection of memory deficiencies increases. This study aimed to validate the use of a new digital interaction version of a common memory test, the Rey Auditory Verbal Learning Test (RAVLT), compared with norm from the traditional human-to-human interaction version of the same test. This was performed through userstudies with both test versions in a counterbalanced order. The results consisted of quantitative results from the tests together with qualitative data from interviews with the participants in connection to each test occasion. The results showed a slight difference in some aspects of the quantitative test results, but at the same time, no significant difference for most of the measured results. Further, the interviews demonstrated that the differences in interaction and experience between the versions of the tests could be the reason for some of the differences in the quantitative result. The conclusion from this study was that there are many difficult problems to solve for speech interfaces in neurocognitive tests like the RAVLT. In line with previous research [22], the results highlight the importance of a natural speech interaction that conforms with the basic principles of human conversation, to create a stress-free experience and test results that can be reliable and comparable.

Traditional retail with personal service is becoming scarce. The personal interaction is replaced with self service alternatives, and the consumer is now seen as a co-service producer. What is the general attitude towards the service provided within these automated experiences? Is the automated experience of service comparable to the traditional service that is expected from the customer, or is the industry moving too fast, risking the exclusion of certain consumer groups in the quest for automation? This study conducted semi-structured interviews with a broad range of consumers and used thematic analysis in an effort to discover consumers' unique motivations in regards to self service alternatives in physical stores. The result showed that most consumers are satisfied as long as the service works as intended. But when problems arise, many of the respondents point out the lack of standardization, human support, long waiting times, and control within the user interface. Findings in this study contribute to the industry by identifying traits within the technology viewed by the consumer as enablers or disablers.

Ever wondered how trains arrive and depart on time? Traffic Control systems are there to help control the traffic flow, with many operators monitoring and taking actions when necessary. Operators of the traffic control systems use a keyboard and a mouse to interact. Current user interface and work setup consist of many usability issues that can be improved in order to increase operator’s efficiency and productivity in controlling the traffic. Interviewing users of the system and researching on related topics led to a newly proposed design in interaction, user interface as well as some suggestions for increasing productivity. Gesture-based interaction is introduced and simulated for traffic control systems that tend to improve the operation. Various gestures are designed such as panning, zooming and hovering the map using Leap Motion controller which enables intuitive interaction. These gestures aim to solve identified usability issues discovered during the interview with the user. The project aims to answer the following question: Can gesture-based interaction solve usability issues and establish the intuitive use of the CTC system? Performing exploratory research on this topic involved designing, implementing and testing hand gestures with users. From an ergonomic perspective, body posture and hand position of the operator is examined and suggested to use sit-to-stand workstations in order to reduce pain and discomfort while working. Gesture-based interaction eliminates finding mouse cursor on large screens, it enables fast request of detailed information and also it provides a better overview of the map surroundings. Laboratory tests confirm that gesture-based interaction brings more natural and intuitive use of traffic control systems. There is a big potential for gesture-based interaction to increase usability and bring efficient controlling for operators. It would reduce delays of the train and maintain safe traffic flow. / Har du någonsin undrat hur tåg anländer och avgaå i tid? Trafikledningssystem (CTC-system) hjälper till att kontrollera trafikflöet där operatörer övervakar och vidtar åtgärder vid behov. Operatörer av ett trafikledningssystem använder idag ett tangentbord och en mus för att interagera. Det nuvarande användargränssnittet och arbetsinstallationen består av många användbarhetsproblem som kan förbättras för att öka operatörens effektivitet och produktivitet för att kontrollera trafiken. Intervjuer med användare av systemet samt forskning om ämnet ledde till ett nytt föreslag av interaktion, utformning av användargränssnitt samt några förslag för att öka produktiviteten. Den gestbaserade interaktionen som infördes och simulerades för trafikkontrollsystemet tenderar att förbättra funktionen. Olika gester utformades som möjliggör för användaren att panorera, zooma och sväva över kartan. Gesterna implementerades med hjälp av Leap Motion Controller som möjliggör intuitiv interaktion. Dessa gester syftar till att lösa identifierade användbarhetsproblem som upptäcks under intervjuerna med användarna. Syftet med detta arbete var att svara på följande forskningsfråga: Kan gestbaserad interaktion lösa användbarhetsproblem och etablera intuitiv användning av CTC-systemet? Den explorativa forskning som utfördes i detta arbete inkluderade att utforma, genomföra och testa gester med användare. Kroppshållning och handposition för operatorerna undersöktes ur ett ergonomiskt perspektiv och studien föreslår att använda sitt-till-stå arbetsstationer för att minska smärta och obehag under arbetet. Gestbaserad interaktion eliminerar problemet att hitta muspekaren på stora skärmar, vilket gör det enkelt att snabbt hitta detaljerad information och ger även en bättre överblick över kartans omgivning. Laboratorietester bekräftar att gestbaserad interaktion ger mer naturlig och intuitiv användning av trafikledningssystemet. Det finns en stor potential för gestbaserad interaktion för att öka användbarheten och ge en effektiv kontroll för operatörerna. Det skulle minska förseningarna av tåget och upprätthålla ett säkert trafikflöde.

[ES] La investigación reportada en la presente tesis doctoral se lleva a cabo a través de la metodología de la ciencia del diseño que se centra en la creación y evaluación de artefactos. En esta tesis, el principal artefacto es el novedoso enfoque para diseñar y generar interfaces de usuario utilizando el conocimiento experto. Con el fin de permitir el uso del conocimiento experto, el enfoque propuesto se basa en la reutilización de patrones de diseño que incorporan el conocimiento experto del diseño de la interfaz y proporcionan soluciones reutilizables a diversos problemas de diseño. El objetivo principal de dicho enfoque es abordar el uso de patrones de diseño a fin de garantizar que los conocimientos especializados se integren en el diseño y la generación de interfaces de usuario para aplicaciones móviles y web. Las contribuciones específicas de esta tesis se resumen a continuación: Una primera contribución consiste en el marco AUIDP que se define para apoyar el diseño y la generación de interfaces adaptativas para aplicaciones web y móviles utilizando patrones de diseño HCI. El marco propuesto abarca tanto la etapa de diseño como la de ejecución de dichas interfaces. En el momento del diseño, los modelos de patrones de diseño junto con la interfaz de usuario y el perfil de usuario se definen siguiendo una metodología de desarrollo específica. En tiempo de ejecución, los modelos creados se utilizan para permitir la selección de patrones de diseño de HCI y para permitir la generación de interfaces de usuario a partir de las soluciones de diseño proporcionadas por los patrones de diseño relevantes. La segunda contribución es un método de especificación para establecer un modelo de ontología que convierte la representación tradicional basada en texto en la representación formal del patrón de diseño de HCI. Este método adopta la metodología Neon para lograr la transición de las representaciones informales a las formales. El modelo de ontología creado se llama MIDEP, que es una ontología modular que captura el conocimiento sobre los patrones de diseño, así como la interfaz de usuario y el perfil del usuario. La tercera contribución es el IDEPAR, que es el primer sistema dentro del marco global del AUIDP. Este sistema tiene como objetivo recomendar automáticamente los patrones de diseño más relevantes para un problema de diseño dado. Se basa en un enfoque híbrido que utiliza una combinación mixta de técnicas de recomendación basadas en texto y ontología para producir recomendaciones de patrones de diseño que proporcionan soluciones de diseño apropiadas. La cuarta contribución es un sistema generador de interfaz llamado ICGDEP, que se propone para generar automáticamente el código fuente de la interfaz de usuario para aplicaciones web y móviles. El ICGDEP es el segundo sistema dentro del marco global de AUIDP y se basa en el uso de patrones de diseño de HCI que son recomendados por el sistema IDEPAR. Su objetivo principal es generar automáticamente el código fuente de la interfaz de usuario a partir de las soluciones de diseño proporcionadas por los patrones de diseño. Para lograr esto, el sistema ICGDEP utiliza un método que permite la generación de código fuente de interfaz de usuario para la aplicación de destino. Las contribuciones aportadas en la presente tesis han sido validadas a través de diferentes perspectivas. En primer lugar, la evaluación de la ontología MIDEP desarrollada se realiza utilizando preguntas de competencia, enfoques de evaluación basados en la tecnología y basados en aplicaciones. En segundo lugar, la evaluación del sistema IDEPAR se establece mediante un patrón producido por expertos y un estudio de evaluación centrado en el usuario. Luego, el sistema ICGDEP es evaluado en términos de ser utilizado efectivamente por los desarrolladores, considerando el factor de productividad. Por último, la evaluación del marco mundial de AUIDP se lleva a cabo mediante estudios de casos y estudios de usabilidad. / [CA] La investigació reportada en aquesta tesi doctoral es duu a terme a través de la metodologia de la ciència del disseny que se centra en la creació i avaluació d'artefactes. En aquesta tesi, el principal artefacte és el nou enfocament per dissenyar i generar interfícies d'usuari utilitzant el coneixement expert. Per tal de permetre l'ús del coneixement expert, l'enfocament proposat es basa en la reutilització de patrons de disseny que incorporen el coneixement expert del disseny de la interfície i proporcionen solucions reutilitzables a diversos problemes de disseny. L'objectiu principal d'aquest enfocament és abordar l'ús de patrons de disseny per tal de garantir que els coneixements especialitzats s'integrin en el disseny i la generació d'interfícies d'usuari per a aplicacions mòbils i web. Les contribucions específiques d'aquesta tesi es resumeixen a continuació: Una primera contribució consisteix en el marc AUIDP que es defineix per donar suport al disseny i generació d'interfícies adaptatives per a aplicacions web i mòbils utilitzant patrons de disseny HCI. El marc proposat inclou tant l'etapa de disseny com la d'execució de les interfícies esmentades. En el moment del disseny, els models de patrons de disseny juntament amb la interfície d'usuari i el perfil d'usuari es defineixen seguint una metodologia de desenvolupament específica. En temps d'execució, els models creats s'utilitzen per permetre la selecció de patrons de disseny de HCI i per permetre la generació de interfícies d'usuari a partir de les solucions de disseny proporcionades pels patrons de disseny rellevants. La segona contribució és un mètode d'especificació per establir un model d'ontologia que converteix la representació tradicional basada en text en la representació formal del patró de disseny de HCI. Aquest mètode adopta la metodologia Neon per aconseguir la transició de les representacions informals a les formals. El model d'ontologia creat s'anomena MIDEP, una ontologia modular que captura el coneixement sobre els patrons de disseny, així com la interfície d'usuari i el perfil de l'usuari. La tercera contribució és l'IDEPAR, que és el primer sistema dins del marc global de l'AUIDP. Aquest sistema té com a objectiu recomanar automàticament els patrons de disseny més rellevants per a un problema de disseny donat. Es basa en un enfocament híbrid que utilitza una combinació mixta de tècniques de recomanació basades en text i ontologia per produir recomanacions de patrons de disseny que proporcionen solucions de disseny apropiades. La quarta contribució és un sistema generador d'interfície anomenat ICGDEP, que es proposa per generar automàticament el codi font de la interfície d'usuari per a aplicacions web i mòbils. L'ICGDEP és el segon sistema dins del marc global d'AUIDP i es basa en l'ús de patrons de disseny de HCI que són recomanats pel sistema IDEPAR. El seu objectiu principal és generar automàticament el codi font de la interfície d'usuari a partir de les solucions de disseny proporcionades pels patrons de disseny. Per aconseguir-ho, el sistema ICGDEP utilitza un mètode que permet generar codi font d'interfície d'usuari per a l'aplicació de destinació. Les contribucions aportades a la present tesi han estat validades a través de diferents perspectives. En primer lloc, l'avaluació de l'ontologia MIDEP desenvolupada es fa utilitzant preguntes de competència, enfocaments d'avaluació basats en la tecnologia i basats en aplicacions. En segon lloc, l'avaluació del sistema IDEPAR s'estableix mitjançant un patró produït per experts i un estudi d'avaluació centrat en l'usuari. Després, el sistema ICGDEP és avaluat en termes de ser utilitzat efectivament pels desenvolupadors, considerant el factor de productivitat. Finalment, l'avaluació del marc mundial d'AUIDP es fa mitjançant estudis de casos i estudis d'usabilitat. / [EN] The research reported in the present PhD dissertation is conducted through the design science methodology that focuses on creating and evaluating artifacts. In the current thesis, the main artifact is the novel approach to design and generate user interfaces using expert knowledge. In order to enable the use of expert knowledge, the present approach is devoted to reuse design patterns that incorporate expert knowledge of interface design and provide reusable solutions to various design problems. The main goal of the proposed approach is to address the use of design patterns in order to ensure that expert knowledge is integrated into the design and generation of user interfaces for mobile and Web applications. The specific contributions of this thesis are summarized below: This first contribution is the AUIDP framework that is defined to support the design and generation of adaptive interfaces for Web and mobile applications using HCI design patterns. The proposed framework spans over design-time and run-time. At design-time, models of design patterns along with user interface and user profile are defined following a specific development methodology. At run-time, the created models are used to allow the selection of HCI design patterns and to enable the generation of user interfaces from the design solutions provided by the relevant design patterns. The second contribution is a specification method to establish an ontology model that turns traditional text-based representation into formal HCI design pattern representation. This method adopts the Neon methodology to achieve the transition from informal to formal representations. The created ontology model is named MIDEP, which is a modular ontology that captures knowledge about design patterns as well as the user interface and user's profile. The third contribution is the IDEPAR, which is the first system within the global AUIDP framework. This system aims to automatically recommend the most relevant design patterns for a given design problem. It is based on a hybrid approach that relies on a mixed combination of text-based and ontology-based recommendation techniques to produce design pattern recommendations that provide appropriate design solutions. The fourth contribution is an interface generator system called ICGDEP, which is proposed to automatically generate the user interface source code for Web and mobile applications. The proposed ICGDEP is the second system within the global AUIDP framework and relies on the use of HCI design patterns that are recommended by the IDEPAR system. It mainly aims at automatically generating the user interface source code from the design solutions provided by design patterns. To achieve this, the ICGDEP system is based on a generation method that allows the generation of user interface source code for the target application. The contributions provided in the present thesis have been validated through different perspectives. First, the evaluation of the developed MIDEP ontology is performed using competency questions, technology-based, and application-based evaluation approaches. Second, the evaluation of the IDEPAR system is established through an expert-based gold standard and a user-centric evaluation study. Then, the ICGDEP system is evaluated in terms of being effectively used by developers, considering the productivity factor. Finally, the evaluation of the global AUIDP framework is conducted through case studies and usability studies. / Braham, A. (2022). Towards Designing and Generating User Interfaces by Using Expert Knowledge [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/190920

<p dir="ltr">This study provides insights into the right combination of devices in a co-design task, in this case, at designing a game level. The cross-reality systems enable users to connect and collaborate across the Reality-Virtuality continuum i.e., PC/Desktop, augmented reality (AR), mixed reality (MR) and virtual reality (VR). Co-design involves two or more users coming together to ideate a clear objective, and build using the appropriate tools for collaboration, design, testing, and refinement for the masses. It also considers the time and resources used throughout the process with constant and open communication. The simulation design is based on developing an application that allows two users to connect in a pairwise modality (Desktop-Desktop, VR-VR or Desktop-VR) and use the assets provided to design a game level. The users were given a layout of the level and factors based on which the level will be designed. The results are discussed, and future work and conclusions are provided based on them.</p>

As generative AI threatens creatives worldwide, this thesis applies Speculative Design through a Participatory Design process to speculate about the futures of AI in art by critically involving creatives. Conducting field research, interviews, and two co-design workshops, hosted at the Malmö City Library, the project resulted in an exhibition of four speculative scenarios in the form of short stories and AI-generated visualisations, sparking critical discourse and reflection about generative AI tools in art. The main insights from said discourse were that AI tools need to be investigated and critiqued through use by creatives, that designers working on AI tools have a responsibility to design for transparency, and that Speculative Design is the appropriate methodology to address AI in art, especially grounded in a Participatory Design process.

<p dir="ltr">With advances in hardware and mobile computing capabilities, Mixed Reality (MR), which encompasses technologies from Augmented Reality (AR) to Virtual Reality (VR), has evolved from a laboratory concept into a mainstream product, as seen with popular releases like the Oculus Quest and Vision Pro. MR combines elements of both physical and virtual environments, enabling interactions and visualizations that transcend the limitations of the physical world. In this thesis, we aim to move beyond the conventional approach of treating MR as a standalone display medium. Specifically, we leverage advancements in IoT (internet of things) technology to fully integrate them into the interaction design.</p><p dir="ltr">On a broader level, our work in this thesis focuses on novel IoT design and integration, exploring how they can expand interaction possibilities in MR. This thesis is based on our four published conference papers (MechARspace, ColabAR, InstruMentAR, and LearnIoTVR), which explore the symbiosis between IoT and MR in different dimensions. In particular, we design IoT-enabled MR experiences to 1) promote social presence during remote collaboration, 2) enrich playfulness during the interaction, 3) streamline the in-situ creation of instrument tutorials, and 4) foster STEM education at minimum cost. Throughout our work, we focus on making novel interactions that improve user experiences while addressing real-world challenges. Additionally, we focus on designing with cost-effectiveness and usability in mind, aiming to lower entry barriers. Our goal is to allow end-users to adopt and engage with our system effortlessly.</p><p dir="ltr">Takeaways from the research series include 1) The usage of IoT modules, with their sensing and actuating capabilities, significantly enriches interaction modalities compared to traditional display-only MR interactions, 2) IoT, with its universal connectivity, enables spontaneous interactions commonly encountered in daily life, and 3) Mixed Reality, with its capability to generate immersive 3D experiences, can create a realistic digital replica of real-world IoT environments in a flexible and cost-effective way, supporting a wide range of applications.</p>

Under våren 2021 har det organiserade lärande nätverket för chefer, Nätverk för engagerat ledarskap i Region Jönköpings län, haft digitala träffar genom mötesplattformen Cisco eller Skype i stället för fysiska träffar p.g.a. de rådande samhällsrestriktionerna. Rapporten belyser samtalsledares och nätverks-deltagares mellanmänskliga interaktion och deras anpassningar till digitala arbetssätt, under en tidsperiod där digitaliseringen inom hälso- och sjukvården påskyndats av covid-19-pandemin. Undersökningens syfte är att beskriva samtalsledares erfarenheter av digitala nätverksträffar (vid Nätverket för engagerat ledarskap i Region Jönköpings län) med fokus på kommunikation och vad de beskriver för möjliga förbättringar, utifrån ett delaktighetsperspektiv. Samtliga 40 samtalsledare blev tillfrågade att medverka i undersökningen, varav sex (6) gjorde intresseanmälan. En av dem avbokade dagen innan och fem (5) genomförde gruppintervjun digitalt på mötesplattformen Zoom. Intervjun spelades in efter samtycke och varade 60 minuter. Materialet bearbetades först genom en förenklad induktiv tematisk analys, med stöd av en analysguide inspirerad av Braun och Clarke (2006). Därefter beskrevs analysresultatet utifrån ICF:s första nivå för att belysa resultatet ur ett delaktighetsperspektiv. Fyra teman framkom; digitala utmaningar, mellanmänskliga interaktioner, framtidens behov och ”kriterier” för framgångsrikt digitalt nätverkande. Ett stort problem vid de digitala nätverksträffarna har varit bristande eller fördröjd feedback. Ett annat problem har varit svårigheter med sammanhållningen och att skapa tillit i det digitala rummet. Examensarbetet har gett upphov till förbättringsförslag för ett framgångsrikt digitalt nätverkande ur ett delaktighetsperspektiv. Digitala nätverksträffar kan ses som ett alternativ eller komplement till fysiska träffar även i framtiden. Kanske kan vi framöver hitta det ”bästa receptet” för digitala nätverksträffar för en effektiv och jämlik hälso- och sjukvårdsorganisation? / During the spring of 2021, the organized learning network for managers, Network for Engaged Leadership in Region Jönköping County, has held digital meetings in applications provided by Cisco and Skype instead of having physical meetings due to the current societal restrictions. The report highlights interpersonal interaction between moderators and networking participants, and their adaptations to digital ways of working, in a time where digitalization in healthcare has been accelerated due to the COVID-19 pandemic. The purpose of the survey is to describe moderators' experiences with digital networking meetings (at the Network for Engaged Leadership in Region Jönköping County). The study focuses on communications and how improvements can be made to increase the participation and the engagement of the participants. All 40 moderators within the network were asked to participate in the survey, of which six (6) made expressions of interest. One of them canceled the day before and five (5) participated in the group interview digitally using the application Zoom. The interview was recorded with consent and lasted 60 minutes. The material was first processed through a simplified inductive thematic analysis, supported by a guide inspired by Braun and Clarke (2006). The results were then described, using the first level of the ICF, in terms of participation. Four themes were deduced: digital challenges, interpersonal interactions, future needs, and "criteria" for successful digital networking. The lack or delay of feedback has caused major issues at the meetings. Other difficulties have been the lack of affinity and trust within the group. This study has resulted in several proposals for improving digital networking by increasing accessibility. Digital networking meetings can be seen as an alternative or a complement to physical meetings. Perhaps we can find the "best recipe" for digital networking meetings for an effective and equal healthcare organization? / <p>Examen i vårdadministration, YH-utbildning: 20 Yh-poäng.</p>