Det finns ett behov inom vårdsektorn att på ett mera effektivt sätt kunna bedöma om patienter med Parkinsons sjukdom har rätt medicinering. Behovet ligger i att se om det är möjligt att med hjälp av ett IT-system kunna göra bedömningen på distans och på så sätt effektivisera processen.I och med att Parkinsonpatienter har symptom som t.ex. överrörlighet är inte traditionella lösningar med styrenheter såsom mus och tangentbord lämpliga. Istället har ett användargränssnitt baserat på multimodal interaktion utformats, där användaren interagerar med systemet genom röststyrning och rörelseigenkänning.Detta har gjorts med hjälp av Microsofts Kinect kamera, som är ett verktyg som möjliggör bredare och mer betydelsefull multimodal interaktion mellan människa och dator. Design av gränssnittet har gjorts efter etablerade designprinciper där användbarhet har legat i fokus. Även empiriska undersökningar har genomförts för att skapa en bredare förståelse för hur ett gränssnitt bör utformas för att bli användbart.Resultatet visar att grundprinciperna för ett användbart gränssnitt är väldigt lika oavsett om interaktionen sker på ett traditionellt sätt eller genom nyare teknik som t.ex. röst- och rörelsestyrning. Nyckelaspekter är att systemet ska vara effektivt, lätt att lära sig och förstå, samt att fel ska hanteras på ett korrekt sätt.Utifrån teorin och de empiriska undersökningarna har ett antal riktlinjer tagits fram för utformning av ett användbart multimodalt gränssnitt. Teorierna har även testats mot verkligheten genom en prototyp som använder sig av röst- och rörelsestyrning. / Program: Systemvetarutbildningen

The thesis project concerns the development and evaluation of a real-time music visualization system aimed at creating a multi-modal perceptual experience of music emotions. The purpose of the project is to provide singers with real-time visual feedback on their singing, to enhance their expression of emotions in the music. Built upon results from previous studies on emotional expression in music, crossmodal correspondences, and associations among sound, shape, color, and emotions, a singing voice visualization system is proposed that generates real-time graphics to reflect the emotional expression in the input singing in an intuitive fashion. A mapping between musical and visual features was established and tested within a user study regarding the setting of its polarities. The singing voice visualization system was developed as as a software system that runs on personal computers, utilizing Pure Data and Unity. This implementation allows for instantaneous feedback to the user during their singing. The mapping was evaluated in a user study, where participants engage in expressive singing to test the system,in order to assess the meaningfulness of the visual feedback and the effectiveness of the mapping, as well as the impact of the polarity. The results show that color as a strong visual cue of emotional expression provided meaningful information on some participants’ expression of typical happiness and sadness. Other cues of the visual feedback possibly enhanced some participants’ emotional expression of singing in an indirect way. The polarity had a noticeable impact on the perception of the visual feedback. The current study is limited by the reliability of the techniques used for the extracting acoustic features from real-time singing, particularly in the detection of attack speed. The evaluation were limited by the broad definition of one of the research questions. The findings of this study suggest potential applications for the singing voice visualization system in fields of music education, art, and entertainment. Additionally, the research highlights the need for further exploration and refinement in the design of the mapping and the evaluation methodology. / Avhandlingsprojektet handlar om utveckling och utvärdering av ett realtidssystem för musikvisualisering som syftar till att skapa en multimodal perceptuell upplevelse av musikkänslor. Syftet med projektet är att ge sångare visuell feedback i realtid på deras sång, för att förstärka deras uttryck av känslor i musiken. Med utgångspunkt i resultat från tidigare studier om känslouttryck i musik, korsmodala korrespondenser och associationer mellan ljud, form, färg och känslor, föreslås ett visualiseringssystem för sångstämmor som genererar realtidsgrafik för att på ett intuitivt sätt återspegla känslouttrycket i den inmatade sången. En mappning mellan musikaliska och visuella funktioner etablerades och testades i en användarstudie avseende inställningen av dess polariteter. Visualiseringssystemet för sångröst utvecklades som ett mjukvarusystem som körs på persondatorer med Pure Data och Unity. Denna implementering möjliggör omedelbar feedback till användaren under dennes sång. Kartläggningen utvärderades i en användarstudie, där deltagarna fick sjunga uttrycksfullt för att testa systemet, för att bedöma meningsfullheten i den visuella feedbacken och kartläggningens effektivitet, samt polaritetens inverkan. Resultaten visar att färg som en stark visuell signal för känslomässiga uttryck gav meningsfull information om vissa deltagares uttryck av typisk lycka och sorg. Andra ledtrådar i den visuella återkopplingen förstärkte möjligen vissa deltagares känslomässiga uttryck av sång på ett indirekt sätt. Polariteten hade en märkbar inverkan på uppfattningen av den visuella feedbacken. Den aktuella studien begränsas av tillförlitligheten hos de tekniker som används för att extrahera akustiska egenskaper från sång i realtid, särskilt när det gäller att upptäcka attackhastighet. Utvärderingen begränsades av den breda definitionen av en av forskningsfrågorna. Resultaten av denna studie visar på potentiella tillämpningar för visualiseringssystemet för sångröster inom musikutbildning, konst och underhållning. Dessutom belyser forskningen behovet av ytterligare utforskning och förfining av kartläggningens utformning och utvärderingsmetodiken.

Eye tracking and gestures are relatively new input methods, changing the way humans interact with computers. Gestures can be used for games or controlling a computer through an interface. Eye tracking is another way of interacting with computers, often by combining with other inputs such as a mouse or touch pad. Gestures and eye tracking have been used in commercially available products, but seldom combined to create a multimodal interaction. This thesis presents a prototype which combines eye tracking with gestures to interact with a computer. To accomplish this, the report investigates different methods of recognizing hand gestures. The aim is to combine the technologies in such a way that the gestures can be simple, and the location of a user’s gaze will decide what the gesture does. The report concludes by presenting a final prototype where the gestures are combined with eye tracking to interact with a computer. The final prototype uses an IR camera together with an eye tracker. The final prototype is evaluated with regards to learnability, usefulness, and intuitiveness. The evaluation of the prototype shows that usefulness is low, but learnability and intuitiveness are quite high. / Eye tracking och gester är relativt nya inmatningsmetoder, som förändra sättet människor interagerar med datorer. Gester kan användas för till exempel spel eller för att styra en dator via ett gränssnitt. Eye tracking är ett annat sätt att interagera med datorer, ofta med hjälp av genom att kombinera med andra styrenheter såsom en mus eller styrplatta. Gester och eye tracking har använts i kommersiellt tillgängliga produkter, men sällan kombinerats för att skapa en multimodal interaktion. Denna avhandling presenterar en prototyp som kombinerar eye tracking med gester för att interagera med en dator. För att åstadkomma detta undersöker rapporten olika metoder för att känna igen gester. Målet är att kombinera teknologierna på ett sådant sätt att gestern kan vara enkla, och platsen för användarens blick kommer bestämma vad gesten gör. Rapporten avslutas genom att presentera en slutlig prototyp där gester kombineras med eye tracking för att interagera med en dator. Den slutliga prototypen använder en IR kamera och en eye tracker. Den slutliga prototypen utvärderas med avseende på lärbarhet, användbarhet, och intuition. Utvärderingen av prototypen visar att användbarheten är låg, men både lärbarhet och intuition är ganska höga.

Multiprofessionella team i rehabiliteringsverksamheter kräver att patienter kontinuerligt uttrycker sina önskningar och behov för att teammedlemmar ska kunna arbeta personcentrerat. För patienter med kommunikativa svårigheter kan det uppstå hinder i vårdsammanhang i form av minskad delaktighet gällande sin vård. För att effektivisera kommunikationen och motverka låg delaktighet behöver anpassningar göras. Anpassningar kan komma i form av alternativ och kompletterande kommunikation (AKK) eller andra strategier som underlättar ett samtal för båda samtalsparter. Föreliggande studie undersöker interaktionen mellan logopeder och patienter med kommunikativa svårigheter med respektive utan AKK under vårdbesök. Studien innefattar dessutom vårdpersonals samt patienters upplevelser avseende AKK och kommunikation.  Materialet bestod av videoinspelningar av två behandlingsbesök med två logopeder och två patienter som använder AKK. I samband med videoinspelningarna intervjuades även patienterna. Därtill inkluderades intervjuer med tio deltagare som representerade fem olika professioner. Det inhämtade videomaterialet analyserades med hjälp av multimodal interaktionsanalys och intervjuerna analyserades tematiskt. Resultatet som framkom i studien indikerade att interaktionen mellan vårdpersonal och patienter generellt förbättras vid AKK-användning. Däremot finns faktorer som påverkar effektiviteten av AKK-användningen, till exempel vad det är för omgivning, patientens motivation, frustration respektive insikt om kommunikationssvårigheterna samt vårdens bemötande och vilka anpassningar som tillämpas. Intervjuerna med vårdpersonalen visade att logopeden har en betydande roll inom teamet i relation till att öka kunskapen och medvetenheten avseende hur man samtalar med patienter med kommunikativa svårigheter. Videoinspelningarna och tillhörande patientintervjuer stöttade flera aspekter som framkom i vårdpersonalintervjuerna samtidigt som de bidrog med ytterligare perspektiv. Slutsatsen som dras i föreliggande studie är behovet av ökad kunskap avseende kommunikation och AKK, vilket kan leda vidare till ett tätare samarbete mellan teammedlemmar som arbetar med patienter med kommunikativa svårigheter. Slutligen är det av vikt att betona att kommunikativa svårigheter inte endast beror på en patients insjuknande, utan de blir mer påtagliga när goda förutsättningar i olika sammanhang inte finns. / Multiprofessional teams within rehabilitation clinics are dependent on patients verbalizing their needs and wishes in order for the team members to work with a person-centered approach. Patients with communication difficulties may experience reduced participation regarding their own healthcare. Therefore, it is important that adjustments are implemented to increase communication efficiency and the patient’s participation. The adjustments can be Augmentative and Alternative Communication (AAC) or other strategies that facilitate a conversation between the participants. The present study investigated interaction between speech and language pathologists (SLPs) and patients with communication difficulties with or without AAC during a medical appointment. The study also investigates experiences of healthcare professionals and patients regarding communication and AAC.  The data consisted of video recordings of two treatment visits between two SLPs and two patients that use AAC. The patients were interviewed after the visit. The data also consisted of interviews with ten participants that represented five different professions that regularly work with patients who use AAC. The video data was analyzed using multimodal interaction analysis and for analysis of the interviews with professionals, thematic analysis was employed. The findings indicated that the interaction between healthcare professionals and patients was improved when AAC was used. There were, however, factors that may affect the effectiveness of AAC, such as the type of environment, the patient’s motivation, frustration and an awareness of the communication difficulties, as well as healthcare providers’ attitudes and adjustments that are implemented. Analysis of the interview conducted with healthcare providers demonstrated the vital role of the SLP in a team in regard to improving knowledge and awareness of how to communicate with patients with communication difficulties. The video recordings with complementary patient interviews supported many aspects that emerged in the interviews with healthcare providers. Video analysis also contributed to additional perspectives.  Results of the present study imply that there is a need to improve the knowledge of communication and AAC in interprofessional teams, which could also lead to enhanced collaboration between team members. Lastly, it is of importance to highlight that communication difficulties are not solely due to a patient’s illness.  Communication difficulties become more pronounced when various contextual conditions are not favorable.

Interest in comics as Swedish school material has risen in the last few years and the publication of comics for children and adolescents has also increased. Meanwhile, although research around new literacies has taken an interest in combinations of image and text, there is still little research on comics as a literacy material, especially as part of school practices. With comics’ rise in popularity, and their quality as examples of new literacies, this points to the relevance of exploring how meaning making with comics is done in schools. The purpose of this study is to contribute knowledge on how locally situated literacy practices are done, practices in which pupils and teachers make meaning with comics. The study combines literacy, comics and discursive psychology to investigate aspects of literacy not as individual, inner workings, but as part of participants’ social constructions, in line with New Literacy Studies. With this perspective, it is possible to investigate literary concepts such as narrative, and participants’ construction of story elements, through the way in which these aspects are utilized by participants to construct social action – what participants do with their utterances. To study this, video recordings have been made in one primary and one secondary school, in two different Swedish cities. The results of the study show constructions of a comics literacy, where participants engage with both visual and textual aspects of the material and negotiate focalization of narrative perspective and construction of narrative structure as well as narrative devices such as speech and thought bubbles. Furthermore, meaning making of comics literacy also includes the construction of discourses around comics as a specific type of story telling, either for material or literary reasons. The thesis discusses how participants construct classroom literature, and provides insight into how interaction around comics enables participants to construct and negotiate discourses around what comics literacy is and what it enables, as well as how to talk about, create, and read comics. / Intresset för serier som svenskt skolmaterial har stigit de senaste åren och publiceringen av serier för barn och ungdomar har också ökat. Även om forskning om new literacies har intresserat sig för kombinationer av bild och text så finns det fortfarande lite forskning på serier som literacymaterial, speciellt som en del av skolpraktik. Med det stigande intresset för serier och deras kvaliteter som exempel på new literacies, så pekar detta mot att det finns en relevans i att utforska hur meningsskapande med serier görs i skolan. Syftet med denna studie är att bidra med kunskap om hur lokalt situerad literacypraktik görs där elever och lärare skapar mening med serier. Studien kombinerar forskning om literacy, serier och diskursiv psykologi för att, i linje med New Literacy Studies, undersöka aspekter av literacy som en del av deltagarnas sociala konstruktioner – inte som ett individuellt, mentalt fenomen. Med detta perspektiv är det möjligt att undersöka litterära koncept som narrativ och deltagares konstruktion av berättelseinslag, genom det sätt på vilka dessa aspekter används av deltagare för att interagera – vad deltagare gör när de säger något. För att studera detta har videoobservationer använts i en lågstadieskola och en högstadieskola i två olika svenska städer. Resultaten från studien demonstrerar konstruktioner av serie-literacy där deltagarna engagerar sig i både text och bild i materialet, diskuterar berättandeperspektiv och konstruktioner av narrativ struktur, såväl som berättarverktyg, t.ex. prat- och tankebubblor. Därutöver inkluderar serie-literacy också deltagarnas skapande av seriediskurser där serier görs till en specifik typ av berättande, antingen på materiell eller litterär basis. Avhandlingen diskuterar hur deltagare konstruerar klassrumslitteratur, och studien erbjuder en insikt i hur interaktion runt serier möjliggör för deltagare att konstruera och förhandla diskurser om vad serieliteracy är och vad det erbjuder för möjligheter, såväl som hur deltagare kan prata om, skapa och läsa serier.