<p>Denna rapport beskriver arbetet med en utökning av ett dialogsystem till en UAV (Unmanned Aerial Vehicle, obemannad flygande farkost). Arbetet är utfört i WITAS-projektet (Wallenberg laboratory for research on Information Technology and Autonomous Systems), ett projekt som har som mål att utveckla en helikopter som ska kunna verka autonomt i t.ex. en trafikmiljö. Syftet med dialogsystemet är att en operatör med talspråk ska kunna ge kommandon till och få information från helikoptern. Detta examensarbete har som mål att utöka dialogen till att bli multimodal, dvs. att även innefatta pekningar och rörelser med musen. Operatören ska alltså kunna peka ut platser och objekt i en karta för att komplettera ett talat kommando eller få data utritat i kartan som svar på en förfrågan.</p>

<p>The work in this thesis addresses design and development of multimodal dialogue recommender systems for the home context-of-use. In the design part, two investigations on multimodal recommendation dialogue interaction in the home context are reported on. The first study gives implications for the design of dialogue system interaction including personalization and a three-entity multimodal interaction model accommodating dialogue feedback in order to make the interaction more efficient and successful. In the second study a dialogue corpus of movie recommendation dialogues is collected and analyzed, providing a characterization of such dialogues. We identify three initiative types that need to be addressed in a recommender dialogue system implementation: system-driven preference requests, userdriven information requests, and preference volunteering. Through the process of dialogue distilling, a dialogue control strategy covering system-driven preference requests from the corpus is arrived at.</p><p>In the development part, an application-driven development process is adopted where reusable generic components evolve through the iterative and incremental refinement of dialogue systems. The Phase Graph Processor (PGP) design pattern is one such evolved component suggesting a phase-based control of dialogue systems. PGP is a generic and flexible micro architecture accommodating frequent change of requirements inherent of agile, evolutionary system development. As PGP has been used in a series of previous information-providing dialogue system projects, a standard phase graph has been established that covers the second initiative type; user-driven information requests. The phase graph is incrementally refined in order to provide user preference modeling, thus addressing the third initiative type, and multimodality as indicated by the user studies. In the iterative development of the multimodal recommender dialogue system MADFILM the phase graph is coupled with the dialogue control strategy in order to cater for the seamless integration of the three initiative types.</p> / Report code: LiU-TEK-LIC-2004:08.

<p>ART, Aggression Replacement Training är en multimodal behandlingsmetod som bygger på tre samverkande komponenter. Dessa är: Interpersonell färdighetsträning där sociala färdigheter tränas, ilskekontrollträning som lär individen att handskas med sin ilska samt moralträningen som ska höja det moraliska resonerandet. 1987 började ART att användas på ungdomsvårdsskolor i USA, metoden har spridit sig och idag används ART inte enbart inom den institutionella vården utan allt mer i skolans värld.</p><p>Syftet med uppsatsen är att undersöka vilket eller vilka teoretiska perspektiv på inlärning som metoden stödjer sig på och hur väl dessa stämmer överens med skolans styrdokument (Lpo 94). Studien är baserad på en kvalitativ textanalys av ART Aggression Replacement Training A Comprehensive Intervention for Youth, en bok av grundarna till metoden, samt skolans styrdokument (Lpo 94).</p><p>Reultatet visar att ART vilar på flera olika teorier om inlärning, och att olika teorier finns representerade inom de olika komponenterna. I förhållande till Lpo 94 visar de delar jag analyserar på en överensstämmelse, även om någon punkt kan tolkas annorlunda.</p>

Thesis (Ph. D.)--University of Tampere, 1999. / Description based on contents viewed Apr. 19, 2007; title from title screen. Includes bibliographical references (p. 58-67).

New literacies in reading research demand for the study of comprehension skills using multiple modalities, through a more complex, multi-platform view of reading. Taking into account the robust roll of technology in our daily lives, research suggests that educators need activities to connect students' lack of reading skills with their growing multimodal literacy. During the post-reading phase of a directed reading activity (DRA), students were engaged in digital storytelling, where they created digital videos and slideshows based on information text read during DRA. Previous studies highlighting the use of digital storytelling have been limited to narrative formats and the influence that participation in this activity has on self-esteem and identity. This activity has been widely recommended for improving writing among teachers and in teaching journals, but it has not been empirically studied in the classroom as a comprehension activity. The theoretical framework that supported this study was Vygotsky's Cultural Historical Activity Theory (CHAT). The researcher used the CHAT framework and Burke's Pentad of Analysis (1969) to study the nature of student interactions. Research questions for this study were answered through both quantitative and qualitative methods. The questions being asked by the researcher were: 1.What were the effects of participation in directed reading activity (DRA) modified to include digital storytelling in the post-reading phase of DRA on 6th graders' comprehension of information text? 2. Did the interactions observed during participation in directed reading activity modified to include digital storytelling reflect the principles promoted by Cultural-Historical Activity Theory? Eighty sixth-grade students were randomly assigned to their digital storytelling groups. The subjects participated in whole-class DRA on two information texts, with the treatment group creating digital stories based on the texts. Cloze scores indicated that there was no significant difference in comprehension due to the treatment. However, there was ample evidence to support the claim that participation in digital storytelling instantiates the principles of CHAT. Overall, digital storytelling does show promise as a multimodal instructional activity, and the discussion expands to several implications and recommendations of future research on this instructional activity.

Multisensorisk stimulering innebär att fler modaliteter aktiveras samtidigt. Detta sker kontinuerligt och de kan vara osynkroniserade utan att det är märkbart. Hur väl människor minns synkroniserat och osynkroniserat stimuli är idag relativt outforskat. Syfte med föreliggande studie var att undersöka hur audiovisuell information organiseras i episodiskt minne. Detta undersöktes i två faser. Först presenterades 80 stycken 6 sekunders långa filmklipp vilka deltagarna ombads memorera. Därefter presenterades 96 stycken 3 sekunders långa filmklipp där 48 stycken var manipulerade i tre fasförskjutningar, 16 var helt nya samt för 32 stycken hade bilden eller ljudet manipulerats. Resultatet visade att deltagarna mindes sämre samt att det tog längre tid att minnas då filmklippen var fasförskjutna, vilket tyder på att deltagarna behöver längre tid på sig för att ”matcha” osynkroniserade filmklipp med synkroniserade i minnet. Detta antyder att ljud och bild lagras integrerat i minnet vid inkodning och att det finns en multimodal interaktionseffekt för episodiska minnen.

ART, Aggression Replacement Training är en multimodal behandlingsmetod som bygger på tre samverkande komponenter. Dessa är: Interpersonell färdighetsträning där sociala färdigheter tränas, ilskekontrollträning som lär individen att handskas med sin ilska samt moralträningen som ska höja det moraliska resonerandet. 1987 började ART att användas på ungdomsvårdsskolor i USA, metoden har spridit sig och idag används ART inte enbart inom den institutionella vården utan allt mer i skolans värld. Syftet med uppsatsen är att undersöka vilket eller vilka teoretiska perspektiv på inlärning som metoden stödjer sig på och hur väl dessa stämmer överens med skolans styrdokument (Lpo 94). Studien är baserad på en kvalitativ textanalys av ART Aggression Replacement Training A Comprehensive Intervention for Youth, en bok av grundarna till metoden, samt skolans styrdokument (Lpo 94). Reultatet visar att ART vilar på flera olika teorier om inlärning, och att olika teorier finns representerade inom de olika komponenterna. I förhållande till Lpo 94 visar de delar jag analyserar på en överensstämmelse, även om någon punkt kan tolkas annorlunda.

År 1972 skickade NASA upp en rymdsond, kallad Pioneer 10, ut i rymden med en bild fastsatt på sondens utsida. Bilden var ett meddelande till utomjordiska varelser och illustrerade information om människan och jorden. Med bilden som en visuell utgångspunkt har jag designat en workshop för åtta gymnasielever i två olika grupper som fått i uppgift att skapa en animation att skicka upp i en rymdsond idag. Genom att omformulera den digitala berättelsens metod har jag velat undersöka hur deltagarnas process och animation kommer att formas om utgångspunkten är visuell.   Jag har utifrån mina didaktiska designval undersökt vad deltagarna har gjort för egna val, material och tillvägagångsätt de använt sig av. Under projektets gång har jag samlat in empiri i form av ljudupptagningar, filmmaterial, fotografier och fältanteckningar samt analyserat deltagarnas animationer. Genom att använda mig av den multimodala diskursanalysen som teori har jag fått en inblick i hur deltagarna genom förhandlingar i diskussioner tolkar tecken och bygger upp idéer. I analysen framkommer hur de kommunicerar genom olika resurser som bygger upp ramar för hur handlingen konstrueras i animationen. Handlingen, tematiken i animationen, har kretsat kring var vi bor i Vintergatan, evolutionen, fortplantning och klimatskillnader etc. Under en och en halv dag har deltagarna utifrån en idé gjort ett bildmanus, lärt sig alla moment och till sist animerat en kortfilm. Dessa animationer har jag valt att visa upp på vårutställningen på Konstfack som den gestaltande delen i mitt arbete. Jag har även formgivit en affisch som ringar in den didaktiska designen och deltagarnas arbete i processen.

ABSTRACT The purpose of this qualitative inquiry was to describe parents’ experiences of the Brain Balance Program, as revealed in their online writing. This study provides a description of parents’ experiences in a way that highlights what participating in the program was like, asserts their judgements about this program, describes the impact of the program on the parent and child and describes the parents’ motives for doing the program and motives for writing about the experience. Six online documents were chosen that were information rich and showed a maximum variation of viewpoints. The sample of online documents were written by parents and retrieved from online sources in November, 2012. Basic Qualitative Descriptive research (Merriam, 2009) was used to design the study and qualitative content analysis was used to produce the findings. Content analysis is “a research method for the subjective interpretation of the content of text data through systematic classification process of coding and identifying themes or patterns” (Hsieh & Shannon, 2005, p. 1278). The findings provide a thick description of parents’ perspectives on their experience of helping their child through a multimodal program for neurobehavioral disorders. Limitations, implications and areas of future research pertaining to the study are discussed. This study can inform parents’ decision making around interventions and provides support for further research in biomedical and cognitive rehabilitative approaches for neurobehavioral disorders.

Los sistemas de reconocimiento biométrico utilizan ciertas características humanas como la voz, los rasgos faciales, la huella dactilar, el iris o la geometría de la mano para identificar a un individuo o verificar su identidad. Dichos sistemas se han desarrollado de forma individual para cada una de estas modalidades biométricas hasta llegar a obtener unos niveles notables de rendimiento. Los sistemas biométricos multimodales combinan diversas modalidades en un sistema de reconocimiento único. La fusión multimodal permite mejorar los resultados obtenidos por una sola característica biométrica y hacen el sistema más robusto a ruidos e interferencias y más resistente a posibles ataques. La fusión se puede realizar a nivel de las señales adquiridas por los distintos sensores, de los parámetros obtenidos para cada modalidad, de las puntuaciones proporcionadas por expertos unimodales o de la decisión tomada por dichos expertos. En la fusión a nivel de parámetros o puntuaciones es necesario homogeneizar las características provenientes de las diferentes modalidades biométricas de manera previa al proceso de fusión. A este proceso de homogeneización se le denomina normalización y se ha demostrado determinante en la obtención de buenos resultados de reconocimiento en los sistemas multimodales. En esta tesis, se presentan diversos métodos de normalización que modifican la estadística de parámetros o puntuaciones. En primer lugar, se propone la normalización de la media y la varianza de las puntuaciones unimodales por medio de transformaciones afines que tienen en cuenta las estadísticas separadas de las puntuaciones de clientes e impostores. En este ámbito se presenta la normalización conjunta de medias, que iguala las medias de las puntuaciones de clientes e impostores para todas las modalidades biométricas. También se han propuesto técnicas que minimizan la suma de las varianzas de las puntuaciones multimodales de clientes e impostores. Estas técnicas han obtenido buenos resultados en un sistema bimodal de fusión de puntuaciones de espectro de voz e imágenes faciales y se ha demostrado que una reducción de las varianzas multimodales puede comportar un mejor resultado de reconocimiento. Por otro lado, se ha utilizado la ecualización de histograma, un método ampliamente utilizado en el tratamiento de imágenes, como técnica de normalización. Para ello, se han ecualizado los histogramas de las características unimodales sobre diversas funciones de referencia. En primer lugar, se ha utilizado el histograma de las puntuaciones de una de las modalidades biométricas como referencia en el proceso de ecualización. Esta técnica se ha mostrado especialmente efectiva al combinarla con métodos de fusión basados en la ponderación de las puntuaciones unimodales. En una segunda aproximación, se han ecualizado las características biométricas a funciones previamente establecidas, en concreto, a una gaussiana y a una doble gaussiana. La ecualización a gaussiana ha obtenido buenos resultados como normalización en sistemas de fusión de parámetros. La ecualización de doble gaussiana se ha diseñado específicamente para la normalización de puntuaciones. Las dos gaussianas representan los lóbulos de las puntuaciones de clientes e impostores que se pueden observar en los histogramas unimodales. Se han probado diferentes variantes para determinar las varianzas de dichas gaussianas. Las técnicas de normalización estadística presentadas en esta tesis se han probado utilizando diferentes estrategias y técnicas para la fusión, tanto para bases de datos quiméricas como para una base de datos multimodal. Además, la fusión se ha realizado a diferentes niveles, en concreto, a nivel de puntuaciones para diferentes escenarios multimodales incluyendo características de espectro voz, prosodia y caras, y a los niveles de parámetros, puntuaciones y decisión en el entorno del proyecto Agatha.