This thesis presents scientific contributions to the field of multimodal interac- tive structured prediction (MISP). The aim of MISP is to reduce the human effort required to supervise an automatic output, in an efficient and ergonomic way. Hence, this thesis focuses on the two aspects of MISP systems. The first aspect, which refers to the interactive part of MISP, is the study of strate- gies for efficient human¿computer collaboration to produce error-free outputs. Multimodality, the second aspect, deals with other more ergonomic modalities of communication with the computer rather than keyboard and mouse. To begin with, in sequential interaction the user is assumed to supervise the output from left-to-right so that errors are corrected in sequential order. We study the problem under the decision theory framework and define an optimum decoding algorithm. The optimum algorithm is compared to the usually ap- plied, standard approach. Experimental results on several tasks suggests that the optimum algorithm is slightly better than the standard algorithm. In contrast to sequential interaction, in active interaction it is the system that decides what should be given to the user for supervision. On the one hand, user supervision can be reduced if the user is required to supervise only the outputs that the system expects to be erroneous. In this respect, we define a strategy that retrieves first the outputs with highest expected error first. Moreover, we prove that this strategy is optimum under certain conditions, which is validated by experimental results. On the other hand, if the goal is to reduce the number of corrections, active interaction works by selecting elements, one by one, e.g., words of a given output to be supervised by the user. For this case, several strategies are compared. Unlike the previous case, the strategy that performs better is to choose the element with highest confidence, which coincides with the findings of the optimum algorithm for sequential interaction. However, this also suggests that minimizing effort and supervision are contradictory goals. With respect to the multimodality aspect, this thesis delves into techniques to make multimodal systems more robust. To achieve that, multimodal systems are improved by providing contextual information of the application at hand. First, we study how to integrate e-pen interaction in a machine translation task. We contribute to the state-of-the-art by leveraging the information from the source sentence. Several strategies are compared basically grouped into two approaches: inspired by word-based translation models and n-grams generated from a phrase-based system. The experiments show that the former outper- forms the latter for this task. Furthermore, the results present remarkable improvements against not using contextual information. Second, similar ex- periments are conducted on a speech-enabled interface for interactive machine translation. The improvements over the baseline are also noticeable. How- ever, in this case, phrase-based models perform much better than word-based models. We attribute that to the fact that acoustic models are poorer estima- tions than morphologic models and, thus, they benefit more from the language model. Finally, similar techniques are proposed for dictation of handwritten documents. The results show that speech and handwritten recognition can be combined in an effective way. Finally, an evaluation with real users is carried out to compare an interactive machine translation prototype with a post-editing prototype. The results of the study reveal that users are very sensitive to the usability aspects of the user interface. Therefore, usability is a crucial aspect to consider in an human evaluation that can hinder the real benefits of the technology being evaluated. Hopefully, once usability problems are fixed, the evaluation indicates that users are more favorable to work with the interactive machine translation system than to the post-editing system. / Alabau Gonzalvo, V. (2014). Multimodal interactive structured prediction [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/35135 / Premios Extraordinarios de tesis doctorales

Interest in comics as Swedish school material has risen in the last few years and the publication of comics for children and adolescents has also increased. Meanwhile, although research around new literacies has taken an interest in combinations of image and text, there is still little research on comics as a literacy material, especially as part of school practices. With comics’ rise in popularity, and their quality as examples of new literacies, this points to the relevance of exploring how meaning making with comics is done in schools. The purpose of this study is to contribute knowledge on how locally situated literacy practices are done, practices in which pupils and teachers make meaning with comics. The study combines literacy, comics and discursive psychology to investigate aspects of literacy not as individual, inner workings, but as part of participants’ social constructions, in line with New Literacy Studies. With this perspective, it is possible to investigate literary concepts such as narrative, and participants’ construction of story elements, through the way in which these aspects are utilized by participants to construct social action – what participants do with their utterances. To study this, video recordings have been made in one primary and one secondary school, in two different Swedish cities. The results of the study show constructions of a comics literacy, where participants engage with both visual and textual aspects of the material and negotiate focalization of narrative perspective and construction of narrative structure as well as narrative devices such as speech and thought bubbles. Furthermore, meaning making of comics literacy also includes the construction of discourses around comics as a specific type of story telling, either for material or literary reasons. The thesis discusses how participants construct classroom literature, and provides insight into how interaction around comics enables participants to construct and negotiate discourses around what comics literacy is and what it enables, as well as how to talk about, create, and read comics. / Intresset för serier som svenskt skolmaterial har stigit de senaste åren och publiceringen av serier för barn och ungdomar har också ökat. Även om forskning om new literacies har intresserat sig för kombinationer av bild och text så finns det fortfarande lite forskning på serier som literacymaterial, speciellt som en del av skolpraktik. Med det stigande intresset för serier och deras kvaliteter som exempel på new literacies, så pekar detta mot att det finns en relevans i att utforska hur meningsskapande med serier görs i skolan. Syftet med denna studie är att bidra med kunskap om hur lokalt situerad literacypraktik görs där elever och lärare skapar mening med serier. Studien kombinerar forskning om literacy, serier och diskursiv psykologi för att, i linje med New Literacy Studies, undersöka aspekter av literacy som en del av deltagarnas sociala konstruktioner – inte som ett individuellt, mentalt fenomen. Med detta perspektiv är det möjligt att undersöka litterära koncept som narrativ och deltagares konstruktion av berättelseinslag, genom det sätt på vilka dessa aspekter används av deltagare för att interagera – vad deltagare gör när de säger något. För att studera detta har videoobservationer använts i en lågstadieskola och en högstadieskola i två olika svenska städer. Resultaten från studien demonstrerar konstruktioner av serie-literacy där deltagarna engagerar sig i både text och bild i materialet, diskuterar berättandeperspektiv och konstruktioner av narrativ struktur, såväl som berättarverktyg, t.ex. prat- och tankebubblor. Därutöver inkluderar serie-literacy också deltagarnas skapande av seriediskurser där serier görs till en specifik typ av berättande, antingen på materiell eller litterär basis. Avhandlingen diskuterar hur deltagare konstruerar klassrumslitteratur, och studien erbjuder en insikt i hur interaktion runt serier möjliggör för deltagare att konstruera och förhandla diskurser om vad serieliteracy är och vad det erbjuder för möjligheter, såväl som hur deltagare kan prata om, skapa och läsa serier.

Delad uppmärksamhet och affective stances är viktiga sociala verktyg och fundamentala moment vid barn–barn-interaktion. Syftet med den genomförda studien var att undersöka hur femåringar använder sig av och bemöter samtalsturer innehållande uppmärksamhetssökande språkliga praktiker under fri lek, samt hur de modifierar dessa samtalsturer för att presentera förhöjda affective stances. För att uppnå studiens syfte observerades och transkriberades videomaterial som skildrar barn i femårsåldern som leker i par om två. Innehållet i detta transkriberade material studerades på två vis. Först räknades antalet förekomster av uppmärksamhetssökande språkliga praktiker och uppmärksamhetssökande samtalsturer samt de olika sorters responser som barnen gav på dessa. Sedan utfördes en multimodal interaktionsanalys på särskilt intressanta sekvenser ur materialet. Studiens resultat visade att barnen i huvudsak använde sig av vokativer och ”kolla på”-direktiv för att rikta sina lekkamraters uppmärksamhet, medan ingressiver och diskurspartiklar med appellerande moment var minst vanligt förekommande. Den vanligaste formen av respons på barnens uppmärksamhetssökande samtalsturer var kortfattade, minimala responser, medan utvecklade responser var minst vanliga. När det kommer till hur barnen modifierade sina uppmärksamhetssökande yttranden för att presentera förhöjda affective stances visade det sig att de i samtliga fall använde sig av hög tonhöjd och hög röststyrka, och i varierande utsträckning använde resurser som leenden, blickriktning, förlängningar, stigande intonation, betoning, hastighet, pauser och interjektioner. Framtida forskning på ämnet kan med fördel titta närmare på hur användningen av uppmärksamhetssökande språkliga praktiker och affective stances skiljer sig åt mellan barn i olika åldrar och vuxna, samt vilken roll kön och personlighetstyp spelar vid barns val av uppmärksamhetssökande strategier.