An After Action Review (AAR) is the Army training system's performance feedback mechanism. The purpose of the AAR is to improve team (unit) and individual performance in order to increase organizational readiness. While a large body of knowledge exists that discusses instructional strategies, feedback and training systems, neither the AAR process nor the AAR systems have been examined in terms of learning effectiveness and efficiency for embedded trainers as part of a holistic training system. In this thesis, different feedback methods for embedded training are evaluated based on the timing and type of feedback used during and after training exercises. Those feedback methodologies include: providing Immediate Directive Feedback (IDF) only, the IDF Only feedback condition group; using Immediate Direct Feedback and delayed feedback with open ended prompts to elicit self-elaboration during the AAR, the IDF with AAR feedback condition group; and delaying feedback using opened ended prompts without any IDF, the AAR Only feedback condition group. The results of the experiment support the hypothesis that feedback timing and type do effect skill acquisition, retention and transfer in different ways. Immediate directive feedback has a significant effect in reducing the number of errors committed while acquiring new procedural skills during training. Delayed feedback, in the form of an AAR, has a significant effect on the acquisition, retention and transfer of higher order conceptual knowledge as well as procedural knowledge about a task. The combination of Immediate Directive Feedback with an After Action Review demonstrated the greatest degree of transfer on a transfer task.

Question answering (QA) stands squarely along the path from document retrieval to text understanding. As an area of research interest, it serves as a proving ground where strategies for document processing, knowledge representation, question analysis, and answer extraction may be evaluated in real world information extraction contexts. The task is to go beyond the representation of text documents as "bags of words" or data blobs that can be scanned for keyword combinations and word collocations in the manner of internet search engines. Instead, the goal is to recognize and extract the semantic content of the text, and to organize it in a manner that supports reasoning about the concepts represented. The issue presented is how to obtain and query such a structure without either a predefined set of concepts or a predefined set of relationships among concepts. This research investigates a means for acquiring from text documents both the underlying concepts and their interrelationships. Specifically, a syntax-based formalism for representing atomic propositions that are extracted from text documents is presented, together with a method for constructing a network of concept nodes for indexing such logical forms based on the discourse entities they contain. It is shown that meaningful questions can be decomposed into Boolean combinations of question patterns using the same formalism, with free variables representing the desired answers. It is further shown that this formalism can be used for robust question answering using the concept network and WordNet synonym, hypernym, hyponym, and antonym relationships. This formalism was implemented in the Semantic Extractor (SEMEX) research tool and was tested against the factoid questions from the 2005 Text Retrieval Conference (TREC), which operated upon the AQUAINT corpus of newswire documents. After adjusting for the limitations of the tool and the document set, correct answers were found for approximately fifty percent of the questions analyzed, which compares favorably with other question answering systems.

Robots are increasingly capable of co-existing with human beings in the places where we live and work. I believe, however, for robots to collaborate and assist human beings in their daily lives, new methods are required for enhancing humanrobot communication. In this dissertation, I focus on how a robot can acquire and refine expressive and receptive communication skills with human beings. I hypothesize that communication has its roots in motor behavior and present an approach that is unique in the following aspects: (1) representations of humans and the skills for interacting with them are learned in the same way as the robot learns to interact with other “objects,” (2) expressive behavior naturally emerges as the result of the robot discovering new utility in existing manual behavior in a social context, and (3) symmetry in communicative behavior can be exploited to bootstrap the learning of receptive behavior. Experiments have been designed to evaluate the approach: (1) as a computational framework for learning increasingly comprehensive models and behavior for communicating with human beings and, (2) from a human-robot interaction perspective that can adapt to a variety of human behavior. Results from these studies illustrate that the robot successfully acquired a variety of expressive pointing gestures using multiple limbs and eye gaze, and the perceptual skills with which to recognize and respond to similar gestures from humans. Due to variations in human reactions over the training subjects, the robot developed a preference for certain gestures over others. These results support the experimental hypotheses and offer insights for extensions of the computation framework and experimental designs for future studies.

This thesis consists of three studies investigating the influence media literacy has on political variables, cognitive variables, and learning. Adolescents from 13 years of age and young adults are included in the studies. This thesis is divided into three chapters. Study I and II are one comprehensive study, but will be presented separately for better readability. Chapter I provides the reader with background knowledge for the original studies presented in chapter II includes information about media use, different conceptualizations of media literacy and its development over the lifetime, as well as media literacy’s impact on cognitive and political variables. Additionally, current literature on the comparison of the learning outcomes of different kinds of texts (written, auditory, and audiovisual) is presented, with a differentiation between text-based information and inferences. In chapter II, the original studies are placed in the current state of research and presented in detail. In chapter III, a critical discussion of the studies is conducted, and a general model of the influence media literacy has on the investigated cognitive and political factors is presented, followed by a conclusion of the research. The theoretical foundation of this thesis is three models of media literacy proposed by Groeben (2002, 2004), Hobbs (1997), and Potter (1998, 2016). These three models are similar in that they define media literacy as a multifactorial construct with skills that develop further in the course of life. Their ideas are integrated and developed further, leading to our own model of media literacy. It encompasses five scales: media sign literacy, distinction between reality and fiction, knowledge of media law, knowledge of media effects, and production skills. Thereupon, the assessment tool Würzburg Media Literacy Test (WMK; Würzburger Medienkompetenztest) is designed. There is evidence that media use and media literacy influence socio-political factors. Young adults name the internet as the main source of information on political topics (see Pasek et al., 2006), and knowledge demonstrably fosters political participation (Delli Carpini & Keeter, 1996). However, the kind of participation activity regarded is important (Quintelier & Vissers, 2008), as sometimes real-life participation is supplemented by online activities (Quan-Haase & Wellman, 2002). Media literacy is the key to evaluating the quality of information from media. Whether or not a direct link between media literacy and political interest exists has, as far as I know, not yet been investigated. Several studies have shown that precursors and subcomponents of media literacy have the capacity to influence cognitive variables. For instance, children with higher media sign literacy possess better reading proficiency (Nieding et al., 2017) and are better at collecting information and drawing inferences from hypermedia and films (Diergarten et al., 2017) as compared to children with low literacy. These precursors and subcomponents are more efficient in processing medial sign systems, reducing cognitive load, and consequently, liberating cognitive capacity for other mental tasks (Sweller, 1988). Paino and Renzulli (2012) showed that highly computer-proficient adolescents exhibit better mathematics and reading abilities. Different types of media influence the learning process differently, and the learning process can be enhanced by combining these different types of media, if the material is prepared according to the research findings and Mayer’s (2002) cognitive theory of multimedia learning. Similarly, a reduction in cognitive load takes place and more resources can be invested in the learning process itself (Mayer & Moreno, 2003; Sweller, 1988). It is not easy to answer the question of whether one medium is superior for learning to another. Generally, adults learn best from written texts (e.g., Byrne & Curtis, 2000), and audiovisual and auditory texts are comparable (e.g., Hayes et al., 1986); however, there is little research regarding the comparison of the latter two. Study I examined whether media literacy has a positive impact on interest in politics and the political self-concept. A sample of 101 13-to 20-year-olds was drawn. The control variables were intelligence, socio-economic status (SES), openness to experiences, perspective-taking, age, and sex. Additionally, an evaluation of the WMK was conducted, which indicated good construct validity and excellent overall reliability. Media literacy was positively associated with interest in politics, political self-concept, and perspective-taking but not with openness. In hierarchical regressions and path analysis, a direct influence of media literacy and openness on interest in politics could be found. Political self-concept was solely influenced by interest in politics. Although media literacy had no direct influence on political self-concept, it influenced its precursor interest in politics and was thus expected to have distal influence. The results of the first study confirm previous findings (e.g., Vecchione & Caprara, 2009), where political self-concept is regarded as a precursor of political participation. In conclusion, the findings of study I suggested that by stimulating political interest, media literacy could, mediated through political self-concept, foster political participation. Study II (which was conducted on the same sample as study I) was concerned with the question of whether highly media-literate adolescent and young adult participants exhibit better academic skills (mathematics; reading) and academic achievement (grades) compared to less media-literate participants. Additionally, to obtain information about potential development during adolescence, a group of 50 13-year-olds was compared with a group of 51 19-year-olds in terms of their media literacy. The control variables were intelligence, SES, sex, and age. The results showed that a significant development of media literacy took place during adolescence (∆M = .17), agreeing with Potter’s (1998, 2013) development theory of media literacy. Media literacy was significantly correlated with reading skills and school grades. Regarding adults, media literacy was also significantly correlated with mathematical skills; the association was greater than that with reading skills. However, no connection with mathematical skills was found for adolescents. To control for the influence of age and intelligence, which were both associated with media literacy, hierarchical regressions and path analyses were conducted. The results revealed that media literacy had a greater impact on grades and academic abilities than intelligence. These results are in line with those obtained by Paino and Renzulli (2012). Study III investigated whether media literacy helps young adults to better learn from three kinds of media, a written, an auditory, and an audio-visual text, and which medium achieves the best learning results. Three groups of 91 young adults were compared (written, auditory, and audio-visual text) in terms of their learning outcomes. These outcomes were conceptualized as directly stated information in the text (assessed by text-based questions) and inferential learning (inference questions). A computer-based short version of the WMK was applied to assess media literacy, which should be optimized in the future. The control variables were intelligence, verbal ability, media usage, prior knowledge, and SES. In hierarchical regression, media literacy turned out to be a significant predictor of text inferences, even when other relevant variables, such as intelligence, were controlled for. Inferences foster the building of the situation model, which is believed by many authors to be true comprehension of a text (Zwaan & Radvansky, 1998). The outcomes of study III support Ohler’s (1994) assumption that media literacy fosters the creation of a more elaborated situational model. Text-based questions were only influenced by prior knowledge. As assumed by Potter (1998, 2016), the media literacy of young adults in the Western world suffices to extract relevant facts from educational learning material. Both subjects were best in the written text condition for text-based and inference question results. Audiovisual and auditory texts showed no significant differences. The written text condition did not excel in the auditory text condition for inferences. The results accord with those obtained by, for instance, Byrne and Curtis (2000). Taken together, these studies show that media literacy can influence several cognitive and political variables. It stimulates political interest, reading comprehension, school grades, and mathematical abilities in young adults, as well as drawing inferences from different kinds of texts. Additionally, media literacy develops further during adolescence. / Diese Doktorarbeit besteht aus drei Studien, welche den Einfluss von Medienkompetenz auf politische Variablen, kognitive Variablen und auf Lernen untersuchen. Hierzu wurden Jugendliche ab 13 Jahren und junge Erwachsene rekrutiert. Bei Studie I und II handelt es sich um eine groß angelegte Studie, welche der Lesbarkeit wegen als separate Untersuchungen dargestellt wird. Diese Doktorarbeit ist in drei Kapitel unterteilt. Das erste Kapitel liefert das notwendige Hintergrundwissen für die originären Forschungsstudien des zweiten Kapitels. Dies beinhaltet Informationen zur Mediennutzung, unterschiedlichen Konzeptionen von Medienkompetenz und deren Entwicklung im Verlauf des Lebens, sowie der Einfluss von Medienkompetenz auf kognitive und politische Variablen. Darüber hinaus wird die aktuelle Literatur zur Lernwirksamkeit verschiedener Textarten (schriftlich, auditiv, audiovisuell) dargelegt, wobei zwischen Textoberfläche und Inferenzen unterschieden wird. Im zweiten Kapitel werden die originären Studien zunächst in die aktuelle Literatur eingeordnet und darauffolgend detailliiert dargestellt. Im dritten Kapitel erfolgen anschließend die kritische Diskussion der Studien, sowie mein Versuch, ein übergreifendes Wirkungsmodell der Medienkompetenz auf die untersuchten kognitiven und politischen Faktoren zu entwerfen. Zum Schluss versuche ich ein finales Fazit meiner Forschung zu ziehen. Als theoretische Grundlage dieser Dissertation dienen die drei Modelle der Mediakompetenz von Groeben (2002, 2004), Hobbs (1997), und Potter (1998, 2016). Alle haben gemeinsam, dass sie Mediankompetenz als multifaktoriell, mit sich über die Lebenszeit weiterentwickelnden Fertigkeiten, konzeptualisieren. Die Ideen dieser Modelle wurden integriert und zu einem eigenen Modell der Mediankompetenz weiterentwickelt. Es beinhaltet fünf Skalen: Mediale Zeichenkompetenz, Realitäts-Fiktionsunterscheidung, Wissen über Medienrecht, Wissen über Medieneffekte, und Produktionsfertigkeiten. Hieraus wurde das Erhebungsinstrument WMK (Würzburger Medienkompetenztest) entwickelt. Es gibt Hinweise, dass Mediennutzung und –kompetenz politische Faktoren beeinflussen. Junge Erwachsene nennen das Internet als primäre Informationsquelle über Politik (z.B. Pasek, Kenski, Romer & Jamieson, 2006), wobei Wissen nachweißlich politische Teilhabe fördert (Delli Carpini & Keeter, 1996). Hier kommt es jedoch darauf an, wie politische Partizipation definiert wird (z.B. Quintelier & Vissers, 2008), da lebensweltliche Partizipation auch durch Online-Aktivitäten ersetzt werden kann (Quan-Haase & Wellman, 2002). Medienkompetenz stellt den Schlüssel zur Bewertung der Qualität von Informationen aus den Medien dar. Ob allerdings eine direkte Verbindung zwischen Medienkompetenz und Politikinteresse besteht, wurde meines Wissens bisher noch nicht untersucht. Es wurde bereits in mehreren Studien gezeigt, dass Vorläuferfähigkeiten und Teilkomponenten von Medienkompetenz kognitive Variablen positiv beeinflussen. So weißen beispielsweise Kinder mit höherer medialer Zeichenkompetenz im Vergleich zu Altersgenossen mit geringer medialer Zeichenkompetenz bessere Lesefertigkeiten auf (Nieding et al., 2017) und können besser Informationen und Inferenzen aus Hypertexten und Filmen ziehen (Diergarten et al., 2017). Dies könnte darin begründet liegen, dass diese Kinder mediale Zeichen effizienter verarbeiten und hierdurch die kognitive Belastung reduzieren, was ihnen mehr Kapazität für andere kognitive Aufgaben freiräumt (Sweller, 1988). Paino und Renzulli (2012) konnten zeigen, dass adoleszente Schüler mit hoher Computerkompetenz bessere mathematische und Lesefertigkeiten aufweisen. Verschiedene Medien beeinflussen das Lernen unterschiedlich und der Lernprozess kann durch die Kombination von Medien verbessert werden, wenn diese den Prinzipien der Kognitiven Theorie des Multimedialen Lernens von Mayer (2002) folgt. Hierdurch kommt es ebenso zu einer Reduktion der kognitiven Belastung, wodurch mehr Ressourcen in den Lernprozess investiert werden können (Sweller, 1988, Mayer & Moreno, 2003). Die Frage nach der generellen Überlegenheit eines Lernmediums lässt sich nicht pauschal beantworten. Im Allgemeinen lernen Erwachsene am besten von geschriebenen Texten (z.B. Byrne & Curtis, 2000), auditive und audiovisuelle Texte liegen gleichauf (Hayes, Kelly, & Mandel, 1986). Allerdings existieren wenige Studien, die sich mit einem Vergleich der beiden letzteren befassen. Die erste Studie dieser Dissertation untersuchte, ob sich Medienkompetenz positiv auf das Politikinteresse und das politische Selbstkonzept, auswirkt. Es wurde eine Stichprobe von 101 13- bis 20-Jährigen gezogen. Als Kontrollvariablen wurden Intelligenz, sozio-ökonomischer Status, Offenheit für Erfahrungen, Perspektivenübernahme, Alter und Geschlecht berücksichtigt. Zusätzlich fand eine Evaluation des WMK statt, welche gute Ergebnisse bezüglich seiner Konstruktvalidität und eine exzellente Gesamtrealiabilität ergab. Medienkompetenz korrelierte positiv mit Politikinteresse, dem politische Selbstkonzept und Perspektivenübernahme, aber nicht mit Offenheit für Erfahrungen. Hierarchische Regressionen und Pfadanalysen ergaben einen direkten Einfluss der Medienkompetenz und Offenheit auf das Politikinteresse. Das politische Selbstkonzept wurde nur durch das Politikinteresse beeinflusst. Auch wenn Medienkompetenz sich nicht direkt auf das politische Selbstkonzept auswirkte, so hat es doch dessen Vorläufer Politikinteresse modifiziert und könnte so distal wirken. Die Befunde dieser Studie bestätigen früherer Ergebnisse (z.B. Vecchione & Caprara, 2009), wenn man das politische Selbstkonzept als Vorläufer politischer Partizipation auffasst. Die Resultate von Deary und Kollegen (2008), dass intelligentere Menschen mehr Politikinteresse und politische Partizipation berichten, konnten nicht repliziert werden. Möglicherweise spielt hier das Bildungsniveau, vor allem verbale Fähigkeiten und eine Ausbildung in Sozialwissenschaften, eine größere Rolle als Intelligenz (vgl. Hillygus, 2005). Zusammenfassend zeigten die Ergebnisse von Studie I, dass Medienkompetenz durch die Förderung von Politikinteresse, vermittelt über das politische Selbstkonzept, politische Partizipation begünstigen kann. Studie II, welche an der gleichen Stichprobe wie Studie I durchgeführt wurde, befasste sich mit der Frage, ob Jugendliche und junge Erwachsene mit hoher Medienkompetenz, verglichen mit solchen mit geringer Medienkompetenz, bessere akademische Fertigkeiten (Mathematik; Lesen) und akademische Leistungen (Noten) aufweisen. Darüber hinaus wurde eine Gruppe von 50 13-Jährigen mit einer Gruppe von 51 19-Jährigen bezüglich ihrer Medienkompetenz verglichen, um eine Aussage über potentielle Veränderungen in der Pubertät treffen zu können. Als Kontrollvariablen dienten Intelligenz, sozio-ökonomischer Status, Alter und Geschlecht. Die Ergebnisse zeigten, dass in Übereinstimmung mit Potters (1998, 2013) Entwicklungstheorie der Medienkompetenz während der Adoleszenz eine signifikante Zunahme der Medienkompetenz stattfand (∆M = .17). Es ergaben sich Korrelationen von Medienkompetenz mit mathematischen und Lesefertigkeiten und mit Schulnoten. Bei den Erwachsenen fand sich auch ein signifikanter Zusammenhang mit mathematischen Fertigkeiten, welcher höher als der mit Lesefertigkeiten war. Bei den Jugendlichen fand sich keine Verbindung zwischen Medienkompetenz und mathematischen Fertigkeiten. Um den Einfluss des Alters und der Intelligenz, welche beide mit Medienkompetenz korrelierten, zu kontrollieren, wurden hierarchische Regressionen und Pfadanalysen angewandt. Analog zu Paino und Renzullis (2012) Studie ergaben sie, dass Medienkompetenz einen größeren Einfluss auf die Schulnoten und akademischen Fertigkeiten hatte als Intelligenz. In der dritten Studie wurde untersucht, ob Medienkompetenz jungen Erwachsenen dabei hilft, besser von drei verschiedenen Textarten zu lernen. Es wurden ein schriftlicher, ein auditiver und ein audiovisueller Text bezüglich der jeweiligen Lernwirksamkeit untersucht. Als Lernergebnisse wurden das direkte Textwissen durch textbasierte Fragen, sowie das Inferenzwissen durch Inferenzfragen, erfasst. Es wurde eine Stichprobe von insgesamt 91 jungen Erwachsenen in drei Gruppen aufgeteilt und bezüglich ihrer Lernergebnisse verglichen. Eine Gruppe erhielt den schriftlichen, die zweite den auditiven und die dritte den audiovisuellen Text. Eine computerbasierte Kurzversion des WMK wurde zur Messung der Medienkompetenz eingesetzt, welche sich als optimierungsfähig herausstellte. Zusätzlich wurden Intelligenz, verbale Fähigkeiten, Mediennutzung, Vorwissen und SÖS als Kontrollvariablen erhoben. Die Auswertung durch hierarchische Regressionen ergab, dass Medienkompetenz ein signifikanter Prädiktor für Textinferenzen darzustellen scheint, selbst wenn andere relevante Variablen, wie etwa die Intelligenz, statistisch kontrolliert werden. Inferenzen unterstützen den Aufbau eines Situationsmodells, welches oft als wirkliches Textverständnis aufgefasst wird (z.B. Zwaan & Radvansky, 1998). Die Ergebnisse der dritten Studie unterstützen Ohlers (1994) Annahme, dass Medienkompetenz den Aufbau eines elaborierteren Situationsmodells fördert. Die textbasierten Fragen wurden nur durch das Vorwissen vorhergesagt. Möglicherweise trifft Potters (1998, 2016) Annahme zu, dass Erwachsene in der westlichen Welt über ausreichend basale Medienkompetenz verfügen, um relevante Informationen aus Lernmaterialien herauszuziehen. Die Versuchsteilnehmer schnitten bei den textbasierten und den Inferenzfragen am besten bei dem schriftlichen Text ab. Der schriftliche Text zeigte bei den Inferenzfragen keine signifikante Überlegenheit im Vergleich zu dem auditiven Text. Der audiovisuelle und der auditive Text erzielten für beide Fragensorten vergleichbare Ergebnisse. Die Ergebnisse stimmen mit der Literatur überein (z.B. Byrne & Curtis, 2000). Zusammenfassend zeigten die Studien, dass Medienkompetenz die Fähigkeit hat verschiedene kognitive und nicht-kognitive Variablen zu beeinflussen. Es stimuliert Politikinteresse, verbessert Perspektivenübernahme, Leseverständnis, mathematische Fähigkeiten bei Erwachsenen, Schulnoten und die Bildung von Inferenzen von unterschiedlichen Textarten. Medienkompetenz scheint sich in der Adoleszenz weiterzuentwickeln.

No description available.

No description available.

In education and research, references play a key role. They give credit to prior works, and provide support for reviews, discussions, and arguments. The set of references attached to a publication can help describe that publication, can aid with its categorization and retrieval, can support bibliometric studies, and can guide interested readers and researchers. If suitably analyzed, that set can aid with the analysis of the publication itself, especially regarding all its citing passages. However, extracting and parsing references are difficult problems. One concern is that there are many styles of references, and identifying what style was employed is problematic, especially in heterogeneous collections of theses and dissertations, which cover many fields and disciplines, and where different styles may be used even in the same publication. We address these problems by drawing upon suitable knowledge found in the WWW. In particular, we use appropriate lists (e.g., of names, cities, and other types of entities). We use available information about the many reference styles found, in a type of reverse engineering. We use available references to guide machine learning. In particular, we research a two-stage classifier approach, with multi-class classification with respect to reference styles, and partially solve the problem of parsing surface representations of references. We describe empirical evidence for the effectiveness of our approach and plans for improvement of our method. / Ph. D.

No / Case-Based Reasoning systems retrieve and reuse solutions for previously solved problems that have been encountered and remembered as cases. In some domains, particularly where the problem solving is a classification task, the retrieved solution can be reused directly. But for design tasks it is common for the retrieved solution to be regarded as an initial solution that should be refined to reflect the differences between the new and retrieved problems. The acquisition of adaptation knowledge to achieve this refinement can be demanding, despite the fact that the knowledge source of stored cases captures a substantial part of the problem-solving expertise. This paper describes an introspective learning approach where the case knowledge itself provides a source from which training data for the adaptation task can be assembled. Different learning algorithms are explored and the effect of the learned adaptations is demonstrated for a demanding component-based pharmaceutical design task, tablet formulation. The evaluation highlights the incremental nature of adaptation as a further reasoning step after nearest-neighbour retrieval. A new property-based classification to adapt symbolic values is proposed, and an ensemble of these property-based adaptation classifiers has been particularly successful for the most difficult of the symbolic adaptation tasks in tablet formulation.

The Direction Orientation Test (DOT) on the current version of the Aviation Selection Test Battery has seen ceiling effects in recent years necessitating a need for a change in how the Navy assesses spatial reasoning, and in part due to techniques which had been taught to examinees prior to their taking the exam. This exam impacts the selection of 1,000 naval aviators across the Marine Corps, Navy, and Coast Guard. As new tests were placed into developmental stages, questions arose whether it was the test that mattered or the techniques, including the ability to extend cognition by utilizing available tools in the environment. This study aims to investigate whether the extension of cognition, or the integration of affordances and techniques improves human performance on the TOT. The study intended to provide metrics for the extension of cognition and compare performance in accuracy and questions attempted. The study included 144 Sailors and Marines participating in one of three conditions: Control, Experimental Condition 1 (EC1), and Experimental Condition 2 (EC2). EC1 participants conducted the trial with the allowance to use paper or pencil (as tools to extend their cognition). EC2 allowed the participants the same utilization as EC1, while integrating spatial reasoning methods taught during the trial. The results showed that the extension of cognition alone, EC1, did not outperform the other groups in accuracy, or questions attempted but yielded the shortest response time. EC2 outperformed the groups in accuracy and questions attempted but yielded the longest response time. These results demonstrate that when seeking overall effectiveness with a new training tool or method that considerations must be given to how the human in the loop will interact with the tools and techniques, and their basic understanding of the intended utilization will show performance improvements. This approach applies to many designers and developers across the modeling and simulation space to drive at improved efficiencies in transitioning innovations.

Spoken dialogue systems are application interfaces that enable humans to interact with computers using spoken natural language. A major challenge for these systems is dealing with the ubiquity of variability—in user behavior, in the performance of the various speech and language processing sub-components, and in the dynamics of the task domain. However, as the predominant methodology for dialogue system development is to handcraft the sub-components, these systems typically lack robustness in user interactions. Data-driven methods, on the other hand, have been shown to offer robustness to variability in various domains of computer science and are increasingly being used in dialogue systems research.     This thesis makes four novel contributions to the data-driven methods for spoken dialogue system development. First, a method for interpreting the meaning contained in spoken utterances is presented. Second, an approach for determining when in a user’s speech it is appropriate for the system to give a response is presented. Third, an approach for error detection and analysis in dialogue system interactions is reported. Finally, an implicitly supervised learning approach for knowledge acquisition through the interactive setting of spoken dialogue is presented.      The general approach taken in this thesis is to model dialogue system tasks as a classification problem and investigate features (e.g., lexical, syntactic, semantic, prosodic, and contextual) to train various classifiers on interaction data. The central hypothesis of this thesis is that the models for the aforementioned dialogue system tasks trained using the features proposed here perform better than their corresponding baseline models. The empirical validity of this claim has been assessed through both quantitative and qualitative evaluations, using both objective and subjective measures. / Den här avhandlingen utforskar datadrivna metoder för utveckling av talande dialogsystem. Motivet bakom sådana metoder är att dialogsystem måste kunna hantera en stor variation, i såväl användarnas beteende, som i prestandan hos olika tal- och språkteknologiska delkomponenter. Traditionella tillvägagångssätt, som baseras på handskrivna komponenter i dialogsystem, har ofta svårt att uppvisa robusthet i hanteringen av sådan variation. Datadrivna metoder har visat sig vara robusta mot variation i olika problem inom datavetenskap och artificiell intelligens, och har på senare tid blivit populära även inom forskning kring talande dialogsystem. Den här avhandlingen presenterar fyra nya bidrag till datadrivna metoder för utveckling av talande dialogsystem. Det första bidraget är en datadriven metod för semantisk tolkning av talspråk. Den föreslagna metoden har två viktiga egenskaper: robust hantering av ”ogrammatisk” indata (på grund av talets spontana natur samt fel i taligenkänning), samt bevarande av strukturella relationer mellan koncept i den semantiska representationen. Tidigare metoder för semantisk tolkning av talspråk har typiskt sett endast hanterat den ena av dessa två utmaningar. Det andra bidraget i avhandlingen är en datadriven metod för turtagning i dialogsystem. Den föreslagna modellen utnyttjar prosodi, syntax, semantik samt dialogkontext för att avgöra när i användarens tal som det är lämpligt för systemet att ge respons. Det tredje bidraget är en data-driven metod för detektering av fel och missförstånd i dialogsystem. Där tidigare arbeten har fokuserat på detektering av fel on-line och endast testats i enskilda domäner, presenterats här modeller för analys av fel såväl off-line som on-line, och som tränats samt utvärderats på tre skilda dialogsystemkorpusar. Slutligen presenteras en metod för hur dialogsystem ska kunna tillägna sig ny kunskap genom interaktion med användaren. Metoden är utvärderad i ett scenario där systemet ska bygga upp en kunskapsbas i en geografisk domän genom så kallad "crowdsourcing". Systemet börjar med minimal kunskap och använder den talade dialogen för att både samla ny information och verifiera den kunskap som inhämtats. Den generella ansatsen i den här avhandlingen är att modellera olika uppgifter för dialogsystem som  klassificeringsproblem, och undersöka särdrag i diskursens kontext som kan användas för att träna klassificerare. Under arbetets gång har olika slags lexikala, syntaktiska, prosodiska samt kontextuella särdrag undersökts. En allmän diskussion om dessa särdrags bidrag till modellering av ovannämnda uppgifter utgör ett av avhandlingens huvudsakliga bidrag. En annan central del i avhandlingen är att träna modeller som kan användas direkt i dialogsystem, varför endast automatiskt extraherbara särdrag (som inte kräver manuell uppmärkning) används för att träna modellerna. Vidare utvärderas modellernas prestanda på såväl taligenkänningsresultat som transkriptioner för att undersöka hur robusta de föreslagna metoderna är. Den centrala hypotesen i denna avhandling är att modeller som tränas med de föreslagna kontextuella särdragen presterar bättre än en referensmodell. Giltigheten hos denna hypotes har bedömts med såväl kvalitativa som kvantitativa utvärderingar, som nyttjar både objektiva och subjektiva mått. / <p>QC 20160225</p>