This thesis aims to investigate the eect context could have to interaction between a user and a spoken dialogue system. It was assumed that using context-dependent voice commands instead of absolute semantic voice commands would make the dialogue more natural and also increase the usability. This thesis also investigate if introducing context could aect the user's privacy and if it could expose a threat for the user from a user perspective. Based on an extended literature review of spoken dialogue system, voice recognition, ambient intelligence, human-computer interaction and privacy, a spoken dialogue system was designed and implemented to test the assumption. The test study included two steps: experiment and interview. The participants conducted the dierent scenarios where a spoken dialogue system could be used with both context-dependent commands and absolute semantic commands. Based on these studies, qualitative results regarding natural, usability and privacy validated the authors hypothesis to some extent. The results indicated that the interaction between users and spoken dialogue systems was more natural and increased the usability when using context. The participants did not feel more monitored by the spoken dialogue system when using context. Some participants stated that there could be a theoretical privacy issues, but only if the security measurements were not met. The paper concludes with suggestions for future work in the scientic area. / Denna uppsats har som mal att undersoka vilken eekt kontext kan ha pa interaktion mellan en anvandare och ett spoken dialogue system. Det antogs att anvandbarheten skulle oka genom att anvanda kontextberoende rostkommandon istallet for absolut semantiska rostkommandon. Denna uppsats granskar aven om kontext kan paverka anvandarens integritet och om den, ur ett anvandarperspektiv, kan utgora ett hot. Baserat pa den utokade litteraturstudien av spoken dialogue system, rostigenkanning, ambient intelligence, manniska-datorinteraktion och integritet, designades och implementerades ett spoken dialogue system for att testa detta antagande. Teststudien bestod av tva steg: experiment och intervju. Deltagarna utforde olika scenarier dar ett spoken dialogue system kunde anvands med kontextberoende rostkommandon och absolut semantiska rostkommandon. Kvalitativa resultat angaende naturlighet, anvandbarhet och integritet validerade forfattarens hypotes till en viss grad. Resultatet indikerade att interaktionen mellan anvandare och ett spoken dialogue system var mer naturlig och mer anvandbar vid anvandning av kontextberoende rostkommandon istallet for absolut semantiska rostkommandon. Deltagarna kande sig inte mer overvakade av ett spoken dialogue system vid anvandning av kontextberoende rostkommandon. Somliga deltagare angav att det, i teorin, fanns integritetsproblem, men endast om inte alla sakerhetsatgarder var uppnadda. Uppsatsen avslutas med forslag pa framtida studier inom detta vetenskapliga omrade.

京都大学 / 0048 / 新制・課程博士 / 博士(情報学) / 甲第18614号 / 情博第538号 / 新制||情||95(附属図書館) / 31514 / 京都大学大学院情報学研究科知能情報学専攻 / (主査)教授 河原 達也, 教授 黒橋 禎夫, 教授 鹿島 久嗣 / 学位規則第4条第1項該当 / Doctor of Informatics / Kyoto University / DFAM

No description available.

Un système de dialogue permet de doter la Machine de la capacité d'interagir de façon naturelle et efficace avec l'Homme. Dans cette thèse nous nous intéressons au développement d'un système de dialogue reposant sur des approches statistiques, et en particulier du cadre formel des Processus Décisionnel de Markov Partiellement Observable, en anglais Partially Observable Markov Decision Process (POMDP), qui à ce jour fait office de référence dans la littérature en ce qui concerne la gestion statistique du dialogue. Ce modèle permet à la fois une prise en compte améliorée de l'incertitude inhérente au traitement des données en provenance de l'utilisateur (notamment la parole) et aussi l'optimisation automatique de la politique d'interaction à partir de données grâce à l'apprentissage par renforcement, en anglais Reinforcement Learning (RL). Cependant, une des problématiques liées aux approches statistiques est qu'elles nécessitent le recours à une grande quantité de données d'apprentissage pour atteindre des niveaux de performances acceptables. Or, la collecte de telles données est un processus long et coûteux qui nécessite généralement, pour le cas du dialogue, la réalisation de prototypes fonctionnels avec l'intervention d'experts et/ou le développement de solution alternative comme le recours à la simulation d'utilisateurs. En effet, très peu de travaux considèrent à ce jour la possibilité d'un apprentissage de la stratégie de la Machine de part sa mise en situation de zéro (sans apprentissage préalable) face à de vrais utilisateurs. Pourtant cette solution présente un grand intérêt, elle permet par exemple d'inscrire le processus d'apprentissage comme une partie intégrante du cycle de vie d'un système lui offrant la capacité de s'adapter à de nouvelles conditions de façon dynamique et continue. Dans cette thèse, nous nous attacherons donc à apporter des solutions visant à rendre possible ce démarrage à froid du système mais aussi, à améliorer sa capacité à s'adapter à de nouvelles conditions (extension de domaine, changement d'utilisateur,...). Pour ce faire, nous envisagerons dans un premier temps l'utilisation de l'expertise du domaine (règles expertes) pour guider l'apprentissage initial de la politique d'interaction du système. De même, nous étudierons l'impact de la prise en compte de jugements subjectifs émis par l'utilisateur au fil de l'interaction dans l'apprentissage, notamment dans un contexte de changement de profil d'utilisateur où la politique préalablement apprise doit alors pouvoir s'adapter à de nouvelles conditions. Les résultats obtenus sur une tâche de référence montrent la possibilité d'apprendre une politique (quasi-)optimale en quelques centaines d'interactions, mais aussi que les informations supplémentaires considérées dans nos propositions sont à même d'accélérer significativement l'apprentissage et d'améliorer la tolérance aux bruits dans la chaîne de traitement. Dans un second temps nous nous intéresserons à réduire les coûts de développement d'un module de compréhension de la parole utilisé dans l'étiquetage sémantique d'un tour de dialogue. Pour cela, nous exploiterons les récentes avancées dans les techniques de projection des mots dans des espaces vectoriels continus conservant les propriétés syntactiques et sémantiques, pour généraliser à partir des connaissances initiales limitées de la tâche pour comprendre l'utilisateur. Nous nous attacherons aussi à proposer des solutions afin d'enrichir dynamiquement cette connaissance et étudier le rapport de cette technique avec les méthodes statistiques état de l'art. Là encore nos résultats expérimentaux montrent qu'il est possible d'atteindre des performances état de l'art avec très peu de données et de raffiner ces modèles ensuite avec des retours utilisateurs dont le coût peut lui-même être optimisé. / A dialogue system should give the machine the ability to interactnaturally and efficiently with humans. In this thesis, we focus on theissue of the development of stochastic dialogue systems. Thus, we especiallyconsider the Partially Observable Markov Decision Process (POMDP)framework which yields state-of-the-art performance on goal-oriented dialoguemanagement tasks. This model enables the system to cope with thecommunication ambiguities due to noisy channel and also to optimize itsdialogue management strategy directly from data with Reinforcement Learning (RL)methods.Considering statistical approaches often requires the availability of alarge amount of training data to reach good performance. However, corpora of interest are seldom readily available and collectingsuch data is both time consuming and expensive. For instance, it mayrequire a working prototype to initiate preliminary experiments with thesupport of expert users or to consider other alternatives such as usersimulation techniques.Very few studies to date have considered learning a dialogue strategyfrom scratch by interacting with real users, yet this solution is ofgreat interest. Indeed, considering the learning process as part of thelife cycle of a system offers a principle framework to dynamically adaptthe system to new conditions in an online and seamless fashion.In this thesis, we endeavour to provide solutions to make possible thisdialogue system cold start (nearly from scratch) but also to improve its ability to adapt to new conditions in operation (domain extension, new user profile, etc.).First, we investigate the conditions under which initial expertknowledge (such as expert rules) can be used to accelerate the policyoptimization of a learning agent. Similarly, we study how polarized userappraisals gathered throughout the course of the interaction can beintegrated into a reinforcement learning-based dialogue manager. Morespecifically, we discuss how this information can be cast intosocially-inspired rewards to speed up the policy optimisation for bothefficient task completion and user adaptation in an online learning setting.The results obtained on a reference task demonstrate that a(quasi-)optimal policy can be learnt in just a few hundred dialogues,but also that the considered additional information is able tosignificantly accelerate the learning as well as improving the noise tolerance.Second, we focus on reducing the development cost of the spoken language understanding module. For this, we exploit recent word embedding models(projection of words in a continuous vector space representing syntacticand semantic properties) to generalize from a limited initial knowledgeabout the dialogue task to enable the machine to instantly understandthe user utterances. We also propose to dynamically enrich thisknowledge with both active learning techniques and state-of-the-artstatistical methods. Our experimental results show that state-of-the-artperformance can be obtained with a very limited amount of in-domain andin-context data. We also show that we are able to refine the proposedmodel by exploiting user returns about the system outputs as well as tooptimize our adaptive learning with an adversarial bandit algorithm tosuccessfully balance the trade-off between user effort and moduleperformance.Finally, we study how the physical embodiment of a dialogue system in a humanoid robot can help the interaction in a dedicated Human-Robotapplication where dialogue system learning and testing are carried outwith real users. Indeed, in this thesis we propose an extension of thepreviously considered decision-making techniques to be able to take intoaccount the robot's awareness of the users' belief (perspective taking)in a RL-based situated dialogue management optimisation procedure.

Cette thèse décrit la conception d’un système de dialogue Homme- Machine pour la recherche d’informations capable d’interagir avec l’utilisateur en langue naturelle en utilisant des stratégies coopératives. Pour étudier les processus dialogiques impliqués dans la recherche d’informations, une méthodologie ascendante a été adoptée. Une série d’expérimentations a permis le recueil de corpus de dialogues humains présentant de telles recherches dans le cadre du système de documentation médicale CISMeF. L’analyse des dialogues recueillis a montré que leur structure correspond bien aux structures sémantiques de l’approche « questionsréponses ». Fondé sur un modèle existant nommé GoDIS, notre système y intègre de nombreux ajouts permettant d’améliorer la cohérence du dialogue et de proposer des exemples, des choix, des assistances. Une implémentation de ce modèle est réalisée et des pistes d’évaluation sont proposées. / This thesis describes the design of a computer-human dialog system for information search. This system is able to interact with the user in natural language using cooperative strategies. To study the dialog processes involved during information search, a bottom-up approach was adopted. Experiments have been set up to obtain human dialogs related to such searches in the context of the health information system CISMeF. It turns out that the structure arising from the analysis of the dialogs matches a semantic approach called “issue-based dialog”. Starting from the model GoDIS, our artificial agent model adds several enhancements that allow to propose examples, assistance and choices. The model is implemented and some elements of evaluation are discussed.

Cette thèse a pour objectif l’amélioration des capacités communicatives des agents logiciels en interaction avec des humains. Dans ce but, nous proposons une méthodologie basée sur l’étude d’un corpus d’interactions Homme-Homme orientées vers la réalisation d’une tâche. Nous proposons un cadre qui s’appuie sur les jeux de dialogue afin de modéliser des motifs dialogiques observés. Nous illustrons la spécification de tels jeux depuis des motifs extraits en appliquant l'ensemble des étapes de noter méthodologie à un corpus. Les jeux spécifiés sont validés en montrant qu’ils décrivent de façon appropriée les motifs apparaissant dans le corpus de référence. Enfin, nous montrons l’intérêt interprétatif et génératif de notre modèle pour le fondement du comportement communicatif conventionnel d’un agent interagissant avec un humain. Nous implémentons ce modèle dans le module Dogma, exploitable par un agent dans un dialogue impliquant deux interlocuteurs. / This research work aims at improving the communicative behaviour of software agents interacting with humans. To this purpose, we present a data-driven methodology based on the study of a task oriented corpus consisting of Human-Human interactions. We present a framework to specify dialogue games from observed interaction patterns based on the notion of social commitments and conversational gameboard. We exemplify the specification of dialogue games by implementing all the steps of our methodology ona task-oriented corpus. The produced games are validated by showing that they appropriately describe the patterns appearing in a reference corpus. Eventually, we show that an agent can take advantage of our model to regulate its conventional communicative behaviour on both interpretative and generative levels. We implement this model into Dogma, a module that can be used by an agent to manage its communicative behaviour in a two-interlocutor dialogue.

Zentrales Thema der Arbeit sind die im Rahmen des Projektes OSIRIS vorgenommenen Verbesserungen für den Online-Zugang zu Bibliothekskatalogen. Diese Verbesserungen werden in den Kontext der steigenden Bedeutung von Online Information gestellt, indem Schnittstellen zu Online-Bibliothekskatalogen als ein repräsentativer Sonderfall für Online-Dialogschnittstellen beschrieben werden. Nach einer Darstellung der wesentlichen Merkmale von OSIRIS (auch kontrastiv zu anderen Bemühungen im Kontext wissenschaftlicher Bibliotheken, die Recherche im Online-Katalog zu verbessern) werden die Möglichkeiten eines weiteren Systemausbaus beschrieben. Neben den für OSIRIS spezifischen Verbesserungsmöglichkeiten geht es dabei auch um die allgemein an der Schnittstelle zu erwartenden linguistischen Phänomene. Im Anschluss werden die bereits für OSIRIS durchgeführten Evaluationsmassnahmen beschrieben und anhand der Literatur versucht, allgemeine Kriterien für die Wirkung natürlichsprachlicher Schnittstellen auf die Nutzer zu identifizieren. Es werden die möglicherweise limitierenden Faktoren eines weiteren Ausbaus einer natürlichsprachlichen Dialogschnittstelle wie OSIRIS beschrieben, wobei neben den technischen Aspekten insbesondere die Wirkung von Dialogschnittstellen auf deren Benutzer erörtert wird.

Universities worldwide face challenges both with students dropping out of educational programmes and repetitive questions directed toward teaching staff which both consume resources and result in delays. Recent progress in natural language processing (NLP) introduces the possibility of more sophisticated dialogue systems that could help alleviate the situation. Dialogue systems in education are complex to construct for multiple reasons. Two such reasons are that domain-specific data is often not readily available and extending an existing system often requires configuring the system again and re-training models. In this thesis, a graph-based knowledge base (KB) which is the foundation of a heavily rule-based dialogue system is proposed. The core of the natural language understanding (NLU) in the pipeline-based dialogue system includes the transformer-based DIET classifier for intent classification and entity extraction. The custom logic of the dialogue system relies on contextual and distributional embeddings. While the proposed solution is used in electrical engineering specifically, the KB and the architecture of the dialogue system are designed with generalization in mind. An emphasis is to maintain a low level of system maintenance after deployment allowing teaching staff without expertise in computer science and machine learning to operate the system. The utilization of transfer learning with pre-trained language models helps achieve this objective. The findings suggest that the system is sufficiently sophisticated to improve learning environments for students while potentially alleviating the workload of teaching staff. They further indicate that computer science and machine learning expertise are not required to operate the system over time. / Universitet världen runt möter utmaningar vad gäller både studenter som avbryter sina studier i förtid och repetitiva frågeställningar riktade till kursansvariga vilket konsumerar resurser och resulterar i onödig tidsåtgång. Den utveckling som på senare tid har skett inom naturlig språkhantering (NLP) introducerar möjligheter för mer sofistikerade dialogsystem som skulle kunna avhjälpa situationen. Dialogsystem inom utbildning är ofta komplexa att konstruera av flera anledningar. Två av dessa anledningar är att domän-specifik data sällan finns tillgänglig och att vidareutveckla existerande dialogsystem ofta kräver omkonfigurering och att man åter tränar de involverade modellerna. I denna uppsats föreslås en grafbaserad kunskapsbas (KB) som är grunden av ett till stora delar regelbaserat dialogsystem. Kärnan av den naturliga språkförståelsen (NLU) i det pipeline-baserade dialogsystemet inkluderar den transformer-baserade DIET-modellen för klassificering av intentioner och extrahering av entiteter. Den egenutvecklade logiken i dialogsystemet förlitar sig på förtränade kontextuella och distribuerade inbäddningar. Medan den föreslagna lösningen används specifikt inom elektroteknik så är både KB och dialogsystemets arkitektur utvecklade med generalisering i åtanke. Det finns även en betoning på att bibehålla en låg underhållningsnivå efter att systemet har sjösatts för att tillåta att systemet drivs av kursansvariga utan expertis inom datalogi eller maskininlärning. Användandet av förtränade språkmodeller hjälper till att uppnå detta mål. Upptäckterna tyder på att systemet är tillräckligt sofistikerat för att förbättra lärandemiljön för studenter medan det samtidigt möjligtvis kan hjälpa till att förminska arbetsbelastningen för kursansvariga. Vidare så indikerar upptäckterna att expertis inom datalogi och maskininlärning inte är nödvändigt för att driva systemet över tid.

Актуальность темы обусловлена необходимостью различных предприятий в автоматизации процесса обработки обращений клиентов в чаты, для повышения эффективности работы сотрудников и снижения ресурсных затрат, а также для повышения уровня клиентского сервиса. Цель работы: улучшение качества обслуживания клиентов посредством разработки чат-бота, автоматизирующего бизнес-процессы обработки обращений клиентов в чат на языке программирования Python в мессенджере «Telegram» с интеграцией бота в Яндекс.Алиса. Для достижения поставленной цели необходимо решение следующих задач: изучил понятия чат-бота и его функции; использовать преимущества использования мессенджеров для бизнеса; настроить языки программирования и выбрать язык для разработки чат-бота; выбрать мессенджер, в котором будет реализован чат-бот; разработать ИТ-проект по разработке чат-бота. Объектом исследования данной выпускной квалификационной работы является информационная система предприятия. Предметом исследования является обработка бизнес-процессов клиентов с часто задаваемыми вопросами в клиентских сервисах различных предприятий. Научная новизна составила то, что проанализировано большое количество программных средств для реализации проекта, показано большое количество прикладных чат-ботов в бизнесе, а также разработан уникальный чат-бот. Практическая оригинальность заключается в том, что данного чат-бота можно применять в любой компании, в которой есть бизнес-процесс обработки обращения клиентов в чат. / The relevance of the topic is due to the need of various enterprises to automate the process of processing customer requests in chats, to increase the efficiency of employees and reduce resource costs, as well as to increase the level of customer service. Goal of work: improving the quality of customer service by developing a chat bot that automates the business processes of processing customer requests via chat in the Python programming language in the Telegram messenger with the integration of the bot into Yandex.Alice. To achieve this goal, it is necessary to solve the following tasks: studied the concepts of a chatbot and its functions; take advantage of the benefits of using instant messengers for business; configure programming languages and select a language for developing a chatbot; select the messenger in which the chatbot will be implemented; develop an IT project to develop a chatbot. The object of study of this final qualifying work is the enterprise information system. The subject of the study is the processing of customer business processes with frequently asked questions in customer services of various enterprises. The scientific novelty was that a large number of software tools for the implementation of the project were analyzed, a large number of applied chatbots in business were shown, and a unique chatbot was developed. The practical originality lies in the fact that this chatbot can be used in any company that has a business process for processing customer requests via chat.

This thesis presents work done during the last ten years on developing five multimodal spoken dialogue systems, and the empirical user studies that have been conducted with them. The dialogue systems have been multimodal, giving information both verbally with animated talking characters and graphically on maps and in text tables. To be able to study a wider rage of user behaviour each new system has been in a new domain and with a new set of interactional abilities. The five system presented in this thesis are: The Waxholm system where users could ask about the boat traffic in the Stockholm archipelago; the Gulan system where people could retrieve information from the Yellow pages of Stockholm; the August system which was a publicly available system where people could get information about the author Strindberg, KTH and Stockholm; the AdAptsystem that allowed users to browse apartments for sale in Stockholm and the Pixie system where users could help ananimated agent to fix things in a visionary apartment publicly available at the Telecom museum in Stockholm. Some of the dialogue systems have been used in controlled experiments in laboratory environments, while others have been placed inpublic environments where members of the general public have interacted with them. All spoken human-computer interactions have been transcribed and analyzed to increase our understanding of how people interact verbally with computers, and to obtain knowledge on how spoken dialogue systems canutilize the regularities found in these interactions. This thesis summarizes the experiences from building these five dialogue systems and presents some of the findings from the analyses of the collected dialogue corpora. / QC 20100611