Dans le traitement de langue et des système de dialogue, il est courant de pré-entraîner des modèles de langue sur corpus humain avant de les affiner par le biais d'un simulateur et de résolution de tâches. Malheuresement, ce type d'entrainement tend aussi à induire un phénomène connu sous le nom de dérive du langage. Concrétement, les propriétés syntaxiques et sémantiques de la langue intiallement apprise se détériorent: les agents se concentrent uniquement sur la résolution de la tâche, et non plus sur la préservation de la langue. En s'inspirant des travaux en sciences cognitives, et notamment l'apprentigssage itératif Kirby and Griffiths (2014), nous proposons ici une approche générique pour contrer cette dérive du langage. Nous avons appelé cette méthode Seeded iterated learning (SIL), ou apprentissage itératif capitalisé. Ce travail a été publié sous le titre (Lu et al., 2020b) et est présenté au chapitre 2. Afin d'émuler la transmission de la langue entre chaque génération d'agents, un agent étudiant est d'abord pré-entrainé avant d'être affiné de manière itérative, et ceci, en imitant des données échantillonnées à partir d'un agent enseignant nouvellement formé. À chaque génération, l'enseignant est créé en copiant l'agent étudiant, avant d'être de nouveau affiné en maximisant le taux de réussite de la tâche sous-jacente. Dans un second temps, nous présentons Supervised Seeded iterated learning (SSIL) dans le chapitre 3, où apprentissage itératif capitalisé avec supervision, qui a été publié sous le titre (Lu et al., 2020b). SSIL s'appuie sur SIL en le combinant avec une autre méthode populaire appelée Supervised SelfPlay (S2P) (Gupta et al., 2019), où apprentissage supervisé par auto-jeu. SSIL est capable d'atténuer les problèmes de S2P et de SIL, i.e. la dérive du langage dans les dernier stades de l'entrainement tout en préservant une plus grande diversité linguistique. Tout d'abord, nous évaluons nos méthodes dans sous la forme d'une preuve de concept à traver le Jeu de Lewis avec du langage synthetique. Dans un second temps, nous l'étendons à un jeu de traduction se utilisant du langage naturel. Dans les deux cas, nous soulignons l'efficacité de nos méthodes par rapport aux autres méthodes de la litterature. Dans le chapitre 1, nous discutons des concepts de base nécessaires à la compréhension des articles présentés dans les chapitres 2 et 3. Nous décrivons le problème spécifique du dialogue orienté tâche, y compris les approches actuelles et les défis auxquels ils sont confrontés : en particulier, la dérive linguistique. Nous donnons également un aperçu du cadre d'apprentissage itéré. Certaines sections du chapitre 1 sont empruntées aux articles pour des raisons de cohérence et de facilité de compréhension. Le chapitre 2 comprend les travaux publiés sous le nom de (Lu et al., 2020b) et le chapitre 3 comprend les travaux publiés sous le nom de (Lu et al., 2020a), avant de conclure au chapitre 4. / In task-oriented dialogue, pretraining on human corpus followed by finetuning in a simulator using selfplay suffers from a phenomenon called language drift. The syntactic and semantic properties of the learned language deteriorates as the agents only focuses on solving the task. Inspired by the iterative learning framework in cognitive science Kirby and Griffiths (2014), we propose a generic approach to counter language drift called Seeded iterated learning (SIL). This work was published as (Lu et al., 2020b) and is presented in Chapter 2. In an attempt to emulate transmission of language between generations, a pretrained student agent is iteratively refined by imitating data sampled from a newly trained teacher agent. At each generation, the teacher is created by copying the student agent, before being finetuned to maximize task completion.We further introduce Supervised Seeded iterated learning (SSIL) in Chapter 3, work which was published as (Lu et al., 2020a). SSIL builds upon SIL by combining it with the other popular method called Supervised SelfPlay (S2P) (Gupta et al., 2019). SSIL is able to mitigate the problems of both S2P and SIL namely late-stage training collapse and low language diversity. We evaluate our methods in a toy setting of Lewis Game, and then scale it up to the translation game with natural language. In both settings, we highlight the efficacy of our methods compared to the baselines. In Chapter 1, we talk about the core concepts required for understanding the papers presented in Chapters 2 and 3. We describe the specific problem of task-oriented dialogue including current approaches and the challenges they face: particularly, the challenge of language drift. We also give an overview of the iterated learning framework. Some sections in Chapter 1 are borrowed from the papers for coherence and ease of understanding. Chapter 2 comprises of the work published as (Lu et al., 2020b) and Chapter 3 comprises of the work published as (Lu et al., 2020a). Chapter 4 gives a conclusion on the work.

Cette thèse par article se compose de quatre articles qui contribuent au domaine de l’apprentissage profond, en particulier dans la compréhension et l’apprentissage des ap- proches neuronales des systèmes de dialogue. Le premier article fait un pas vers la compréhension si les architectures de dialogue neuronal couramment utilisées capturent efficacement les informations présentes dans l’historique des conversations. Grâce à une série d’expériences de perturbation sur des ensembles de données de dialogue populaires, nous constatons que les architectures de dialogue neuronal couramment utilisées comme les modèles seq2seq récurrents et basés sur des transformateurs sont rarement sensibles à la plupart des perturbations du contexte d’entrée telles que les énoncés manquants ou réorganisés, les mots mélangés, etc. Le deuxième article propose d’améliorer la qualité de génération de réponse dans les systèmes de dialogue de domaine ouvert en modélisant conjointement les énoncés avec les attributs de dialogue de chaque énoncé. Les attributs de dialogue d’un énoncé se réfèrent à des caractéristiques ou des aspects discrets associés à un énoncé comme les actes de dialogue, le sentiment, l’émotion, l’identité du locuteur, la personnalité du locuteur, etc. Le troisième article présente un moyen simple et économique de collecter des ensembles de données à grande échelle pour modéliser des systèmes de dialogue orientés tâche. Cette approche évite l’exigence d’un schéma d’annotation d’arguments complexes. La version initiale de l’ensemble de données comprend 13 215 dialogues basés sur des tâches comprenant six domaines et environ 8 000 entités nommées uniques, presque 8 fois plus que l’ensemble de données MultiWOZ populaire. / This thesis by article consists of four articles which contribute to the field of deep learning, specifically in understanding and learning neural approaches to dialog systems. The first article takes a step towards understanding if commonly used neural dialog architectures effectively capture the information present in the conversation history. Through a series of perturbation experiments on popular dialog datasets, wefindthatcommonly used neural dialog architectures like recurrent and transformer-based seq2seq models are rarely sensitive to most input context perturbations such as missing or reordering utterances, shuffling words, etc. The second article introduces a simple and cost-effective way to collect large scale datasets for modeling task-oriented dialog systems. This approach avoids the requirement of a com-plex argument annotation schema. The initial release of the dataset includes 13,215 task-based dialogs comprising six domains and around 8k unique named entities, almost 8 times more than the popular MultiWOZ dataset. The third article proposes to improve response generation quality in open domain dialog systems by jointly modeling the utterances with the dialog attributes of each utterance. Dialog attributes of an utterance refer to discrete features or aspects associated with an utterance like dialog-acts, sentiment, emotion, speaker identity, speaker personality, etc. The final article introduces an embedding-free method to compute word representations on-the-fly. This approach significantly reduces the memory footprint which facilitates de-ployment in on-device (memory constraints) devices. Apart from being independent of the vocabulary size, we find this approach to be inherently resilient to common misspellings.

Text in Afrikaans / Summaries in Afrikaans and English / This study aims to investigate and explain how the L2 -facilitator can effectively employ the various facilitation skills of language teaching in Afrikaans Second Language within the Outcomes Based Education framework in the learner-centred classroom. The facilitator is critical in providing an opportunity for multicultural learners to develop the necessary language learning skills to enjoy Afrikaans Second Language/Additional Language learning as an interesting learning experience within a positive learning milieu. In the learner-centred U -classroom, learners too must accept responsibility for their own and their peers' learning within the co-operative learning group. This study reveals how the L2 -facilitator can develop the necessary knowledge and skills concerning groupwork, such as the strategies enhancing L 2 -learning, effective group facilitation skills, learner attitudes towards the facilitator, problem-solving skills, co-operative learning as a control technique, communication, learners' behaviour and the advantages of groupwork. Furthermore, elements of classroom negotiation and the facilitator's methods of working in this negotiated partnership are also discussed. Since language learning is integral to lifelong learning, multicultural learners must be motivated to learn Afrikaans Second/ Additional language with greater enthusiasm. This necessitates the L2 -facilitator creating an interesting, challenging and authentic language learning environment where mutual respect and trust are emphasised. This study reveals how the L2 -facilitator could develop his/her knowledge of task-based L2 -teaching and use it with the effective techniques of facilitation and negotiation skills in the taskorientated second language classroom to lead learners to effective Afrikaans L2 -learning. The new National Language Standardisation Policy 200112002 necessitates the facilitator of Afrikaans L 2 -teaching/learning within the Outcomes Based Education framework and the revised Curriculum 2005 to be aufait with assessment and his/her role in assessment. Being knowledgeable on the various criteria and strategies regarding assessment is therefore imperative. Finally, chapter five illustrates practically how the facilitator could plan, organise, base, integrate and present authentic Afrikaans L 2 -lessons/work based on the theoretical knowledge and aspects of facilitation skills, group-work, task-based learning and assessment discussed in chapters two to four. / Daar word in die studie gepoog om te ondersoek en te verduidelik hoe die T2-fasiliteerder die verskillende fasiliteringsvaardighede ten opsigte van T2 -Afrikaansonderrig binne die UGO -raamwerk in die leerdergesentreerde T2-klaskamer effektief kan gebruik. Die fasiliteerder behoort sy multikulturele leerders die geleentheid te gun om die nodige taalleervaardighede te ontwikkel sodat hulle Afrikaans Tweedetaalleer/ Addisionele Taalleer as 'n interessante leerervaring binne 'n positiewe leerklimaat kan geniet. In die leerdergesentreerde T2 -klaskamer moet die leerders ook die verantwoordelikheid vir bulle eie leer, en vir die leer van ander leerders binne kooperatiewe leergroepe kan aanvaar. Die wyse waarop die fasiliteerder van T2-leer die nodige kennis en vaardighede ten opsigte van groepwerk kan ontwikkel, word deur die studie aan die lig gebring. Die verskillende strategiee wat die aanleer van die tweedetaal binne groepwerk bevorder, effektiewe groepsfasiliteringsvaardighede, leerders se gesindhede teenoor die fasiliteerder, die probleemoplossingsvaardighede, kooperatiewe leer as beheertegniek, kommunikasie, leerdergedragswyses en die voordele van groepwerk kom aan bod. Elemente van klaskameronderhandeling en die fasiliteerder se werkswyse in die onderhandelingsvennootskap word ook bespreek. Aangesien taalleer 'n integrale faset van lewenslange leer vorm, moet multikulturele leerders gemotiveer word om Afrikaans Tweedetaal/ Addisionele Taal op 'n meer entoesiastiese wyse te kan leer. Die T2 -fasiliteerder moet 'n interessante, uitdagende, outentieke taalleeromgewing skep waarin wedersydse respek en vertroue beklemtoon word. Die studie toon die wyse aan waarop die T2 -fasiliteerder sylhaar kennis in verband met taakgerigte T2 -onderrig kan ontwikkel en dit met die effektiewe fasiliteringstegnieke en onderhandelingsvaardighede in die taakgeorienteerde T2-klaskamer kan kombineer en gebruik om leerders tot effektiewe T2 -Afrikaansleer/ Addisionele Taalleer te kan lei. Die nuwe Nasionale Taalstandaardiseringsbeleid 2001/2002 vereis dat die fasiliteerder van T2-Afrikaansonderrig/-leer binne die UGO -raamwerk en die hersiene Kurrikulum 2005 deeglike kennis moet dra van assessering en sylhaar rol in assessering. Deeglike kennis ten opsigte van die verskillende assesseringskriteria en assesseringstegnieke is dus noodsaaklik. Daar word in hoofstuk vyf aangetoon op watter wyse die fasiliteerder outentieke praktiese T2-Afrikaanslesse/-werk, kan beplan, organiseer en dit op die teoretiese kennis en aspekte ten opsigte van fasiliteringsvaardighede, groepwerk, taakgerigte leer en assessering wat in hoofstukke twee tot vier bespreek word, kan toepas en geintegreerd kan aanbied. / Afrikaans and Theory of Literature / D.Litt. et Phil. (Afrikaans)

Text in Afrikaans / Summaries in Afrikaans and English / This study aims to investigate and explain how the L2 -facilitator can effectively employ the various facilitation skills of language teaching in Afrikaans Second Language within the Outcomes Based Education framework in the learner-centred classroom. The facilitator is critical in providing an opportunity for multicultural learners to develop the necessary language learning skills to enjoy Afrikaans Second Language/Additional Language learning as an interesting learning experience within a positive learning milieu. In the learner-centred U -classroom, learners too must accept responsibility for their own and their peers' learning within the co-operative learning group. This study reveals how the L2 -facilitator can develop the necessary knowledge and skills concerning groupwork, such as the strategies enhancing L 2 -learning, effective group facilitation skills, learner attitudes towards the facilitator, problem-solving skills, co-operative learning as a control technique, communication, learners' behaviour and the advantages of groupwork. Furthermore, elements of classroom negotiation and the facilitator's methods of working in this negotiated partnership are also discussed. Since language learning is integral to lifelong learning, multicultural learners must be motivated to learn Afrikaans Second/ Additional language with greater enthusiasm. This necessitates the L2 -facilitator creating an interesting, challenging and authentic language learning environment where mutual respect and trust are emphasised. This study reveals how the L2 -facilitator could develop his/her knowledge of task-based L2 -teaching and use it with the effective techniques of facilitation and negotiation skills in the taskorientated second language classroom to lead learners to effective Afrikaans L2 -learning. The new National Language Standardisation Policy 200112002 necessitates the facilitator of Afrikaans L 2 -teaching/learning within the Outcomes Based Education framework and the revised Curriculum 2005 to be aufait with assessment and his/her role in assessment. Being knowledgeable on the various criteria and strategies regarding assessment is therefore imperative. Finally, chapter five illustrates practically how the facilitator could plan, organise, base, integrate and present authentic Afrikaans L 2 -lessons/work based on the theoretical knowledge and aspects of facilitation skills, group-work, task-based learning and assessment discussed in chapters two to four. / Daar word in die studie gepoog om te ondersoek en te verduidelik hoe die T2-fasiliteerder die verskillende fasiliteringsvaardighede ten opsigte van T2 -Afrikaansonderrig binne die UGO -raamwerk in die leerdergesentreerde T2-klaskamer effektief kan gebruik. Die fasiliteerder behoort sy multikulturele leerders die geleentheid te gun om die nodige taalleervaardighede te ontwikkel sodat hulle Afrikaans Tweedetaalleer/ Addisionele Taalleer as 'n interessante leerervaring binne 'n positiewe leerklimaat kan geniet. In die leerdergesentreerde T2 -klaskamer moet die leerders ook die verantwoordelikheid vir bulle eie leer, en vir die leer van ander leerders binne kooperatiewe leergroepe kan aanvaar. Die wyse waarop die fasiliteerder van T2-leer die nodige kennis en vaardighede ten opsigte van groepwerk kan ontwikkel, word deur die studie aan die lig gebring. Die verskillende strategiee wat die aanleer van die tweedetaal binne groepwerk bevorder, effektiewe groepsfasiliteringsvaardighede, leerders se gesindhede teenoor die fasiliteerder, die probleemoplossingsvaardighede, kooperatiewe leer as beheertegniek, kommunikasie, leerdergedragswyses en die voordele van groepwerk kom aan bod. Elemente van klaskameronderhandeling en die fasiliteerder se werkswyse in die onderhandelingsvennootskap word ook bespreek. Aangesien taalleer 'n integrale faset van lewenslange leer vorm, moet multikulturele leerders gemotiveer word om Afrikaans Tweedetaal/ Addisionele Taal op 'n meer entoesiastiese wyse te kan leer. Die T2 -fasiliteerder moet 'n interessante, uitdagende, outentieke taalleeromgewing skep waarin wedersydse respek en vertroue beklemtoon word. Die studie toon die wyse aan waarop die T2 -fasiliteerder sylhaar kennis in verband met taakgerigte T2 -onderrig kan ontwikkel en dit met die effektiewe fasiliteringstegnieke en onderhandelingsvaardighede in die taakgeorienteerde T2-klaskamer kan kombineer en gebruik om leerders tot effektiewe T2 -Afrikaansleer/ Addisionele Taalleer te kan lei. Die nuwe Nasionale Taalstandaardiseringsbeleid 2001/2002 vereis dat die fasiliteerder van T2-Afrikaansonderrig/-leer binne die UGO -raamwerk en die hersiene Kurrikulum 2005 deeglike kennis moet dra van assessering en sylhaar rol in assessering. Deeglike kennis ten opsigte van die verskillende assesseringskriteria en assesseringstegnieke is dus noodsaaklik. Daar word in hoofstuk vyf aangetoon op watter wyse die fasiliteerder outentieke praktiese T2-Afrikaanslesse/-werk, kan beplan, organiseer en dit op die teoretiese kennis en aspekte ten opsigte van fasiliteringsvaardighede, groepwerk, taakgerigte leer en assessering wat in hoofstukke twee tot vier bespreek word, kan toepas en geintegreerd kan aanbied. / Afrikaans and Theory of Literature / D.Litt. et Phil. (Afrikaans)