Nous définissons la résilience comme la capacité d'un Système Homme-Machine (SHM) à s'adapter positivement face à des situations critiques engendrées par des évènements sans précédent dont la fréquence d'occurrence est invraisemblable et dont les conséquences sur le système sont critiques voire catastrophiques.Nous présentons d'abord un état de l'art reposant sur le concept de résilience que nous positionnons par rapport aux approches classiques de la sureté de fonctionnement pour l'évaluation et la gestion des risques dans les SHM. Nous présentons ensuite des méthodes et des outils d'aide à la réaction et à la récupération des systèmes face à l'imprévu. Nous nous intéresserons également à l'apport des techniques d'apprentissage itératif pour le management de la résilience des SHM. Nous proposons alors une méthode d'évaluation de la résilience basée sur un couple d'indicateurs multicritères. Un estimateur reposant sur un réseau de neurones à apprentissage renforcé est proposé pour évaluer les indicateurs derésilience non mesurables ''en ligne''. Pour fiabiliser l'estimation, nous proposons unapprentissage itératif associé soit à un renforcement des paramètres d'estimation, soit à un renforcement de la base de connaissances, soit les deux simultanément.Nous appliquons nos propositions lors d'une simulation de vol d'un Groupe de Ravitaillement en Vol, composé d'un équipage tournant de 4 personnes. L'analyse des résultats expérimentaux montre la pertinence de nos contributions. Certaines perspectives de recherche sont ensuite abordées notamment l'extension de l'étude aux événements de criticité moindre et dont on disposerait d'une base de connaissances " experte ".

Nous définissons la résilience comme la capacité d’un Système Homme-Machine (SHM) à s’adapter positivement face à des situations critiques engendrées par des évènements sans précédent dont la fréquence d’occurrence est invraisemblable et dont les conséquences sur le système sont critiques voire catastrophiques.Nous présentons d’abord un état de l’art reposant sur le concept de résilience que nous positionnons par rapport aux approches classiques de la sureté de fonctionnement pour l’évaluation et la gestion des risques dans les SHM. Nous présentons ensuite des méthodes et des outils d’aide à la réaction et à la récupération des systèmes face à l’imprévu. Nous nous intéresserons également à l’apport des techniques d’apprentissage itératif pour le management de la résilience des SHM. Nous proposons alors une méthode d’évaluation de la résilience basée sur un couple d’indicateurs multicritères. Un estimateur reposant sur un réseau de neurones à apprentissage renforcé est proposé pour évaluer les indicateurs derésilience non mesurables ‘‘en ligne’’. Pour fiabiliser l’estimation, nous proposons unapprentissage itératif associé soit à un renforcement des paramètres d’estimation, soit à un renforcement de la base de connaissances, soit les deux simultanément.Nous appliquons nos propositions lors d’une simulation de vol d’un Groupe de Ravitaillement en Vol, composé d’un équipage tournant de 4 personnes. L’analyse des résultats expérimentaux montre la pertinence de nos contributions. Certaines perspectives de recherche sont ensuite abordées notamment l’extension de l’étude aux événements de criticité moindre et dont on disposerait d’une base de connaissances « experte ». / We define resilience as the ability of a Human-Machine System (HMS) to adapt itself positively facing critical situations resulting from the unprecedented events whose frequency of occurrence is unlikely and the consequences on the system are critical even catastrophic. We first present a state of the art based on the concept of resilience that we position compared to classic dependability approaches for HMS risk evaluation and management. We then present methods and support tools for the reaction and the recovery of systems facing the unexpected. We also detail the contribution of iterative learning techniques for the management of the SHM resilience. We propose then a method for resilience assessment based on a couple of multi-criteria indicators. An estimator based on a neural network with reinforced learning process is proposed to evaluate the ''online'' not measurable resilience indicators. For reliable estimation, we propose an iterative learning associated with a estimation parameters reinforcement process, or knowledge base reinforcement process, or both simultaneously. We apply our proposals during a flight simulation of a ‘‘Groupe de Ravitaillement en Vol’’, consisting of a rotating crew of 4 persons. The analysis of experimental results shows the effectiveness of our contributions. Some research perspectives are then discussed in particular the extension of the study to less critical events which would provide an "expert" knowledge base.

Dans le traitement de langue et des système de dialogue, il est courant de pré-entraîner des modèles de langue sur corpus humain avant de les affiner par le biais d'un simulateur et de résolution de tâches. Malheuresement, ce type d'entrainement tend aussi à induire un phénomène connu sous le nom de dérive du langage. Concrétement, les propriétés syntaxiques et sémantiques de la langue intiallement apprise se détériorent: les agents se concentrent uniquement sur la résolution de la tâche, et non plus sur la préservation de la langue. En s'inspirant des travaux en sciences cognitives, et notamment l'apprentigssage itératif Kirby and Griffiths (2014), nous proposons ici une approche générique pour contrer cette dérive du langage. Nous avons appelé cette méthode Seeded iterated learning (SIL), ou apprentissage itératif capitalisé. Ce travail a été publié sous le titre (Lu et al., 2020b) et est présenté au chapitre 2. Afin d'émuler la transmission de la langue entre chaque génération d'agents, un agent étudiant est d'abord pré-entrainé avant d'être affiné de manière itérative, et ceci, en imitant des données échantillonnées à partir d'un agent enseignant nouvellement formé. À chaque génération, l'enseignant est créé en copiant l'agent étudiant, avant d'être de nouveau affiné en maximisant le taux de réussite de la tâche sous-jacente. Dans un second temps, nous présentons Supervised Seeded iterated learning (SSIL) dans le chapitre 3, où apprentissage itératif capitalisé avec supervision, qui a été publié sous le titre (Lu et al., 2020b). SSIL s'appuie sur SIL en le combinant avec une autre méthode populaire appelée Supervised SelfPlay (S2P) (Gupta et al., 2019), où apprentissage supervisé par auto-jeu. SSIL est capable d'atténuer les problèmes de S2P et de SIL, i.e. la dérive du langage dans les dernier stades de l'entrainement tout en préservant une plus grande diversité linguistique. Tout d'abord, nous évaluons nos méthodes dans sous la forme d'une preuve de concept à traver le Jeu de Lewis avec du langage synthetique. Dans un second temps, nous l'étendons à un jeu de traduction se utilisant du langage naturel. Dans les deux cas, nous soulignons l'efficacité de nos méthodes par rapport aux autres méthodes de la litterature. Dans le chapitre 1, nous discutons des concepts de base nécessaires à la compréhension des articles présentés dans les chapitres 2 et 3. Nous décrivons le problème spécifique du dialogue orienté tâche, y compris les approches actuelles et les défis auxquels ils sont confrontés : en particulier, la dérive linguistique. Nous donnons également un aperçu du cadre d'apprentissage itéré. Certaines sections du chapitre 1 sont empruntées aux articles pour des raisons de cohérence et de facilité de compréhension. Le chapitre 2 comprend les travaux publiés sous le nom de (Lu et al., 2020b) et le chapitre 3 comprend les travaux publiés sous le nom de (Lu et al., 2020a), avant de conclure au chapitre 4. / In task-oriented dialogue, pretraining on human corpus followed by finetuning in a simulator using selfplay suffers from a phenomenon called language drift. The syntactic and semantic properties of the learned language deteriorates as the agents only focuses on solving the task. Inspired by the iterative learning framework in cognitive science Kirby and Griffiths (2014), we propose a generic approach to counter language drift called Seeded iterated learning (SIL). This work was published as (Lu et al., 2020b) and is presented in Chapter 2. In an attempt to emulate transmission of language between generations, a pretrained student agent is iteratively refined by imitating data sampled from a newly trained teacher agent. At each generation, the teacher is created by copying the student agent, before being finetuned to maximize task completion.We further introduce Supervised Seeded iterated learning (SSIL) in Chapter 3, work which was published as (Lu et al., 2020a). SSIL builds upon SIL by combining it with the other popular method called Supervised SelfPlay (S2P) (Gupta et al., 2019). SSIL is able to mitigate the problems of both S2P and SIL namely late-stage training collapse and low language diversity. We evaluate our methods in a toy setting of Lewis Game, and then scale it up to the translation game with natural language. In both settings, we highlight the efficacy of our methods compared to the baselines. In Chapter 1, we talk about the core concepts required for understanding the papers presented in Chapters 2 and 3. We describe the specific problem of task-oriented dialogue including current approaches and the challenges they face: particularly, the challenge of language drift. We also give an overview of the iterated learning framework. Some sections in Chapter 1 are borrowed from the papers for coherence and ease of understanding. Chapter 2 comprises of the work published as (Lu et al., 2020b) and Chapter 3 comprises of the work published as (Lu et al., 2020a). Chapter 4 gives a conclusion on the work.