La tesis aborda el análisis transitorio de modelos Markovianos de sistemas tolerantes a fallos con reparación diferida. Se consideran dos medidas definidas sobre cadenas de Markov a tiempo continuo con tasas de recompensa asociadas a los estados: la tasa de recompensa esperada en el instante t y la tasa media de recompensa esperada en el intervalo de tiempo [0, t]. Casos particulares importantes de esas dos medidas son la no-fiabilidad, la disponibilidad en el instante t y la disponibilidad de intervalo esperada. La tesis desarrolla un método numérico para el cálculo de ambas medidas con error arbitrariamente pequeño, denominado aleatorización regenerativa partida. Una ventaja importante del método es su estabilidad numérica. También se desarrolla un método numéricamente estable, la aleatorización regenerativa partida acotante, para el cálculo de cotas para un caso particular de la la tasa de recompensa esperada en el instante t que incluye la no-fiabilidad y cotas para ella. El coste computacional de los métodos es comparado con el de otros métodos basados en la aleatorización. La aleatorización regenerativa partida puede ser mucho menos costosa que los demás métodos para t grande y, cuando la relación entre la máxima y la mínima tasa de salida desde los estados con reparación no es muy elevada, permite el análisis en tiempos de CPU razonables de cadenas de Markov con muchos estados. La aleatorización regenerativa partida acotante tiene un coste computacional relativo muy bajo y proporciona cotas ajustadas, permitiendo el análisis en tiempos de CPU razonables de cadenas de Markov con muchísimos estados. En combinación con técnicas de acotación, los métodos desarrollados permiten el análisis numérico en tiempos de CPU razonables de modelos Markovianos de sistemas tolerantes a fallos con reparación diferida con un número muy elevado de componentes.

Nous proposons une démarche markovienne d'inférence et de modéli- sation de dynamiques agraires dans le cadre d'usage de parcelles situées en lisière du corridor forestier reliant les deux parcs nationaux de Ranomafana et d'An- dringitra. La préservation de la forêt de la côte est de Madagascar est cruciale, il est donc pertinent de développer des outils permettant de mieux comprendre les dynamiques de déforestation puis de l'usage des parcelles et enfin de leur éventuel retour à l'état de forêt. Nous nous appuyons sur deux jeux de don- nées de terrain établis par l'IRD. Dans ce genre d'étude, une étape préliminaire consiste à construire la matrice de transition empirique, cela s'apparente donc à une modélisation markovienne de la dynamique. Dans ce cadre nous considérons l'approche par maximum de vraisemblance et l'approche bayésienne. Cette der- nière approche nous permet d'intégrer des informations non-présentes dans les données mais reconnues par les spécialistes, elle fait appel à des techniques d'ap- proximation de Monte Carlo par chaînes de Markov (MCMC). Nous étudions les propriétés asymptotiques des modèles obtenus à l'aide de ces deux approches et notamment le temps de convergence vers la loi quasi-stationnaire dans le premier cas et vers la loi stationnaire dans le second. Nous testons différentes hypothèses portant sur les modèles. Cette approche markovienne n'est plus valide sur le deuxième jeu de données, plus étendu, où il a fallu faire appel à une approche semi-markovienne : les lois des temps de séjour dans un état donné ne sont plus né- cessairement géométriques et peuvent dépendre de l'état suivant. À nouveau nous faisons appel aux approches par maximum de vraisemblance et bayésienne. Nous étudions le comportement asymptotique de chacun de ces modèles. En termes applicatifs, nous avons pu déterminer les échelles de temps de ces dynamiques.

En premier lieu, nous proposons, étudions et optimisons différentes politiques de maintenance pour des systèmes réparables à dégradation markovienne ou semi-markovienne, dont les durées de réparation suivent des lois générales. <br /> Nous nous intéressons ensuite au remplacement préventif de composants devenus obsolescents, du fait de l'apparition de nouveaux composants plus performants. Le problème est ici de déterminer la stratégie optimale de remplacement des anciens composants par les nouveaux. Les résultats obtenus conduisent à des stratégies très différentes selon que les composants ont des taux de panne constants ou non.<br /> Les travaux suivants sont consacrés à l'évaluation numérique de différentes quantités fiabilistes, les unes liées à des sommes de variables aléatoires indépendantes, du type fonction de renouvellement par exemple, les autres liées à des systèmes markoviens ou semi-markoviens. Pour chacune de ces quantités, nous proposons des bornes simples et aisément calculables, dont la précision peut être ajustée en fonction d'un pas de temps. La convergence des bornes est par ailleurs démontrée, et des algorithmes de calcul proposés.<br /> Nous nous intéressons ensuite à des systèmes hybrides, issus de la fiabilité dynamique, dont l'évolution est modélisée à l'aide d'un processus de Markov déterministe par morceaux (PDMP). Pour de tels systèmes, les quantités fiabilistes usuelles ne sont généralement pas atteignables analytiquement et doivent être calculées numériquement. Ces quantités s'exprimant à l'aide des lois marginales du PDMP (les lois à t fixé), nous nous attachons plus spécifiquement à leur évaluation. Pour ce faire, nous commençons par les caractériser comme unique solution d'un système d'équations intégro-différentielles. Puis, partant de ces équations, nous proposons deux schémas de type volumes finis pour les évaluer, l'un explicite, l'autre implicite, dont nous démontrons la convergence. Nous étudions ensuite un cas-test issu de l'industrie gazière, que nous modélisons à l'aide d'un PDMP, et pour lequel nous calculons différentes quantités fiabilistes, d'une part par méthodes de volumes finis, d'autre part par simulations de Monte-Carlo. Nous nous intéressons aussi à des études de sensibilité : les caractéristiques d'un PDMP sont supposées dépendre d'une famille de paramètres et le problème est de comparer l'influence qu'ont ces différents paramètres sur un critère donné, à horizon fini ou infini. Cette étude est faite au travers des dérivées du critère d'étude par rapport aux paramètres, dont nous démontrons l'existence et que nous calculons.<br /> Enfin, nous présentons rapidement les travaux effectués par Margot Desgrouas lors de sa thèse consacrée au comportement asymptotique des PDMP, et nous donnons un aperçu de quelques travaux en cours et autres projets.

Nous proposons une démarche markovienne d'inférence et de modélisation de dynamiques agraires dans le cadre d'usage de parcelles situées en lisière du corridor forestier reliant les deux parcs nationaux de Ranomafana et d'Andringitra. La préservation de la forêt de la côte est de Madagascar est cruciale, il est donc pertinent de développer des outils permettant de mieux comprendre les dynamiques de déforestation puis de l'usage des parcelles et enfin de leur éventuel retour à l'état de forêt. Nous nous appuyons sur deux jeux de données de terrain établis par l'IRD. Dans ce genre d'étude, une étape préliminaire consiste à construire la matrice de transition empirique, cela s'apparente donc à une modélisation markovienne de la dynamique. Dans ce cadre nous considérons l'approche par maximum de vraisemblance et l'approche bayésienne. Cette der- nière approche nous permet d'intégrer des informations non-présentes dans les données mais reconnues par les spécialistes, elle fait appel à des techniques d'approximation de Monte Carlo par chaînes de Markov (MCMC). Nous étudions les propriétés asymptotiques des modèles obtenus à l'aide de ces deux approches et notamment le temps de convergence vers la loi quasi-stationnaire dans le premier cas et vers la loi stationnaire dans le second. Nous testons différentes hypothèses portant sur les modèles. Cette approche markovienne n'est plus valide sur le deuxième jeu de données, plus étendu, où il a fallu faire appel à une approche semi-markovienne : les lois des temps de séjour dans un état donné ne sont plus nécessairement géométriques et peuvent dépendre de l'état suivant. À nouveau nous faisons appel aux approches par maximum de vraisemblance et bayésienne. Nous étudions le comportement asymptotique de chacun de ces modèles. En termes applicatifs, nous avons pu déterminer les échelles de temps de ces dynamiques.

La reconnaissance vocale est une technologie sujette à amélioration. Malgré 40 ans de travaux, de nombreuses applications restent néanmoins hors de portée en raison d'une trop faible efficacité. De façon à pallier à ce problème, l'auteur propose une amélioration au cadre conceptuel classique. Plus précisément, une nouvelle méthode d'entraînement des modèles markoviens cachés est exposée de manière à augmenter la précision dynamique des classificateurs. Le présent document décrit en détail le résultat de trois ans de recherche et les contributions scientifiques qui en sont le produit. L'aboutissement final de cet effort est la production d'un article de journal proposant une nouvelle tentative d'approche à la communauté scientifique internationale. Dans cet article, les auteurs proposent que des topologies finement adaptées de modèles markoviens cachés (HMMs) soient essentielles à une modélisation temporelle de haute précision. Un cadre conceptuel pour l'apprentissage efficace de topologies par élagage de modèles génériques complexes est donc soumis. Des modèles HMM à topologie gauche-à-droite sont d'abord entraînés de façon classique. Des modèles complexes à topologie générique sont ensuite obtenus par écrasement des modèles gauche-à-droite. Finalement, un enchaînement successif d'élagages et d'entraînements Baum-Welch est fait de manière à augmenter la précision temporelle des modèles.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Nous nous intéressons aux lacets markoviens définis dans le cadre de la théorie des chaînes de Markov à temps continu sur un espace d'états discret. Ce sujet a notamment été étudié par Le Jan [LJ11] et Sznitman [Szn12]. En contraste avec ces références, nous ne supposerons pas la symétrie de la chaîne et nous intéresserons plutôt au cas infini. Tous les résultats sont présentés en termes de générateur de semi-groupe. En comparaison avec [LJ11], certaines preuves ont été détaillées ou améliorées.Nous fournissons par ailleurs quelques résultats sur les amas de boucles (voir [LJL12] dans le cas symétrique). Nous traitons notamment l'exemple du cercle discret. Nous étudions aussi les arbres couvrants définit par l'algorithme de Wilson dans le cas asymétrique.Dans la dernière partie, nous considérons la proportion des lacets couvrants l'espace. En utilisant la limite du spectre, nous donnons une expression générale de la limite de cette proportion pour une suite de graphes. Comme une application, nous donnons deux exemples concrets dans lesquels une transition de phase apparaît. / We are interested in Markov laces defined in the framework of the theory of Markov chains in continuous time on a discrete state space. This particular subject has been studied by Le Jan [LJ11] and Sznitman [Szn12]. In contrast to these references, we do not assume the reversibility of the chain and we are mostly interested in the case of countable state space. All the results are presented in terms of the generator of semigroup. In comparison with [LJ11], some demonstration has been detailed or improved.We also provide some results on the loop clusters (see [LJL12] in the reversible case). In particular, we study the example of discrete circle. We also study the spanning tree algorithm defined by Wilson in the non-symmetric case.In the last part, we consider the proportion of loops covering the whole space. Using the limit of the spectrums, we give a general expression for the limit of this ratio for a sequence of graphs. As an application, we give two examples in which a phase transition occurs.

L’objectif de cette thèse est de proposer une méthode permettant d’optimiser la stratégie de maintenance d’un système multi-composants. Cette nouvelle stratégie doit être adaptée aux conditions d’utilisation et aux contraintes budgétaires et sécuritaires. Le vieillissement des composants et la complexité des stratégies de maintenance étudiées nous obligent à avoir recours à de nouveaux modèles probabilistes afin de répondre à la problématique. Nous utilisons un processus stochastique issu de la Fiabilité Dynamique nommé processus markovien déterministe par morceaux (Piecewise Deterministic Markov Process ou PDMP). L’évaluation des quantités d’intérêt (fiabilité, nombre moyen de pannes...) est ici réalisé à l’aide d’un algorithme déterministe de type volumes finis. L’utilisation de ce type d’algorithme, dans ce cadre d’application, présente des difficultés informatiques dues à la place mémoire. Nous proposons plusieurs méthodes pour repousser ces difficultés. L’optimisation d’un plan de maintenance est ensuite effectuée à l’aide d’un algorithme de recuit simulé. Cette méthodologie a été adaptée à deux systèmes ferroviaires utilisés par la SNCF, l’un issu de l’infrastructure, l’autre du matériel roulant. / The aim of this work is to propose a methodology to optimize a multi-components system maintenance. This new maintenance strategy must be adapted to budget and safety constraints and operating conditions. The aging of components and the complexity of studied maintenance strategies require us to use new probabilistic models in order to address the problem. A stochastic process from Dynamic Reliability calculations are here established by using a deterministic algorithm method based on a finite volume scheme. Using this type of algorithm in this context of application presents difficulties due to computer memory space. We propose several methods to counter these difficulties. The optimization of a maintenance plan is then performed using simulated annealing algorithm. This methodology was used to optimize the maintenance of two rail systems used by the French national railway company (SNCF).

Cette thèse s'inscrit dans le cadre de l'apprentissage par renforcement pour les systèmes de dialogue. Ce document propose différentes manières de considérer l'être humain, interlocuteur du système de dialogue. Après un aperçu des limites du cadre agent/environnement traditionnel, nous proposons de modéliser dans un premier temps le dialogue comme un jeu stochastique. Dans ce cadre, l'être humain n'est plus vu comme une distribution de probabilité stationnaire mais comme un agent cherchant à optimiser ses préférences. Nous montrons que ce cadre permet une prise en compte de phénomènes de co-adaptation intrinsèques au dialogue humain/machine et nous montrons que ce cadre étend le champ d'application des systèmes de dialogue, par exemple aux dialogues de négociations. Dans un second temps, nous présentons une méthode permettant à l'être humain d'accélérer et de sécuriser la phase d'apprentissage de son système de dialogue par le biais de conseils encodés sous la forme d'une fonction de récompense. Nous montrons que cette prise en compte de conseils permet de significativement améliorer les performances d'un agent apprenant par renforcement. Finalement, une troisième situation est considérée. Ici, un système écoute une conversation entre humains et agit de manière à influer sur le cours de la conversation. Une fonction de récompense originale permettant de maximiser le résultat de la conversation tout en minimisant l'intrusivité du système est proposé. Nous montrons que notre approche permet de significativement améliorer les conversations. Pour implémenter cette approche, un modèle de la conversation est requis. C'est pourquoi nous proposons dans une quatrième contribution d'apprendre ce modèle à partir d'un algorithme d'apprentissage d'automates à multiplicité. / The context of this thesis takes place in Reinforcement Learning for Spoken Dialogue Systems. This document proposes several ways to consider the role of the human interlocutor. After an overview of the limits of the traditional Agent/Environment framework, we first suggest to model human/machine dialogue as a Stochastic Game. Within this framework, the human being is seen as a rational agent, acting in order to optimize his preferences. We show that this framework allows to take into consideration co-adaptation phenomena and extend the applications of human/machine dialogue, e.g. negociation dialogues. In a second time, we address the issue of allowing the incorporation of human expertise in order to speed-up the learning phase of a reinforcement learning based spoken dialogue system. We provide an algorithm that takes advantage of those human advice and shows a great improvement over the performance of traditional reinforcement learning algorithms. Finally, we consider a third situation in which a system listens to a conversation between two human beings and talk when it estimates that its intervention could help to maximize the preferences of its user. We introduce a original reward function balancing the outcome of the conversation with the intrusiveness of the system. Our results obtained by simulation suggest that such an approach is suitable for computer-aided human-human dialogue. However, in order to implement this method, a model of the human/human conversation is required. We propose in a final contribution to learn this model with an algorithm based on multiplicity automata.

Cette thèse s'est intéressée à deux domaines de l'intelligence artificielle : d'une part l'apprentissage par renforcement (A/R), et d'autre part les systèmes multi-agents (SMA). Le premier permet de concevoir des agents (entités intelligentes) en se basant sur un signal de renforcement qui récompense les décisions menant au but fixé, alors que le second concerne l'intelligence qui peut venir de l'interaction d'un groupe d'entités (dans la perspective que le tout soit plus que la somme de ses parties). Chacun de ces deux outils souffre de diverses difficultés d'emploi. Le travail que nous avons mené a permis de montrer comment chacun des deux outils peut servir à l'autre pour répondre à certains de ces problèmes. On a ainsi conçu les agents d'un SMA par A/R, et organisé l'architecture d'un agent apprenant par renforcement sous la forme d'un SMA. Ces deux outils se sont avérés très complémentaires, et notre approche globale d'une conception “progressive” a prouvé son efficacité.