Les processus markoviens déterministes par morceaux (PMDM) ont été introduits dans la littérature par M.H.A. Davis en tant que classe générale de modèles stochastiques non-diffusifs. Les PMDM sont des processus hybrides caractérisés par des trajectoires déterministes entrecoupées de sauts aléatoires. Dans cette thèse, nous développons des méthodes numériques adaptées aux PMDM en nous basant sur la quantification d'une chaîne de Markov sous-jacente au PMDM. Nous abordons successivement trois problèmes : l'approximation d'espérances de fonctionnelles d'un PMDM, l'approximation des moments et de la distribution d'un temps de sortie et le problème de l'arrêt optimal partiellement observé. Dans cette dernière partie, nous abordons également la question du filtrage d'un PMDM et établissons l'équation de programmation dynamique du problème d'arrêt optimal. Nous prouvons la convergence de toutes nos méthodes (avec le plus souvent des bornes de la vitesse de convergence) et les illustrons par des exemples numériques. / Piecewise-deterministic Markov processes (PDMP’s) have been introduced by M.H.A. Davis as a general class of non-diffusive stochastic models. PDMP’s are hybrid Markov processes involving deterministic motion punctuated by random jumps. In this thesis, we develop numerical methods that are designed to fit PDMP's structure and that are based on the quantization of an underlying Markov chain. We deal with three issues : the approximation of expectations of functional of a PDMP, the approximation of the moments and of the distribution of an exit time and the partially observed optimal stopping problem. In the latter one, we also tackle the filtering of a PDMP and we establish the dynamic programming equation of the optimal stopping problem. We prove the convergence of all our methods (most of the time, we also obtain a bound for the speed of convergence) and illustrate them with numerical examples.

L'objectif de cette thèse est d'étudier le problème de la modélisation des changements de régime dans les modèles a corrélations conditionnelles dynamiques en nous intéressant plus particulièrement a l'approche Markov-switching. A la différence de l'approche standard basée sur le modèle à chaîne de Markov caché (HMM) de base, nous utilisons des extensions du modèle HMM provenant des modèles graphiques probabilistes. Cette discipline a en effet proposé de nombreuses dérivations du modèle de base permettant de modéliser des structures complexes. Cette thèse se situe donc a l'interface de deux disciplines: l'économétrie financière et les modèles graphiques probabilistes.Le premier essai présente un modèle construit a partir d'une structure hiérarchique cachée markovienne qui permet de définir différents niveaux de granularité pour les régimes. Il peut être vu comme un cas particulier du modèle RSDC (Regime Switching for Dynamic Correlations). Basé sur le HMM hiérarchique, notre modèle permet de capter des nuances de régimes qui sont ignorées par l'approche Markov-Switching classique.La seconde contribution propose une version Markov-switching du modèle DCC construite a partir du modèle HMM factorise. Alors que l'approche Markov-switching classique suppose que les tous les éléments de la matrice de corrélation suivent la même dynamique, notre modèle permet à tous les éléments de la matrice de corrélation d'avoir leur propre dynamique de saut. Markov-switching. A la différence de l'approche standard basée sur le modèle à chaîne de Markov caché (HMM) de base, nous utilisons des extensions du modèle HMM provenant des modèles graphiques probabilistes. Cette discipline a en effet propose de nombreuses dérivations du modèle de base permettant de modéliser des structures complexes. Cette thèse se situe donc a l'interface de deux disciplines: l'économétrie financière et les modèles graphiques probabilistes.Le premier essai présente un modèle construit a partir d'une structure hiérarchique cachée markovienne qui permet de définir différents niveaux de granularité pour les régimes. Il peut ^etre vu commeun cas particulier du modele RSDC (Regime Switching for Dynamic Correlations). Base sur le HMMhierarchique, notre modele permet de capter des nuances de regimes qui sont ignorees par l'approcheMarkov-Switching classique.La seconde contribution propose une version Markov-switching du modele DCC construite a partir dumodele HMM factorise. Alors que l'approche Markov-switching classique suppose que les tous les elementsde la matrice de correlation suivent la m^eme dynamique, notre modele permet a tous les elements de lamatrice de correlation d'avoir leur propre dynamique de saut.Dans la derniere contribution, nous proposons un modele DCC construit a partir d'un arbre dedecision. L'objectif de cet arbre est de relier le niveau des volatilites individuelles avec le niveau descorrelations. Pour cela, nous utilisons un arbre de decision Markovien cache, qui est une extension de HMM. / The objective of this thesis is to study the modelling of change in regime in the dynamic conditional correlation models. We focus particularly on the Markov-switching approach. Unlike the standard approach based on the Hidden Markov Model (HMM), we use extensions of HMM coming from probabilistic graphical models theory. This discipline has in fact proposed many derivations of the basic model to model complex structures. Thus, this thesis can be view at the interface of twodisciplines: financial econometrics and probabilistic graphical models.The first essay presents a model constructed from a hierarchical hidden Markov which allows to increase the granularity of the regimes. It can be seen as a special case of RSDC model (Regime Switching for Dynamic Correlations). Based on the hierarchical HMM, our model can capture nuances of regimes that are ignored by the classical Markov-Switching approach.The second contribution proposes a Markov-switching version of the DCC model that is built from the factorial HMM. While the classical Markov-switching approach assumes that all elements of the correlation matrix follow the same switching dynamic, our model allows all elements of the correlation matrix to have their own switching dynamic.In the final contribution, we propose a model DCC constructed based on a decision tree. The objective of this tree is to link the level of volatility with the level of individual correlations. For this, we use a hidden Markov decision tree, which is an extension of HMM.

Ce travail présente des modèles d'écoulement en temps continu de flux de trafic routier. En premier lieu, il s'agit de modèles microscopiques de poursuite. Un modèle par systèmes d'équations différentielles couplées est proposé, basé sur le temps inter-véhiculaire. Ce modèle intègre un temps de réaction et des possibilités d'anticipation pour chaque véhicule. Les paramètres sont estimés par maximum de vraisemblance dans un modèle statistique à deux niveaux. Des simulations permettent de caractériser le comportement d'une file de véhicules. Dans une approche stochastique, un modèle d'évolution de la distance inter-véhiculaire est étudié à l'aide du processus Markovien de saut zero-range. L'introduction d'un temps de réaction tend à produire des ondes cinématiques. D'autre part, un modèle d'écoulement de trafic par le processus Markovien de saut des misanthropes est proposé. Il s'agit d'une modélisation au niveau mésoscopique, adaptée à la simulation de flux de trafic sur un réseau / This work presents different continuous-time traffic flow models. Microscopic models are considered first. A model by coupled differential equation system is proposed, based on the time gap. It incorporates a reaction time parameter and some anticipation possibilities, for each vehicle. The parameters are estimated by maximum likelihood over a two-level statistical model. Simulations allow to characterise the behaviour of a vehicles line. In a stochastic approach, a model of the distance gap evolution is studied with a zero-range process. The introduction of a reaction time parameter produces kinematics waves. On the other hand, traffic flow model by a misanthropes process is proposed. It is a mesoscopic approach, adapted to the simulation of traffic flow on a network

Initialement, la théorie du risque supposait l’indépendance entre les différentes variables aléatoires et autres paramètres intervenant dans la modélisation actuarielle. De nos jours, cette hypothèse d’indépendance est souvent relâchée afin de tenir compte de possibles interactions entre les différents éléments des modèles. Dans cette thèse, nous proposons d’introduire des modèles de dépendance pour différents aspects de la théorie du risque. Dans un premier temps, nous suggérons l’emploi des copules comme structure de dépendance. Nous abordons tout d’abord un problème d’allocation de capital basée sur la Tail-Value-at-Risk pour lequel nous supposons un lien introduit par une copule entre les différents risques. Nous obtenons des formules explicites pour le capital à allouer à l’ensemble du portefeuille ainsi que la contribution de chacun des risques lorsque nous utilisons la copule Farlie-Gumbel-Morgenstern. Pour les autres copules, nous fournissons une méthode d’approximation. Au deuxième chapitre, nous considérons le processus aléatoire de la somme des valeurs présentes des sinistres pour lequel les variables aléatoires du montant d’un sinistre et de temps écoulé depuis le sinistre précédent sont liées par une copule Farlie-Gumbel-Morgenstern. Nous montrons comment obtenir des formes explicites pour les deux premiers moments puis le moment d’ordre m de ce processus. Le troisième chapitre suppose un autre type de dépendance causée par un environnement extérieur. Dans le contexte de l’étude de la probabilité de ruine d’une compagnie de réassurance, nous utilisons un environnement markovien pour modéliser les cycles de souscription. Nous supposons en premier lieu des temps de changement de phases de cycle déterministes puis nous les considérons ensuite influencés en retour par les montants des sinistres. Nous obtenons, à l’aide de la méthode d’erlangisation, une approximation de la probabilité de ruine en temps fini. / Initially, it was supposed in risk theory that the random variables and other parameters of actuarial models were independent. Nowadays, this hypothesis is often relaxed to take into account possible interactions. In this thesis, we propose to introduce some dependence models for different aspects of risk theory. In a first part, we use copulas as dependence structure. We first tackle a problem of capital allocation based on the Tail-Value-at-Risk where the risks are supposed to be dependent according to a copula. We obtain explicit formulas for the capital to be allocated to the overall portfolio but also for the contribution of each risk when we use a Farlie-Gumbel-Morenstern copula. For the other copulas, we give an approximation method. In the second chapter, we consider the stochastic process of the discounted aggregate claims where the random variables for the claim amount and the time since the last claim are linked by a Farlie-Gumbel-Morgenstern copula. We show how to obtain exact expressions for the first two moments and for the moment of order m of the process. The third chapter assumes another type of dependence that is caused by an external environment. In the context of the study of the ruin probability for a reinsurance company, we use a Markovian environment to model the underwriting cycles. We suppose first deterministic cycle phase changes and then that these changes can also be influenced by the claim amounts. We use the erlangization method to obtain an approximation for the finite time ruin probability.

Le présent travail porte sur l’estimation d’un système en temps discret dont l’évolution est décrite par une chaîne semi-markovienne (CSM) d’espace d’état fini. Nous présentons le principe d’invariance sous forme multidimensionnelle pour le noyau semi-markovien (NSM), ainsi que diverses mesures du processus. Ensuite, nous étudions l’estimation non-paramétrique de la loi stationnaire de la CSM, en considérant deux estimateurs différents, et nous montrons qu’ils ont le même comportement asymptotique. La probabilité de la première entrée est également introduite. Nous proposons un estimateur et nous étudions ses propriétés asymptotiques : la convergence forte et la normalité asymptotique.D’autre part, nous nous concentrons sur l’étude de la fiabilité des systèmes semi-markoviens. Nous définissons la fiabilité sur intervalle d’un système dont la fiabilité et la disponibilité sont des cas particuliers et nous étudions les propriétés asymptotiques d’un estimateur proposé. De plus, nous présentons une comparaison de l’estimation des différentes mesures de fiabilité fondées sur deux estimateurs du NSM, en réalisant une trajectoire unique et des observations multiples indépendantes. Ce travail fournit aussi des résultats dans le cas semi-markovien à temps discret avec espace d’état général. Nous évaluons l’approximation de moyenne et de diffusion des chaînes de renouvellement markovien. Enfin, nous nous sommes aussi intéressés à une autre classe des processus pour laquelle nous obtenons des résultats dans le cadre des files d’attente. Nous étudions l’approximation de moyenne pour le modèle d’Engset en temps continu et nous appliquons ce résultat aux files d’attente avec ré-essais. / The present work concerns the estimation of a discrete-time system whose evolution is governed by a semi-Markov chain (SMC) with finitely many states. We present the invariance principle in a multidimensional form for the semi-Markov kernel (SMK) and some associated measures of the process. Afterwards, we study the nonparametric estimation of the stationary distribution of the SMC, considering two different estimators, and we prove that they hold the same asymptotic behavior. We introduce also the first hitting probability. We propose an estimator and study its asymptotic properties : the strong consistency and the asymptotic normality. On the other hand, we focus on the study of the dependability of semi-Markovsystems. We introduce the interval reliability whose special cases are the reliability and the availability measures and we study the asymptotic properties of a proposed estimator. Moreover, we present a comparison of nonparametric estimation for various reliability measures based on two estimators of the SMK, realizing a unique trajectory and multiple independent observations.Furthermore, this work provides results on the discrete-time semi-Markov case with general state space. We evaluate the average and diffusion approximation of Markov renewal chains. Finally, we are also interested in another class of processes for which we obtain results in the framework of queueing systems. We establish the average approximationfor the Engset model in continuous time and we apply this result to retrial queues.

Cette thèse propose un nouveau processus de réservation d'examens IRM (Imagerie par Résonance Magnétique) afin de réduire les temps d’attente d’examens d'imagerie des patients atteint d'un AVC (Accident Vasculaire Cérébral) soignés dans une unité neurovasculaire. Le service d’imagerie réserve chaque semaine pour l'unité neurovasculaire un nombre donné de créneaux d'examens IRM appelés CTS afin d’assurer un diagnostic rapide aux patients. L'unité neurovasculaire garde la possibilité de réservations régulières appelées RTS pour pallier les variations des flux de patients.Nous donnons d'abord une formulation mathématique du problème d'optimisation pour déterminer le nombre et la répartition des créneaux CTS appelée contrat et une politique d'affectation des patients entre les créneaux CTS ou les réservations RTS. L'objectif est de trouver le meilleur compromis entre le délai d'examens et le nombre de créneaux CTS non utilisés. Pour un contrat donné, nous avons mis en évidence les propriétés et la forme des politiques d'affectation optimales à l'aide d'une approche de processus de décision markovien à coût moyen et coût actualisé. Le contrat est ensuite déterminé par une approche d'approximation Monté Carlo et amélioré par des recherches locales. Les expérimentations numériques montrent que la nouvelle méthode de réservation permet de réduire de manière importante les délais d'examens au prix des créneaux inutilisés.Afin de réduire le nombre de CTS inutilisé, nous explorons ensuite la possibilité d’annuler des créneaux CTS un ou deux jours en avance. Une approche de processus de décision markovien est de nouveau utilisée pour prouver les propriétés et la forme de la politique optimale d’annulation. Les expérimentations numériques montrent que l'annulation avancée des créneaux CTS permet de réduire de manière importante les créneaux CTS inutilisés avec une augmentation légère des délais d'attente. / This research is motivated by our collaborations with a large French university teaching hospital in order to reduce the Length of Stay (LoS) of stroke patients treated in the neurovascular department. Quick diagnosis is critical for stroke patients but relies on expensive and heavily used imaging facilities such as MRI (Magnetic Resonance Imaging) scanners. Therefore, it is very important for the neurovascular department to reduce the patient LoS by reducing their waiting time of imaging examinations. From the neurovascular department perspective, this thesis proposes a new MRI examinations reservation process in order to reduce patient waiting times without degrading the utilization of MRI. The service provider, i.e., the imaging department, reserves each week a certain number of appropriately distributed contracted time slots (CTS) for the neurovascular department to ensure quick MRI examination of stroke patients. In addition to CTS, it is still possible for stroke patients to get MRI time slots through regular reservation (RTS). This thesis first proposes a stochastic programming model to simultaneously determine the contract decision, i.e., the number of CTS and its distribution, and the patient assignment policy to assign patients to either CTS or RTS. To solve this problem, structure properties of the optimal patient assignment policy for a given contract are proved by an average cost Markov decision process (MDP) approach. The contract is determined by a Monte Carlo approximation approach and then improved by local search. Computational experiments show that the proposed algorithms can efficiently solve the model. The new reservation process greatly reduces the average waiting time of stroke patients. At the same time, some CTS cannot be used for the lack of patients.To reduce the unused CTS, we further explore the possibility of the advance cancellation of CTS. Structure properties of optimal control policies for one-day and two-day advance cancellation are established separately via an average-cost MDP approach with appropriate modeling and advanced convexity concepts used in control of queueing systems. Computational experiments show that appropriate advance cancellations of CTS greatly reduce the unused CTS with nearly the same waiting times.

L'un des challenges de l'optimisation de la maintenance est la production de modèles décisionnels conjuguant performance au niveau stratégique et au niveau opérationnel. Une hypothèse classique est de considérer que le niveau de dégradation du système peut être modélisé par un processus stochastique particulier caractérisé en régime stationnaire sans tenir compte des effets de l'environnement d'exploitation du système. Cette hypothèse peut être vue comme un des facteurs entraînant des écarts entre les performances attendues et celles mesurées. Par contre, de nombreux travaux sont développés dans le cadre de la fiabilité pour l'intégration de l'impact de l'environnement. L'objectif de ce manuscrit est de développer des outils d'aide à la décision de maintenance pour des systèmes à dégradation graduelle évoluant dans un environnement aléatoire stressant. Nous proposons différentes modélisations de l'environnement et de son impact sachant qu'il peut influencer soit la défaillance du système, soit le processus de dégradation. Nous explicitons les relations mutuelles entre l'environnement et le processus de dégradation et nous construisons différentes politiques de maintenance adaptatives qui se basent sur l'état de dégradation du système mais également sur l'évolution de l'environnement. De plus, les politiques proposées permettent de se baser soit uniquement sur une connaissance a priori du système, soit d'intégrer l'information disponible en ligne concernant l'environnement. Nous chercherons dans ce manuscrit à proposer de nouvelles approches de maintenance combinant performances théoriques attendues d'un côté et réalité et pragmatisme opérationnels d'un autre.

Cette recherche se caractérise, premièrement, par une discussion théorique sur le concept d'agent autonome, basée sur des éléments issus des paradigmes de l'Intelligence Artificielle Située et de l'Intelligence Artificielle Affective. Ensuite, cette thèse présente le problème de l'apprentissage de modèles du monde, en passant en revue la littérature concernant les travaux qui s'y rapportent. À partir de ces discussions, l'architecture CAES et le mécanisme CALM sont présentés. CAES (Coupled Agent-Environment System) constitue une architecture pour décrire des systèmes basés sur la dichotomie agent-environnement. Il définit l'agent et l'environnement comme deux systèmes partiellement ouverts, en couplage dynamique. L'agent, à son tour, est composé de deux sous-systèmes, l'esprit et le corps, suivant les principes de la situativité et de la motivation intrinsèque. CALM (Constructivist Anticipatory Learning Mechanism) est un mécanisme d'apprentissage fondé sur l'approche constructiviste de l'Intelligence Artificielle. Il permet à un agent situé de construire un modèle du monde dans des environnements partiellement observables et partiellement déterministes, sous la forme d'un processus de décision markovien partiellement observable et factorisé (FPOMDP). Le modèle du monde construit est ensuite utilisé pour que l'agent puisse définir une politique d'action visant à améliorer sa propre performance.

L'objectif de cette thèse est d'étudier le problème de la modélisation des changements de régime dans les modèles à corrélations conditionnelles dynamiques en nous intéressant plus particulièrement à l'approche Markov-switching. A la différence de l'approche standard basée sur le modèle à chaîne de Markov caché (HMM) de base, nous utilisons des extensions du modèle HMM provenant des modèles graphiques probabilistes. Cette discipline a en effet proposé de nombreuses dérivations du modèle de base permettant de modéliser des structures complexes. Cette thèse se situe donc à l'interface de deux disciplines: l'économétrie financière et les modèles graphiques probabilistes. Le premier essai présente un modèle construit à partir d'une structure hiérarchique cachée markovienne qui permet de définir différents niveaux de granularité pour les régimes. Il peut être vu comme un cas particulier du modèle RSDC (Regime Switching for Dynamic Correlations). Basé sur le HMM hiérarchique, notre modèle permet de capter des nuances de régimes qui sont ignorées par l'approche Markov-Switching classique. La seconde contribution propose une version Markov-switching du modèle DCC construite à partir du modèle HMM factorisé. Alors que l'approche Markov-switching classique suppose que les tous les éléments de la matrice de corrélation suivent la même dynamique, notre modèle permet à tous les éléments de la matrice de corrélation d'avoir leur propre dynamique de saut. Dans la dernière contribution, nous proposons un modèle DCC construit à partir d'un arbre de décision. L'objectif de cet arbre est de relier le niveau des volatilités individuelles avec le niveau des corrélations. Pour cela, nous utilisons un arbre de décision Markovien caché, qui est une extension de HMM.

L'objet de cette thèse est d'établir un cadre d'analyse des données recueillies sur les véhicules en vue de les mettre en correspondance avec des comportements. Pour cela, nous avons défini le modèle Semi-Markovien caché pondéré pour modéliser les signaux issus des capteurs et établi des résultats théoriques sur les modèles de régressions multi-phasiques dans le cas linéaire et nonlinéaire. Puis, nous avons établi une méthodologie d'analyse de l'activité basée sur un apprentissage semi-automatique, et structurée par les résultats des modèles cognitifs du conducteur. Pour valider cette méthodologie, nous avons effectué une expérimentation où furent enregistrées 1209 séquences de conduite. Ces données nous ont permis d'implémenter des modèles de Markov cachées décrivant l'évolution des capteurs associés à des situations de conduite caractérisées par l'objectif, l'infrastructure perçue par le conducteur et la vitesse initiale. Les modèles générés nous permettent dès lors de catégoriser, avec un taux satisfaisant, à quelle situation ou à quel groupe de situation appartient une séquence inconnue. Par ailleurs, nous illustrons l'utilité des modèles markoviens conjugués aux modèles multi-phasiques pour la recherche automatique de situation dans un ensemble de données. Mot clés libres: modèle Semi-Markovien cachés pondéré, modèles multi-phasiques, apprentissage semi-automatique, catégorisation du comportement du conducteur, analyse de l'activité de conduite analyse hiérarchique