Les systèmes assemble-to-order (ATO) peuvent être considérés comme une affectation de ressources multiples qui induit planification de production, satisfaction des contraintes et affectation des stocks. Les systèmes ATO représentent une stratégie de logistique populaire utilisée en gestion de fabrication. En raison de la complexité croissante des systèmes de fabrication d'aujourd'hui, le défi pour les systèmes ATO est de gérer efficacement les stocks de composants et de trouver les décisions optimales de production et d'affectation.Nous étudions un système ATO avec un produit unique qui est assemblé à partir de plusieurs composants. Le système doit répondre à une demande non seulement du produit assemblé, mais aussi des composants individuels. Nous considérons le cas avec seulement des lost sales puis le cas mixte lost sales et backorders avec des temps de production suivant des lois de type exponentiel et une demande sous forme de loi de Poisson. Nous formulons le problème comme un Processus de décision markovien (MDP), et nous considérons deux critères d'optimalité qui sont le coût actualisé et le coût moyen par période. Nous caractérisons la structure de la politique optimale et étudions l'impact des différents paramètres du système sur cette politique. Nous présentons également plusieurs heuristiques pour le cas lost sales et le cas mixte lost sales et backorders. Ces heuristiques fournissent des méthodes simples, mais efficaces pour contrôler la production et l'affectation des stocks du système ATO

Le développement de nouveaux capteurs multispectraux en imagerie astronomique permet l'acquisition de données d'une grande richesse. Néanmoins, la classification d'images multidimensionnelles se heurte souvent au phénomène de Hughes : l'augmentation de la dimensionnalité s'accompagne d'un accroissement du nombre de paramètres du modèle et donc inévitablement une baisse de précision de leur estimation entrainant une dégradation de la qualité de la segmentation. Il est donc impératif d'écarter l'information redondante afin de réaliser des opérations de segmentation ou de classification robustes. Dans le cadre de cette thèse, nous avons propose deux méthodes de réduction de la dimensionnalité pour des images multispectrales : 1) le regroupement de bandes suivis de projections locales ; 2) la réduction des cubes radio par un modèle de mélange de gaussiennes. Nous avons également propose un schéma de réduction/segmentation jointe base sur la régularisation du mélange d'analyseurs en composantes principales probabilistes (MACPP). En se qui concerne la tâche de segmentation, nous avons choisie une approche bayésienne s'appuyant sur des modèles hiérarchiques récents a base d'arbres de Markov cache et couple. Ces modèles permettent en effet un calcul rapide et exact des probabilités a posteriori. Pour le terme d'attache aux données, nous avons utilisée la loi gaussienne multidimensionnelle classique, la loi gaussienne généralisée multidimensionnelles formulée grâce à la théorie des copules et la vraisemblance par rapport au modèle de l'ACP probabiliste (dans le cadre de la MACPP régularisée). L'apport majeur de ce travail consiste donc a proposer différents modèles markoviens hiérarchiques de segmentation adaptés aux données multidimensionnelles multirésolutions. Leur exploitation pour des données issues d'une analyse par ondelettes adaptée au contexte astronomique nous a permis de développer des techniques de débruitage et de fusion d'images astronomiques multispectrales nouvelles. Tous les algorithmes sont non supervises et ont été valides sur des images synthétiques et réelles.

Dans le cadre de l'optimisation de la fiabilité, Thales Optronique intègre désormais dans ses équipements, des systèmes d'observation de leur état de fonctionnement. Cette fonction est réalisée par des HUMS (Health & Usage Monitoring System). L'objectif de cette thèse est de mettre en place dans le HUMS, un programme capable d'évaluer l'état du système, de détecter les dérives de fonctionnement, d'optimiser les opérations de maintenance et d'évaluer les risques d'échec d'une mission, en combinant les procédés de traitement des données opérationnelles (collectées sur chaque appareil grâce au HUMS) et prévisionnelles (issues des analyses de fiabilité et des coûts de maintenance, de réparation et d'immobilisation). Trois algorithmes ont été développés. Le premier, basé sur un modèle de chaînes de Markov cachées, permet à partir de données opérationnelles, d'estimer à chaque instant l'état du système, et ainsi, de détecter un mode de fonctionnement dégradé de l'équipement (diagnostic). Le deuxième algorithme permet de proposer une stratégie de maintenance optimale et dynamique. Il consiste à rechercher le meilleur instant pour réaliser une maintenance, en fonction de l'état estimé de l'équipement. Cet algorithme s'appuie sur une modélisation du système, par un processus Markovien déterministe par morceaux (noté PDMP) et sur l'utilisation du principe d'arrêt optimal. La date de maintenance est déterminée à partir des données opérationnelles, prévisionnelles et de l'état estimé du système (pronostic). Quant au troisième algorithme, il consiste à déterminer un risque d'échec de mission et permet de comparer les risques encourus suivant la politique de maintenance choisie.Ce travail de recherche, développé à partir d'outils sophistiqués de probabilités théoriques et numériques, a permis de définir un protocole de maintenance conditionnelle à l'état estimé du système, afin d'améliorer la stratégie de maintenance, la disponibilité des équipements au meilleur coût, la satisfaction des clients et de réduire les coûts d'exploitation.

Nous étudions les systèmes de véhicules en libre service en aller-simple : avec emprunt et restitution dans des lieux éventuellement différents. La publicité promeut l'image de flexibilité et d'accessibilité (tarifaire) de tels systèmes, mais en réalité il arrive qu'il n'y ait pas de véhicule disponible au départ, voire pire, pas de place à l'arrivée. Il est envisageable (et pratiqué pour Vélib' à Paris) de relocaliser les véhicules pour éviter que certaines stations soient vides ou pleines à cause des marées ou de la gravitation. Notre parti-pris est cependant de ne pas considérer de ``relocalisation physique'' (à base de tournées de camions) en raison du coût, du trafic et de la pollution occasionnées (surtout pour des systèmes de voitures, comme Autolib' à Paris). La question à laquelle nous désirons répondre dans cette thèse est la suivante : Une gestion via des tarifs incitatifs permet-elle d'améliorer significativement les performances des systèmes de véhicules en libre service ? / One way Vehicle Sharing Systems (VSS), in which users pick-up and return a vehicle in different places is a new type of transportation system that presents many advantages. However, even if advertising promotes an image of flexibility and price accessibility, in reality customers might not find a vehicle at the original station (which may be considered as an infinite price), or worse, a parking spot at destination. Since the first Bike Sharing Systems (BSS), problems of vehicles and parking spots availability have appeared crucial. We define the system performance as the number of trips sold (to be maximized). BSS performance is currently improved by vehicle relocation with trucks. Our scope is to focus on self regulating systems through pricing incentives, avoiding physical station balancing. The question we are investigating in this thesis is the following: Can a management of the incentives increases significantly the performance of the vehicle sharing systems?

On s'intéresse à la construction et l'estimation - à partir d'observations incomplètes - de modèles de variables aléatoires à valeurs réelles sur un graphe. Ces modèles doivent être adaptés à un problème de régression non standard où l'identité des variables observées (et donc celle des variables à prédire) varie d'une instance à l'autre. La nature du problème et des données disponibles nous conduit à modéliser le réseau sous la forme d'un champ markovien aléatoire, choix justifié par le principe de maximisation d'entropie de Jaynes. L'outil de prédiction choisi dans ces travaux est l'algorithme Belief Propagation - dans sa version classique ou gaussienne - dont la simplicité et l'efficacité permettent son utilisation sur des réseaux de grande taille. Après avoir fourni un nouveau résultat sur la stabilité locale des points fixes de l'algorithme, on étudie une approche fondée sur un modèle d'Ising latent où les dépendances entre variables réelles sont encodées à travers un réseau de variables binaires. Pour cela, on propose une définition de ces variables basée sur les fonctions de répartition des variables réelles associées. Pour l'étape de prédiction, il est nécessaire de modifier l'algorithme Belief Propagation pour imposer des contraintes de type bayésiennes sur les distributions marginales des variables binaires. L'estimation des paramètres du modèle peut aisément se faire à partir d'observations de paires. Cette approche est en fait une manière de résoudre le problème de régression en travaillant sur les quantiles. D'autre part, on propose un algorithme glouton d'estimation de la structure et des paramètres d'un champ markovien gaussien, basé sur l'algorithme Iterative Proportional Scaling. Cet algorithme produit à chaque itération un nouveau modèle dont la vraisemblance, ou une approximation de celle-ci dans le cas d'observations incomplètes, est supérieure à celle du modèle précédent. Cet algorithme fonctionnant par perturbation locale, il est possible d'imposer des contraintes spectrales assurant une meilleure compatibilité des modèles obtenus avec la version gaussienne de Belief Propagation. Les performances des différentes approches sont illustrées par des expérimentations numériques sur des données synthétiques. / In this work, we focus on the design and estimation - from partial observations - of graphical models of real-valued random variables. These models should be suited for a non-standard regression problem where the identity of the observed variables (and therefore of the variables to predict) changes from an instance to the other. The nature of the problem and of the available data lead us to model the network as a Markov random field, a choice consistent with Jaynes' maximum entropy principle. For the prediction task, we turn to the Belief Propagation algorithm - in its classical or Gaussian flavor - which simplicity and efficiency make it usable on large scale networks. After providing a new result on the local stability of the algorithm's fixed points, we propose an approach based on a latent Ising model, where dependencies between real-valued variables are encoded through a network of binary variables. To this end, we propose a definition of these variables using the cumulative distribution functions of the real-valued variables. For the prediction task, it is necessary to modify the Belief Propagation algorithm in order to impose Bayesian-like constraints on marginal distributions of the binary variables. Estimation of the model parameters can easily be performed using only pairwise observations. In fact, this approach is a way to solve the regression problem by working on quantiles.Furthermore, we propose a greedy algorithm for estimating both the structure and the parameters of a Gauss-Markov random field based on the Iterative Proportional Scaling procedure. At each iteration, the algorithm yields a new model which likelihood, or an approximation of it in the case of partial observations,is higher than the one of the previous model. Because of its local perturbation principle, this algorithm allows us to impose spectral constraints, increasing the compatibility with the Gaussian Belief Propagation algorithm. The performances of all approaches are empirically illustrated on synthetic data.

L'objectif de cette thèse porte sur l'étude des phénomènes de blocage dans un flux particules à faible densité dans un canal. Le blocage est induit par la géométrie du canal. L'essentiel de mes travaux concerne la description des situations où le blocage est contrôlé par les limites en capacité d'un canal. Le paramètre pertinent pour ce phénomène est donné par le nombre de particules minimum, N, conduisant à l'interruption du flux de particules. Un modèle stochastique simple introduit par Gabrielli et al. (PRL. 110, 170601, 2013) illustre ce comportement: des particules arrivent aléatoirement selon une distribution de Poisson à l'entrée d'un canal unidimensionnel et le traversent avec un temps constant, noté t. Le blocage survient lorsque N particules sont simultanément sur le pont. Le travail de cette thèse à été d'étudier les extensions de ce modèle. Les observables du système sont la probabilité de survie, le flux sortant ainsi que la statistique sur les particules sorties avant le blocage. Les différentes études ont permis pour le cas N>2, pour une distribution homogène quelconque et inhomogène d'entrée, pour un système de multi-canaux ainsi que pour une durée finie de blocage d'obtenir des résultats analytiques exactes ainsi que des approximations à l'aide d'outils statistique. Le dernier projet de cette thèse porte sur l'étude microscopique des phénomènes de blocage. Le modèle simple que nous avons étudié est un système bidimensionnel de particules browniennes soumis à une force de traînée et se déplaçant dans un canal avec rétrécissement. La présence d'un obstacle au milieu du canal peut causer un colmatage selon les valeurs des différents paramètres du système. / This manuscript presents a study of blocking phenomenon in particulate streams flowing through anarrow channel. In particular, it examines situations in which blocking is controlled by the limitedcarrying capacity of the channel. It builds on a simple stochastic model, introduced by Gabrielli etal. (Phys. Rev. Lett. 110, 170601, 2013), in which particles arrive randomly according to a Poissondistribution at the entrance of a one-dimensional channel with an intensity λ and, unless interrupted,exit after a transit time, τ. Blocking occurs instantaneously when N=2 particles are simultaneouslypresent in the channel. The quantities of interest include the probability that the channel is still openat time t (survival probability) and the flux and total number of exiting particles. The thesisexamines a number of generalizations including when more than two particles must be present toinduce blockage, N>2, a time dependent intensity, a finite blocking time, and multi-channelsystems. We obtain exact and approximate analytical results using tools such as the masterequations describing the evolution of the n-particle partial probabilities, large deviation theory andqueuing theory. The theoretical results are validated by comparison with the results of numericalsimulations. The final chapter of the thesis uses a different approach, namely a brownian dynamics simulation of a two dimensional system of soft particles subjected to an external driving and dragforces. The presence of an obstacle in the middle of the channel can cause irreversible orintermittent clogging depending on the system geometry, temperature and particle stiffness.

L’objectif de cette thèse est de construire un framework qui représente les incertitudes aléatoires et épistémiques basé sur les approches probabilistes et des théories d’incertain, de comparer les méthodes et de trouver les propres applications sur les grands systèmes avec événement rares. Dans la thèse, une méthode de normalité asymptotique a été proposée avec simulation de Monte Carlo dans les cas binaires ainsi qu'un modèle semi-Markovien dans les cas de systèmes multi-états dynamiques. On a aussi appliqué la théorie d’ensemble aléatoire comme un modèle de base afin d’évaluer la fiabilité et les autres indicateurs de performance dans les systèmes binaires et multi-états avec technique bootstrap. / Our research objective is to build frameworks representing both aleatory and epistemic uncertainties based on probabilistic approach and uncertainty approaches and to compare these methods and find the proper applicatin for these methods in large scale systems with rare event. In this thesis, an asymptotic normality method is proposed with Monte Carlo simulation in case of binary systems as well as semi-Markov model for cases of dynamic multistate system. We also apply random set as a basic model to evaluate system reliability and other performance indices on binary and multistate systems with bootstrap technique.

Dans cette thèse, nous étudions le contrôle dynamique des systèmes de partage de ressources qui se posent dans divers domaines : réseaux de gestion des stocks, services de santé, réseaux de communication, etc. Nous visons à allouer efficacement les ressources disponibles entre des projets concurrents, selon certains critères de performance. Ce type de problème est de nature stochastique et peut être très complexe à résoudre. Nous nous concentrons donc sur le développement de méthodes heuristiques performantes. Dans la partie I, nous nous plaçons dans le cadre des Restless Bandit Problems, qui est une classe générale de problèmes d’optimisation dynamique stochastique. Relaxer la contrainte de trajectoire dans le problème d’optimisation permet de définir une politique d’index comme heuristique pour le modèle contraint d’origine, aussi appelée politique d’index de Whittle. Nous dérivons une expression analytique pour l’index de Whittle en fonction des probabilités stationnaires de l’état dans le cas où les bandits (ou projets) suivent un processus de naissance et de mort. D’une part, cette expression nécessite la vérification de plusieurs conditions techniques, d’autre part elle ne peut être calculée explicitement que dans certains cas spécifiques. Nous prouvons ensuite, que dans le cas particulier d’une file d’attente multi-classe avec abandon, la politique d’index de Whittle est asymptotiquement optimale aussi bien pour les régimes à faible trafic comme pour ceux à fort trafic. Dans la partie II, nous dérivons des heuristiques issues de l’approximation des systèmes stochastiques de partage de ressources par des modèles fluides déterministes. Nous formulons dans un premier temps une version fluide du problème d’optimisation relaxé que nous avons introduit dans la partie I, et développons une politique d’index fluide. L’index fluide peut toujours être calculé explicitement et surmonte donc les questions techniques qui se posent lors du calcul de l’index de Whittle. Nous appliquons les politiques d’index de Whittle et de l’index fluide à plusieurs cas : les fermes de serveurs éco-conscients, l’ordonnancement opportuniste dans les systèmes sans fil, et la gestion de stockage de produits périssables. Nous montrons numériquement que ces politiques d’index sont presque optimales. Dans un second temps, nous étudions l’ordonnancement optimal de la version fluide d’une file d’attente multi-classe avec abandon. Nous obtenons le contrôle optimal du modèle fluide en présence de deux classes de clients en concurrence pour une même ressource. En nous appuyant sur ces derniers résultats, nous proposons une heuristique pour le cas général de plusieurs classes. Cette heuristique montre une performance quasi-optimale lorsqu’elle est appliquée au modèle stochastique original pour des charges de travail élevées. Enfin, dans la partie III, nous étudions les phénomènes d’abandon dans le contexte d’un problème de distribution de contenu. Nous caractérisons une politique optimale de regroupement afin que des demandes issues d’utilisateurs impatients puissent être servies efficacement en mode diffusion. / In this thesis we study the dynamic control of resource-sharing systems that arise in various domains: e.g. inventory management, healthcare and communication networks. We aim at efficiently allocating the available resources among competing projects according to a certain performance criteria. These type of problems have a stochastic nature and may be very complex to solve. We therefore focus on developing well-performing heuristics. In Part I, we consider the framework of Restless Bandit Problems, which is a general class of dynamic stochastic optimization problems. Relaxing the sample-path constraint in the optimization problem enables to define an index-based heuristic for the original constrained model, the so-called Whittle index policy. We derive a closed-form expression for the Whittle index as a function of the steady-state probabilities for the case in which bandits (projects) evolve in a birth-and-death fashion. This expression requires several technical conditions to be verified, and in addition, it can only be computed explicitly in specific cases. In the particular case of a multi-class abandonment queue, we further prove that the Whittle index policy is asymptotically optimal in the light-traffic and heavy-traffic regimes. In Part II, we derive heuristics by approximating the stochastic resource-sharing systems with deterministic fluid models. We first formulate a fluid version of the relaxed optimization problem introduced in Part I, and we develop a fluid index policy. The fluid index can always be computed explicitly and hence overcomes the technical issues that arise when calculating the Whittle index. We apply the Whittle index and the fluid index policies to several systems: e.g. power-aware server-farms, opportunistic scheduling in wireless systems, and make-to-stock problems with perishable items. We show numerically that both index policies are nearly optimal. Secondly, we study the optimal scheduling control for the fluid version of a multi-class abandonment queue. We derive the fluid optimal control when there are two classes of customers competing for a single resource. Based on the insights provided by this result we build a heuristic for the general multi-class setting. This heuristic shows near-optimal performance when applied to the original stochastic model for high workloads. In Part III, we further investigate the abandonment phenomena in the context of a content delivery problem. We characterize an optimal grouping policy so that requests, which are impatient, are efficiently transmitted in a multi-cast mode.

Cette thèse traite de méthodes « model-based » pour résoudre des problèmes d'apprentissage par renforcement. On considère un agent confronté à une suite de décisions et un environnement dont l'état varie selon les décisions prises par l'agent. Ce dernier reçoit tout au long de l'interaction des récompenses qui dépendent à la fois de l'action prise et de l'état de l'environnement. L'agent ne connaît pas le modèle d'interaction et a pour but de maximiser la somme des récompenses reçues à long terme. Nous considérons différents modèles d'interactions : les processus de décisions markoviens, les processus de décisions markoviens partiellement observés et les modèles de bandits. Pour ces différents modèles, nous proposons des algorithmes qui consistent à construire à chaque instant un ensemble de modèles permettant d'expliquer au mieux l'interaction entre l'agent et l'environnement. Les méthodes dites « model-based » que nous élaborons se veulent performantes tant en pratique que d'un point de vue théorique. La performance théorique des algorithmes est calculée en terme de regret qui mesure la différence entre la somme des récompenses reçues par un agent qui connaîtrait à l'avance le modèle d'interaction et celle des récompenses cumulées par l'algorithme. En particulier, ces algorithmes garantissent un bon équilibre entre l'acquisition de nouvelles connaissances sur la réaction de l'environnement (exploration) et le choix d'actions qui semblent mener à de fortes récompenses (exploitation). Nous proposons deux types de méthodes différentes pour contrôler ce compromis entre exploration et exploitation. Le premier algorithme proposé dans cette thèse consiste à suivre successivement une stratégie d'exploration, durant laquelle le modèle d'interaction est estimé, puis une stratégie d'exploitation. La durée de la phase d'exploration est contrôlée de manière adaptative ce qui permet d'obtenir un regret logarithmique dans un processus de décision markovien paramétrique même si l'état de l'environnement n'est que partiellement observé. Ce type de modèle est motivé par une application d'intérêt en radio cognitive qu'est l'accès opportuniste à un réseau de communication par un utilisateur secondaire. Les deux autres algorithmes proposés suivent des stratégies optimistes : l'agent choisit les actions optimales pour le meilleur des modèles possibles parmi l'ensemble des modèles vraisemblables. Nous construisons et analysons un tel algorithme pour un modèle de bandit paramétrique dans un cas de modèles linéaires généralisés permettant ainsi de considérer des applications telles que la gestion de publicité sur internet. Nous proposons également d'utiliser la divergence de Kullback-Leibler pour la construction de l'ensemble des modèles vraisemblables dans des algorithmes optimistes pour des processus de décision markoviens à espaces d'états et d'actions finis. L'utilisation de cette métrique améliore significativement le comportement de des algorithmes optimistes en pratique. De plus, une analyse du regret de chacun des algorithmes permet de garantir des performances théoriques similaires aux meilleurs algorithmes de l'état de l'art.

Cette thèse porte sur les questions d'évaluation et de couverture des options dans un modèle exponentiel-Lévy avec changements de régime. Un tel modèle est construit sur un processus additif markovien un peu comme le modèle de Black- Scholes est basé sur un mouvement Brownien. Du fait de l'existence de plusieurs sources d'aléa, nous sommes en présence d'un marché incomplet et ce fait rend inopérant les développements théoriques initiés par Black et Scholes et Merton dans le cadre d'un marché complet. Nous montrons dans cette thèse que l'utilisation de certains résultats de la théorie des processus additifs markoviens permet d'apporter des solutions aux problèmes d'évaluation et de couverture des options. Notamment, nous arrivons à caracté- riser la mesure martingale qui minimise l'entropie relative à la mesure de probabilit é historique ; aussi nous dérivons explicitement sous certaines conditions, le portefeuille optimal qui permet à un agent de minimiser localement le risque quadratique associé. Par ailleurs, dans une perspective plus pratique nous caract érisons le prix d'une option Européenne comme l'unique solution de viscosité d'un système d'équations intégro-di érentielles non-linéaires. Il s'agit là d'un premier pas pour la construction des schémas numériques pour approcher ledit prix. / This thesis focuses on the pricing and hedging problems of financial derivatives in a Markov-modulated exponential-Lévy model. Such model is built on a Markov additive process as much as the Black-Scholes model is based on Brownian motion. Since there exist many sources of randomness, we are dealing with an incomplete market and this makes inoperative techniques initiated by Black, Scholes and Merton in the context of a complete market. We show that, by using some results of the theory of Markov additive processes it is possible to provide solutions to the previous problems. In particular, we characterize the martingale measure which minimizes the relative entropy with respect to the physical probability measure. Also under some conditions, we derive explicitly the optimal portfolio which allows an agent to minimize the local quadratic risk associated. Furthermore, in a more practical perspective we characterize the price of a European type option as the unique viscosity solution of a system of nonlinear integro-di erential equations. This is a rst step towards the construction of e ective numerical schemes to approximate options price.