Dans cette thèse, nous étudions trois problèmes d'ordonnancement de la chaîne logistique dans le modèle de production à la demande. Le premier problème est un problème d'ordonnancement de production et de distribution intermédiaire dans une chaîne logistique avec un producteur et un prestataire logistique. Le deuxième problème est un problème d'ordonnancement de production et de distribution aval avec des dates de début au plus tôt et des dates limites de livraison dans une chaîne logistique avec un producteur, un prestataire logistique et un client. Le troisième problème est un problème d'ordonnancement de production et de distribution aval avec des temps de réglage et des fenêtres de temps de livraison dans une chaîne logistique avec un producteur, un prestataire logistique et plusieurs clients. Pour les trois problèmes, nous étudions les problèmes d'ordonnancement individuels et les problèmes d'ordonnancement coordonnés. Nous proposons des algorithmes polynomiaux ou prouvons la NP-Complétude de ces problèmes, et développons des algorithmes exacts ou heuristiques pour résoudre les problèmes NP-Difficiles. Nous proposons des mécanismes de coordination et évaluons le bénéfice de la coordination. / In this dissertation, we aim at investigating three supply chain scheduling problems in the make-To-Order business model. The first problem is a production and interstage distribution scheduling problem in a supply chain with a manufacturer and a third-Party logistics (3PL) provider. The second problem is a production and outbound distribution scheduling problem with release dates and deadlines in a supply chain with a manufacturer, a 3PL provider and a customer. The third problem is a production and outbound distribution scheduling problem with setup times and delivery time windows in a supply chain with a manufacturer, a 3PL provider and several customers. For the three problems, we study their individual scheduling problems and coordinated scheduling problems: we propose polynomial-Time algorithms or prove the intractability of these problems, and develop exact algorithms or heuristics to solve the NP-Hard problems. We establish mechanisms of coordination and evaluate the benefits of coordination.

La thèse traite de la planification des mouvements optimaux dans les systèmes robotiques redondants pour l'automatisation des processus d’enroulement filamentaire. L'objectif principal est d'améliorer la productivité des cellules de travail en développant une nouvelle méthodologie d'optimisation des mouvements coordonnés du robot manipulateur, du positionneur de pièce et de l'unité d'extension de l'espace de travail. Contrairement aux travaux précédents, la méthodologie proposée offre une grande efficacité de calcul et tient compte à la fois des contraintes technologiques et des contraintes du système robotique, qui décrivent les capacités des actionneurs et s'expriment par les vitesses et accélérations maximales admissibles dans les articulations actionnées. La technique développée est basée sur la conversion du problème continu original en un problème combinatoire, où toutes les configurations possibles des composants mécaniques sont représentées sous la forme d'un graphe multicouche dirigé et le mouvement temporel optimal est généré en utilisant le principe de programmation dynamique. Ce mouvement optimal correspond au plus court chemin sur le graphique satisfaisant les contraintes de lissage. Les avantages de la méthodologie développée sont confirmés par une application industrielle d’enroulement filamentaire pour la fabrication de pièces thermoplastiques au CETIM. / The thesis deals with the optimal motion planning in redundant robotic systems for automation of the composite lay-up processes. The primary goalis to improve the lay-up workcell productivity by developing a novel methodology of optimizing coordinated motions of the robotic manipulator,workpiece positioner and workspace extension unit,which ensure the shortest processing time and smooth movements of all mechanical components. In contrast to the previous works, the proposed methodology provides high computational efficiencyand also takes into account both the technological constraints and the robotic system constraints, which describe capacities of the actuators and are expressed by the maximum allowable velocities and accelerations in the actuated joints. The developed technique is based on conversion of the original continuous problem into a combinatorial one, where all possible configurations of the mechanical components are represented as a directed multi layergraph and the desired time-optimal motion is generated using dynamic programming principle for searching the shortest path on the graph satisfying the smoothness constraints. It is also proposed an enhancement of this technique by dividing the optimization procedure in two stages combining global and local searches. At the first stage, the developed algorithm is applied in the global search space generated with large discretization step. Then,the same technique is applied in the local search space, which is created with smaller step in the neighborhood of the obtained trajectory. The advantages of the developed methodology are confirmed by industrial implementation on the factory floor that deals with manufacturing of the high pressure vessel.

Pouvoir évaluer l'impact du changement climatique sur la ressource en eau, et les systèmes de gestion qui lui sont associés, est une préoccupation majeure de nos sociétés. Une telle évaluation nécessite la mise en place d'une chaîne de simulation qui permet, sur la base d'expériences climatiques futures, i) d'estimer à l'échelle régionale l'évolution possible de la ressource et de sa variabilité, ii) de simuler le comportement des systèmes utilisés pour leur gestion pour iii) estimer les éventuelles modifications de performance. Cette thèse vise à tester la possibilité de mettre en place une chaîne de simulation de ce type pour un système de gestion réel et à identifier quelles sont les composantes à considérer dans ce cas. Pour ce faire, nous chercherons en particulier à apporter des éléments de réponse aux questions suivantes: - Quelles représentations peut-on faire d'un système de gestion opérationnel pour une application en climat modifié ? - Quels éléments d'évaluation peuvent permettre d'estimer l'impact du changement climatique sur ce système de gestion ? - Quelles sont les sources d'incertitudes influençant cette évaluation ? Quelles sont les contributions relatives à l'incertitude totale des différentes méthodes et modèles utilisés ? Nous considérerons plus précisément le système de gestion du barrage de Serre-Ponçon, alimenté par le haut bassin versant de la Durance. Ce barrage, géré par EDF, est l'un des plus grands barrages artificiels européens. Il est multi-usages (irrigation, soutien d'étiage, production d'hydroélectricité, tourisme). Dans un premier temps, nous présenterons le contexte du système de gestion actuel. Nous mettrons ensuite en place un modèle de gestion du barrage visant à reproduire – de façon réaliste du point de vue du gestionnaire actuel (EDF), mais simplifiée pour pouvoir être appliqué sous scénarios futurs - la gestion actuelle du barrage. Nous développerons pour cela i) des modèles permettant d'estimer les différentes demandes en eau et ii) un modèle d'optimisation de la gestion sous contraintes. Ce modèle permettra de simuler la gestion du système au pas de temps journalier sur plusieurs décennies du climat récent, ou de climats futurs modifiés. Nous proposerons ensuite un ensemble d'indicateurs qui permettent de fournir une estimation de la performance d'un tel système à partir des sorties du modèle de gestion obtenues par simulation pour différentes périodes de 30 ans. Nous explorerons la façon dont la performance estimée dépend du modèle choisi pour la représentation du système de gestion actuel, et plus précisément de la façon dont la stratégie utilisée pour l'optimisation de la gestion est élaborée. A ce titre, nous proposerons trois modèles de gestion basés sur trois types de stratégies, obtenues pour des degrés différents de prévisibilité des apports et sollicitations futurs à la retenue. Pour ces simulations, les modèles d'impacts nécessitent des scénarios de forçages météorologiques à l'échelle de bassin versant (e.g. modèle hydrologique, modèle d'usages de l'eau, modèle de gestion de la ressource). Ces scénarios peuvent être obtenus par des méthodes de descente d'échelle statistique (MDES), sur la base des simulations grande échelle des modèles climatiques globaux. Enfin, nous évaluerons les incertitudes liées aux deux types de modèles et estimerons leurs contributions relatives à l'incertitude globale. Nous utiliserons pour cela les scénarios issus de différentes chaines de simulation GCM/MDES produits sur la période 1860-2011 dans le cadre du projet RIWER2030. Nous montrerons que ces deux sources d'incertitudes sont du même ordre de grandeur sur l'estimation des modifications de performance. / Assess the impact of climate change on water resources and management systems associated, is a major concern of our society. This requires the establishment of a simulation chain which allows, on the basis of future climate experiments i) to estimate the possible changes in regional resource and its variability, ii) to simulate the behavior of the systems used to manage them in order to iii) estimate the possible changes in performance. This thesis aims to test the feasibility of establishing a chain simulation of such a management system to identify what are the real components to consider in this case. To do this, we have to provide answers to the following questions: - How can we represent an operational management system in a climate change context? - What elements of evaluation can be used to estimate the impact of climate change on the management system? - What are the sources of uncertainty influencing this assessment? What are the relative contributions to the total uncertainty of these different methods and models used? We consider the system of management of the reservoir of Serre-Ponçon, built on the high basin of the Durance. This dam, operated by EDF, is one of the largest artificial dams Europe. It is multi-purpose (irrigation, low-flow support, hydropower, tourism). As a first step, we will present the context of the current management system. Then, we will establish a management model to reproduce - in a realistic way from the point of view of the current manager (EDF), but simplified to be applied in future scenarios - the current management of the Serre-Ponçon reserve. We will develop for this, i) different models to estimate different water demands and ii) an optimization model with constraints management. This model will simulate the management system in daily time step on several decades of recent climate or future climate change. We then propose a set of indicators to provide an estimate of the performance of such a system from the outputs of the management model obtained by simulation for different periods of 30 years. We will explore how the estimated performance depends on the model chosen to represent the current management system, and more specifically how the strategy used to optimize the management is developed. To this end, we will propose three management models based on three types of strategies, obtained for different degrees of predictability of future inflows and constraints. For these simulations, the impact models require meteorological forcing scenarios at watershed scale (eg hydrological model, model of water use model of resource management). These scenarios can be obtained by statistical downscaling methods (SDM), on the basis of large-scale simulations of global climate models. Finally, we will evaluate the uncertainties associated with the two types of models and will estimate their relative contributions to the overall uncertainty. We have used this scenario from different GCM/SDM simulations over the period 1860-2100 obtained within the RIWER2030 project. We show that these two sources of uncertainty are of the same order of magnitude estimate of changes in performance.

Au cours du traitement thermique rapide (RTP) des cellules photovoltaïques à couches minces, un suivi du profil de température souhaité et une homogénéité de la chauffe substrat doivent être assurés. Le but de cette thèse est de proposer une méthodologie de conception d'un four RTP permettant d'atteindre la qualité du cycle de la chauffe souhaitée.Une modélisation thermique est réalisée en se basant sur la méthode de réseaux de composants afin de prédire le comportement thermique dynamique du four. L'approximation des flux plans et l'approximation des couches minces semi-transparentes sont utilisées pour le calcul des facteurs d'échanges directs. L'algorithme des revêtements est appliqué pour en déduire les facteurs de transfert. Le modèle thermique développé est validé expérimentalement sur un four de petites dimensions. Une méthodologie de conception du four RTP est proposée en tenant compte de l'aspect dynamique des conditions thermiques du four. Une optimisation par algorithme génétique est effectuée pour trouver l'emplacement des émetteurs. Pour chacune des configurations testées, la distribution de la puissance aux émetteurs à fournir à chaque instant est optimisée par programmation dynamique. Finalement, cette méthodologie est appliquée pour la conception d'un four RTP pour le traitement de cellules photovoltaïques à couches minces de 30 × 60 cm2. Les résultats des essais confirment la validité de la méthodologie proposée. / During the rapid thermal processing (RTP) of thin film photovoltaic cells, the temperature of the latter has to follow a preset time evolution profile, while keeping spatial uniformity of the wafer. The aim of this study is to propose a design methodology of RTP furnace in order to obtain the quality of the required heating cycle.A thermal modeling is performed based on the component interaction network approach to predict the thermal behavior of the furnace. Flux plane approximation and semi-transparent thin layer approximation are used to calculate the direct exchange factor. The plating algorithm is then applied to calculate the transfer factor. The thermal model developed is validated experimentally on a furnace of small dimensions. A methodology to design a RTP furnace is proposed taking into account the dynamic aspect of the thermal conditions of the furnace. An optimization using the genetic algorithm is performed in order to find emitter dispositions. For each tested configuration, the optimal input power distribution over the emitters at each time step is found by using real time dynamic programming. Finally, the methodology is applied for the design of RTP furnace for the heat treatment of thin film photovoltaic cells of 30 × 60 cm2. Test results confirm the validity of the methodology proposed.

In this thesis we focus on Stochastic combinatorial Optimization Problems (SCOPs), a wide class of combinatorial optimization problems under uncertainty, where part of the information about the problem data is unknown at the planning stage, but some knowledge about its probability distribution is assumed.<p><p>Optimization problems under uncertainty are complex and difficult, and often classical algorithmic approaches based on mathematical and dynamic programming are able to solve only very small problem instances. For this reason, in recent years metaheuristic algorithms such as Ant Colony Optimization, Evolutionary Computation, Simulated Annealing, Tabu Search and others, are emerging as successful alternatives to classical approaches.<p><p>In this thesis, metaheuristics that have been applied so far to SCOPs are introduced and the related literature is thoroughly reviewed. In particular, two properties of metaheuristics emerge from the survey: they are a valid alternative to exact classical methods for addressing real-sized SCOPs, and they are flexible, since they can be quite easily adapted to solve different SCOPs formulations, both static and dynamic. On the base of the current literature, we identify the following as the key open issues in solving SCOPs via metaheuristics: <p>(1) the design and integration of ad hoc, fast and effective objective function approximations inside the optimization algorithm;<p>(2) the estimation of the objective function by sampling when no closed-form expression for the objective function is available, and the study of methods to reduce the time complexity and noise inherent to this type of estimation;<p>(3) the characterization of the efficiency of metaheuristic variants with respect to different levels of stochasticity in the problem instances. <p><p>We investigate the above issues by focusing in particular on a SCOP belonging to the class of vehicle routing problems: the Probabilistic Traveling Salesman Problem (PTSP). For the PTSP, we consider the Ant Colony Optimization metaheuristic and we design efficient local search algorithms that can enhance its performance. We obtain state-of-the-art algorithms, but we show that they are effective only for instances above a certain level of stochasticity, otherwise it is more convenient to solve the problem as if it were deterministic.<p>The algorithmic variants based on an estimation of the objective function by sampling obtain worse results, but qualitatively have the same behavior of the algorithms based on the exact objective function, with respect to the level of stochasticity. Moreover, we show that the performance of algorithmic variants based on ad hoc approximations is strongly correlated with the absolute error of the approximation, and that the effect on local search of ad hoc approximations can be very degrading.<p><p>Finally, we briefly address another SCOP belonging to the class of vehicle routing problems: the Vehicle Routing Problem with Stochastic Demands (VRPSD). For this problem, we have implemented and tested several metaheuristics, and we have studied the impact of integrating in them different ad hoc approximations.<p> / Doctorat en sciences appliquées / info:eu-repo/semantics/nonPublished

On s’intéresse au problème de contrôle impulsionnel à horizon infini avec facteur d’oubli pour les processus de Markov déterministes par morceaux (PDMP). Dans un premier temps, on modélise l’évolution d’un système opto-électronique par des PDMP. Afin d’optimiser la maintenance du système, on met en place un problème de contrôle impulsionnel tenant compte à la fois du coût de maintenance et du coût lié à l’indisponibilité du matériel auprès du client.On applique ensuite une méthode d’approximation numérique de la fonction valeur associée au problème, faisant intervenir la quantification de PDMP. On discute alors de l’influence des paramètres sur le résultat obtenu. Dans un second temps, on prolonge l’étude théorique du problème de contrôle impulsionnel en construisant de manière explicite une famille de stratégies є-optimales. Cette construction se base sur l’itération d’un opérateur dit de simple-saut-ou-intervention associé au PDMP, dont l’idée repose sur le procédé utilisé par U.S. Gugerli pour la construction de temps d’arrêt є-optimaux. Néanmoins, déterminer la meilleure position après chaque intervention complique significativement la construction de telles stratégies et nécessite l’introduction d’un nouvel opérateur. L’originalité de la construction de stratégies є-optimales présentée ici est d’être explicite, au sens où elle ne nécessite pas la résolution préalable de problèmes complexes. / We are interested in a discounted impulse control problem with infinite horizon forpiecewise deterministic Markov processes (PDMPs). In the first part, we model the evolutionof an optronic system by PDMPs. To optimize the maintenance of this equipment, we study animpulse control problem where both maintenance costs and the unavailability cost for the clientare considered. We next apply a numerical method for the approximation of the value function associated with the impulse control problem, which relies on quantization of PDMPs. The influence of the parameters on the numerical results is discussed. In the second part, we extendthe theoretical study of the impulse control problem by explicitly building a family of є-optimalstrategies. This approach is based on the iteration of a single-jump-or-intervention operator associatedto the PDMP and relies on the theory for optimal stopping of a piecewise-deterministic Markov process by U.S. Gugerli. In the present situation, the main difficulty consists in approximating the best position after the interventions, which is done by introducing a new operator.The originality of the proposed approach is the construction of є-optimal strategies that areexplicit, since they do not require preliminary resolutions of complex problems.

Le fonctionnement optimal d'un système de réservoirs est un processus décisionnel complexe impliquant, entre autres, l'identication d'un compromis temporel concernant l'utilisation de l'eau : la dernière unité d'eau doit-elle être conservée ou plutôt utilisée pour un usage immédiat? La variabilité des apports hydrologiques complique encore davantage ce processus décisionnel puisque la recherche de ce compromis doit être effectuée sans une connaissance parfaite des conditions futures. De manière générale, l'équilibre optimal entre les utilisations immédiates et futures de l'eau nécessite l'intégration de règles de gestion à court et à long terme. Si les règles à court terme conduisent à des décisions à courte vue, les stratégies opérationnelles à long terme ne sont pas appropriées pour gérer des événements à court terme tels que les inondations. Nous proposons un cadre de modélisation basé sur l'approche de décomposition temporelle (DT) : Les stratégies à moyen/long terme sont tout d'abord déterminées puis utilisées comme limites pour l'optimisation des stratégies à court terme. Le modèle d'optimisation à moyen terme capture la persistance temporelle trouvée dans le processus des apports hydrologiques hebdomadaires, alors que les prévisions hydrologiques d'ensemble (PHE) sont utilisées pour piloter le modèle à court terme sur un pas de temps journalier. Plus spécifiquement, la programmation dynamique stochastique duale (SDDP) génère les fonctions des bénéces de valeur hebdomadaires qui sont ensuite imposées à un modèle de programmation linéaire implémenté sur chaque membre des PHE de 14 jours. Ce cadre de modélisation est mis en oeuvre selon un mode de gestion en horizon roulant sur une cascade de centrales hydroélectriques dans le bassin de la rivière Gatineau dans la province du Québec au Canada. À l'aide de ce cadre de modélisation, nous analysons la relation entre la valeur économique et les caractéristiques statistiques des PHE. Les résultats montrent que l'énergie générée par le système hydroélectrique augmente avec la précision et la résolution de la prévision, mais que la relation n'est pas univoque. En effet, d'autres facteurs semblent contribuer à l'utilité de la prévision / The optimal operation of a system of reservoirs is a complex decision-making problem involving, among others, the identification of a temporal trade-offs regarding the use of water. Should the last unit of water be kept in storage or rather be released for use downstream? The variability of natural inflows further complicates this decision-making problem: at any given point in space and time, this trade-off must be made without a perfect knowledge of future reservoir in flows. Generally speaking, the optimal balance between immediate and future uses of water requires the integration of short- and long-term policies. If short-term policies lead to shortsighted decisions, long-term operational strategies are not appropriate to handle short-term events such as floods. We propose a modeling framework based on the time decomposition (TD) approach: mid/long-term policies are determined first and then used as boundary conditions for the optimization of short-term policies. The mid-term optimization model captures the temporal persistence found in the weekly streamflow process whereas Ensemble Streamflow Forecasts (ESF) are used to drive the short-term model on a daily time step. More specifically, a Stochastic Dual Dynamic Programming (SDDP) generates the weekly benefit-to-go functions that are then imposed to a linear programming model implemented on each 14-days member of the ESF. This modelling framework is implemented in a rolling-horizon mode on a cascade of hydropower stations in the Gatineau River basin, Quebec, Canada. Using this modelling framework, we analyze the relationship between the economic value of different sets of short-term hydrologic forecasts. The results show that the energy generated by the hydropower system increases with the forecast's accuracy and resolution but that the relationship is not univocal; other factors seem to contribute to the forecast's utility.

La théorie de la viabilité propose des outils permettant de contrôler un système dynamique afin de le maintenir dans un domaine de contraintes. Le concept central de cette théorie est le noyau de viabilité, qui est l’ensemble des états initiaux à partir desquels il existe au moins une trajectoire contrôlée restant dans le domaine de contraintes. Cependant, le temps et l’espace nécessaires au calcul du noyau de viabilité augmentent exponentiellement avec le nombre de dimensions du problème considéré. C’est la malédiction de la dimension. Elle est d’autant plus présente dans le cas de systèmes incorporant des incertitudes. Dans ce cas-là, le noyau de viabilité devient l’ensemble des états pour lesquels il existe une stratégie de contrôle permettant de rester dans le domaine de contraintes avec au moins une certaine probabilité jusqu’à l’horizon de temps donné. L’objectif de cette thèse est d’étudier et de développer des approches afin de combattre cette malédiction de la dimension. Pour ce faire, nous avons proposé deux axes de recherche : la parallélisation des calculs et l’utilisation de la théorie de la fiabilité. Les résultats sont illustrés par plusieurs applications. Le premier axe explore l’utilisation de calcul parallèle sur carte graphique. La version du programme utilisant la carte graphique est jusqu’à 20 fois plus rapide que la version séquentielle, traitant des problèmes jusqu’en dimension 7. Outre ces gains en temps de calcul, nos travaux montrent que la majeure partie des ressources est utilisée pour le calcul des probabilités de transition du système. Cette observation fait le lien avec le deuxième axe de recherche qui propose un algorithme calculant une approximation de noyaux de viabilité stochastiques utilisant des méthodes fiabilistes calculant les probabilités de transition. L’espace-mémoire requis par cet algorithme est une fonction linéaire du nombre d’états de la grille utilisée, contrairement à l’espace-mémoire requis par l’algorithme de programmation dynamique classique qui dépend quadratiquement du nombre d’états. Ces approches permettent d’envisager l’application de la théorie de la viabilité à des systèmes de plus grande dimension. Ainsi nous l’avons appliquée à un modèle de dynamique du phosphore dans le cadre de la gestion de l’eutrophisation des lacs, préalablement calibré sur les données du lac du Bourget. De plus, les liens entre fiabilité et viabilité sont mis en valeur avec une application du calcul de noyau de viabilité stochastique, autrement appelé noyau de fiabilité, en conception fiable dans le cas d’une poutre corrodée. / Viability theory provides tools to maintain a dynamical system in a constraint domain. The main concept of this theory is the viability kernel, which is the set of initial states from which there is at least one controlled trajectory remaining in the constraint domain. However, the time and space needed to calculate the viability kernel increases exponentially with the number of dimensions of the problem. This issue is known as “the curse of dimensionality”. This curse is even more present when applying the viability theory to uncertain systems. In this case, the viability kernel is the set of states for which there is at least a control strategy to stay in the constraint domain with some probability until the time horizon. The objective of this thesis is to study and develop approaches to beat back the curse of dimensionality. We propose two lines of research: the parallel computing and the use of reliability theory tools. The results are illustrated by several applications. The first line explores the use of parallel computing on graphics card. The version of the program using the graphics card is up to 20 times faster than the sequential version, dealing with problems until dimension 7. In addition to the gains in calculation time, our work shows that the majority of the resources is used to the calculation of transition probabilities. This observation makes the link with the second line of research which proposes an algorithm calculating a stochastic approximation of viability kernels by using reliability methods in order to compute the transition probabilities. The memory space required by this algorithm is a linear function of the number of states of the grid, unlike the memory space required by conventional dynamic programming algorithm which quadratically depends on the number of states. These approaches may enable the use of the viability theory in the case of high-dimension systems. So we applied it to a phosphorus dynamics for the management of Lake Bourget eutrophication, previously calibrated from experimental data. In addition the relationship between reliability and viability is highlighted with an application of stochastic viability kernel computation, otherwise known as reliability kernel, in reliable design in the case of a corroded beam.

En planification théorique de la décision, le cadre des Processus Décisionnels Markoviens Factorisés (Factored Markov Decision Process, FMDP) a produit des algorithmes efficaces de résolution des problèmes de décisions séquentielles dans l'incertain. L'efficacité de ces algorithmes repose sur des structures de données telles que les Arbres de Décision ou les Diagrammes de Décision Algébriques (ADDs). Ces techniques de planification sont utilisées en Apprentissage par Renforcement par l'architecture SDYNA afin de résoudre des problèmes inconnus de grandes tailles. Toutefois, l'état-de-l'art des algorithmes d'apprentissage, de programmation dynamique et d'apprentissage par renforcement utilisés par SDYNA, requière que le problème soit spécifié uniquement à l'aide de variables binaires et/ou utilise des structures améliorables en termes de compacité. Dans ce manuscrit, nous présentons nos travaux de recherche visant à élaborer et à utiliser une structure de donnée plus efficace et moins contraignante, et à l'intégrer dans une nouvelle instance de l'architecture SDYNA. Dans une première partie, nous présentons l'état-de-l'art de la modélisation de problèmes de décisions séquentielles dans l'incertain à l'aide de FMDP. Nous abordons en détail la modélisation à l'aide d'DT et d'ADDs.Puis nous présentons les ORFGs, nouvelle structure de données que nous proposons dans cette thèse pour résoudre les problèmes inhérents aux ADDs. Nous démontrons ainsi que les ORFGs s'avèrent plus efficaces que les ADDs pour modéliser les problèmes de grandes tailles. Dans une seconde partie, nous nous intéressons à la résolution des problèmes de décision dans l'incertain par Programmation Dynamique. Après avoir introduit les principaux algorithmes de résolution, nous nous attardons sur leurs variantes dans le domaine factorisé. Nous précisons les points de ces variantes factorisées qui sont améliorables. Nous décrivons alors une nouvelle version de ces algorithmes qui améliore ces aspects et utilise les ORFGs précédemment introduits. Dans une dernière partie, nous abordons l'utilisation des FMDPs en Apprentissage par Renforcement. Puis nous présentons un nouvel algorithme d'apprentissage dédié à la nouvelle structure que nous proposons. Grâce à ce nouvel algorithme, une nouvelle instance de l'architecture SDYNA est proposée, se basant sur les ORFGs ~:~l'instance SPIMDDI. Nous testons son efficacité sur quelques problèmes standards de la littérature. Enfin nous présentons quelques travaux de recherche autour de cette nouvelle instance. Nous évoquons d'abord un nouvel algorithme de gestion du compromis exploration-exploitation destiné à simplifier l'algorithme F-RMax. Puis nous détaillons une application de l'instance SPIMDDI à la gestion d'unités dans un jeu vidéo de stratégie en temps réel. / In decision theoretic planning, the factored framework (Factored Markovian Decision Process, FMDP) has produced several efficient algorithms in order to resolve large sequential decision making under uncertainty problems. The efficiency of this algorithms relies on data structures such as decision trees or algebraïc decision diagrams (ADDs). These planification technics are exploited in Reinforcement Learning by the architecture SDyna in order to resolve large and unknown problems. However, state-of-the-art learning and planning algorithms used in SDyna require the problem to be specified uniquely using binary variables and/or to use improvable data structure in term of compactness. In this book, we present our research works that seek to elaborate and to use a new data structure more efficient and less restrictive, and to integrate it in a new instance of the SDyna architecture. In a first part, we present the state-of-the-art modeling tools used in the algorithms that tackle large sequential decision making under uncertainty problems. We detail the modeling using decision trees and ADDs. Then we introduce the Ordered and Reduced Graphical Representation of Function, a new data structure that we propose in this thesis to deal with the various problems concerning the ADDs. We demonstrate that ORGRFs improve on ADDs to model large problems. In a second part, we go over the resolution of large sequential decision under uncertainty problems using Dynamic Programming. After the introduction of the main algorithms, we see in details the factored alternative. We indicate the improvable points of these factored versions. We describe our new algorithm that improve on these points and exploit the ORGRFs previously introduced. In a last part, we speak about the use of FMDPs in Reinforcement Learning. Then we introduce a new algorithm to learn the new datastrcture we propose. Thanks to this new algorithm, a new instance of the SDyna architecture is proposed, based on the ORGRFs : the SPIMDDI instance. We test its efficiency on several standard problems from the litterature. Finally, we present some works around this new instance. We detail a new algorithm for efficient exploration-exploitation compromise management, aiming to simplify F-RMax. Then we speak about an application of SPIMDDI to the managements of units in a strategic real time video game.

L'hydraulique est la principale énergie renouvelable produite en France. Elle apporte une réserve d'énergie et une flexibilité intéressantes dans un contexte d'augmentation de la part des énergies intermittentes dans la production. Sa gestion soulève des problèmes difficiles dus au nombre des barrages, aux incertitudes sur les apports d'eau et sur les prix, ainsi qu'aux usages multiples de l'eau. Cette thèse CIFRE, effectuée en partenariat avec Electricité de France, aborde deux questions de gestion hydraulique formulées comme des problèmes d'optimisation dynamique stochastique. Elles sont traitées dans deux grandes parties.Dans la première partie, nous considérons la gestion de la production hydroélectrique d'un barrage soumise à une contrainte dite de cote touristique. Cette contrainte vise à assurer une hauteur de remplissage du réservoir suffisamment élevée durant l'été avec un niveau de probabilité donné. Nous proposons différentes modélisations originales de ce problème et nous développons les algorithmes de résolution correspondants. Nous présentons des résultats numériques qui éclairent différentes facettes du problème utiles pour les gestionnaires du barrage.Dans la seconde partie, nous nous penchons sur la gestion d'une cascade de barrages. Nous présentons une méthode de résolution approchée par décomposition-coordination, l'algorithme Dual Approximate Dynamic Programming (DADP). Nousmontrons comment décomposer, barrage par barrage, le problème de la cascade en sous-problèmes obtenus en dualisant la contrainte de couplage spatial ``déversé supérieur = apport inférieur''. Sur un cas à trois barrages, nous sommes en mesure de comparer les résultats de DADP à la solution exacte (obtenue par programmation dynamique), obtenant desgains à quelques pourcents de l'optimum avec des temps de calcul intéressants. Les conclusions auxquelles nous sommes parvenu offrent des perspectives encourageantes pour l'optimisation stochastique de systèmes de grande taille / Hydropower is the main renewable energy produced in France. It brings both an energy reserve and a flexibility, of great interest in a contextof penetration of intermittent sources in the production of electricity. Its management raises difficulties stemming from the number of dams, from uncertainties in water inflows and prices and from multiple uses of water. This Phd thesis has been realized in partnership with Electricité de France and addresses two hydropower management issues, modeled as stochastic dynamic optimization problems. The manuscript is divided in two parts. In the first part, we consider the management of a hydroelectric dam subject to a so-called tourist constraint. This constraint assures the respect of a given minimum dam stock level in Summer months with a prescribed probability level. We propose different original modelings and we provide corresponding numerical algorithms. We present numerical results that highlight the problem under various angles useful for dam managers. In the second part, we focus on the management of a cascade of dams. We present the approximate decomposition-coordination algorithm called Dual Approximate Dynamic Programming (DADP). We show how to decompose an original (large scale) problem into smaller subproblems by dualizing the spatial coupling constraints. On a three dams instance, we are able to compare the results of DADP with the exact solution (obtained by dynamic programming); we obtain approximate gains that are only at a few percents of the optimum, with interesting running times. The conclusions we arrived at offer encouraging perspectives for the stochastic optimization of large scale problems