Cette thèse étudie les effets du risque sur l'investissement dans le capital humain. Le chapitre 1 présente les contributions les plus significatives en économie de l'éducation qui placent l'étude de l'accumulation du capital humain dans un contexte d'incertitude. De notre analyse ressort l'importance de différencier les sources d'incertitude car elles peuvent avoir un effet contradictoire. C'est pourquoi, nous développons dans le chapitre 2 un modèle dynamique et stochastique dans lequel plusieurs sources d'incertitude sont prises en compte, concernant à la fois le processus d'accumulation du capital humain et le marché du travail. Nous montrons que l'effet global des différents risques est négatif, sauf pour ceux compensés par un excès de rendement. L'incapacité du modèle à faire apparaître l'éducation comme une protection face au risque, nous conduit dans le chapitre 3, à construire un modèle de décision dans lequel le système de formation produit à la fois des compétences productives (hypothèse de capital humain) mais aussi de l'information sur la véritable productivité des individus (hypothèse de signal). L'éducation apparaît alors comme une stratégie optimale de protection face aux risques, en particulier face au risque de chômage futur. Dans le chapitre 4, la discussion autour des principales contributions économétriques éclaire les difficultés à mesurer empiriquement le risque ; principalement différencier le risque de l'hétérogénéité non observée dans la variance observée des rendements éducatifs. Partant de notre modèle théorique, nous proposons alors les bases d'une stratégie d'estimation permettant d'identifier le sens de la relation éducation-risque.

De récentes études tendent à montrer que les réseaux de neurones biologiques exploitent le bruit et les non-linéarités pour favoriser les processus de traitements de l'information. Cette thèse s'articule autour de cette thématique; elle tente de mettre à jour des liens entre des opérations de traitement du signal susceptibles d'apparaitre au sein du système visuel et les facteurs aléatoires qui y sont sous-jacents.<br /><br />Une description du système visuel et de ses différentes sources de bruits est réalisée dans le premier chapitre. Nous étudions dans le chapitre 2, le lien possible entre l'échantillonnage si particulier de la rétine et les mouvements incontrôlables et incessants de l'œil, les micro-mouvements. A l'aide de modèles simples de rétine et pour des fluctuations de diverses natures nous montrons que la ressemblance entre la scène projetée sur la rétine et la scène réelle peut être améliorée par des micro-mouvements aléatoires.<br /><br />Dans le chapitre 3, on s'intéresse à un problème récurent dans les systèmes naturels tel que le processus visuel : le test d'hypothèse binaire en milieu bruité. En particulier, nous caractérisons qu'elle peut être l'influence du bruit interne sur les performances de détection des premières couches de neurones du système visuel. Pour prendre en compte le bruit interne observé dans les réseaux de neurones biologiques, nous proposons de réaliser l'étude autour de quantifieurs stochastiques, quantifieurs dont les seuils sont soumis à des fluctuations aléatoires. Là encore, on observe que le bruit injecté dans le modèle permet d'accroitre les performances de détection en diminuant la probabilité d'erreur.

Dans cette thèse, nous traitons deux problèmes de contrôle optimal stochastique. Chaque problème correspond à une Partie de ce document. Le premier problème traité est très précis, il s'agit de la valorisation des contrats optionnels de vente de type Américain (dit Put Américain) en présence de dividendes discrets (Partie I). Le deuxième est plus général, puisqu'il s'agit dans un cadre discret en temps de prouver l'existence d'un principe de programmation dynamique sous des contraintes en probabilités (Partie II). Bien que les deux problèmes soient assez distincts, le principe de programmation dynamique est au coeur de ces deux problèmes. La relation entre la valorisation d'un Put Américain et un problème de frontière libre a été prouvée par McKean. La frontière de ce problème a une signification économique claire puisqu'elle correspond à tout instant à la borne supérieure de l'ensemble des prix d'actifs pour lesquels il est préférable d'exercer tout de suite son droit de vente. La forme de cette frontière en présence de dividendes discrets n'avait pas été résolue à notre connaissance. Sous l'hypothèse que le dividende est une fonction déterministe du prix de l'actif à l'instant précédant son versement, nous étudions donc comment la frontière est modifiée. Au voisinage des dates de dividende, et dans le modèle du Chapitre 3, nous savons qualifier la monotonie de la frontière, et dans certains cas quantifier son comportement local. Dans le Chapitre 3, nous montrons que la propriété du smooth-fit est satisfaite à toute date sauf celles de versement des dividendes. Dans les deux Chapitres 3 et 4, nous donnons des conditions pour garantir la continuité de cette frontière en dehors des dates de dividende. La Partie II est originellement motivée par la gestion optimale de la production d'une centrale hydro-electrique avec une contrainte en probabilité sur le niveau d'eau du barrage à certaines dates. En utilisant les travaux de Balder sur la relaxation de Young des problèmes de commande optimale, nous nous intéressons plus spécifiquement à leur résolution par programmation dynamique. Dans le Chapitre 5, nous étendons au cadre des mesures de Young des résultats dûs à Evstigneev. Nous établissons alors qu'il est possible de résoudre par programmation dynamique certains problèmes avec des contraintes en espérances conditionnelles. Grâce aux travaux de Bouchard, Elie, Soner et Touzi sur les problèmes de cible stochastique avec perte contrôlée, nous montrons dans le Chapitre 6 qu'un problème avec contrainte en espérance peut se ramener à un problème avec des contraintes en espérances conditionnelles. Comme cas particulier, nous prouvons ainsi que le problème initial de la gestion du barrage peut se résoudre par programmation dynamique / In this thesis, we address two problems of stochastic optimal control. Each problem constitutes a different Part in this document. The first problem addressed is very precise, it is the valuation of American contingent claims and more specifically the American Put in the presence of discrete dividends (Part I). The second one is more general, since it is the proof of the existence of a dynamic programming principle under expectation constraints in a discrete time framework (Part II). Although the two problems are quite distinct, the dynamic programming principle is at the heart of these two problems. The relationship between the value of an American Put and a free boundary problem has been proved by McKean. The boundary of this problem has a clear economic meaning since it corresponds at all times to the upper limit of the asset price above which the holder of such an option would exercise immediately his right to sell. The shape of the boundary in the presence of discrete dividends has not been solved to the best of our knowledge. Under the assumption that the dividend is a deterministic function of asset prices at the date just before the dividend payment, we investigate how the boundary is modified. In the neighborhood of dividend dates and in the model of Chapter 3, we know what the monotonicity of the border is, and we quantify its local behavior. In Chapter 3, we show that the smooth-fit property is satisfied at any date except for those of the payment of dividends. In both Chapters 3 and 4, we are able to give conditions to guarantee the continuity of the border outside dates of dividend. Part II was originally motivated by the optimal management of the production of an hydro-electric power plant with a probability constraint on the reservoir level on certain dates. Using Balder'sworks on Young's relaxation of optimal control problems, we focus more specifically on their resolution by dynamic programming. In Chapter 5, we extend results of Evstigneev to the framework of Young measures. We show that dynamic programming can be used to solve some problems with conditional expectations constraints. Through the ideas of Bouchard, Elie, Soner and Touzi on stochastic target problems with controlled loss, we show in Chapter 6 that a problem with expectation constraints can be reduced to a problem with conditional expectation constraints. Finally, as a special case, we show that the initial problem of dam management can be solved by dynamic programming

Cette thèse s'intéresse aux méthodes d'itération sur les politiques dans l'apprentissage par renforcement à grand espace d'états avec approximation linéaire de la fonction de valeur. Nous proposons d'abord une unification des principaux algorithmes du contrôle optimal stochastique. Nous montrons la convergence de cette version unifiée vers la fonction de valeur optimale dans le cas tabulaire, ainsi qu'une garantie de performances dans le cas où la fonction de valeur est estimée de façon approximative. Nous étendons ensuite l'état de l'art des algorithmes d'approximation linéaire du second ordre en proposant une généralisation de Least-Squares Policy Iteration (LSPI) (Lagoudakis et Parr, 2003). Notre nouvel algorithme, Least-Squares [lambda] Policy Iteration (LS[lambda]PI), ajoute à LSPI un concept venant de [lambda]-Policy Iteration (Bertsekas et Ioffe, 1996) : l'évaluation amortie (ou optimiste) de la fonction de valeur, qui permet de réduire la variance de l'estimation afin d'améliorer l'efficacité de l'échantillonnage. LS[lambda]PI propose ainsi un compromis biais-variance réglable qui peut permettre d'améliorer l'estimation de la fonction de valeur et la qualité de la politique obtenue. Dans un second temps, nous nous intéressons en détail au jeu de Tetris, une application sur laquelle se sont penchés plusieurs travaux de la littérature. Tetris est un problème difficile en raison de sa structure et de son grand espace d'états. Nous proposons pour la première fois une revue complète de la littérature qui regroupe des travaux d'apprentissage par renforcement, mais aussi des techniques de type évolutionnaire qui explorent directement l'espace des politiques et des algorithmes réglés à la main. Nous constatons que les approches d'apprentissage par renforcement sont à l'heure actuelle moins performantes sur ce problème que des techniques de recherche directe de la politique telles que la méthode d'entropie croisée (Szita et Lorincz, 2006). Nous expliquons enfin comment nous avons mis au point un joueur de Tetris qui dépasse les performances des meilleurs algorithmes connus jusqu'ici et avec lequel nous avons remporté l'épreuve de Tetris de la Reinforcement Learning Competition 2008 / This thesis studies policy iteration methods with linear approximation of the value function for large state space problems in the reinforcement learning context. We first introduce a unified algorithm that generalizes the main stochastic optimal control methods. We show the convergence of this unified algorithm to the optimal value function in the tabular case, and a performance bound in the approximate case when the value function is estimated. We then extend the literature of second-order linear approximation algorithms by proposing a generalization of Least-Squares Policy Iteration (LSPI) (Lagoudakis and Parr, 2003). Our new algorithm, Least-Squares [lambda] Policy Iteration (LS[lambda]PI), adds to LSPI an idea of [lambda]-Policy Iteration (Bertsekas and Ioffe, 1996): the damped (or optimistic) evaluation of the value function, which allows to reduce the variance of the estimation to improve the sampling efficiency. Thus, LS[lambda]PI offers a bias-variance trade-off that may improve the estimation of the value function and the performance of the policy obtained. In a second part, we study in depth the game of Tetris, a benchmark application that several works from the literature attempt to solve. Tetris is a difficult problem because of its structure and its large state space. We provide the first full review of the literature that includes reinforcement learning works, evolutionary methods that directly explore the policy space and handwritten controllers. We observe that reinforcement learning is less successful on this problem than direct policy search approaches such as the cross-entropy method (Szita et Lorincz, 2006). We finally show how we built a controller that outperforms the previously known best controllers, and shortly discuss how it allowed us to win the Tetris event of the 2008 Reinforcement Learning Competition

Cette thèse s'intéresse aux méthodes d'itération sur les politiques dans l'apprentissage par renforcement à grand espace d'états avec approximation linéaire de la fonction de valeur. Nous proposons d'abord une unification des principaux algorithmes du contrôle optimal stochastique. Nous montrons la convergence de cette version unifiée vers la fonction de valeur optimale dans le cas tabulaire, ainsi qu'une garantie de performances dans le cas où la fonction de valeur est estimée de façon approximative. Nous étendons ensuite l'état de l'art des algorithmes d'approximation linéaire du second ordre en proposant une généralisation de Least-Squares Policy Iteration (LSPI) (Lagoudakis et Parr, 2003). Notre nouvel algorithme, Least-Squares λ Policy Iteration (LSλPI), ajoute à LSPI un concept venant de λ-Policy Iteration (Bertsekas et Ioffe, 1996) : l'évaluation amortie (ou optimiste) de la fonction de valeur, qui permet de réduire la variance de l'estimation afin d'améliorer l'efficacité de l'échantillonnage. LSλPI propose ainsi un compromis biais-variance réglable qui peut permettre d'améliorer l'estimation de la fonction de valeur et la qualité de la politique obtenue. Dans un second temps, nous nous intéressons en détail au jeu de Tetris, une application sur laquelle se sont penchés plusieurs travaux de la littérature. Tetris est un problème difficile en raison de sa structure et de son grand espace d'états. Nous proposons pour la première fois une revue complète de la littérature qui regroupe des travaux d'apprentissage par renforcement, mais aussi des techniques de type évolutionnaire qui explorent directement l'espace des politiques et des algorithmes réglés à la main. Nous constatons que les approches d'apprentissage par renforcement sont à l'heure actuelle moins performantes sur ce problème que des techniques de recherche directe de la politique telles que la méthode d'entropie croisée (Szita et Lőrincz, 2006). Nous expliquons enfin comment nous avons mis au point un joueur de Tetris qui dépasse les performances des meilleurs algorithmes connus jusqu'ici et avec lequel nous avons remporté l'épreuve de Tetris de la Reinforcement Learning Competition 2008.

Le contexte de nos travaux de thèse est l'intégration de l'énergie éolienne sur les réseaux insulaires. Ces travaux sont soutenus par EDF SEI, l'opérateur électrique des îles françaises. Nous étudions un système éolien-stockage où un système de stockage d'énergie doit aider un producteur éolien à tenir, vis-à-vis du réseau, un engagement de production pris un jour à l'avance. Dans ce contexte, nous proposons une démarche pour l'optimisation du dimensionnement et du contrôle du système de stockage (gestion d'énergie). Comme les erreurs de prévision J+1 de production éolienne sont fortement incertaines, la gestion d'énergie du stockage est un problème d'optimisation stochastique (contrôle optimal stochastique). Pour le résoudre, nous étudions tout d'abord la modélisation des composants du système (modélisation énergétique du stockage par batterie Li-ion ou Sodium-Soufre) ainsi que des entrées (modélisation temporelle stochastique des entrées incertaines). Nous discutons également de la modélisation du vieillissement du stockage, sous une forme adaptée à l'optimisation de la gestion. Ces modèles nous permettent d'optimiser la gestion de l'énergie par la méthode de la programmation dynamique stochastique (SDP). Nous discutons à la fois de l'algorithme et de ses résultats, en particulier de l'effet de la forme des pénalisations sur la loi de gestion. Nous présentons également l'application de la SDP sur des problèmes complémentaires de gestion d'énergie (lissage de la production d'un houlogénérateur, limitation des rampes de production éolienne). Cette étude de l'optimisation de la gestion permet d'aborder l'optimisation du dimensionnement (choix de la capacité énergétique). Des simulations temporelles stochastiques mettent en évidence le fort impact de la structure temporelle (autocorrélation) des erreurs de prévision sur le besoin en capacité de stockage pour atteindre un niveau de performance donné. La prise en compte de paramètres de coût permet ensuite l'optimisation du dimensionnement d'un point de vue économique, en considérant les coûts de l'investissement, des pertes ainsi que du vieillissement. Nous étudions également le dimensionnement du stockage lorsque la pénalisation des écarts à l'engagement comporte un seuil de tolérance. Nous terminons ce manuscrit en abordant la question structurelle de l'interaction entre l'optimisation du dimensionnement et celle du contrôle d'un système de stockage, car ces deux problèmes d'optimisation sont couplés. / The context of this PhD thesis is the integration of wind power into the electricity grid of small islands. This work is supported by EDF SEI, the system operator for French islands. We study a wind-storage system where an energy storage is meant to help a wind farm operator fulfill a day-ahead production commitment to the grid. Within this context, we propose an approach for the optimization of the sizing and the control of the energy storage system (energy management). Because day-ahead wind power forecast errors are a major source of uncertainty, the energy management of the storage is a stochastic optimization problem (stochastic optimal control). To solve this problem, we first study the modeling of the components of the system. This include energy-based models of the storage system, with a focus on Lithium-ion and Sodium-Sulfur battery technologies. We then model the system inputs and in particular the stochastic time series like day-ahead forecast errors. We also discuss the modeling of storage aging, using a formulation which is adapted to the control optimization. Assembling all these models enables us to optimize the energy management of the storage system using the stochastic dynamic programming (SDP) method. We introduce the SDP algorithms and present our optimization results, with a special interest for the effect of the shape of the penalty function on the energy control law. We also present additional energy management applications with SDP (mitigation of wind power ramps and smoothing of ocean wave power). Having optimized the storage energy management, we address the optimization of the storage sizing (choice of the rated energy). Stochastic time series simulations show that the temporal structure (autocorrelation) of wind power forecast errors have a major impact on the need for storage capacity to reach a given performance level. Then we combine simulation results with cost parameters, including investment, losses and aging costs, to build a economic cost function for sizing. We also study storage sizing when the penalization of commitment deviations includes a tolerance threshold. We finish this manuscript with a structural study of the interaction between the optimizations of the sizing and the control of an energy storage system, because these two optimization problems are coupled.

Dans cette thèse, nous traitons deux problèmes de contrôle optimal stochastique. Chaque problème correspond à une Partie de ce document. Le premier problème traité est très précis, il s'agit de la valorisation des contrats optionnels de vente de type Américain (dit Put Américain) en présence de dividendes discrets (Partie I). Le deuxième est plus général, puisqu'il s'agit dans un cadre discret en temps de prouver l'existence d'un principe de programmation dynamique sous des contraintes en probabilités (Partie II). Bien que les deux problèmes soient assez distincts, le principe de programmation dynamique est au coeur de ces deux problèmes. La relation entre la valorisation d'un Put Américain et un problème de frontière libre a été prouvée par McKean. La frontière de ce problème a une signification économique claire puisqu'elle correspond à tout instant à la borne supérieure de l'ensemble des prix d'actifs pour lesquels il est préférable d'exercer tout de suite son droit de vente. La forme de cette frontière en présence de dividendes discrets n'avait pas été résolue à notre connaissance. Sous l'hypothèse que le dividende est une fonction déterministe du prix de l'actif à l'instant précédant son versement, nous étudions donc comment la frontière est modifiée. Au voisinage des dates de dividende, et dans le modèle du Chapitre 3, nous savons qualifier la monotonie de la frontière, et dans certains cas quantifier son comportement local. Dans le Chapitre 3, nous montrons que la propriété du smooth-fit est satisfaite à toute date sauf celles de versement des dividendes. Dans les deux Chapitres 3 et 4, nous donnons des conditions pour garantir la continuité de cette frontière en dehors des dates de dividende. La Partie II est originellement motivée par la gestion optimale de la production d'une centrale hydro-electrique avec une contrainte en probabilité sur le niveau d'eau du barrage à certaines dates. En utilisant les travaux de Balder sur la relaxation de Young des problèmes de commande optimale, nous nous intéressons plus spécifiquement à leur résolution par programmation dynamique. Dans le Chapitre 5, nous étendons au cadre des mesures de Young des résultats dûs à Evstigneev. Nous établissons alors qu'il est possible de résoudre par programmation dynamique certains problèmes avec des contraintes en espérances conditionnelles. Grâce aux travaux de Bouchard, Elie, Soner et Touzi sur les problèmes de cible stochastique avec perte contrôlée, nous montrons dans le Chapitre 6 qu'un problème avec contrainte en espérance peut se ramener à un problème avec des contraintes en espérances conditionnelles. Comme cas particulier, nous prouvons ainsi que le problème initial de la gestion du barrage peut se résoudre par programmation dynamique.

Ce mémoire présente mes travaux de recherche effectués après ma thèse, entre 2002 et 2008. Les thèmes principaux sont les équations aux dérivées partielles non-linéaires et des problèmes d'évolutions de fronts ou d'interfaces. Il est organisé en trois chapitres.<br /><br />Le premier chapitre concerne l'évolution de fronts avec une vitesse normale prescrite. Pour étudier ce genre de problème, une première approche, dite par lignes de niveaux, consiste àreprésenter le front comme une ligne de niveau d'une fonction auxiliaire u. Cette approche ramène l'étude du problème d'évolution géométrique à un problème d'EDP puisque u vérifie une équation de Hamilton-Jacobi. Quelques résultats dans le cas de vitesses locales comme la courbure moyenne sont présentés mais la majorité des résultats concerne le cas de vitesses non-locales décrivant la dynamique des dislocations dans un cristal ou modélisant l'asymptotique d'un système de FitzHugh-Nagumo apparaissant en biologie. Une approche différente, basée sur des solutions de viscosité géométriques, est utilisée pour étudier des problèmes de propagation de fronts apparaissant en optimisation de formes. Le but est de trouver un ensemble optimal minimisant une énergie du type capacité à volume ou périmètre constant. L'idée est de déformer le bord d'un ensemble donné avec une vitesse normale adéquate de manière à diminuer au plus son énergie. La mise en oeuvre de cette idée nécessite la construction rigoureuse d'une telle évolution pour tout temps et la preuve de la convergence vers une solution du problème initial. De plus, la décroissance de l'énergie est obtenue le long du flot.<br /><br />Le deuxième chapitre décrit des résultats d'unicité, d'existence et d'homogénéisation pour des équations de Hamilton-Jacobi-Bellman. La majeure partie du travail effectué concerne des équations provenant de problèmes de contrôle stochastique avec des contrôles non-bornés. Les équations comportent alors des termes quadratiques par rapport au gradient et les solutions étudiées sont elles-mêmes à croissance quadratique. Des liens entre ces solutions et les fonctions valeurs des problèmes de contrôle correspondants sont établis. La seconde partie est consacrée à un théorème d'homogénéisation pour un système d'équations de Hamilton-Jacobi du premier ordre.<br /><br />Le troisième et dernier chapitre traite d'un sujet un peu à part, à savoir le lien entre les flots de gradient et l'inégalité de Lojasiewicz. La principale originalité de ce travail est de placer l'étude dans un cadre hilbertien pour des fonctions semiconvexes, ce qui sort du cadre de l'inégalité de Lojasiewicz classique. Le principal théorème produit des caractérisations de cette inégalité. Les résultats peuvent être précisés dans le cas des fonctions convexes ; en particulier, un contre-exemple de fonction convexe ne vérifiant pas l'inégalité de Lojasiewicz est construit. Cette dernière inégalité est reliée à la longueur des trajectoires de gradient. Une borne de cette longueur est obtenue pour les fonctions convexes coercives en dimension deux même lorsque cette inégalité n'est pas vérifiée.