Spelling suggestions: "subject:"contrôle ergodic"" "subject:"contrôle ergodicity""
1 |
Étude théorique et numérique des équations différentielles stochastiques rétrogradesRichou, Adrien 30 November 2010 (has links) (PDF)
Dans un premier temps, nous étudions une nouvelle classe d'équations différentielles stochastiques rétrogrades (notées EDSRs) qui sont reliées à des conditions de Neumann semi-linéaires relatives à des phénomènes ergodiques. La particularité de ces problèmes est que la constante ergodique apparaît dans la condition au bord. Nous étudions l'existence et l'unicité de solutions pour de telles EDSRs ergodiques ainsi que le lien avec les équations aux dérivées partielles et nous appliquons ces résultats à des problèmes de contrôle ergodique optimal. Dans une deuxième partie nous généralisons des travaux de P. Briand et Y. Hu publiés en 2008. Ces derniers ont prouvé un résultat d'unicité pour les solutions d'EDSRs quadratiques de générateur convexe et de condition terminale non bornée ayant tous leurs moments exponentiels finis. Nous prouvons que ce résultat d'unicité reste vrai pour des solutions qui admettent uniquement certains moments exponentiels finis, ces moments étant reliés de manière naturelle à ceux présents dans le théorème d'existence. Nous améliorons aussi la formule de Feynman-Kac non linéaire prouvée par P. Briand et Y. Hu. Enfin, nous nous intéressons à la résolution numérique d'EDSRs quadratiques markoviennes dont la condition terminale est bornée. Nous estimons dans un premier temps des bornes déterministes sur le processus Z. Nous donnons ensuite un nouveau schéma de discrétisation en temps dont la particularité est que la grille de discrétisation est non uniforme. Enfin nous obtenons une vitesse de convergence pour ce schéma. Par ailleurs, quelques simulations numériques permettent d'étudier l'efficacité de notre nouveau schéma dans un cadre pratique.
|
2 |
Nonlinear Perron-Frobenius theory and mean-payoff zero-sum stochastic games / Théorie de Perron-Frobenius non-linéaire et jeux stochastiques à somme nulle avec paiement moyenHochart, Antoine 14 November 2016 (has links)
Les jeux stochastiques à somme nulle possèdent une structure récursive qui s'exprime dans leur opérateur de programmation dynamique, appelé opérateur de Shapley. Ce dernier permet d'étudier le comportement asymptotique de la moyenne des paiements par unité de temps. En particulier, le paiement moyen existe et ne dépend pas de l'état initial si l'équation ergodique - une équation non-linéaire aux valeurs propres faisant intervenir l'opérateur de Shapley - admet une solution. Comprendre sous quelles conditions cette équation admet une solution est un problème central de la théorie de Perron-Frobenius non-linéaire, et constitue le principal thème d'étude de cette thèse. Diverses classes connues d'opérateur de Shapley peuvent être caractérisées par des propriétés basées entièrement sur la relation d'ordre ou la structure métrique de l'espace. Nous étendons tout d'abord cette caractérisation aux opérateurs de Shapley "sans paiements", qui proviennent de jeux sans paiements instantanés. Pour cela, nous établissons une expression sous forme minimax des fonctions homogènes de degré un et non-expansives par rapport à une norme faible de Minkowski. Nous nous intéressons ensuite au problème de savoir si l'équation ergodique a une solution pour toute perturbation additive des paiements, problème qui étend la notion d'ergodicité des chaînes de Markov. Quand les paiements sont bornés, cette propriété d'"ergodicité" est caractérisée par l'unicité, à une constante additive près, du point fixe d'un opérateur de Shapley sans paiement. Nous donnons une solution combinatoire s'exprimant au moyen d'hypergraphes à ce problème, ainsi qu'à des problèmes voisins d'existence de points fixes. Puis, nous en déduisons des résultats de complexité. En utilisant la théorie des opérateurs accrétifs, nous généralisons ensuite la condition d'hypergraphes à tous types d'opérateurs de Shapley, y compris ceux provenant de jeux dont les paiements ne sont pas bornés. Dans un troisième temps, nous considérons le problème de l'unicité, à une constante additive près, du vecteur propre. Nous montrons d'abord que l'unicité a lieu pour une perturbation générique des paiements. Puis, dans le cadre des jeux à information parfaite avec un nombre fini d'actions, nous précisons la nature géométrique de l'ensemble des perturbations où se produit l'unicité. Nous en déduisons un schéma de perturbations qui permet de résoudre les instances dégénérées pour l'itération sur les politiques. / Zero-sum stochastic games have a recursive structure encompassed in their dynamic programming operator, so-called Shapley operator. The latter is a useful tool to study the asymptotic behavior of the average payoff per time unit. Particularly, the mean payoff exists and is independent of the initial state as soon as the ergodic equation - a nonlinear eigenvalue equation involving the Shapley operator - has a solution. The solvability of the latter equation in finite dimension is a central question in nonlinear Perron-Frobenius theory, and the main focus of the present thesis. Several known classes of Shapley operators can be characterized by properties based entirely on the order structure or the metric structure of the space. We first extend this characterization to "payment-free" Shapley operators, that is, operators arising from games without stage payments. This is derived from a general minimax formula for functions homogeneous of degree one and nonexpansive with respect to a given weak Minkowski norm. Next, we address the problem of the solvability of the ergodic equation for all additive perturbations of the payment function. This problem extends the notion of ergodicity for finite Markov chains. With bounded payment function, this "ergodicity" property is characterized by the uniqueness, up to the addition by a constant, of the fixed point of a payment-free Shapley operator. We give a combinatorial solution in terms of hypergraphs to this problem, as well as other related problems of fixed-point existence, and we infer complexity results. Then, we use the theory of accretive operators to generalize the hypergraph condition to all Shapley operators, including ones for which the payment function is not bounded. Finally, we consider the problem of uniqueness, up to the addition by a constant, of the nonlinear eigenvector. We first show that uniqueness holds for a generic additive perturbation of the payments. Then, in the framework of perfect information and finite action spaces, we provide an additional geometric description of the perturbations for which uniqueness occurs. As an application, we obtain a perturbation scheme allowing one to solve degenerate instances of stochastic games by policy iteration.
|
Page generated in 0.0659 seconds