<p dir="ltr">With the growing installation of distributed energy resources (DERs) at homes, more residential households are able to reduce the overall energy cost by storing unused energy in the storage battery when there is abundant renewable energy generation, and using the stored energy when there is insufficient renewable energy generation and high demand. It could be even more economical for the household if energy can be traded and shared among neighboring households. Despite the great economic benefit of DERs, they could also make it more challenging to ensure the stability of the grid due to the decentralization of agents' activities.</p><p><br></p><p dir="ltr">This thesis presents two approaches that combine market and control mechanisms to address these challenges. In the first work, we focus on the integration of DERs into local energy markets. We introduce a peer-to-peer (P2P) local energy market and propose a consensus multi-agent reinforcement learning (MARL) framework, which allows agents to develop strategies for trading and decentralized voltage control within the P2P market. It is compared to both the fully decentralized and centralized training & decentralized execution (CTDE) framework. Numerical results reveal that under each framework, the system is able to converge to a dynamic balance with the guarantee of system stability as each agent gradually learns the approximately optimal strategy. Theoretical results also prove the convergence of the consensus MARL algorithm under certain conditions.</p><p dir="ltr">In the second work, we introduce a mean-field game framework for the integration of DERs into wholesale energy markets. This framework helps DER owners automatically learn optimal decision policies in response to market price fluctuations and their own variable renewable energy outputs. We prove the existence of a mean-field equilibrium (MFE) for the wholesale energy market, and we develop a heuristic decentralized mean-field learning algorithm to converge to an MFE, taking into consideration the demand/supply shock and flexible demand. Our numerical experiments point to convergence to an MFE and show that our framework effectively reduces peak load and price fluctuations, especially during exogenous demand or supply shocks.</p>

Dans cette thèse, nous étudions des réseaux sans fil dans lesquels les terminaux mobiles sont autonomes dans le choix de leurs configurations de communication. Cette autonomie de décision peut notamment concerner le choix de la technologie d'accès au réseau, le choix du point d'accès, la modulation du signal, les bandes de fréquences occupées, la puissance du signal émis, etc. Typiquement, ces choix de configuration sont réalisés dans le but de maximiser des métriques de performances propres à chaque terminal. Sous l'hypothèse que les terminaux prennent leurs décisions de manière rationnelle afin de maximiser leurs performances, la théorie des jeux s'applique naturellement pour modéliser les interactions entre les décisions des différents terminaux. Plus précisément, l'objectif principal de cette thèse est d'étudier des stratégies d'équilibre de contrôle de puissance d'émission afin de satisfaire des considérations d'efficacité énergétique. Le cadre des jeux stochastiques est particulièrement adapté à ce problème et nous permet notamment de caractériser la région de performance atteignable pour toutes les stratégies de contrôle de puissance qui mènent à un état d'équilibre. Lorsque le nombre de terminaux en jeu est grand, nous faisons appel à la théorie des jeux à champ moyen pour simplifier l'étude du système. Cette théorie nous permet d'étudier non pas les interactions individuelles entre les terminaux, mais l'interaction de chaque terminal avec un champ moyen qui représente l'état global des autres terminaux. Des stratégies de contrôle de puissance optimales du jeu à champ moyen sont étudiées. Une autre partie de la thèse a été consacrée à des problématiques d'apprentissage de points d'équilibre dans les réseaux distribués. En particulier, après avoir caractérisé les positions d'équilibre d'un jeu de positionnement de points d'accès, nous montrons comment des dynamiques de meilleures réponses et d'apprentissage permettent de converger vers un équilibre. Enfin, pour un jeu de contrôle de puissance, la convergence des dynamiques de meilleures réponses vers des points d'équilibre a été étudiée. Il est notamment proposé un algorithme d'adaptation de puissance convergeant vers un équilibre avec une faible connaissance du réseau. / In this thesis, we study wireless networks in which mobile terminals are free to choose their communication configuration. Theses configuration choices include access wireless technology, access point association, coding-modulation scheme, occupied bandwidth, power allocation, etc. Typically, these configuration choices are made to maximize some performance metrics associated to every terminals. Under the assumption that mobile terminals take their decisions in a rational manner, game theory can be applied to model the interactions between the terminals. Precisely, the main objective of this thesis is to study energy-efficient power control policies from which no terminal has an interest to deviate. The framework of stochastic games is particularly suited to this problem and allows to characterize the achievable utility region for equilibrium power control strategies. When the number of terminals in the network is large, we invoke mean field game theory to simplify the study of the system. Indeed, in a mean field game, the interactions between a player and all the other players are not considered individually. Instead, one only studies the interactions between each player and a mean field, which is the distribution of the states of all the other players. Optimal power control strategies from the mean field formulation are studied. Another part of this thesis has been focused on learning equilibria in distributed games. In particular, we show how best response dynamics and learning algorithms can converge to an equilibrium in a base station location game. For another scenario, namely a power control problem, we study the convergence of the best response dynamics. In this case, we propose a power control behavioral rule that converges to an equilibrium with very little information about the network.

La théorie des jeux en champ moyen constitue un formalisme puissant introduit récemmentpour étudier des problèmes d’optimisation stochastiques avec un grand nombre d’agents. Aprèsavoir rappelé les principes de base de cette théorie et présenté quelques cas d’applicationtypiques, on étudie en détail un modèle stylisé de séminaire, de type champ moyen. Nousdérivons une équation exacte qui permet de prédire l’heure de commencement du séminaire etanalysons différents régimes limites, dans lesquels on parvient à des expressions approchées de lasolution. Ainsi on obtient un "diagramme de phase" du problème. On aborde ensuite un modèleplus complexe de population avec des effets de groupe attractifs. Grâce à une analogie formelleavec l’équation de Schrödinger non linéaire, on met en évidence des lois d’évolutions généralespour les valeurs moyennes du problème, que le système vérifie certaines lois de conservation etl’ on développe des approximations de type variationnel. Cela nous permet de comprendre lecomportement qualitatif du problème dans le régime de fortes interactions. / Mean Field Games Theory is a theoretical framework developed recently to deal withstochastic optimization problems when the number of agents is large. First the mathematicaltools are introduced heuristically, step by step, and some examples are presented in finance,economy and social problems. I study then thoroughly a seminar toymodel and derive anequation for the starting time of the meeting. The analysis of the limit regimes allows to builda "phase diagram" of the problem. In a second time, a herding problem, where individualshave their own preferences and are attracted by the group, is tackled. Thanks to a formal analogywith the Non Linear Schrödinger equation, some explicit solutions, conservation laws andso-called variational approximations are derived. Finally I use these tools to get a qualitativeunderstanding of the solution’s behaviour in the strong interaction regime.

Ce manuscrit a pour objectif de présenter plusieurs résultats de restauration d’unicité et de sélection d’équilibres dans les jeux à champ moyen. La théorie des jeux à champ moyen a été initiée dans les années 2000 par deux groupes de chercheurs, Lasry et Lions en France, et Huang, Caines et Malhamé au Canada. L’objectif de cette théorie est de décrire les équilibres de Nash dans des jeux différentiels stochastiques incluant un grand nombre de joueurs interagissant les uns avec les autres à travers leur mesure empirique commune et présentant suffisamment de symétrie. Si l’existence d’équilibres dans les jeux à champ moyen est maintenant bien comprise, l’unicité reste connue dans un nombre très limité de cas. A cet égard, la condition la plus connue est celle dite de monotonie, due à Lasry et Lions. Dans cette thèse, nous démontrons, que pour une certaine classe de jeux à champ moyen, l’unicité peut être rétablie à l’aide d’un forçage aléatoire des dynamiques, communs à tous les joueurs. Un tel forçage est appelé “bruit commun”. Nous montrons également que, dans certains cas, il est possible de sélectionner des équilibres en l’absence de bruit commun en faisant tendre le bruit commun vers zéro. Enfin, nous montrons comment ces résultats s’appliquent à des problèmes de type “principal-agents”, avec un grand nombre d’agents en interaction. / The purpose of this thesis is to present several results on the restoration of uniqueness and selection of equilibria when uniqueness fails in mean field games. The theory of mean field games was initiated in the 2000s by two groups of researchers, Lasry and Lions in France, and Huang, Caines, and Malhamé in Canada. The aim of this theory is to describe the Nash equilibria in stochastic differential games involving a large number of players interacting with each other through their common empirical measure, under sufficient symmetry hypothesis. If the existence of equilibria in mean field games is now well understood, uniqueness remains known in a very limited number of cases. In this respect, the most well-known condition is the monotony hypothesis, due to Lasry and Lions. In this thesis, we demonstrate that for a certain class of mean field games, uniqueness can be restored by means of a random and common forcing, acting on all the players. Such a forcing is called “common noise”. We also show that in some cases it is possible to select equilibria in the absence of common noise by letting the common noise tend towards zero. Finally, we show how these results apply to “principal-agent” .problems, with a large number of interacting agents.

Dans le cadre de cette thèse, nous nous intéressons plus particulièrement àdeux techniques permettant d’améliorer l’efficacité énergétique ou spectrale desréseaux sans fil. Dans la première partie de cette thèse, nous proposons de combinerles capacités de prédictions du contexte futur de transmission au classiqueet connu tradeoff latence - efficacité énergétique, amenant à ce que l’on nommeraun réseau proactif tolérant à la latence. L’objectif dans ce genre de problèmesconsiste à définir des politiques de transmissions optimales pour un ensembled’utilisateur, qui garantissent à chacun de pouvoir accomplir une transmissionavant un certain délai, tout en minimisant la puissance totale consommée auniveau de chaque utilisateur. Nous considérons dans un premier temps le problèmemono-utilisateur, qui permet alors d’introduire les concepts de tolérance àla latence, d’optimisation et de contrôle de puissance qui sont utilisés dans lapremière partie de cette thèse. L’extension à un système multi-utilisateurs estensuite considérée. L’analyse révèle alors que l’optimisation multi-utilisateurpose problème du fait de sa complexité mathématique. Mais cette complexitépeut néanmoins être contournée grâce aux récentes avancées dans le domainede la théorie des jeux à champs moyens, théorie qui permet de transiter d’unjeu multi-utilisateur, vers un jeu à champ moyen, à plus faible complexité. Lessimulations numériques démontrent que les stratégies de puissance retournéespar l’approche jeu à champ moyen approchent notablement les stratégies optimaleslorsqu’elles peuvent être calculées, et dépassent les performances desheuristiques communes, lorsque l’optimum n’est plus calculable, comme c’est lecas lorsque le canal varie au cours du temps.Dans la seconde partie de cettethèse, nous investiguons un possible problème dual au problème précédent. Plusspécifiquement, nous considérons une approche d’optimisation d’efficacité spectrale,à configuration de puissance constante. Pour ce faire, nous proposonsalors d’étudier l’impact sur le réseau des récentes avancées en classification d’interférence.L’analyse conduite révèle que le système peut bénéficier d’uneadaptation des traitements d’interférence faits à chaque récepteur. Ces gainsobservés peuvent également être améliorés par deux altérations de la démarched’optimisation. La première propose de redéfinir les groupes d’interféreurs decellules concurrentes, supposés transmettre sur les mêmes ressources spectrales.L’objectif étant alors de former des paires d’interféreurs “amis”, capables detraiter efficacement leurs interférences réciproques. La seconde altération portele nom de “Virtual Handover” : lorsque la classification d’interférence est considérée,l’access point offrant le meilleur SNR n’est plus nécessairement le meilleuraccess point auquel assigner un utilisateur. Pour cette raison, il est donc nécessairede laisser la possibilité au système de pouvoir choisir par lui-même la façondont il procède aux assignations des utilisateurs. Le processus d’optimisationse décompose donc en trois parties : i) Définir les coalitions d’utilisateurs assignésà chaque access point ; ii) Définir les groupes d’interféreurs transmettantsur chaque ressource spectrale ; et iii) Définir les stratégies de transmissionet les traitements d’interférences optimaux. L’objectif de l’optimisationest alors de maximiser l’efficacité spectrale totale du système après traitementde l’interférence. Les différents algorithmes utilisés pour résoudre, étape parétape, l’optimisation globale du système sont détaillés. Enfin, des simulationsnumériques permettent de mettre en évidence les gains de performance potentielsofferts par notre démarche d’optimisation. / In this thesis, we investigate two techniques used for enhancing the energy orspectral efficiency of the network. In the first part of the thesis, we propose tocombine the network future context prediction capabilities with the well-knownlatency vs. energy efficiency tradeoff. In that sense, we consider a proactivedelay-tolerant scheduling problem. In this problem, the objective consists ofdefining the optimal power strategies of a set of competing users, which minimizesthe individual power consumption, while ensuring a complete requestedtransmission before a given deadline. We first investigate the single user versionof the problem, which serves as a preliminary to the concepts of delay tolerance,proactive scheduling, power control and optimization, used through the first halfof this thesis. We then investigate the extension of the problem to a multiusercontext. The conducted analysis of the multiuser optimization problem leads toa non-cooperative dynamic game, which has an inherent mathematical complexity.In order to address this complexity issue, we propose to exploit the recenttheoretical results from the Mean Field Game theory, in order to transitionto a more tractable game with lower complexity. The numerical simulationsprovided demonstrate that the power strategies returned by the Mean FieldGame closely approach the optimal power strategies when it can be computed(e.g. in constant channels scenarios), and outperform the reference heuristicsin more complex scenarios where the optimal power strategies can not be easilycomputed.In the second half of the thesis, we investigate a dual problem to the previousoptimization problem, namely, we seek to optimize the total spectral efficiencyof the system, in a constant short-term power configuration. To do so, we proposeto exploit the recent advances in interference classification. the conductedanalysis reveals that the system benefits from adapting the interference processingtechniques and spectral efficiencies used by each pair of Access Point (AP) and User Equipment (UE). The performance gains offered by interferenceclassification can also be enhanced by considering two improvements. First, wepropose to define the optimal groups of interferers: the interferers in a samegroup transmit over the same spectral resources and thus interfere, but can processinterference according to interference classification. Second, we define theconcept of ’Virtual Handover’: when interference classification is considered,the optimal Access Point for a user is not necessarily the one providing themaximal SNR. For this reason, defining the AP-UE assignments makes sensewhen interference classification is considered. The optimization process is thenthreefold: we must define the optimal i) interference processing technique andspectral efficiencies used by each AP-UE pair in the system; ii) the matching ofinterferers transmitting over the same spectral resources; and iii) define the optimalAP-UE assignments. Matching and interference classification algorithmsare extensively detailed in this thesis and numerical simulations are also provided,demonstrating the performance gain offered by the threefold optimizationprocedure compared to reference scenarios where interference is either avoidedwith orthogonalization or treated as noise exclusively.

Movité par des questions posées par F. Santambrogio, cette thèse est dédiée à l'étude de jeux à champ moyen et des modèles impliquant le transport optimal avec contraintes de densité. A fin d'étudier des modèles de MFG d'ordre deux dans l'esprit des travaux de F. Santambrogio, on introduit en tant que brique élementaire un modèle diffusif de mouvement de foule avec contraintes de densité (en généralisant dans une sense les travaux de Maury et al.). Le modèle est décrit par l'évolutions de la densité de la foule, qui peut être vu comme une courbe dans l'espace de Wasserstein. Du point de vu EDP, ça correspond à une équation de Fokker-Planck modifiée, avec un terme supplémentaire, le gradient d'une pression (seulement dans la zone saturée) dans le drift. En passant par l'équation duale et en utilisant des estimations paraboliques bien connues, on démontre l'unicité du pair densité et pression. Motivé initialement par l'algorithm de splitting (utilisé dans le résultat d'existence ci-dessus), on étudie des propriétés fines de la projection de Wasserstein en dessous d'un seuil donné. Intégrant cette question dans une classe plus grande de problèmes impliquant le transport optimal, on démontre des estimations BV pour les optimiseurs. D'autres applications possibles (en transport partiel, optimisation de forme et problèmes paraboliques dégénérés) de ces estimations BV sont également discutées.En changeant le point de vu, on étudie également des modèles de MFG variationnels avec contraintes de densité. Dans ce sens, les systèmes de MFG sont obtenus comme conditions d'optimalité de premier ordre pour deux problèmes convexes en dualité. Dans ces systèmes un terme additionnel apparaît, interpreté comme un prix à payer quand les agents passent dans des zones saturées. Premièrement, en profitant des résultats de régularité elliptique, on montre l'existence et la caractérisation de solutions des MFG de deuxième ordre stationnaires avec contraintes de densité. Comme résultat additionnel, on caractérise le sous-différentiel d'une fonctionnelle introduite par Benamou-Brenier pour donner une formulation dynamique du problème de transport optimal. Deuxièmement, (basé sur une technique de pénalisation) on montre qu'une classe de systèmes de MFG de premier ordre avec contraintes de densité est bien posée. Une connexion inattendu avec les équations d'Euler incompressible à la Brenier est égalment donnée. / Motivated by some questions raised by F. Santambrogio, this thesis is devoted to the study of Mean Field Games and models involving optimal transport with density constraints. To study second order MFG models in the spirit of the work of F. Santambrogio, as a possible first step we introduce and show the well-posedness of a diffusive crowd motion model with density constraints (generalizing in some sense the works by B. Maury et al.). The model is described by the evolution of the people's density, that can be seen as a curve in the Wasserstein space. From the PDE point of view, this corresponds to a modified Fokker-Planck equation, with an additional gradient of a pressure (only living in the saturated zone) in the drift. We provide a uniqueness result for the pair density and pressure by passing through the dual equation and using some well-known parabolic estimates. Initially motivated by the splitting algorithm (used for the above existence result), we study some fine properties of the Wasserstein projection below a given threshold. Embedding this question into a larger class of variational problems involving optimal transport, we show BV estimates for the optimizers. Other possible applications (for partial optimal transport, shape optimization and degenerate parabolic problems) of these BV estimates are also discussed.Changing the point of view, we also study variational Mean Field Game models with density constraints. In this sense, the MFG systems are obtained as first order optimality conditions of two convex problems in duality. In these systems an additional term appears, interpreted as a price to be paid when agents pass through saturated zones. Firstly, profiting from the regularity results of elliptic PDEs, we give the existence and characterization of the solutions of stationary second order MFGs with density constraints. As a byproduct we characterize the subdifferential of a convex functional introduced initially by Benamou-Brenier to give a dynamic formulation of the optimal transport problem. Secondly, (based on a penalization technique) we prove the well-posedness of a class of first order evolutive MFG systems with density constraints. An unexpected connection with the incompressible Euler's equations à la Brenier is also given

Dans le cadre de cette thèse, nous nous intéressons plus particulièrement àdeux techniques permettant d’améliorer l’efficacité énergétique ou spectrale desréseaux sans fil. Dans la première partie de cette thèse, nous proposons de combinerles capacités de prédictions du contexte futur de transmission au classiqueet connu tradeoff latence - efficacité énergétique, amenant à ce que l’on nommeraun réseau proactif tolérant à la latence. L’objectif dans ce genre de problèmesconsiste à définir des politiques de transmissions optimales pour un ensembled’utilisateur, qui garantissent à chacun de pouvoir accomplir une transmissionavant un certain délai, tout en minimisant la puissance totale consommée auniveau de chaque utilisateur. Nous considérons dans un premier temps le problèmemono-utilisateur, qui permet alors d’introduire les concepts de tolérance àla latence, d’optimisation et de contrôle de puissance qui sont utilisés dans lapremière partie de cette thèse. L’extension à un système multi-utilisateurs estensuite considérée. L’analyse révèle alors que l’optimisation multi-utilisateurpose problème du fait de sa complexité mathématique. Mais cette complexitépeut néanmoins être contournée grâce aux récentes avancées dans le domainede la théorie des jeux à champs moyens, théorie qui permet de transiter d’unjeu multi-utilisateur, vers un jeu à champ moyen, à plus faible complexité. Lessimulations numériques démontrent que les stratégies de puissance retournéespar l’approche jeu à champ moyen approchent notablement les stratégies optimaleslorsqu’elles peuvent être calculées, et dépassent les performances desheuristiques communes, lorsque l’optimum n’est plus calculable, comme c’est lecas lorsque le canal varie au cours du temps.Dans la seconde partie de cettethèse, nous investiguons un possible problème dual au problème précédent. Plusspécifiquement, nous considérons une approche d’optimisation d’efficacité spectrale,à configuration de puissance constante. Pour ce faire, nous proposonsalors d’étudier l’impact sur le réseau des récentes avancées en classification d’interférence.L’analyse conduite révèle que le système peut bénéficier d’uneadaptation des traitements d’interférence faits à chaque récepteur. Ces gainsobservés peuvent également être améliorés par deux altérations de la démarched’optimisation. La première propose de redéfinir les groupes d’interféreurs decellules concurrentes, supposés transmettre sur les mêmes ressources spectrales.L’objectif étant alors de former des paires d’interféreurs “amis”, capables detraiter efficacement leurs interférences réciproques. La seconde altération portele nom de “Virtual Handover” : lorsque la classification d’interférence est considérée,l’access point offrant le meilleur SNR n’est plus nécessairement le meilleuraccess point auquel assigner un utilisateur. Pour cette raison, il est donc nécessairede laisser la possibilité au système de pouvoir choisir par lui-même la façondont il procède aux assignations des utilisateurs. Le processus d’optimisationse décompose donc en trois parties : i) Définir les coalitions d’utilisateurs assignésà chaque access point ; ii) Définir les groupes d’interféreurs transmettantsur chaque ressource spectrale ; et iii) Définir les stratégies de transmissionet les traitements d’interférences optimaux. L’objectif de l’optimisationest alors de maximiser l’efficacité spectrale totale du système après traitementde l’interférence. Les différents algorithmes utilisés pour résoudre, étape parétape, l’optimisation globale du système sont détaillés. Enfin, des simulationsnumériques permettent de mettre en évidence les gains de performance potentielsofferts par notre démarche d’optimisation. / In this thesis, we investigate two techniques used for enhancing the energy orspectral efficiency of the network. In the first part of the thesis, we propose tocombine the network future context prediction capabilities with the well-knownlatency vs. energy efficiency tradeoff. In that sense, we consider a proactivedelay-tolerant scheduling problem. In this problem, the objective consists ofdefining the optimal power strategies of a set of competing users, which minimizesthe individual power consumption, while ensuring a complete requestedtransmission before a given deadline. We first investigate the single user versionof the problem, which serves as a preliminary to the concepts of delay tolerance,proactive scheduling, power control and optimization, used through the first halfof this thesis. We then investigate the extension of the problem to a multiusercontext. The conducted analysis of the multiuser optimization problem leads toa non-cooperative dynamic game, which has an inherent mathematical complexity.In order to address this complexity issue, we propose to exploit the recenttheoretical results from the Mean Field Game theory, in order to transitionto a more tractable game with lower complexity. The numerical simulationsprovided demonstrate that the power strategies returned by the Mean FieldGame closely approach the optimal power strategies when it can be computed(e.g. in constant channels scenarios), and outperform the reference heuristicsin more complex scenarios where the optimal power strategies can not be easilycomputed.In the second half of the thesis, we investigate a dual problem to the previousoptimization problem, namely, we seek to optimize the total spectral efficiencyof the system, in a constant short-term power configuration. To do so, we proposeto exploit the recent advances in interference classification. the conductedanalysis reveals that the system benefits from adapting the interference processingtechniques and spectral efficiencies used by each pair of Access Point (AP) and User Equipment (UE). The performance gains offered by interferenceclassification can also be enhanced by considering two improvements. First, wepropose to define the optimal groups of interferers: the interferers in a samegroup transmit over the same spectral resources and thus interfere, but can processinterference according to interference classification. Second, we define theconcept of ’Virtual Handover’: when interference classification is considered,the optimal Access Point for a user is not necessarily the one providing themaximal SNR. For this reason, defining the AP-UE assignments makes sensewhen interference classification is considered. The optimization process is thenthreefold: we must define the optimal i) interference processing technique andspectral efficiencies used by each AP-UE pair in the system; ii) the matching ofinterferers transmitting over the same spectral resources; and iii) define the optimalAP-UE assignments. Matching and interference classification algorithmsare extensively detailed in this thesis and numerical simulations are also provided,demonstrating the performance gain offered by the threefold optimizationprocedure compared to reference scenarios where interference is either avoidedwith orthogonalization or treated as noise exclusively.

Cette thèse porte sur l'étude d'équation de Hamilton-Jacobi-Bellman associées à des problèmes de contrôle optimal et de jeux à champ moyen avec la particularité qu'on se place sur un réseau (c'est-à-dire, des ensembles constitués d'arêtes connectées par des jonctions) dans les deux problèmes, pour lesquels on autorise différentes dynamiques et différents coûts dans chaque bord d'un réseau. Dans la première partie de cette thèse, on considère un problème de contrôle optimal sur les réseaux dans l'esprit des travaux d'Achdou, Camilli, Cutrì & Tchou (2013) et Imbert, Moneau & Zidani (2013). La principale nouveauté est qu'on rajoute des coûts d'entrée (ou de sortie) aux sommets du réseau conduisant à une éventuelle discontinuité de la fonction valeur. Celle-ci est caractérisée comme l'unique solution de viscosité d'une équation Hamilton-Jacobi pour laquelle une condition de jonction adéquate est établie. L'unicité est une conséquence d'un principe de comparaison pour lequel nous donnons deux preuves différentes, l'une avec des arguments tirés de la théorie du contrôle optimal, inspirée par Achdou, Oudet & Tchou (2015) et l'autre basée sur les équations aux dérivées partielles, d'après Lions & Souganidis (2017). La deuxième partie concerne les jeux à champ moyen stochastiques sur les réseaux. Dans le cas ergodique, ils sont décrits par un système couplant une équation de Hamilton-Jacobi-Bellman et une équation de Fokker- Planck, dont les inconnues sont la densité m de la mesure invariante qui représente la distribution des joueurs, la fonction valeur v qui provient d'un problème de contrôle optimal "moyen" et la constante ergodique ρ. La fonction valeur v est continue et satisfait dans notre problème des conditions de Kirchhoff aux sommets très générales. La fonction m satisfait deux conditions de transmission aux sommets. En particulier, due à la généralité des conditions de Kirchhoff, m est en général discontinue aux sommets. L'existence et l'unicité d'une solution faible sont prouvées pour des Hamiltoniens sous-quadratiques et des hypothèses très générales sur le couplage. Enfin, dans la dernière partie, nous étudions les jeux à champ moyen stochastiques non stationnaires sur les réseaux. Les conditions de transition pour la fonction de valeur v et la densité m sont similaires à celles données dans la deuxième partie. Là aussi, nous prouvons l'existence et l'unicité d'une solution faible pour des Hamiltoniens sous-linéaires et des couplages et dans le cas d'un couplage non-local régularisant et borné inférieurement. La principale difficulté supplémentaire par rapport au cas stationnaire, qui nous impose des hypothèses plus restrictives, est d'établir la régularité des solutions du système posé sur un réseau. Notre approche consiste à étudier la solution de l'équation de Hamilton-Jacobi dérivée pour gagner de la régularité sur la solution de l'équation initiale. / The dissertation focuses on the study of Hamilton-Jacobi-Bellman equations associated with optimal control problems and mean field games problems in the case when the state space is a network. Different dynamics and running costs are allowed in each edge of the network. In the first part of this thesis, we consider an optimal control on networks in the spirit of the works of Achdou, Camilli, Cutrì & Tchou (2013) and Imbert, Monneau & Zidani (2013). The main new feature is that there are entry (or exit) costs at the edges of the network leading to a possible discontinuous value function. The value function is characterized as the unique viscosity solution of a Hamilton-Jacobi equation for which an adequate junction condition is established. The uniqueness is a consequence of a comparison principle for which we give two different proofs. One uses some arguments from the theory of optimal control and is inspired by Achdou, Oudet & Tchou (2015). The other one is based on partial differential equations techniques and is inspired by a recent work of Lions & Souganidis (2017). The second part is about stochastic mean field games for which the state space is a network. In the ergodic case, they are described by a system coupling a Hamilton- Jacobi-Bellman equation and a Fokker-Planck equation, whose unknowns are the density m of the invariant measure which represents the distribution of the players, the value function v which comes from an "average" optimal control problem and the ergodic constant ρ. The function v is continuous and satisfies general Kirchhoff conditions at the vertices. The density m satisfies dual transmission conditions. In particular, due to the generality of Kirchhoff’s conditions, m is in general discontinuous at the vertices. Existence and uniqueness are proven for subquadratic Hamiltonian and very general assumptions about the coupling term. Finally, in the last part, we study non-stationary stochastic mean field games on networks. The transition conditions for value function v and the density m are similar to the ones given in second part. Here again, we prove the existence and uniqueness of a weak solution for sublinear Hamiltonian and bounded non-local regularizing coupling term. The main additional difficulty compared to the stationary case, which imposes us more restrictive hypotheses, is to establish the regularity of the solutions of the system placed on a network. Our approach is to study the solution of the derived Hamilton-Jacobi equation to gain regularity over the initial equation.

La théorie des jeux à champ moyen fut introduite en 2006 par Jean-Michel Lasry et Pierre-Louis Lions. Elle permet l'étude de la théorie des jeux dans certaines configurations où le nombre de joueurs est trop grand pour espérer une résolution pratique. Nous étudions la théorie des jeux à champ moyen sur les graphes en nous appuyant sur les travaux d'Olivier Guéant que nous étendrons à des formes plus générales d'Hilbertien. Nous étudierons aussi les liens qui existent entres les K-moyennes et les jeux à champ moyen ce qui permettra en principe de proposer de nouveaux algorithmes pour les K-moyennes grâce aux techniques de résolution numérique propres aux jeux à champ moyen. Enfin nous étudierons un jeu à champ moyen à savoir le problème "d'heure de début d'une réunion" en l'étendant à des situations où les agents peuvent choisir entre deux réunions. Nous étudierons de manière analytique et numérique l'existence et la multiplicité des solutions de ce problème. / The mean field game theory was introduced in 2006 by Jean-Michel Lasry and Pierre-Louis Lions. It allows us to study the game theory in some situations where the number of players is too high to be able to be solved in practice. We will study the mean field game theory on graphs by learning from the studies of Oliver Guéant which we will extend to more generalized forms of Hilbertian. We will also study the links between the K-means and the mean field game theory. In principle, this will offer us new algorithms for solving the K-means thanks to the techniques of numerical resolutions of the mean field games. Findly, we will study a mean field game called the "starting time of a meeting". We will extend it to situations where the players can choose between two meetings. We will study analytically and numerically the existence and multiplicity of the solutions to this problem.

Les jeux à champ moyen (MFG) sont une classe de jeux différentiels dans lequel chaque agent est infinitésimal et interagit avec une énorme population d'agents. Dans cette thèse, nous soulevons la question de la formation effective de l'équilibre MFG. En effet, le jeu étant très complexe, il est irréaliste de supposer que les agents peuvent réellement calculer la configuration d'équilibre. Cela semble indiquer que si la configuration d'équilibre se présente, c'est parce que les agents ont appris à jouer au jeu. Donc, la question principale est de trouver des procédures d'apprentissage dans les jeux à champ moyen et d'analyser leurs convergences vers un équilibre. Nous nous sommes inspirés par des schémas d'apprentissage dans les jeux statiques et avons essayé de les appliquer à notre modèle dynamique de MFG. Nous nous concentrons particulièrement sur les applications de fictitious play et online mirror descent sur différents types de jeux de champs moyens : Potentiel, Monotone ou Discret. / Mean Field Games (MFG) are a class of differential games in which each agent is infinitesimal and interacts with a huge population of other agents. In this thesis, we raise the question of the actual formation of the MFG equilibrium. Indeed, the game being quite involved, it is unrealistic to assume that the agents can compute the equilibrium configuration. This seems to indicate that, if the equilibrium configuration arises, it is because the agents have learned how to play the game. Hence the main question is to find learning procedures in mean field games and investigating if they converge to an equilibrium. We have inspired from the learning schemes in static games and tried to apply them to our dynamical model of MFG. We especially focus on fictitious play and online mirror descent applications on different types of mean field games; those are either Potential, Monotone or Discrete.