Cette thèse porte sur la modélisation probabiliste, via des processus de Markov, de communautés de joueurs accumulant leurs gains. Cette accumulation de gain s'appelle la richesse du joueur. Dans le premier modèle que nous étudions la richesse représente l'énergie d'une particule biologique. Dans le second modèle la richesse représente le patrimoine financier de l'individu. Les individus s'échangent de la richesse via des jeux stratégiques. L'objectif de cette thèse est de trouver des outils appropriés à ces modèles afin de connaître la distribution des richesses des individus. Dans une première partie, on considère un modèle biologique d'accumulation de richesses : le Dilemme du Prisonnier Démographique. Ce modèle fait intervenir deux types d'espèce : les altruistes, que l'on peut voir comme des proies, et les égoïstes, que l'on peut voir comme des prédateurs. Dans le Dilemme du Prisonnier Démographique (que l'on note DPD), les individus meurent si leur richesse devient négative et peuvent donner naissance si ils sont suffisamment riches. On répond dans ce contexte à la question centrale : " Est ce que les proies peuvent survivre sur du long terme dans un environnement hostile ? / This thesis is about the probabilistic modelisation, via Markov processes, of community of players accumulating their payoff. This payoff is called wealth. In a first model, wealth represents the energy of a biological particle. In a second model, wealth represents the financial wealth of an individual. In both models, individuals exchange wealth via strategic games. The goal of this thesis is to find appropriate tools to these models in order to know the wealth distribution of individuals. In a first part, we consider a biological wealth accumulation model called Demographic Prisoner's Dilemma (denoted DPD). In this model there are two kinds of species : the altruistic ones, that we can see as preys ; and the selfish ones, that we can see as predators. In the DPD, particles dies if their wealth become negative. They can give birth if they are rich enough. This model takes place in the evolutionnary game theory. We answer in this context to the central question : " Can prey survive in long term in an hostile environment ? "

Les opérateurs et les constructeurs des réseaux sans fil sont amenés à développer de nouvelles stratégies afin de faire face à l'augmentation rapide des flux de données générés par les nouvelles applications telles que le streaming vidéo. D'une part, la récente saturation des réseaux cellulaires peut être en partie résorbée en diversifiant, pour chaque mobile, les technologies d'accès au réseau. Par exemple, la plupart des téléphones mobiles possède aujourd'hui la capacité de se connecter à des points d'accès Wifi en plus des réseaux cellulaires classiques. D'autre part, une gestion fine des allocations des mobiles sur les différents points d'accès permet une utilisation plus efficace des ressources (énergie, fréquences radio...), et augmente la capacité d'accueil des mobiles, sans nécessairement avoir recours à une onéreuse densification de la couverture radio. Cette thèse s'inscrit dans la problématique de l'auto-optimisation des réseaux en général et des réseaux sans fil en particulier. En raison de la nature très dynamique des réseaux sans fil, les algorithmes d'optimisation doivent être capables de s'adapter aux changements aléatoires de l'environnement de façon autonome. Dans cette thèse, nous proposons d'abord un algorithme de contrôle dynamique qui optimise l'allocation des mobiles tout en prenant en compte les contraintes de capacité. Bien que difficile à mettre en oeuvre en pratique, cet algorithme donne une borne supérieure des performances qu'il est possible d'atteindre. En raison de l'aspect fortement décentralisé des problèmes d'optimisation, nous avons été amenés à développer des méthodes de coopération inspirées de la théorie des jeux. Finalement, nous avons confronté plusieurs algorithmes stochastiques d'optimisation en terme d'efficacité et de robustesse qui sont en cours de prototypage dans un laboratoire industriel. / Operators and manufacturers of wireless networks are required to develop new strategies to cope with the increase fast data streams generated by new applications such as streaming video. On the one hand, the recent saturation cellular networks can be partly resolved by diversifying to each mobile, network access technologies. For example, Most mobile phones now has the ability to connect to WiFi access points in addition to cellular networks classic. In addition, careful management of allocations of mobile the various access points allows more efficient use resources (energy, radio frequency ...), and increases capacity mobile home, without necessarily resorting to a densification expensive radio coverage. This thesis is part of the problem of self-optimization networks in general and wireless networks in particular. Because of the highly dynamic nature of wireless networks, algorithms optimization must be able to adapt to changes random environment independently. In this thesis, First we propose a dynamic control algorithm optimizes the allocation of mobile while taking into account the capacity constraints. Although difficult to implement in practice, this algorithm gives an upper bound performance it is achievable. Due to the high aspect decentralized optimization problems, we have been led to develop methods of cooperation inspired by the theory of games. Finally, we compared several algorithms Stochastic optimization in terms of efficiency and robustness which are currently prototyping in an industrial laboratory.

Nouvelles approches aux jeux évolutionnaires et processus de décision. La théorie des jeux évolutionnaires (EGT) constitue un cadre simple pour étudier le comportement de populations larges dont les membres sont engagés en interactions stratégiques. Dans la première partie de cette thèse nous proposons une nouvelle approche pour la modélisation de l’ évolution, où le joueur est formé par un ensemble d’individus. Nous considérons toujours des interactions entre individus mais nous supposons qu’ils maximisent le fitness du group auquel ils appartiennent. Nous présentons, dans la deuxième partie du manuscrit, une nouvelle approche dynamique des Markov Decision Evolutionary Games, qui constituent une classe des jeux stochastiques. À différence de l’approche statique standard, en ce travail nous considérons les dynamiques des états individuels et couplée avec les politiques et nous les décrivons à travers des équations différentielles interdépendantes. Dans la troisième partie du manuscrit, nous poursuivons l’étude des jeux stochastiques dynamiques dans un contexte différent, la théorie du contrôle. Nous définissions un système stochastique dynamique contrôlé simultanément par deux joueurs engagés dans un jeu à somme non nulle (et non constante) et nous montrons que le problème stochastique peut être approximé à travers un jeu dynamique déterministe. / Evolutionary Game Theory (EGT) constitutes a simple framework to study the behavior of large populations whose individuals are repeatedly engaged in pairwise strategic interactions. While in standard EGT, the interacting individual is the player, choosing the actions to play in order to maximize its own fitness, in the first part of this dissertation we propose, in the first part of this work, a new approach to model evolution, where the player is supposed to be a whole group. We still consider pairwise interactions among individuals but we assume that they maximize the fitness of the group they belong to, which is thus the actual player of the game. In the second part of this dissertation, we present our new dynamical approach to Markov Decision Evolutionary Games. In contrast with the standard static approach, we study here the local dynamics of individual states and the dynamics intrinsically related to the distribution of policies in the population, describing them by interdependent differential equations. In the third part of the manuscript we pursue the study of stochastic dynamics in a different context, that of control theory. We define a hybrid stochastic dynamical system jointly controlled by two players involved in a non-zero sum game and we prove that the problem can be approximated by an averaged deterministic differential game.

Les opérateurs et les constructeurs des réseaux sans fil sont amenés à développer de nouvelles stratégies afin de faire face à l'augmentation rapide des flux de données générés par les nouvelles applications telles que le streaming vidéo. D'une part, la récente saturation des réseaux cellulaires peut être en partie résorbée en diversifiant, pour chaque mobile, les technologies d'accès au réseau. Par exemple, la plupart des téléphones mobiles possède aujourd'hui la capacité de se connecter à des points d'accès Wifi en plus des réseaux cellulaires classiques. D'autre part, une gestion fine des allocations des mobiles sur les différents points d'accès permet une utilisation plus efficace des ressources (énergie, fréquences radio...), et augmente la capacité d'accueil des mobiles, sans nécessairement avoir recours à une onéreuse densification de la couverture radio. Cette thèse s'inscrit dans la problématique de l'auto-optimisation des réseaux en général et des réseaux sans fil en particulier. En raison de la nature très dynamique des réseaux sans fil, les algorithmes d'optimisation doivent être capables de s'adapter aux changements aléatoires de l'environnement de façon autonome. Dans cette thèse, nous proposons d'abord un algorithme de contrôle dynamique qui optimise l'allocation des mobiles tout en prenant en compte les contraintes de capacité. Bien que difficile à mettre en oeuvre en pratique, cet algorithme donne une borne supérieure des performances qu'il est possible d'atteindre. En raison de l'aspect fortement décentralisé des problèmes d'optimisation, nous avons été amenés à développer des méthodes de coopération inspirées de la théorie des jeux. Finalement, nous avons confronté plusieurs algorithmes stochastiques d'optimisation en terme d'efficacité et de robustesse qui sont en cours de prototypage dans un laboratoire industriel.

Ces travaux de recherche abordent un problème de défense anti-aérien, usuellement appelé problème d'allocation d'armes à des cibles dans la littérature. L'allocation d'armes à des cibles est un problème bien connu de la recherche opérationnelle militaire qui a rencontré un franc succès parmi la communauté des chercheurs, et qui aujourd'hui encore suscite un large engouement puisque sa propriété démontrée NP-difficile en fait un problème qui reste irrésolu. Que ce soit par des méthodes analytiques ou meta-heuristiques, le problème d'allocation d'armes à des cibles a fait l'objet de nombreuses propositions de résolution. Cependant, il est assez surprenant de voir que la modélisation proposée pour ce problème n'a guère évolué depuis qu'il est apparu pour la première fois dans la littérature en 1950. Cette modélisation peut être considérée comme obsolète aujourd'hui et ne répond plus aux exigences qui accompagnent les technologies modernes. En effet, en 60 ans le champ de bataille a complètement changé, et dans la littérature seulement un nombre limité d'études proposent de prendre en compte ces évolutions. L'étude menée dans cette thèse propose de s'intéresser aux systèmes de Commandes et Contrôles (C2) pour des applications anti-aériennes. Habituellement un système C2 est composé de senseurs, d'un centre d'opérations tactiques et d'un ou plusieurs lanceurs. Les senseurs alimentent le centre d'opérations tactiques à partir des informations qu'ils recueillent, puis, une fois ces informations reçues, le centre d'opérations tactiques va interpréter ces données afin de calculer l'atteignabilité des menaces. Enfin, un plan d'engagement qui comprend l'allocation des munitions disponibles aux cibles et une date de tir sont proposés à un opérateur humain qui aura pour mission de valider cette proposition en totalité ou partiellement, puis va procéder à l'engagement des menaces. Pour remplir cet objectif, une approche innovante et faisant l'objet d'un dépôt de brevet a été développée afin de répondre aux difficultés relatives aux problèmes d'optimisation multi-objectifs. Ensuite, un algorithme d'optimisation continue basé sur la combinaison de l'optimisation par essaim particulaires avec la théorie des jeux évolutionnaires est proposé pour optimiser les dates de tirs. L'allocation optimale, elle, est obtenue en adaptant cette méthode continue au cas discret. La preuve que l'algorithme développé est localement convergent est donnée dans cette thèse. D'autre part, l'aspect temps-réel a également fait l'objet d'une recherche attentive et l'algorithme précédemment cité a été hybridé avec les réseaux de neurones afin d'accélérer le temps de calcul des composants identifiés comme "lourds" en termes de charge de calcul. Enfin, cette étude ne se limite pas à une application de recherche opérationnelle militaire, mais inclut quelques concepts élémentaires de guidage et de navigation pour le calcul d'atteignabilité des menaces. Finalement, cette thèse permet d'identifier que les points suivants doivent faire l'objet d'une attention très particulière afin de développer un outil d'aide à la décision efficace. D'abord, la métrique d'évaluation d'un bon plan d'engagement doit être clairement analysée. Ensuite, le plan d'engagement proposé doit être stable et ne pas proposer de changements soudains qui pourraient perturber l'opérateur. Le troisième point concerne la robustesse de la solution proposée et sa capacité à faire face aux situations les plus compliquées. Quatrièmement, le temps et la charge de calcul sont des contraintes techniques qui ne peuvent pas être outrepassées. Finalement, les exigences posées lors de la préparation de mission et qui dépendent du contexte doivent faire l'objet d'une attention particulière. C'est pourquoi, l'outil d'aide à la décision proposé doit permettre un allègement significatif de la charge de travail de l'opérateur ainsi que la réduction considérable du stress lié à ce contexte / This research investigates a practical air defence problem, usually named Weapon Target Assignment (WTA) in the literature. The WTA problem is a well-known problem of military operation research that encountered a wide success in the research community, but still nowadays since it remains an unsolved problem because of its NP-hardness property. From analytical to heuristic methods, the WTA was deeply investigated and many attempts to solve this problem have been proposed. However, the proposed modelling of this problem is consistent with the 1950's technologies. Thus, the proposed modelling found in the literature can be considered as obsolete and cannot fit the requirement of the current technology advances. Indeed, the battle field dramatically changes over 60 years, and the recent literature proposes only few studies taking into account these amendments. The herein study proposes to investigate a Command & Control system (C2) in air defence applications. Usually a C2 system includes sensors, a Tactical Operation Centre (TOC) and one or more launchers. The sensors provide information about aerial tactical situation to the TOC. This TOC is in charge of evaluating the received information in order to compute the attainability of the targets, then an engagement plan that includes the assignment of the available weapons to the incoming targets and a date to fire for each assignment. This engagement plan is then proposed to one human operator in charge of accepting whole or part of this engagement plan and engage the targets following the received instructions. To achieve this goal, an innovative and patented approach to mitigate the issues related to multi-objective optimisation is proposed. Then, a continuous optimisation algorithm based on the combination of the Particle Swarm Optimisation and the Evolutionary Game Theory was proposed to determine the best dates to fire. The optimal assignment was obtained by adapting the aforementioned algorithm to the discrete case. This thesis also gives the proof that the designed algorithms are locally convergent and intensive benchmarking confirms the developed theory. In order to respect the real-time requirement, it was also devised to use the Neural Networks to lighten the identified burdensome parts of the algorithm and decrease computational time. Not limited to the military operation research field, the herein study reuse some basic concepts of missile guidance and navigation to compute the attainability of the targets. From this thesis, it can be identified that following aspects need to be carefully considered to provide an efficient decision making support to a human operator: First, clearly define what a good engagement plan is. Second, the engagement plan must be steady to avoid high rate changing in the assignments that could significantly disturb the operator. Third, the proposed engagement also must be reliable and robust to face any possible situations. Fourth, the computation time and computation load are technical constraints that cannot be overstepped. Finally, the operational constraints related to the mission context defined during a pre-mission stage must also be taken into account. Therefore, the proposed decision making support must help and significantly reduce the operator's work load in this situation of high stress and sensitive context

La théorie des jeux évolutionnaires est un outil qui permet d’étudier l’évolution des stratégies dans une population composée d’un grand nombre d’agents qui interagissent d’une façon continue et aléatoire. Dans cette théorie, il y a deux concepts essentiels qui sont la stratégie évolutivement stable (ESS), et la dynamique de réplication. Une stratégie évolutivement stable est une stratégie, qui, si adoptée par toute la population,ne peut pas être envahie par une autre stratégie ”mutante” utilisée par une petite fraction de la population. Ce concept statique est un raffinement de l’équilibre de Nash, et il ne peut pas renseigner, par exemple, sur la durée du temps nécessaire pour que l’ESS élimine la stratégie mutante. La dynamique de réplication, originalement proposée par Hawk-Dove, est un modèle dynamique qui permet de prédire l’évolution de la fraction de chaque stratégie dans la population en fonction du temps, en réponse aux gains des stratégies et l’état de la population.Dans cette thèse, nous proposons dans une première partie une extension de la dynamique de réplication classique en y introduisant des délais hétérogènes et aléatoires.En effet, la plupart des phénomènes qui se produisent prennent un temps incertain avant d’avoir des résultats. Nous étudions l’effet de la distribution des délais sur la stabilité de l’ESS dans la dynamique de réplication et nous considérons les distributions uniforme, exponentielle, et Gamma (ou Erlang). Dans les cas des distributions uniforme et Gamma, nous trouvons la valeur critique de la moyenne à laquelle la stabilité de l’équilibre est perdue et des oscillations permanentes apparaissent. Dans le cas de la distribution exponentielle, nous montrons que la stabilité de l’équilibre ne peut être perdue,et ce pour toute valeur de la moyenne de la distribution. Par ailleurs, nous montrons que la distribution exponentielle peut affecter la stabilité de l’ESS quand une seule stratégie subit un délai aléatoire issu de cette distribution. Nous étudions également le cas où les délais sont discrets et nous trouvons une condition suffisante et indépendante des valeurs des délais pour la stabilité de l’équilibre. Dans tous les cas, nous montrons que les délais aléatoires sont moins risqués que les délais constants pour la stabilité de l’équilibre, vu que la valeur moyenne critique des délais aléatoires est toujours supérieure de celle des délais constants. En outre, nous considérons comme paramètre de bifurcation la moyenne de la distribution des délais et nous étudions les propriétés de la solution périodique qui apparait à la bifurcation de Hopf, et ce en utilisant une méthode de perturbation non linéaire. En effet, à la bifurcation de Hopf, une oscillation périodique stable apparait dont l’amplitude est fonction de la moyenne de la distribution. Nous déterminons analytiquement l’amplitude de l’oscillation au voisinage de la bifurcation de Hopf en fonction du paramètre de bifurcation et de la matrice des jeux dans les cas des distributions de Dirac, uniforme, Gamma et discrète, et nous appuyons nos résultats avec des simulations numériques. Dans une deuxième partie, nous considérons une population hétérogène composée de plusieurs communautés qui interagissent d’une manière non-uniforme. Pour chaque communauté, nous définissons les matrices des jeux et les probabilités d’interaction avec les autres communautés. Dans ce contexte, nous définissons trois ESS avec différents niveaux de stabilité contre les mutations: un ESS fort, un ESS faible et un ESS intermédiaire. Nous définissons un ESS fort comme suit: si toute la population adopte l’ESS, alors l’ESS ne peut pas être envahi par une petite fraction de mutants composée d’agents de toutes les communautés. / In this dissertation, we study evolutionary game theory which is a mathematical tool used to model and predict the evolution of strategies in a population composed of a largenumber of players. In this theory, there are two basic concepts which are the evolutionarilystable strategy (ESS) and the replicator dynamics. The ESS is originally definedas follows [1]: if all the population adopts the ESS, then no alternative strategy used bya sufficiently small fraction of the population can invade the population.The ESS is astatic concept and a refinement of a Nash equilibrium. It does not allow us, for example,to estimate the time required for the ESS to overcome the mutant strategy, neither to predictthe asymptotic distribution of strategies in the population. The replicator dynamics,originally introduced in [2], is a model of evolution of strategies according to which the growth rate of a given strategy is proportional to how well this strategy performs relative to the average pay off in the population.In the first part of this work, we propose an extended version of the replicator dynamics which takes into account heterogeneous random delays. Indeed, in many situations,the presence of uncertain delays is ubiquitous. We first consider continuous delays and we study the effect of the distribution of delays on the asymptotic stability of the mixed equilibrium in the replicator dynamics. In the case of uniform and Gamma delay distributions,we find the critical mean delay at which a Hopf bifurcation is created and the stability of the mixed equilibrium is lost. When the distribution of delays is exponential, we prove that the stability of the equilibrium cannot be affected by the delays. However, when only one strategy is delayed according to the exponential distribution,the asymptotic stability of the ESS can be lost. In all the cases, we show that the critical mean delay value is higher than that of constant delays, and thus random delays are less threatening than constant delays. In addition, we consider discrete delays and one o four results is that, when the instantaneous term is dominant, that is when the probabilityof zero delay is sufficiently high, the stability of the ESS cannot be lost.Furthermore, by taking as a bifurcation parameter the mean delay distribution, we examine the properties of the bifurcating periodic solution created near the Hopf bifurcationusing a nonlinear perturbation method. Indeed, near the Hopf bifurcation, a stable periodic oscillation appears whose amplitude depends on the value of the bifurcation parameter. We give a closed-form expression of the amplitude of the periodic solution and we validate our results with numerical simulations.In the second part, we consider an heterogeneous population composed of several communities which interact in a nonuniform manner. Each community has its own set of strategies, payoffs, and interaction probabilities. Indeed, individuals of a population have many inherent differences that favor the appearance of groups or clusters. In this scenario, we define three ESS with different levels of stability against mutations: strong,weak, and intermediate ESS, and we examine their connection to each other. A strongESS is a strategy that, when adopted by all the population, cannot be invaded by a sufficientlysmall fraction of mutants composed of agents from all the communities. Incontrast, a weak ESS is a strategy wherein each community resists invasion by a sufficientlysmall fraction of mutants in that community (local mutants). In the intermediateESS, the population adopting the ESS cannot be invaded by a small fraction of mutantswhen we consider the total fitness of the population rather than the fitness of eachcommunity separately.

No description available.