Nouvelles approches aux jeux évolutionnaires et processus de décision. La théorie des jeux évolutionnaires (EGT) constitue un cadre simple pour étudier le comportement de populations larges dont les membres sont engagés en interactions stratégiques. Dans la première partie de cette thèse nous proposons une nouvelle approche pour la modélisation de l’ évolution, où le joueur est formé par un ensemble d’individus. Nous considérons toujours des interactions entre individus mais nous supposons qu’ils maximisent le fitness du group auquel ils appartiennent. Nous présentons, dans la deuxième partie du manuscrit, une nouvelle approche dynamique des Markov Decision Evolutionary Games, qui constituent une classe des jeux stochastiques. À différence de l’approche statique standard, en ce travail nous considérons les dynamiques des états individuels et couplée avec les politiques et nous les décrivons à travers des équations différentielles interdépendantes. Dans la troisième partie du manuscrit, nous poursuivons l’étude des jeux stochastiques dynamiques dans un contexte différent, la théorie du contrôle. Nous définissions un système stochastique dynamique contrôlé simultanément par deux joueurs engagés dans un jeu à somme non nulle (et non constante) et nous montrons que le problème stochastique peut être approximé à travers un jeu dynamique déterministe. / Evolutionary Game Theory (EGT) constitutes a simple framework to study the behavior of large populations whose individuals are repeatedly engaged in pairwise strategic interactions. While in standard EGT, the interacting individual is the player, choosing the actions to play in order to maximize its own fitness, in the first part of this dissertation we propose, in the first part of this work, a new approach to model evolution, where the player is supposed to be a whole group. We still consider pairwise interactions among individuals but we assume that they maximize the fitness of the group they belong to, which is thus the actual player of the game. In the second part of this dissertation, we present our new dynamical approach to Markov Decision Evolutionary Games. In contrast with the standard static approach, we study here the local dynamics of individual states and the dynamics intrinsically related to the distribution of policies in the population, describing them by interdependent differential equations. In the third part of the manuscript we pursue the study of stochastic dynamics in a different context, that of control theory. We define a hybrid stochastic dynamical system jointly controlled by two players involved in a non-zero sum game and we prove that the problem can be approximated by an averaged deterministic differential game.

Ces travaux de recherche abordent un problème de défense anti-aérien, usuellement appelé problème d'allocation d'armes à des cibles dans la littérature. L'allocation d'armes à des cibles est un problème bien connu de la recherche opérationnelle militaire qui a rencontré un franc succès parmi la communauté des chercheurs, et qui aujourd'hui encore suscite un large engouement puisque sa propriété démontrée NP-difficile en fait un problème qui reste irrésolu. Que ce soit par des méthodes analytiques ou meta-heuristiques, le problème d'allocation d'armes à des cibles a fait l'objet de nombreuses propositions de résolution. Cependant, il est assez surprenant de voir que la modélisation proposée pour ce problème n'a guère évolué depuis qu'il est apparu pour la première fois dans la littérature en 1950. Cette modélisation peut être considérée comme obsolète aujourd'hui et ne répond plus aux exigences qui accompagnent les technologies modernes. En effet, en 60 ans le champ de bataille a complètement changé, et dans la littérature seulement un nombre limité d'études proposent de prendre en compte ces évolutions. L'étude menée dans cette thèse propose de s'intéresser aux systèmes de Commandes et Contrôles (C2) pour des applications anti-aériennes. Habituellement un système C2 est composé de senseurs, d'un centre d'opérations tactiques et d'un ou plusieurs lanceurs. Les senseurs alimentent le centre d'opérations tactiques à partir des informations qu'ils recueillent, puis, une fois ces informations reçues, le centre d'opérations tactiques va interpréter ces données afin de calculer l'atteignabilité des menaces. Enfin, un plan d'engagement qui comprend l'allocation des munitions disponibles aux cibles et une date de tir sont proposés à un opérateur humain qui aura pour mission de valider cette proposition en totalité ou partiellement, puis va procéder à l'engagement des menaces. Pour remplir cet objectif, une approche innovante et faisant l'objet d'un dépôt de brevet a été développée afin de répondre aux difficultés relatives aux problèmes d'optimisation multi-objectifs. Ensuite, un algorithme d'optimisation continue basé sur la combinaison de l'optimisation par essaim particulaires avec la théorie des jeux évolutionnaires est proposé pour optimiser les dates de tirs. L'allocation optimale, elle, est obtenue en adaptant cette méthode continue au cas discret. La preuve que l'algorithme développé est localement convergent est donnée dans cette thèse. D'autre part, l'aspect temps-réel a également fait l'objet d'une recherche attentive et l'algorithme précédemment cité a été hybridé avec les réseaux de neurones afin d'accélérer le temps de calcul des composants identifiés comme "lourds" en termes de charge de calcul. Enfin, cette étude ne se limite pas à une application de recherche opérationnelle militaire, mais inclut quelques concepts élémentaires de guidage et de navigation pour le calcul d'atteignabilité des menaces. Finalement, cette thèse permet d'identifier que les points suivants doivent faire l'objet d'une attention très particulière afin de développer un outil d'aide à la décision efficace. D'abord, la métrique d'évaluation d'un bon plan d'engagement doit être clairement analysée. Ensuite, le plan d'engagement proposé doit être stable et ne pas proposer de changements soudains qui pourraient perturber l'opérateur. Le troisième point concerne la robustesse de la solution proposée et sa capacité à faire face aux situations les plus compliquées. Quatrièmement, le temps et la charge de calcul sont des contraintes techniques qui ne peuvent pas être outrepassées. Finalement, les exigences posées lors de la préparation de mission et qui dépendent du contexte doivent faire l'objet d'une attention particulière. C'est pourquoi, l'outil d'aide à la décision proposé doit permettre un allègement significatif de la charge de travail de l'opérateur ainsi que la réduction considérable du stress lié à ce contexte / This research investigates a practical air defence problem, usually named Weapon Target Assignment (WTA) in the literature. The WTA problem is a well-known problem of military operation research that encountered a wide success in the research community, but still nowadays since it remains an unsolved problem because of its NP-hardness property. From analytical to heuristic methods, the WTA was deeply investigated and many attempts to solve this problem have been proposed. However, the proposed modelling of this problem is consistent with the 1950's technologies. Thus, the proposed modelling found in the literature can be considered as obsolete and cannot fit the requirement of the current technology advances. Indeed, the battle field dramatically changes over 60 years, and the recent literature proposes only few studies taking into account these amendments. The herein study proposes to investigate a Command & Control system (C2) in air defence applications. Usually a C2 system includes sensors, a Tactical Operation Centre (TOC) and one or more launchers. The sensors provide information about aerial tactical situation to the TOC. This TOC is in charge of evaluating the received information in order to compute the attainability of the targets, then an engagement plan that includes the assignment of the available weapons to the incoming targets and a date to fire for each assignment. This engagement plan is then proposed to one human operator in charge of accepting whole or part of this engagement plan and engage the targets following the received instructions. To achieve this goal, an innovative and patented approach to mitigate the issues related to multi-objective optimisation is proposed. Then, a continuous optimisation algorithm based on the combination of the Particle Swarm Optimisation and the Evolutionary Game Theory was proposed to determine the best dates to fire. The optimal assignment was obtained by adapting the aforementioned algorithm to the discrete case. This thesis also gives the proof that the designed algorithms are locally convergent and intensive benchmarking confirms the developed theory. In order to respect the real-time requirement, it was also devised to use the Neural Networks to lighten the identified burdensome parts of the algorithm and decrease computational time. Not limited to the military operation research field, the herein study reuse some basic concepts of missile guidance and navigation to compute the attainability of the targets. From this thesis, it can be identified that following aspects need to be carefully considered to provide an efficient decision making support to a human operator: First, clearly define what a good engagement plan is. Second, the engagement plan must be steady to avoid high rate changing in the assignments that could significantly disturb the operator. Third, the proposed engagement also must be reliable and robust to face any possible situations. Fourth, the computation time and computation load are technical constraints that cannot be overstepped. Finally, the operational constraints related to the mission context defined during a pre-mission stage must also be taken into account. Therefore, the proposed decision making support must help and significantly reduce the operator's work load in this situation of high stress and sensitive context

La théorie des jeux évolutionnaires est un outil qui permet d’étudier l’évolution des stratégies dans une population composée d’un grand nombre d’agents qui interagissent d’une façon continue et aléatoire. Dans cette théorie, il y a deux concepts essentiels qui sont la stratégie évolutivement stable (ESS), et la dynamique de réplication. Une stratégie évolutivement stable est une stratégie, qui, si adoptée par toute la population,ne peut pas être envahie par une autre stratégie ”mutante” utilisée par une petite fraction de la population. Ce concept statique est un raffinement de l’équilibre de Nash, et il ne peut pas renseigner, par exemple, sur la durée du temps nécessaire pour que l’ESS élimine la stratégie mutante. La dynamique de réplication, originalement proposée par Hawk-Dove, est un modèle dynamique qui permet de prédire l’évolution de la fraction de chaque stratégie dans la population en fonction du temps, en réponse aux gains des stratégies et l’état de la population.Dans cette thèse, nous proposons dans une première partie une extension de la dynamique de réplication classique en y introduisant des délais hétérogènes et aléatoires.En effet, la plupart des phénomènes qui se produisent prennent un temps incertain avant d’avoir des résultats. Nous étudions l’effet de la distribution des délais sur la stabilité de l’ESS dans la dynamique de réplication et nous considérons les distributions uniforme, exponentielle, et Gamma (ou Erlang). Dans les cas des distributions uniforme et Gamma, nous trouvons la valeur critique de la moyenne à laquelle la stabilité de l’équilibre est perdue et des oscillations permanentes apparaissent. Dans le cas de la distribution exponentielle, nous montrons que la stabilité de l’équilibre ne peut être perdue,et ce pour toute valeur de la moyenne de la distribution. Par ailleurs, nous montrons que la distribution exponentielle peut affecter la stabilité de l’ESS quand une seule stratégie subit un délai aléatoire issu de cette distribution. Nous étudions également le cas où les délais sont discrets et nous trouvons une condition suffisante et indépendante des valeurs des délais pour la stabilité de l’équilibre. Dans tous les cas, nous montrons que les délais aléatoires sont moins risqués que les délais constants pour la stabilité de l’équilibre, vu que la valeur moyenne critique des délais aléatoires est toujours supérieure de celle des délais constants. En outre, nous considérons comme paramètre de bifurcation la moyenne de la distribution des délais et nous étudions les propriétés de la solution périodique qui apparait à la bifurcation de Hopf, et ce en utilisant une méthode de perturbation non linéaire. En effet, à la bifurcation de Hopf, une oscillation périodique stable apparait dont l’amplitude est fonction de la moyenne de la distribution. Nous déterminons analytiquement l’amplitude de l’oscillation au voisinage de la bifurcation de Hopf en fonction du paramètre de bifurcation et de la matrice des jeux dans les cas des distributions de Dirac, uniforme, Gamma et discrète, et nous appuyons nos résultats avec des simulations numériques. Dans une deuxième partie, nous considérons une population hétérogène composée de plusieurs communautés qui interagissent d’une manière non-uniforme. Pour chaque communauté, nous définissons les matrices des jeux et les probabilités d’interaction avec les autres communautés. Dans ce contexte, nous définissons trois ESS avec différents niveaux de stabilité contre les mutations: un ESS fort, un ESS faible et un ESS intermédiaire. Nous définissons un ESS fort comme suit: si toute la population adopte l’ESS, alors l’ESS ne peut pas être envahi par une petite fraction de mutants composée d’agents de toutes les communautés. / In this dissertation, we study evolutionary game theory which is a mathematical tool used to model and predict the evolution of strategies in a population composed of a largenumber of players. In this theory, there are two basic concepts which are the evolutionarilystable strategy (ESS) and the replicator dynamics. The ESS is originally definedas follows [1]: if all the population adopts the ESS, then no alternative strategy used bya sufficiently small fraction of the population can invade the population.The ESS is astatic concept and a refinement of a Nash equilibrium. It does not allow us, for example,to estimate the time required for the ESS to overcome the mutant strategy, neither to predictthe asymptotic distribution of strategies in the population. The replicator dynamics,originally introduced in [2], is a model of evolution of strategies according to which the growth rate of a given strategy is proportional to how well this strategy performs relative to the average pay off in the population.In the first part of this work, we propose an extended version of the replicator dynamics which takes into account heterogeneous random delays. Indeed, in many situations,the presence of uncertain delays is ubiquitous. We first consider continuous delays and we study the effect of the distribution of delays on the asymptotic stability of the mixed equilibrium in the replicator dynamics. In the case of uniform and Gamma delay distributions,we find the critical mean delay at which a Hopf bifurcation is created and the stability of the mixed equilibrium is lost. When the distribution of delays is exponential, we prove that the stability of the equilibrium cannot be affected by the delays. However, when only one strategy is delayed according to the exponential distribution,the asymptotic stability of the ESS can be lost. In all the cases, we show that the critical mean delay value is higher than that of constant delays, and thus random delays are less threatening than constant delays. In addition, we consider discrete delays and one o four results is that, when the instantaneous term is dominant, that is when the probabilityof zero delay is sufficiently high, the stability of the ESS cannot be lost.Furthermore, by taking as a bifurcation parameter the mean delay distribution, we examine the properties of the bifurcating periodic solution created near the Hopf bifurcationusing a nonlinear perturbation method. Indeed, near the Hopf bifurcation, a stable periodic oscillation appears whose amplitude depends on the value of the bifurcation parameter. We give a closed-form expression of the amplitude of the periodic solution and we validate our results with numerical simulations.In the second part, we consider an heterogeneous population composed of several communities which interact in a nonuniform manner. Each community has its own set of strategies, payoffs, and interaction probabilities. Indeed, individuals of a population have many inherent differences that favor the appearance of groups or clusters. In this scenario, we define three ESS with different levels of stability against mutations: strong,weak, and intermediate ESS, and we examine their connection to each other. A strongESS is a strategy that, when adopted by all the population, cannot be invaded by a sufficientlysmall fraction of mutants composed of agents from all the communities. Incontrast, a weak ESS is a strategy wherein each community resists invasion by a sufficientlysmall fraction of mutants in that community (local mutants). In the intermediateESS, the population adopting the ESS cannot be invaded by a small fraction of mutantswhen we consider the total fitness of the population rather than the fitness of eachcommunity separately.

No description available.