Nouvelles approches aux jeux évolutionnaires et processus de décision. La théorie des jeux évolutionnaires (EGT) constitue un cadre simple pour étudier le comportement de populations larges dont les membres sont engagés en interactions stratégiques. Dans la première partie de cette thèse nous proposons une nouvelle approche pour la modélisation de l’ évolution, où le joueur est formé par un ensemble d’individus. Nous considérons toujours des interactions entre individus mais nous supposons qu’ils maximisent le fitness du group auquel ils appartiennent. Nous présentons, dans la deuxième partie du manuscrit, une nouvelle approche dynamique des Markov Decision Evolutionary Games, qui constituent une classe des jeux stochastiques. À différence de l’approche statique standard, en ce travail nous considérons les dynamiques des états individuels et couplée avec les politiques et nous les décrivons à travers des équations différentielles interdépendantes. Dans la troisième partie du manuscrit, nous poursuivons l’étude des jeux stochastiques dynamiques dans un contexte différent, la théorie du contrôle. Nous définissions un système stochastique dynamique contrôlé simultanément par deux joueurs engagés dans un jeu à somme non nulle (et non constante) et nous montrons que le problème stochastique peut être approximé à travers un jeu dynamique déterministe. / Evolutionary Game Theory (EGT) constitutes a simple framework to study the behavior of large populations whose individuals are repeatedly engaged in pairwise strategic interactions. While in standard EGT, the interacting individual is the player, choosing the actions to play in order to maximize its own fitness, in the first part of this dissertation we propose, in the first part of this work, a new approach to model evolution, where the player is supposed to be a whole group. We still consider pairwise interactions among individuals but we assume that they maximize the fitness of the group they belong to, which is thus the actual player of the game. In the second part of this dissertation, we present our new dynamical approach to Markov Decision Evolutionary Games. In contrast with the standard static approach, we study here the local dynamics of individual states and the dynamics intrinsically related to the distribution of policies in the population, describing them by interdependent differential equations. In the third part of the manuscript we pursue the study of stochastic dynamics in a different context, that of control theory. We define a hybrid stochastic dynamical system jointly controlled by two players involved in a non-zero sum game and we prove that the problem can be approximated by an averaged deterministic differential game.

Durant cette thèse l’objectif été d’améliorer la manière d'utiliser la précieuse bande passante, qui est gaspillée à cause de la sous-utilisation des réseaux sans fil. Nous étions particulièrement intéressés à toutes les ressources qui peuvent être utilisées de façon opportuniste en utilisant différentes technologies. Nous avons conçu de nouveaux modèles pour une utilisation meilleure et plus efficace des systèmes sans fil. Dans ce sens nous nous sommes focalisés sur les réseaux de communication cognitifs dans la première partie, où un fournisseur de service cellulaire peut louer une partie de ses ressources à des utilisateurs secondaires ou des fournisseurs virtuels. Dans la deuxième partie, nous nous sommes intéressés aux réseaux tolérants au délai comme étant une alternative à l’augmentation importante de la charge de trafic dans le réseau cellulaire. Dans les régions où l'implémentation d'infrastructures réseaux est géographiquement difficile, l'utilisation des réseaux ad-hoc semble une solution adéquate. En effet, nous avons développé dans la dernière partie, une nouvelle modélisation analytique du protocole IEEE 802.11e utilisé dans ce type de réseaux / The present dissertation deals with how to use the precious wireless resources that are usually wasted by under-utilization of networks. We have been particularly interested by all resources that can be used in an opportunistic fashion using different technologies. We have designed new schemes for better and more efficient use of wireless systems by providing mathematical frameworks. In the first part, We have been interested in cognitive radio networks, where a cellular service provider can lease a part of its resources to secondary users or virtual providers. In the second part, we have chosen delay-tolerant networks as a solution to reduce the pressure on the cell traffic, where mobile users come to use available resources effectively and with a cheaper cost. We have focused on optimal strategy for smartphones in hybrid wireless networks. In the last part, an alternative to delay-tolerant networks, specially in regions that are not covered by the cellular network, is to use Ad-hoc networks. Indeed, they can be used as an extension of the coverage area. We have developed a new analytical modeling of the IEEE 802.11e DCF/EDCF. We have investigated the intricate interactions among layers by building a general cross-layered framework to represent multi-hop ad hoc networks with asymmetric topology and traffic

Dans de nombreux domaines, décrire l'évolution des phénomènes dans le temps est d'un intérêt capital, en particulier pour aborder les problématiques de la prédiction et de la recherche de facteurs causaux. En épidémiologie, on dispose de données de cohorte qui renseignent sur un groupe de patients suivis dans le temps. Les modèles multi-états de type Markovien proposent un outil intéressant qui permet d'étudier l'évolution d'un patient à travers les différents stades d'une maladie. Dans ce manuscrit, nous rappelons tout d'abord la méthodologie relative au modèle de Markov homogène. Ce modèle est le moins complexe, il suppose que les intensités de transition entre les états sont constantes dans le temps. Dans un second temps, nous étudions un modèle semi-Markovien homogène qui suppose que les intensités de transition dépendent du temps écoulé dans un état de santé. La théorie des processus de comptage est ensuite présentée afin d'introduire des méthodes d'estimations non-paramétriques dans le cadre d'un modèle de Markov non-homogène. Dans ce modèle, les intensités de transition dépendent du temps depuis l'inclusion dans l'étude. Les méthodes d'estimation supposent que le mécanisme de censure n'apporte aucune information sur l'évolution de la maladie. Cette hypothèse étant rarement vérifiée en pratique, nous proposons une méthode d'estimation permettant de prendre en compte une censure informative. Nous présentons également une méthode de programmation visant à faciliter la mise en œuvre des estimateurs basés sur les processus de comptage. Toutes ces méthodes sont appliquées afin d'étudier une base de données de patients asthmatiques. L'objectif est d'aider les cliniciens à mieux comprendre l'évolution de la maladie. Les résultats permettent de mettre en évidence l'impact négatif du surpoids sur l'évolution de l'asthme.

Nous présentons des résultats asymptotiques pour des systèmes monotones réparables, lorsque le nombre de composants est grand. On supposera que les composants sont indépendants, identiques, multi-états et markoviens. Les systèmes k-sur-n généralisés, pour lesquels le niveau k dépend de nombre n de composants, seront les principaux modèles étudiés. Nous montrerons un théorème central limite et une loi des grands nombres pour le premier instant de panne correspondant à un certain niveau k. Nous montrons également une loi du zéro-un pour la disponibilité d'une grande classe de systèmes.

Cette thèse a été réalisée dans un contexte de simulation industrielle qui s'intéresse aux problèmes de la modélisation du comportement humain dans les simulateurs d'entraînement militaire ou de sécurité civile. Nous avons abordé cette problématique sous l'angle de l'apprentissage et de la planification dans l'incertain, en modélisant les problèmes que nous traitons comme des problèmes stochastiques de grande taille dans le cadre des Processus de Décision Markoviens (MDP). Les MDP factorisés (FMDP) sont un cadre standard de représentation des problèmes séquentiels dans l'incertain, où l'état du système est décomposé en un ensemble de variables aléatoires. L'apprentissage par renforcement factorisé (FRL) est une approche d'apprentissage indirecte dans les FMDP où les fonctions de transition et de récompense sont inconnues a priori et doivent être apprises sous une forme factorisée. Par ailleurs, dans les problèmes où certaines combinaisons de variables n'existent pas, la représentation factorisée n'empêche pas la représentation de ces états que nous appelons impossibles. Dans la première contribution de cette thèse, nous montrons comment modéliser ce type de problèmes de manière théoriquement bien fondée. De plus, nous proposons une heuristique qui considère chaque état comme impossible tant qu'il n'a pas été visité. Nous en dérivons un algorithme dont les performances sont démontrées sur des problèmes jouet classiques dans la littérature, MAZE6 et BLOCKS WORLD, en comparaison avec l'approche standard. Pour traiter les MDP de grande taille, les MDP hiérarchiques (HMDP) sont aussi basés sur l'idée de la factorisation mais portent cette idée à un niveau supérieur. D'une factorisation d'état des FMDP, les HMDP passent à une factorisation de tâche, où un ensemble de situations similaires (définies par leurs buts) est représenté par un ensemble de sous-tâches partiellement définies. Autrement dit, il est possible de simplifier le problème en le décomposant en sous-problèmes plus petits et donc plus faciles à résoudre individuellement, mais aussi de réutiliser les sous-tâches afin d'accélérer la recherche de la solution globale. Le formalisme des options qui inclut des actions abstraites à durée étendue, permet de modéliser efficacement ce type d'architecture. La deuxième contribution de cette thèse est la proposition de TeXDYNA, un algorithme pour la résolution de MDP de grande taille dont la structure est inconnue. TeXDYNA combine les techniques d'abstraction hiérarchique de l'apprentissage par renforcement hiérarchique (HRL) et les techniques de factorisation de FRL pour décomposer hiérarchiquement le FMDP sur la base de la découverte automatique des sous-tâches directement à partir de la structure du problème qui est elle même apprise en interaction avec l'environnement. Nous évaluons TeXDYNA sur deux benchmarks, à savoir les problèmes TAXI et LIGHT BOX, et nous montrons que combiner l'abstraction d'information contextuelle dans le cadre des FMDP et la construction d'une hiérarchie dans le cadre des HMDP permet une compression très efficace des structures à apprendre, des calculs plus rapides et une meilleure vitesse de convergence. Finalement, nous estimons le potentiel et les limitations de TeXDYNA sur un problème jouet plus représentatif du domaine de la simulation industrielle.

Au cours de ces dernières années, un ensemble de travaux a permis de mieux comprendre la nature de l'irréversibilité des phénomènes hors de l'équilibre, de redéfinir à l'échelle d'une trajectoire des quantités comme le travail ou la production d'entropie, et de faire émerger leurs symétries au travers des théorèmes de fluctuation. Pendant cette thèse, nous nous sommes intéressés à ces résultats dans un cadre purement classique et markovien. Nous avons unifié les différentes formulations de la généralisation du théorème de fluctuation dissipation autour d'un état stationnaire et non stationnaire hors de l'équilibre en identifiant les différentes sources d'irréversibilité et en les faisant apparaître dans la réponse du système. Nous avons cherché à relier les théorèmes de fluctuation à la théorie de la réponse linéaire ce qui fut possible à l'aide d'une généralisation de la relation de Hatano et Sasa. Ce faisant, nous avons constaté que différentes fonctionnelles vérifiaient des propriétés de symétrie semblables au théorème de fluctuation pour la production totale d'entropie. L'étude de la généralisation de la relation de Hatano et Sasa nous a conduit à une inégalité du même type que l'inégalité de Clausius. Cette nouvelle inégalité donne une borne inférieure pour la production d'entropie dans un système lors de transitions entre états non stationnaires, tout comme c'est le cas avec l'inégalité de Clausius pour des transitions entre états d'équilibre. Nous avons illustré ces idées sur quelques cas simples analytiques ou numériques et dans une expérience où l'on manipule des colloïdes magnétiques. Ces expériences devraient déboucher sur une vérification de la relation de Crooks pour un système à coefficient de diffusion dépendant de la position des colloïdes et permettre de nouveaux tests de la thermodynamique stochastique.

L'intérêt principal de mes recherches se définit dans la construction de modèles décisionnels en contexte incertain qu'il soit dû au comportement aléatoire des systèmes étudiés, des environnements dans lesquels ils évoluent ou encore à la connaissance et la caractérisation de ces modes d'évolution. Les premiers points réfèrent plus à l'analyse des comportements stochastiques des phénomènes étudiés alors que les deux derniers portent essentiellement sur l'analyse statistique des données collectées et l'information disponible. Le document présente une synthèse de mes travaux suivant deux axes : les modèles de décision paramétriques pour l'optimisation de la maintenance conditionnelle et les approches Processus de Décision Markovien appliqués pour des problèmes de gestion de l'entretien routier ou encore l'optimisation de la maintenance sous des contraintes d'évolution technologique.

Les probabilités sont de plus en plus utilisées dans la conception et l'analyse des systèmes logiciels et matériels informatiques. L'introduction des tirages aléatoires dans les algorithmes concurrents et distribués permet de résoudre certains problèmes insolubles dans le cadre déterministe et de réduire la complexité de nombreux autres. Nous avons été amenés à étudier deux types de propriétés probabilistes. La convergence : cette propriété assure que, quel que soit l'état de départ et quel que soit l'enchainement des actions, le système atteindra toujours (avec probabilité 1) un ensemble donné d'états d'arrivée en un nombre fini d'actions (auto-stabilisation).L'accessibilité : ce type de propriété répond à des questions telles que "quelle est la probabilité p qu'une exécution partant d'un état initial donné atteigne un état final donné ? Quelles sont les bornes maximales et minimales de p ?" En ce qui concerne le premier point, nous avons développé de nouveaux critères permettant d'assurer la convergence et d'en calculer la vitesse (mixing time). Ces crotères utilisent l'analogie avec des modèles de physiquestatistique (champs de Markov) et exploitent des outils d'analyse probabiliste classiques (coupling, chaînes de Markov, processus de décision markoviens). Pour le second point, nous avons obtenu des résultats pratiques sur la vérification de protocoles de communication, comme le protocole Ethernet, en les modélisant à l'aide d'automates temporisés probabilistes et utilisant des outils de model-checking temporisés (HyTech) et probabiliste (PRISM, APMC).

Ce travail présente des modèles d'écoulement en temps continu de flux de trafic routier. En premier lieu, il s'agit de modèles microscopiques de poursuite. Un modèle par systèmes d'équations différentielles couplées est proposé, basé sur le temps inter-véhiculaire. Ce modèle intègre un temps de réaction et des possibilités d'anticipation pour chaque véhicule. Les paramètres sont estimés par maximum de vraisemblance dans un modèle statistique à deux niveaux. Des simulations permettent de caractériser le comportement d'une file de véhicules. Dans une approche stochastique, un modèle d'évolution de la distance inter-véhiculaire est étudié à l'aide du processus Markovien de saut zero-range. L'introduction d'un temps de réaction tend à produire des ondes cinématiques. D'autre part, un modèle d'écoulement de trafic par le processus Markovien de saut des misanthropes est proposé. Il s'agit d'une modélisation au niveau mésoscopique, adaptée à la simulation de flux de trafic sur un réseau

En analyse multivariée de données de grande dimension, les lois de Wishart définies dans le contexte des modèles graphiques revêtent une grande importance car elles procurent parcimonie et modularité. Dans le contexte des modèles graphiques Gaussiens régis par un graphe G, les lois de Wishart peuvent être définies sur deux restrictions alternatives du cône des matrices symétriques définies positives : le cône PG des matrices symétriques définies positives x satisfaisant xij=0, pour tous sommets i et j non adjacents, et son cône dual QG. Dans cette thèse, nous proposons une construction harmonieuse de familles exponentielles de lois de Wishart sur les cônes PG et QG. Elle se focalise sur les modèles graphiques d'interactions des plus proches voisins qui présentent l'avantage d'être relativement simples tout en incluant des exemples de tous les cas particuliers intéressants: le cas univarié, un cas d'un cône symétrique, un cas d'un cône homogène non symétrique, et une infinité de cas de cônes non-homogènes. Notre méthode, simple, se fonde sur l'analyse sur les cônes convexes. Les lois de Wishart sur QAn sont définies à travers la fonction gamma sur QAn et les lois de Wishart sur PAn sont définies comme la famille de Diaconis- Ylvisaker conjuguée. Ensuite, les méthodes développées sont utilisées pour résoudre la conjecture de Letac- Massam sur l'ensemble des paramètres de la loi de Wishart sur QAn. Cette thèse étudie aussi les sousmodèles, paramétrés par un segment dans M, d'une famille exponentielle paramétrée par le domaine des moyennes M. / In the framework of Gaussian graphical models governed by a graph G, Wishart distributions can be defined on two alternative restrictions of the cone of symmetric positive definite matrices: the cone PG of symmetric positive definite matrices x satisfying xij=0 for all non-adjacent vertices i and j and its dual cone QG. In this thesis, we provide a harmonious construction of Wishart exponential families in graphical models. Our simple method is based on analysis on convex cones. The focus is on nearest neighbours interactions graphical models, governed by a graph An, which have the advantage of being relatively simple while including all particular cases of interest such as the univariate case, a symmetric cone case, a nonsymmetric homogeneous cone case and an infinite number of non-homogeneous cone cases. The Wishart distributions on QAn are constructed as the exponential family generated from the gamma function on QAn. The Wishart distributions on PAn are then constructed as the Diaconis- Ylvisaker conjugate family for the exponential family of Wishart distributions on QAn. The developed methods are then used to solve the Letac-Massam Conjecture on the set of parameters of type I Wishart distributions on QAn. Finally, we introduce and study exponential families of distributions parametrized by a segment of means with an emphasis on their Fisher information. The focus in on distributions with matrix parameters. The particular cases of Gaussian and Wishart exponential families are further examined.