Le contexte de la thèse porte sur le contrôle des réseaux de distribution de contenu à la demande. La performance des systèmes distribués interactifs dépend essentiellement sur la prévision du comportement de l'utilisateur et la bande passante en tant que ressource de réseau critique. Le préchargement est une approche prédictive bien connu dans le World Wide Web ce qui évite les délais de réponse en exploitant un temps d'arrêt que permet d'anticiper les futures demandes de l'utilisateur et prend avantage des ressources réseau disponibles. Le contrôle de préchargement est une opération vitale pour les systèmes à la demande interactifs où la réponse instantanée est le facteur crucial pour la réussite du système. Le contrôleur en ce type de système interactif fonctionne dans un environnement incertain et rend séquences de décisions à court et long terme effets stochastique. La difficulté est alors de déterminer à chaque état du système les contenus préchargés dans le cache. Le plan de préchargement pendant une session en flux continu interactif peut être modélisé comme un problème de décision séquentielle par les processus de décision de Markov (MDP). Nous nous concentrons sur le problème de contrôle de préchargement, dans lequel le contrôleur cherche à atteindre l'état du système à coût zéro aussi vite que possible. Nous modélisons ce problème de contrôle comme un problème de programmation dynamique stochastique négatif dans lequel nous minimisons le coût total prévu. Dans ce contexte, nous avons abordé les questions de recherche suivantes: 1) Comment fournir un politique de préchargement optimale/ approximative optimale qui maximise l'utilisation de la bande passante tout en minimisant les coûts de blocage et de la latence de l'utilisateur engagés sur le chemin? 2) Comment exploiter la structure du modèle de contrôle de préchargement pour aider efficacement calculer la politique de contrôle de préchargement avec la réduction des efforts de calcul et la mémoire de stockage? 3) Comment mener une étude d'évaluation pour évaluer le préchargement de différents algorithmes heuristiques basée sur le contexte de l'optimisation au lieu du cadre de l'empirique / simulation. Pour l'étude de notre problème de recherche, nous avons développé notre modèle MDP de préchargement, PREF-CT, nous avons établi ses propriétés théoriques et nous avons résolu par l'algorithme Value Iteration comme algorithme MDP pour calculer la politique de préchargement optimale. Pour calcul de la politique de préchargement optimale efficace, nous avons détecté une structure spéciale qui réalise un modèle de contrôle plus compact. Cette structure spéciale permet de développer deux algorithmes différents stratégiquement qui améliorent la complexité du calcul de la politique de préchargement optimale: - la première est « ONE-PASS » le second est « TREE-DEC ». Pour surmonter le problème de la dimensionnalité résultant du calcul de la politique de préchargement optimale, nous avons proposé l'algorithme de préchargement heuristique: « Relevant Blocks Prefetching » (RBP). Pour évaluer et comparer le préchargement politiques calculés par des algorithmes de préchargement heuristiques différents, nous avons présenté un cadre fondé sur des différentes mesures de performance. Nous avons appliqué le cadre proposé sous différentes configurations de coûts et différents comportements des utilisateurs pour évaluer les politiques de préchargement calculées par notre algorithme de préchargement proposé; RBP. Par rapport aux politiques de préchargement optimales, l'analyse expérimentale a prouvé des performances significatives des politiques de préchargement de l'heuristique du RBP algorithme. En outre, l'algorithme heuristique de préchargement; RBP se distingue par une propriété de clustériser qui est important pour réduire considérablement la mémoire nécessaire pour stocker la politique de préchargement. / The thesis context is concerned with the control of theOn-demand contents distribution networks. The performance of suchinteractive distributed systems basically depends on the prediction ofthe user behavior and the bandwidth as a critical network resource.Prefetching is a well-known predictive approach in the World Wide Webwhich avoids the response delays by exploiting some downtime thatpermits to anticipate the user future requests and takes advantage ofthe available network resources. Prefetching control is a vitaloperation for the On-demand interactive systems where the instantaneousresponse is the crucial factor for the system success. The controller insuch type of interactive system operates in an uncertain environment andmakes sequences of decisions with long and short term stochasticeffects. The difficulty, then, is to determine at every system statewhich contents to prefetch into the cache. The prefetching plan duringan interactive streaming session can be modeled as a sequential decisionmaking problem by a Markov Decision Process (MDP). We focus on theprefetching control problem in which the controller seeks to reach aZero-Cost system state as quickly as possible. We model this controlproblem as a Negative Stochastic Dynamic Programming problem in which weminimize the undiscounted total expected cost. Within this context, weaddressed the following research questions: 1) How to provide anoptimal/approximate-optimal prefetching policy that, maximizes thebandwidth utilization while minimizes the user's blocking and latencycosts incurred along the way? 2) How to exploit structure in theprefetching control model to help efficiently compute such prefetchingcontrol policy with both computational efforts and storage memoryreduction? 3) How to conduct a performance evaluation study to evaluatedifferent prefetching heuristic algorithms based on the context of thecontrol optimization rather than the context of theempirical/simulation. For studying our research problem, we developedour MDP prefetching control model, PREF-CT, we established itstheoretical properties and we solved it by the Value Iteration algorithmas MDP algorithm for computing the optimal prefetching policy. Forcomputing the optimal prefetching policy efficiently, we detected aspecial structure that achieves more compact control model. This specialstructure permits to develop two strategically different algorithmswhich improve the complexities of computing the optimal prefetchingpolicy: - the first one is the ONE-PASS which is based mainly on solvinga system of linear equations simultaneously in only one iteration,whereas the second is the TREE-DEC which is based on Markov decisiontree decomposition in which sequential sets of systems of equations aresolved. For overcoming the problem of the curse of dimensionalityresulting from the computation of the optimal prefetching policy, weproposed the prefetching heuristic algorithm: the Relevant BlocksPrefetching algorithm (RBP). For evaluating and comparing prefetchingpolicies computed by different prefetching heuristic algorithms, wepresented a framework based on different performance measures. Weapplied the suggested framework under different costs configurations anddifferent user behaviors to evaluate the prefetching policies computedby our proposed prefetching heuristic algorithm; the RBP. Compared tothe optimal prefetching policies, the experimental analysis provedsignificant performance of the prefetching policies of the RBP heuristicalgorithm. In addition, the RBP prefetching heuristic algorithm isdistinguished by a clustering property which is of importance to reducesignificantly the memory necessary to store the prefetching policy tothe controller.

Nouvelles approches aux jeux évolutionnaires et processus de décision. La théorie des jeux évolutionnaires (EGT) constitue un cadre simple pour étudier le comportement de populations larges dont les membres sont engagés en interactions stratégiques. Dans la première partie de cette thèse nous proposons une nouvelle approche pour la modélisation de l’ évolution, où le joueur est formé par un ensemble d’individus. Nous considérons toujours des interactions entre individus mais nous supposons qu’ils maximisent le fitness du group auquel ils appartiennent. Nous présentons, dans la deuxième partie du manuscrit, une nouvelle approche dynamique des Markov Decision Evolutionary Games, qui constituent une classe des jeux stochastiques. À différence de l’approche statique standard, en ce travail nous considérons les dynamiques des états individuels et couplée avec les politiques et nous les décrivons à travers des équations différentielles interdépendantes. Dans la troisième partie du manuscrit, nous poursuivons l’étude des jeux stochastiques dynamiques dans un contexte différent, la théorie du contrôle. Nous définissions un système stochastique dynamique contrôlé simultanément par deux joueurs engagés dans un jeu à somme non nulle (et non constante) et nous montrons que le problème stochastique peut être approximé à travers un jeu dynamique déterministe. / Evolutionary Game Theory (EGT) constitutes a simple framework to study the behavior of large populations whose individuals are repeatedly engaged in pairwise strategic interactions. While in standard EGT, the interacting individual is the player, choosing the actions to play in order to maximize its own fitness, in the first part of this dissertation we propose, in the first part of this work, a new approach to model evolution, where the player is supposed to be a whole group. We still consider pairwise interactions among individuals but we assume that they maximize the fitness of the group they belong to, which is thus the actual player of the game. In the second part of this dissertation, we present our new dynamical approach to Markov Decision Evolutionary Games. In contrast with the standard static approach, we study here the local dynamics of individual states and the dynamics intrinsically related to the distribution of policies in the population, describing them by interdependent differential equations. In the third part of the manuscript we pursue the study of stochastic dynamics in a different context, that of control theory. We define a hybrid stochastic dynamical system jointly controlled by two players involved in a non-zero sum game and we prove that the problem can be approximated by an averaged deterministic differential game.

Durant cette thèse l’objectif été d’améliorer la manière d'utiliser la précieuse bande passante, qui est gaspillée à cause de la sous-utilisation des réseaux sans fil. Nous étions particulièrement intéressés à toutes les ressources qui peuvent être utilisées de façon opportuniste en utilisant différentes technologies. Nous avons conçu de nouveaux modèles pour une utilisation meilleure et plus efficace des systèmes sans fil. Dans ce sens nous nous sommes focalisés sur les réseaux de communication cognitifs dans la première partie, où un fournisseur de service cellulaire peut louer une partie de ses ressources à des utilisateurs secondaires ou des fournisseurs virtuels. Dans la deuxième partie, nous nous sommes intéressés aux réseaux tolérants au délai comme étant une alternative à l’augmentation importante de la charge de trafic dans le réseau cellulaire. Dans les régions où l'implémentation d'infrastructures réseaux est géographiquement difficile, l'utilisation des réseaux ad-hoc semble une solution adéquate. En effet, nous avons développé dans la dernière partie, une nouvelle modélisation analytique du protocole IEEE 802.11e utilisé dans ce type de réseaux / The present dissertation deals with how to use the precious wireless resources that are usually wasted by under-utilization of networks. We have been particularly interested by all resources that can be used in an opportunistic fashion using different technologies. We have designed new schemes for better and more efficient use of wireless systems by providing mathematical frameworks. In the first part, We have been interested in cognitive radio networks, where a cellular service provider can lease a part of its resources to secondary users or virtual providers. In the second part, we have chosen delay-tolerant networks as a solution to reduce the pressure on the cell traffic, where mobile users come to use available resources effectively and with a cheaper cost. We have focused on optimal strategy for smartphones in hybrid wireless networks. In the last part, an alternative to delay-tolerant networks, specially in regions that are not covered by the cellular network, is to use Ad-hoc networks. Indeed, they can be used as an extension of the coverage area. We have developed a new analytical modeling of the IEEE 802.11e DCF/EDCF. We have investigated the intricate interactions among layers by building a general cross-layered framework to represent multi-hop ad hoc networks with asymmetric topology and traffic

Ce travail de thèse s'intéresse à l'étude des processus de conception de produits dans le cadre de projets d'innovation. L'approche proposée se focalise sur les connaissances associées aux processus de décision, identifiées comme critiques dans ces projets.<br />Les contributions de ce travail de recherche sont centrées sur la compréhension des mécanismes de décision et le support à leur bon déroulement. En premier lieu, un modèle de processus de décision, appelé INDIGO est proposé. Il a pour objectif de représenter l'ensemble des informations associées aux processus de décision, regroupées en un modèle unique, multi-vues. Il s'agit de la vue structure de la décision (les éléments d'information de l'espace de décision), de la vue processus de décision (les activités de décision), de la vue organisation de la décision (les acteurs impliqués dans la décision). Un Système de Gestion des Connaissances, appelé MEYDIAM est ensuite proposé. Il est fondé sur la proposition d'une nouvelle approche de Gestion des Connaissances. Il permet la création et la réutilisation de connaissances liées à la décision par l'utilisation d'informations structurées par le modèle INDIGO. MEYDIAM est principalement constitué dune mémoire de projet. Cet outil, au moyen d'interfaces appelées objets de connaissances, permet de capturer, au fil de l'eau les informations associées aux processus de décision et de les<br />réutiliser. Les contributions ont été validées via une maquette informatique testée dans le cadre des projets d'innovation du groupe PSA PEUGEOT CITROËN.

Cette thèse a été réalisée dans un contexte de simulation industrielle qui s'intéresse aux problèmes de la modélisation du comportement humain dans les simulateurs d'entraînement militaire ou de sécurité civile. Nous avons abordé cette problématique sous l'angle de l'apprentissage et de la planification dans l'incertain, en modélisant les problèmes que nous traitons comme des problèmes stochastiques de grande taille dans le cadre des Processus de Décision Markoviens (MDP). Les MDP factorisés (FMDP) sont un cadre standard de représentation des problèmes séquentiels dans l'incertain, où l'état du système est décomposé en un ensemble de variables aléatoires. L'apprentissage par renforcement factorisé (FRL) est une approche d'apprentissage indirecte dans les FMDP où les fonctions de transition et de récompense sont inconnues a priori et doivent être apprises sous une forme factorisée. Par ailleurs, dans les problèmes où certaines combinaisons de variables n'existent pas, la représentation factorisée n'empêche pas la représentation de ces états que nous appelons impossibles. Dans la première contribution de cette thèse, nous montrons comment modéliser ce type de problèmes de manière théoriquement bien fondée. De plus, nous proposons une heuristique qui considère chaque état comme impossible tant qu'il n'a pas été visité. Nous en dérivons un algorithme dont les performances sont démontrées sur des problèmes jouet classiques dans la littérature, MAZE6 et BLOCKS WORLD, en comparaison avec l'approche standard. Pour traiter les MDP de grande taille, les MDP hiérarchiques (HMDP) sont aussi basés sur l'idée de la factorisation mais portent cette idée à un niveau supérieur. D'une factorisation d'état des FMDP, les HMDP passent à une factorisation de tâche, où un ensemble de situations similaires (définies par leurs buts) est représenté par un ensemble de sous-tâches partiellement définies. Autrement dit, il est possible de simplifier le problème en le décomposant en sous-problèmes plus petits et donc plus faciles à résoudre individuellement, mais aussi de réutiliser les sous-tâches afin d'accélérer la recherche de la solution globale. Le formalisme des options qui inclut des actions abstraites à durée étendue, permet de modéliser efficacement ce type d'architecture. La deuxième contribution de cette thèse est la proposition de TeXDYNA, un algorithme pour la résolution de MDP de grande taille dont la structure est inconnue. TeXDYNA combine les techniques d'abstraction hiérarchique de l'apprentissage par renforcement hiérarchique (HRL) et les techniques de factorisation de FRL pour décomposer hiérarchiquement le FMDP sur la base de la découverte automatique des sous-tâches directement à partir de la structure du problème qui est elle même apprise en interaction avec l'environnement. Nous évaluons TeXDYNA sur deux benchmarks, à savoir les problèmes TAXI et LIGHT BOX, et nous montrons que combiner l'abstraction d'information contextuelle dans le cadre des FMDP et la construction d'une hiérarchie dans le cadre des HMDP permet une compression très efficace des structures à apprendre, des calculs plus rapides et une meilleure vitesse de convergence. Finalement, nous estimons le potentiel et les limitations de TeXDYNA sur un problème jouet plus représentatif du domaine de la simulation industrielle.

L'intérêt principal de mes recherches se définit dans la construction de modèles décisionnels en contexte incertain qu'il soit dû au comportement aléatoire des systèmes étudiés, des environnements dans lesquels ils évoluent ou encore à la connaissance et la caractérisation de ces modes d'évolution. Les premiers points réfèrent plus à l'analyse des comportements stochastiques des phénomènes étudiés alors que les deux derniers portent essentiellement sur l'analyse statistique des données collectées et l'information disponible. Le document présente une synthèse de mes travaux suivant deux axes : les modèles de décision paramétriques pour l'optimisation de la maintenance conditionnelle et les approches Processus de Décision Markovien appliqués pour des problèmes de gestion de l'entretien routier ou encore l'optimisation de la maintenance sous des contraintes d'évolution technologique.

Les probabilités sont de plus en plus utilisées dans la conception et l'analyse des systèmes logiciels et matériels informatiques. L'introduction des tirages aléatoires dans les algorithmes concurrents et distribués permet de résoudre certains problèmes insolubles dans le cadre déterministe et de réduire la complexité de nombreux autres. Nous avons été amenés à étudier deux types de propriétés probabilistes. La convergence : cette propriété assure que, quel que soit l'état de départ et quel que soit l'enchainement des actions, le système atteindra toujours (avec probabilité 1) un ensemble donné d'états d'arrivée en un nombre fini d'actions (auto-stabilisation).L'accessibilité : ce type de propriété répond à des questions telles que "quelle est la probabilité p qu'une exécution partant d'un état initial donné atteigne un état final donné ? Quelles sont les bornes maximales et minimales de p ?" En ce qui concerne le premier point, nous avons développé de nouveaux critères permettant d'assurer la convergence et d'en calculer la vitesse (mixing time). Ces crotères utilisent l'analogie avec des modèles de physiquestatistique (champs de Markov) et exploitent des outils d'analyse probabiliste classiques (coupling, chaînes de Markov, processus de décision markoviens). Pour le second point, nous avons obtenu des résultats pratiques sur la vérification de protocoles de communication, comme le protocole Ethernet, en les modélisant à l'aide d'automates temporisés probabilistes et utilisant des outils de model-checking temporisés (HyTech) et probabiliste (PRISM, APMC).

Bien qu’évoluant dans un cadre national dépourvu d’institutions étatiques, le Hamas exerce bel et bien une politique étrangère qui s’explique bien plus par les intérêts que par l’idéologie. L’analyse des processus de décision internes au mouvement le confirme. Agissant comme des filtrent des intérêts et des propositions idéologiques, ces processus, plus ou moins inclusifs en fonction du contexte et de la nature des décisions, illustrent l’importance des intérêts et la marginalité du rôle de l’idéologie. Seule la trêve conclue en juin 2008 avec Israël a donné lieu à des divergences idéologiques et à conduit au départ de certains membres de la branche armée du mouvement qui ont alors choisi de rejoindre des groupes salafistes. Au-delà de ces divergences, les intérêts des différents acteurs au sein du Hamas convergent au moins parce qu’ils cherchent tous à garantir la prépondérance politique de leur mouvement. La politique étrangère leur permet de réaliser un certain nombre d’intérêts à la fois extérieurs et intérieurs: obtenir la reconnaissance diplomatique et symbolique, rechercher des ressources matérielles, assurer leur domination sur la bande de Gaza et enfin concurrencer leurs adversaires nationalistes et islamistes. Les propositions idéologiques sont constamment adaptées pour accompagner la défense de ces différents intérêts. / The present thesis argues that the Palestinian movement Hamas pursues its own foreign policy even though it may be considered a non state actor, or a semi-state actor at best. The key independent variables determining this foreign policy are internal decision-making processes and various types of interests that in the vast majority of cases prevail upon ideological considerations. Decision making processes vary from period to period and sometimes from case to case. Sometimes their output reflects a compromise of competing interests, even though these compromises are always biased in favour of the stronger groups or factions within the movement. Only the 2008 truce with Israel gave rise to substantial ideological debates which left their trace in the run-up to this event and subsequent cleavages and defections, in particular to the al-Qassam brigades. In spite of various diverging interests, the leaders and members of Hamas share a basic objective which is to guarantee the political supremacy of their movement in Palestine. Its foreign policy enables Hamas to pursue a number of interests both external and internal: to obtain diplomatic and symbolic recognition, mobilize material and symbolical ressources, secure its domination over the Gaza strip, and compete with its nationalist and islamist opponents. Ideological propositions are constantly adapted to these different interests.

Les politiques publiques environnementales cherchent à impacter des comportements de consommation. Néanmoins, la relation causale entre l'action publique mise en œuvre et le changement de comportement se caractérise par des discontinuités. Elle doit donc être approfondie en combinant l'angle d'analyse des politiques publiques et du processus de décision du consommateur. En effet, ce dernier dépend également d'autres déterminants psychosociaux et d'autres facteurs contextuels. L'impact spécifique des instruments des politiques publiques doit cependant pouvoir y être distingué. Notre étude sur la politique publique environnementale française visant à l'acquisition de voitures à faibles émissions de carbone permet de comprendre l'impact des instruments des politiques publiques sur le processus de décision d'achat du consommateur. En effet, l'attitude envers les instruments de l'action publique produit des effets sur le processus de décision du consommateur. Cet impact n'est pas direct, mais il modère les relations causales entre les principaux déterminants du comportement. Ces effets modérateurs dépendent de la nature psychologique ou structurelle des instruments des politiques publiques qui impactent des relations spécifiques du processus de décision du consommateur.

Le dialogue interne (D-I) est une aptitude mentale de plus en plus utilisée chez les athlètes de haut niveau mais peu étudiée dans les sports d’équipes. Son impact mérite d’être évalué dans des contextes d’équipe durant de réelles compétitions puisque le dialogue interne de l'athlète dans un sport collectif peut influencer certaines habiletés mentales telles la prise de décisions tactiques et la focalisation sur les stimuli appropriés. Ainsi, cette étude a bénéficié de la participation de 10 joueurs de hockey élites mâles âgés de 16 à 20 ans pour examiner les effets de deux traitements distincts de D-I, un axé sur la motivation et l’autre sur l’instruction. Dans cette analyse portant sur l’efficacité des sujets à accomplir des tâches de tactique collective (effet sur processus de décision) pendant des joutes de saison régulière, tous les athlètes semblent avoir amélioré leurs performances. Généralement, le groupe s’adonnant au traitement de D-I d’instruction a largement dépassé les pourcentages de réussite de celui du D-I de motivation. Cependant, les athlètes du groupe de D-I de motivation ont eu plus de succès que prévu. Il appert aussi que le traitement de D-I d’instruction ait été plus difficile à assimiler à court terme que le traitement de motivation, mais son impact positif apparaît avoir stagné moins rapidement. Les joueurs plus expérimentés n’ont pas affiché une meilleure progression dans leurs prises de décisions comparativement aux moins expérimentés. Le D-I de motivation semble avoir eu plus d’effet que celui d’instruction lorsqu’utilisé en période de fatigue et de stress. / Self-talk (S-T) is a mental skill which is used more and more by elite athletes but there is a lack of research on its effect in team sports. Its impact deserves to be evaluated as much during team contexts and real competitions as it does in individual sports because self-talk can affect a team sport athlete's ability to perform mental skills such as good tactical decision-making and focusing on the proper stimuli. Therefore, with the participation of 10 elite hockey players varying from 16 to 20 years old, this study examines the effect of two distinct self-talk treatments, a motivational one and an instructional one. The analysis, evaluating the efficiency of the subjects' ability to accomplish collective tactics (effect on decision process) during the regular season games, has shown that all athletes showed some improvement in their performances. Generally, the group associated with the instructional self-talk treatment has proven to be considerably more effective in decision-making than the motivational group. However, the athletes from the motivational self-talk group generated better results than expected. It seems also that, in the short term, the instructional self-talk treatment was more difficult to assimilate than the motivational one but its positive impact appears to have lasted longer. Furthermore, the more experienced players did not display a better progression in their decision process compared to the less experienced ones. Also, motivational self-talk appears to have produced better effects than the instructional one when used during periods of fatigue and stress.