Biomimetic flapping-wing vehicles have attracted recent interest because of their numerous potential military and civilian applications. In this dissertation is described the design of a multi-agent adaptive controller for such a vehicle. This controller is responsible for estimating the vehicle pose (position and orientation) and then generating four parameters needed for split-cycle control of wing movements to correct pose errors. These parameters are produced via a subsumption architecture rule base. The control strategy is fault tolerant. Using an online learning process, an agent continuously monitors the vehicle's behavior and initiates diagnostics if the behavior has degraded. This agent can then autonomously adapt the rule base if necessary. Each rule base is constructed using a combination of extrinsic and intrinsic evolution. Details of the vehicle, the multi-agent system architecture, agent task scheduling, rule base design, and vehicle control are provided.

Notre contribution dans le cadre de cette thèse est la proposition d'une nouvelle procédure de réservation de ressources à l'avance dans les réseaux IP mobiles et sans fil. Cette procédure fait appel à un nouvel objet nommé MSpec (Mobility Specification) qui représente les futures localisations du terminal mobile. Nous avons proposé un format pour cet objet ainsi qu'un profil de mobilité pour les utilisateurs mobiles qui inclut l'objet MSpec. Ce profil de mobilité découle de l'analyse du comportement de l'utilisateur durant une phase d'observation. Nous avons proposé, également, une extension de ce profil afin de pouvoir gérer le handover vertical (passage d'une technologie d'accès à une autre). Durant la phase d'observation, l'utilisateur est nouveau et le système ne peut donc pas réserver de ressources à l'avance car il ne connaît pas le profil de mobilité de l'utilisateur, et par conséquent le contenu de l'objet MSpec. Sans réservation de ressources à l'avance, nous utilisons la technologie Agent afin d'améliorer la qualité de service demandée par l'utilisateur mobile. Le rôle des agents, dans cette phase, est d'adapter le handover horizontal (passage d'une cellule à une autre en utilisant la même technologie d'accès) et le handover vertical aux besoins de qualité de service de l'utilisateur.

Ce travail de thèse, mené sur deux thématiques : les réseaux ambiants et la simulation multi-agent, a pour contexte l'étude des interactions entre le fonctionnement des réseaux ambiants (réseaux pair-à-pair et réseaux mobiles ad hoc networks) et les comportements de leurs usagers (mobilité, partage d'un service, etc.). Pour étudier ces phénomènes, nous avons mis en lumière le besoin de réutiliser, de coupler et de faire interagir des outils de modélisation et de simulation provenant de domaines scientifiques différents (réseaux informatiques, simulations sociales) afin d'intégrer simultanément plusieurs niveaux d'abstraction dans l'étude menée. Cette problématique de réutilisation et de couplage de modèles (la multi-modélisation) et de simulation (interopérabilité de simulateurs) n'est pas propre aux seuls réseaux ambiants et celle-ci s'inscrit dans le domaine plus vaste de l'étude des systèmes complexes. Cette thèse se propose d'aborder les questions de réutilisation et de couplage des outils de modélisation et de simulation sous l'angle des systèmes multi-agents et d'inscrire les solutions à la fois d'ingénierie logicielle, de simulation distribuée, de multi-modélisation dans un cadre multi-agent générique et homogène : le méta-modèle AA4MM. L'idée fondatrice est de créer une société de modèles, de simulateurs et de logiciels de simulation (que l'on nommera blocs MSL) afin d'intégrer plusieurs niveaux d'abstraction dans une même modélisation et simulation. AA4MM propose une approche multi-agent homogène qui permet de facilement réutiliser des blocs MSL, de les rendre interopérable et de les coupler de manière modulaire. AA4MM permet également au modélisateur de clairement spécifier les changements d'échelles. AA4MM propose une méthode de simulation totalement décentralisée. Au niveau des aspects théoriques du méta-modèle AA4MM, nous avons proposé une preuve formelle de l'algorithme de simulation décentralisée. Nous avons également appliqué AA4MM à un cas d'étude pédagogique en couplant ensemble plusieurs instances de NetLogo (un outil de simulation répandu). Nous avons également appliqué AA4MM aux réseaux ambiants et à notre question initiale sur les influences mutuelles entre performances du réseau et comportements des usagers. Dans ce contexte, nous avons pu réutiliser des simulateurs existants qui n'étaient pas prévus pour interagir afin d'aborder les phénomènes d'influences mutuelles entre performances des réseaux et comportements de leurs usagers.

Recent work has shown humanoid robots with spinal columns, instead of rigid torsos, benefit from both better balance and an increased ability to absorb external impact. Similarly, snake robots have shown promise as a viable option for exploration in confined spaces with limited human access, such as during power plant maintenance. Both spines and snakes, as well as hyper-redundant manipulators, can simplify to a model of a system with multiple links. The multi-link inverted pendulum is a well known benchmark problem in control systems due to its ability to accommodate varying model complexity. Such a system is useful for testing new learning algorithms or laying the foundation for autonomous control of more complex devices such as robotic spines and multi-segmented arms which currently use traditional control methods or are operated by humans. It is often easy to view these systems as single-agent learners due to the high level of interaction among the segments. However, as the number of links in the system increases, the system becomes harder to control. This work replaces the centralized learner with a team of coevolved agents. The use of a multiagent approach allows for control of larger systems. The addition of transfer learning not only increases the learning rate, but also enables the training of larger teams which were previously infeasible due to extended training times. The results presented support these claims by examining neuro-evolutionary control of 3-, 6-, and 12-link systems with nominal conditions as well as with sensor noise, actuator noise, and the addition of more complex physics. / Graduation date: 2012

Les systèmes complexes sont présents partout dans notre environnement : internet, réseaux de distribution d'électricité, réseaux de transport. Ces systèmes ont pour caractéristiques d'avoir un grand nombre d'entités autonomes, des structures dynamiques, des échelles de temps et d'espace différentes, ainsi que l'émergence de phénomènes. Ce travail de thèse se focalise sur la problématique du contrôle de tels systèmes. Il s'agit de déterminer, à partir d'une perception partielle de l'état du système, quelle(s) actions(s) effectuer pour éviter ou au contraire favoriser certains états globaux du système. Cette problématique pose plusieurs questions difficiles : pouvoir évaluer l'impact au niveau collectif d'actions appliqués au niveau individuel, modéliser la dynamique d'un système hétérogène (plusieurs comportements différents en interaction), évaluer la qualité des estimations issues de la modélisation de la dynamique du système. Nous proposons une architecture de contrôle selon une approche " equation-free ". Nous utilisons un modèle multi-agents pour évaluer l'impact global d'actions de contrôle locales avant d'appliquer la plus pertinente. Associée à cette architecture, une plateforme a été développée pour confronter ces idées à l'expérimentation dans le cadre d'un phénomène simulé de " free-riding " dans les réseaux d'échanges de fichiers pair à pair. Nous avons montré que cette approche permettait d'amener le système dans un état où une majorité de pairs partagent alors que les conditions initiales (sans intervention) feraient évoluer le système vers un état où aucun pair ne partage. Nous avons également expérimenté avec différentes configurations de l'architecture pour identifier les différents moyens d'améliorer ses performances.

Resource allocation problems have been widely studied according to various scenarios in literature. In such problems, a set of resources must be allocated to a set of agents, according to their own preferences. Self-organization issues in telecommunication, scheduling problems or supply chain management problems can be modeled using resource allocation problems. Such problems are usually solved by means of centralized techniques, where an omniscient entity determines how to optimally allocate resources. However, these solving methods are not well-adapted for applications where privacy is required. Moreover, several assumptions made are not always plausible, which may prevent their use in practice, especially in the context of agent societies. For instance, dynamic applications require adaptive solving processes, which can handle the evolution of initial data. Such techniques never consider restricted communication possibilities whereas many applications are based on them. For instance, in peer-to-peer networks, a peer can only communicate with a small subset of the systems. In this thesis, we focus on distributed methods to solve resource allocation problems. Initial allocation evolves step by step thanks to local agent negotiations. We seek to provide agent behaviors leading negotiation processes to socially optimal allocations. In this work, resulting resource allocations can be viewed as emergent phenomena. We also identify parameters favoring the negotiation efficiency. We provide the negotiation settings to use when four different social welfare notions are considered. The original method proposed in this thesis is adaptive, anytime and can handle any restriction on agent communication possibilities.

Les simulateurs de conduite sont utilisées par l'industrie automobile pour le développement de systèmes d'aide à la conduite, des études d'ergonomie, de design, ou encore du comportement des conducteurs. L'objectif est d'améliorer la sécurité des véhicules, et de réduire coûts et délais des projets. Dans les simulateurs, le conducteur évolue dans un trafic simulé dont le réalisme est crucial pour la validité des résultats : les réactions d'un conducteur sont d'autant plus correctes qu'il perçoit l'environnement comme réel. Dans les approches centrées individu, comme ici le trafic, un des critères important pour le réalisme est la variété comportementale des agents. De plus, les comportements doivent également être cohérents : l'apparition de situations aberrantes est très pénalisante pour l'immersion. Cependant, ces deux aspects ne sont généralement pas pris en compte simultanément. Dans ce travail, nous nous sommes donc intéressés à la question suivante : dans les approches centrées individus, augmenter la variété des comportements des agents tout en préservant leur cohérence améliore-t-il le réalisme ? Par ailleurs, le contexte industriel des travaux, effectués en convention Cifre chez Renault, impliquait des besoins spécifiques : il fallait concevoir un outil qui permette à la fois aux experts de spécifier des comportements variés et cohérents, et aux utilisateurs finaux de les exploiter facilement. Nous proposons dans ce travail un modèle de différenciation comportementale, qui se décline en un outil dont les principaux apports sont d'être générique, non-intrusif, et de permettre une conception en dehors de l'agent. Le modèle s'articule selon trois axes. Tout d'abord, il décrit les comportements des agents par des normes. Celles-ci fournissent un profil comportemental à la conception, et un contrôle de la conformitéà l'exécution. Ensuite, le processus de génération des comportements permet d'autoriser la création d'agents déviants ou en violation. Il influe pour cela sur le déterminisme du mécanisme. Enfin, les normes peuvent être inférées à partir de simulations enregistrées ou de situations réelles, afin d'analyser les résultats des expérimentations et d'automatiser la configuration du modèle. Nous avons appliqué cet outil à la simulation de trafic dans scaner, l'application développée et utilisée par le Centre Technique de Simulation de Renault pour ses simulateurs de conduite. Les modules logiciels développés au cours de la thèse introduisent dans le trafic des styles de conduite spécifiés sous forme de normes, par exemple des conducteurs prudents ou agressifs. Ils permettent ensuite de peupler l'environnement de manière automatisée, et de faire évoluer facilement les scénarios existants. Ces développements sont d'ores et déjà intégrés dans la version commerciale de l'application. Au delà de l'amélioration subjective du réalisme, les expérimentations réalisées démontrent les apports de l'outil sur la variété et la représentativité des comportements obtenus.

This dissertation presents a suite of design tools for multi-agent systems that address three main areas: network design, decentralized controller generation, and the synthesis of decentralized control strategies by combining individual decentralized controllers. First, a new metric for quantifying heterogeneity in multi-agent systems is presented based on combining different notions of entropy, and is shown to overcome the drawbacks associated with existing diversity metrics in various scientific fields. Moreover, a new method of controlling multi-agent networks through the single-leader network paradigm is presented where by directly exploiting the homogeneity of agent capabilities, a network which is not completely controllable can be driven closer to a desired target configuration than by using traditional control techniques. An algorithm is presented for generating decentralized control laws that allow for agents to best satisfy a desired global objective, while taking into account network topological constraints and limitations on how agents can compute their control signals. Then, a scripting tool is developed to aid in specifying sequences of decentralized controllers to be executed consecutively, while helping ensure that the required network topological requirements needed for each controller to execute properly are maintained throughout mode switches. Finally, the underlying concepts behind the developed tools are showcased in three example applications: distributed merging and spacing for heterogeneous aircraft during terminal approaches, collaborative multi-UAV convoy protection in dynamic environments, and an educational tool used to teach a graduate-level networked controls course at the Georgia Institute of Technology.

Ce mémoire de thèse s'intéresse à la prise en compte de la dimension temporelle au sein des systèmes multi-agents (SMA) dans le contexte de systèmes industriels dynamiques.L'étude s'appuie sur l'approche Voyelles afin d'étudier l'impact du temps au sein de chacune des dimensions d'un SMA que cette approche distingue et afin de mettre en place un raisonnement temporel orienté multi-agents.Après avoir analysé les conséquences de la prise en compte du temps dans chacun de ses aspects, un ensemble de méthodes et d'outils sont proposés pour résoudre les problèmes mis en évidence. Le modèle de SMA temporel proposé présente notamment une prise en compte des aspects temporels au sein de l'interaction et del'organisation ainsi qu'un modèle d'agent permettant de les intégrer. Ces propositions sont ensuite confrontées à des applications concrètes issues du milieu industriel.

Multiagent coordination problems arise in a variety of applications, from satellite constellations and formation flight, to air traffic control and unmanned vehicle teams. We investigate the coordination of mobile agents using two kinds of approaches. In the first, which takes its inspiration from fluid dynamics and algebraic topology, control authority is split between mobile agents and a network of static infrastructure nodes - like wireless base stations or air traffic control towers - and controllers are developed that distribute their computation throughout this network. In the second, we look at networks of interconnected mechanical systems, and develop novel optimal control algorithms, which involve the computation of optimal deformations of time- and output- spaces, to achieve approximate formation tracking. Finally, we investigate algorithms that optimize these controllers to meet subjective criteria of humans.