La théorie des AMAS (Adaptive Multi-Agent Systems) propose de résoudre des problèmes complexes par auto-organisation pour lesquels aucune solution algorithmique n'est connue. Le comportement auto-organisateur des agents coopératifs permet au système de s'adapter à un environnement dynamique pour maintenir le système dans un état de fonctionnement adéquat. Dans cette thèse, cette approche a été appliquée au contrôle dans les systèmes ambiants, et plus particulièrement à la robotique de service. En effet, la robotique de service tend de plus en plus à s'intégrer à des environnements ambiants, on parle alors de robotique ambiante. Les systèmes ambiants présentent des caractéristiques, telles que l'ouverture et l'hétérogénéité, qui rendent la tâche de contrôle particulièrement complexe. Cette complexité est accrue si l'on prend en compte les besoins spécifiques, changeants et parfois contradictoires des utilisateurs. Les travaux de cette thèse proposent d'utiliser les principes de l'auto-organisation, pour concevoir un système multi-agent capable d'apprendre en temps réel à contrôler un système à partir des démonstrations faites par un tuteur. C'est l'apprentissage par démonstration. En observant l'activité de l'utilisateur et en apprenant le contexte dans lequel l'utilisateur agit, le système apprend une politique de contrôle pour satisfaire les utilisateurs. Nous proposons un nouveau paradigme de conception des systèmes robotiques sous le nom d'Extreme Sensitive Robotics. L'idée de base de ce paradigme est de distribuer le contrôle au sein des différentes fonctionnalités qui composent un système et de doter chacune de ces fonctionnalités de la capacité à s'adapter de manière autonome à son environnement. Pour évaluer l'apport de ce paradigme, nous avons conçu ALEX (Adaptive Learner by EXperiments), un système multi-agent adaptatif dont la fonction est d'apprendre, en milieux ambiants, à contrôler un dispositif robotique à partir de démonstrations. L'approche par AMAS permet la conception de logiciels à fonctionnalités émergentes. La solution à un problème émerge des interactions coopératives entre un ensemble d'agents autonomes, chaque agent ne possédant qu'une vue partielle de l'environnement. L'application de cette approche nous conduit à isoler les différents agents impliqués dans le problème du contrôle et à décrire leurs comportements locaux. Ensuite, nous identifions un ensemble de situations de non coopération susceptibles de nuire à leurs comportements et proposons un ensemble de mécanismes pour résoudre et anticiper ces situations. Les différentes expérimentations ont montré la capacité du système à apprendre en temps réel à partir de l'observation de l'activité de l'utilisateur et ont mis en évidence les apports, les limitations et les perspectives offertes par notre approche à la problématique du contrôle de systèmes ambiants. / The AMAS (Adaptive Multi-Agent Systems) theory proposes to solve complex problems for which there is no known algorithmic solution by self-organization. The self-organizing behaviour of the cooperative agents enables the system to self-adapt to a dynamical environment to maintain the system in a functionality adequate state. In this thesis, we apply the theory to the problematic of control in ambient systems, and more particularly to service robotics. Service robotics is more and more taking part in ambient environment, we talk of ambient robotics. Ambient systems have challenging characteristics, such as openness and heterogeneity, which make the task of control particularly complex. This complexity is increased if we take into account the specific, changing and often contradictory needs of users. This thesis proposes to use the principle of self-organization to design a multi-agent system with the ability to learn in real-time to control a robotic device from demonstrations made by a tutor. We then talk of learning from demonstrations. By observing the activity of the users, and learning the context in which they act, the system learns a control policy allowing to satisfy users. Firstly, we propose a new paradigm to design robotic systems under the name Extreme Sensitive Robotics. The main proposal of this paradigm is to distribute the control inside the different functionalities which compose a system, and to give to each functionality the capacity to self-adapt to its environment. To evaluate the benefits of this paradigm, we designed ALEX (Adaptive Learner by Experiments), an Adaptive Multi-Agent System which learns to control a robotic device from demonstrations. The AMAS approach enables the design of software with emergent functionalities. The solution to a problem emerges from the cooperative interactions between a set of autonomous agents, each agent having only a partial perception of its environment. The application of this approach implies to isolate the different agents involved in the problem of control and to describe their local behaviour. Then, we identify a set of non-cooperative situations susceptible to disturb their normal behaviour, and propose a set of cooperation mechanisms to handle them. The different experimentations have shown the capacity of our system to learn in realtime from the observation of the activity of the user and have enable to highlight the benefits, limitations and perspectives offered by our approach to the problematic of control in ambient systems.

Les robots modernes sont appelés à effectuer des opérations ou tâches complexes et la capacité de navigation autonome dans un environnement dynamique est un besoin essentiel pour les robots mobiles. Dans l’objectif de soulager de la fastidieuse tâche de préprogrammer un robot manuellement, cette thèse contribue à la conception de commande intelligente afin de réaliser l’apprentissage des robots mobiles durant la navigation autonome. D’abord, nous considérons l’apprentissage des robots via des démonstrations d’experts. Nous proposons d’utiliser un réseau de neurones pour apprendre hors-ligne une politique de commande à partir de données utiles extraites d’expertises. Ensuite, nous nous intéressons à l’apprentissage sans démonstrations d’experts. Nous utilisons l’apprentissage par renforcement afin que le robot puisse optimiser une stratégie de commande pendant le processus d’interaction avec l’environnement inconnu. Un réseau de neurones est également incorporé et une généralisation rapide permet à l’apprentissage de converger en un certain nombre d’épisodes inférieur à la littérature. Enfin, nous étudions l’apprentissage par fonction de récompenses potentielles compte rendu des démonstrations d’experts optimaux ou non-optimaux. Nous proposons un algorithme basé sur l’apprentissage inverse par renforcement. Une représentation non-linéaire de la politique est désignée et la méthode du max-margin est appliquée permettant d’affiner les récompenses et de générer la politique de commande. Les trois méthodes proposées sont évaluées sur des robots mobiles afin de leurs permettre d’acquérir les compétences de navigation autonome dans des environnements dynamiques et inconnus / Modern robots are designed for assisting or replacing human beings to perform complicated planning and control operations, and the capability of autonomous navigation in a dynamic environment is an essential requirement for mobile robots. In order to alleviate the tedious task of manually programming a robot, this dissertation contributes to the design of intelligent robot control to endow mobile robots with a learning ability in autonomous navigation tasks. First, we consider the robot learning from expert demonstrations. A neural network framework is proposed as the inference mechanism to learn a policy offline from the dataset extracted from experts. Then we are interested in the robot self-learning ability without expert demonstrations. We apply reinforcement learning techniques to acquire and optimize a control strategy during the interaction process between the learning robot and the unknown environment. A neural network is also incorporated to allow a fast generalization, and it helps the learning to converge in a number of episodes that is greatly smaller than the traditional methods. Finally, we study the robot learning of the potential rewards underneath the states from optimal or suboptimal expert demonstrations. We propose an algorithm based on inverse reinforcement learning. A nonlinear policy representation is designed and the max-margin method is applied to refine the rewards and generate an optimal control policy. The three proposed methods have been successfully implemented on the autonomous navigation tasks for mobile robots in unknown and dynamic environments.