Cette thèse explore l'utilisation des modèles bayésiens dans les IA de jeux vidéo multi-joueurs, particulièrement l'IA des jeux de stratégie en temps réel (STR). Les jeux vidéo se situent entre la robotique et la simulation totale, car les autres joueurs ne sont pas simulés, et l'IA n'a pas de contrôle sur la simulation. Les jeux de STR demandent simultanément d'effectuer des actions reactives (contrôle d'unités) et de prendre des décisions stratégiques (technologiques, économiques) et tactiques (spatiales, temporelles). Nous avons utilisé la modélisation bayésienne comme une alternative à la logique (booléenne), étant capable de travailler avec des informations incomplètes, et donc incertaines. En effet, la spécification incomplète des comportement "scriptés", ou la spécification incomplète des états possibles dans la recherche de plans, demandent une solution qui peut gérer cette incertitude. L'apprentissage artificiel aide à réduire la complexité de spécifier de tels modèles. Nous montrons que la programmation bayésienne peut intégrer toutes sortes de sources d'incertitudes (états cachés, intentions, stochasticité) par la réalisation d'un joueur de StarCraft complètement robotique. Les distributions de probabilité sont un moyen de transporter, sans perte, l'information que l'on a et qui peut représenter au choix: des contraintes, une connaissance partielle, une estimation de l'espace des états et l'incomplétude du modèle lui-même. Dans la première partie de cette thèse, nous détaillons les solutions actuelles aux problèmes qui se posent lors de la réalisation d'une IA de jeu multi-joueur, en donnant un aperçu des caractéristiques calculatoires et cognitives complexes des principaux types de jeux. En partant de ce constat, nous résumons les catégories transversales de problèmes, et nous introduisons comment elles peuvent être résolues par la modélisation bayésienne. Nous expliquons alors comment construire un programme bayésien en partant de connaissances et d'observations du domaine à travers un exemple simple de jeu de rôle. Dans la deuxième partie de la thèse, nous détaillons l'application de cette approche à l'IA de STR, ainsi que les modèles auxquels nous sommes parvenus. Pour le comportement réactif (micro-management), nous présentons un controleur multi-agent décentralisé et temps réel inspiré de la fusion sensori-motrice. Ensuite, nous accomplissons les adaptation dynamiques de nos stratégies et tactiques à celles de l'adversaire en le modélisant à l'aide de l'apprentissage artificiel (supervisé et non supervisé) depuis des traces de joueurs de haut niveau. Ces modèles probabilistes de joueurs peuvent être utilisés à la fois pour la prédiction des décisions/actions de l'adversaire, mais aussi à nous-même pour la prise de décision si on substitue les entrées par les notres. Enfin, nous expliquons l'architecture de notre joueur robotique de StarCraft, et nous précisions quelques détails techniques d'implémentation. Au delà des modèles et de leurs implémentations, il y a trois contributions principales: la reconnaissance de plan et la modélisation de l'adversaire par apprentissage artificiel, en tirant partie de la structure du jeu, la prise de décision multi-échelles en présence d'informations incertaines, et l'intégration des modèles bayésiens au contrôle temps réel d'un joueur artificiel.

Contexte : Cette thèse se déroule dans les contextes de l'intelligence ambiante et de la reconnaissance de scène (sur mobile). Historiquement, le projet vient de l'entreprise ST-Ericsson. Il émane d'un besoin de développer et intégrer un "serveur de contexte" sur smartphone capable d'estimer et de fournir des informations de contexte pour les applications tierces qui le demandent. Un exemple d'utilisation consiste en une réunion de travail où le téléphone sonne~; grâce à la reconnaissance de la scène, le téléphone peut automatiquement réagir et adapter son comportement, par exemple en activant le mode vibreur pour ne pas déranger.Les principaux problèmes de la thèse sont les suivants : d'abord, proposer une définition de ce qu'est une scène et des exemples de scènes pertinents pour l'application industrielle ; ensuite, faire l'acquisition d'un corpus de données à exploiter par des approches d'apprentissage automatique~; enfin, proposer des solutions algorithmiques au problème de la reconnaissance de scène.Collecte de données : Aucune des bases de données existantes ne remplit les critères fixés (longs enregistrements continus, composés de plusieurs sources de données synchronisées dont l'audio, avec des annotations pertinentes).Par conséquent, j'ai développé une application Android pour la collecte de données. L'application est appelée RecordMe et a été testé avec succès sur plus de 10 appareils. L'application a été utilisée pour 2 campagnes différentes, incluant la collecte de scènes. Cela se traduit par plus de 500 heures enregistrées par plus de 25 bénévoles, répartis principalement dans la région de Grenoble, mais aussi à l'étranger (Dublin, Singapour, Budapest). Pour faire face au problème de protection de la vie privée et de sécurité des données, des mesures ont été mises en place dans le protocole et l'application de collecte. Par exemple, le son n'est pas sauvegardé, mes des coefficients MFCCs sont enregistrés.Définition de scène : L'étude des travaux existants liés à la tâche de reconnaissance de scène, et l'analyse des annotations fournies par les bénévoles lors de la collecte de données, ont permis de proposer une définition d'une scène. Elle est définie comme la généralisation d'une situation, composée d'un lieu et une action effectuée par une seule personne (le propriétaire du smartphone). Des exemples de scènes incluent les moyens de transport, la réunion de travail, ou le déplacement à pied dans la rue. La notion de composition permet de décrire la scène avec plusieurs types d'informations. Cependant, la définition est encore trop générique, et elle pourrait être complétée par des informations additionnelles, intégrée à la définition comme de nouveaux éléments de la composition.Algorithmique : J'ai réalisé plusieurs expériences impliquant des techniques d'apprentissage automatique supervisées et non non-supervisées. La partie supervisée consiste en de la classification. La méthode est commune~: trouver des descripteurs des données pertinents grâce à l'utilisation d'une méthode de sélection d'attribut ; puis, entraîner et tester plusieurs classifieurs (arbres de décisions et forêt d'arbres décisionnels ; GMM ; HMM, et DNN). Également, j'ai proposé un système à 2 étages composé de classifieurs formés pour identifier les concepts intermédiaires et dont les prédictions sont fusionnées afin d'estimer la scène la plus probable. Les expérimentations non-supervisées visent à extraire des informations à partir des données. Ainsi, j'ai appliqué un algorithme de regroupement hiérarchique ascendant, basé sur l'algorithme EM, sur les données d'accélération et acoustiques considérées séparément et ensemble. L'un des résultats est la distinction des données d'accélération en groupes basés sur la quantité d'agitation. / Context: This PhD takes place in the contexts of Ambient Intelligence and (Mobile) Context/Scene Awareness. Historically, the project comes from the company ST-Ericsson. The project was depicted as a need to develop and embed a “context server” on the smartphone that would get and provide context information to applications that would require it. One use case was given for illustration: when someone is involved in a meeting and receives a call, then thanks to the understanding of the current scene (meet at work), the smartphone is able to automatically act and, in this case, switch to vibrate mode in order not to disturb the meeting. The main problems consist of i) proposing a definition of what is a scene and what examples of scenes would suit the use case, ii) acquiring a corpus of data to be exploited with machine learning based approaches, and iii) propose algorithmic solutions to the problem of scene recognition.Data collection: After a review of existing databases, it appeared that none fitted the criteria I fixed (long continuous records, multi-sources synchronized records necessarily including audio, relevant labels). Hence, I developed an Android application for collecting data. The application is called RecordMe and has been successfully tested on 10+ devices, running Android 2.3 and 4.0 OS versions. It has been used for 3 different campaigns including the one for scenes. This results in 500+ hours recorded, 25+ volunteers were involved, mostly in Grenoble area but abroad also (Dublin, Singapore, Budapest). The application and the collection protocol both include features for protecting volunteers privacy: for instance, raw audio is not saved, instead MFCCs are saved; sensitive strings (GPS coordinates, device ids) are hashed on the phone.Scene definition: The study of existing works related to the task of scene recognition, along with the analysis of the annotations provided by the volunteers during the data collection, allowed me to propose a definition of a scene. It is defined as a generalisation of a situation, composed of a place and an action performed by one person (the smartphone owner). Examples of scenes include taking a transportation, being involved in a work meeting, walking in the street. The composition allows to get different kinds of information to provide on the current scene. However, the definition is still too generic, and I think that it might be completed with additionnal information, integrated as new elements of the composition.Algorithmics: I have performed experiments involving machine learning techniques, both supervised and unsupervised. The supervised one is about classification. The method is quite standard: find relevant descriptors of the data through the use of an attribute selection method. Then train and test several classifiers (in my case, there were J48 and Random Forest trees ; GMM ; HMM ; and DNN). Also, I have tried a 2-stage system composed of a first step of classifiers trained to identify intermediate concepts and whose predictions are merged in order to estimate the most likely scene. The unsupervised part of the work aimed at extracting information from the data, in an unsupervised way. For this purpose, I applied a bottom-up hierarchical clustering, based on the EM algorithm on acceleration and audio data, taken separately and together. One of the results is the distinction of acceleration into groups based on the amount of agitation.

Cette thèse explore l'utilisation des modèles bayésiens dans les IA de jeux vidéo multi-joueurs, particulièrement l'IA des jeux de stratégie en temps réel (STR). Les jeux vidéo se situent entre la robotique et la simulation totale, car les autres joueurs ne sont pas simulés, et l'IA n'a pas de contrôle sur la simulation. Les jeux de STR demandent simultanément d'effectuer des actions reactives (contrôle d'unités) et de prendre des décisions stratégiques (technologiques, économiques) et tactiques (spatiales, temporelles). Nous avons utilisé la modélisation bayésienne comme une alternative à la logique (booléenne), étant capable de travailler avec des informations incomplètes, et donc incertaines. En effet, la spécification incomplète des comportement "scriptés", ou la spécification incomplète des états possibles dans la recherche de plans, demandent une solution qui peut gérer cette incertitude. L'apprentissage artificiel aide à réduire la complexité de spécifier de tels modèles. Nous montrons que la programmation bayésienne peut intégrer toutes sortes de sources d'incertitudes (états cachés, intentions, stochasticité) par la réalisation d'un joueur de StarCraft complètement robotique. Les distributions de probabilité sont un moyen de transporter, sans perte, l'information que l'on a et qui peut représenter au choix: des contraintes, une connaissance partielle, une estimation de l'espace des états et l'incomplétude du modèle lui-même. Dans la première partie de cette thèse, nous détaillons les solutions actuelles aux problèmes qui se posent lors de la réalisation d'une IA de jeu multi-joueur, en donnant un aperçu des caractéristiques calculatoires et cognitives complexes des principaux types de jeux. En partant de ce constat, nous résumons les catégories transversales de problèmes, et nous introduisons comment elles peuvent être résolues par la modélisation bayésienne. Nous expliquons alors comment construire un programme bayésien en partant de connaissances et d'observations du domaine à travers un exemple simple de jeu de rôle. Dans la deuxième partie de la thèse, nous détaillons l'application de cette approche à l'IA de STR, ainsi que les modèles auxquels nous sommes parvenus. Pour le comportement réactif (micro-management), nous présentons un controleur multi-agent décentralisé et temps réel inspiré de la fusion sensori-motrice. Ensuite, nous accomplissons les adaptation dynamiques de nos stratégies et tactiques à celles de l'adversaire en le modélisant à l'aide de l'apprentissage artificiel (supervisé et non supervisé) depuis des traces de joueurs de haut niveau. Ces modèles probabilistes de joueurs peuvent être utilisés à la fois pour la prédiction des décisions/actions de l'adversaire, mais aussi à nous-même pour la prise de décision si on substitue les entrées par les notres. Enfin, nous expliquons l'architecture de notre joueur robotique de StarCraft, et nous précisions quelques détails techniques d'implémentation. Au delà des modèles et de leurs implémentations, il y a trois contributions principales: la reconnaissance de plan et la modélisation de l'adversaire par apprentissage artificiel, en tirant partie de la structure du jeu, la prise de décision multi-échelles en présence d'informations incertaines, et l'intégration des modèles bayésiens au contrôle temps réel d'un joueur artificiel. / This thesis explores the use of Bayesian models in multi-player video games AI, particularly real-time strategy (RTS) games AI. Video games are an in-between of real world robotics and total simulations, as other players are not simulated, nor do we have control over the simulation. RTS games require having strategic (technological, economical), tactical (spatial, temporal) and reactive (units control) actions and decisions on the go. We used Bayesian modeling as an alternative to (boolean valued) logic, able to cope with incompleteness of information and (thus) uncertainty. Indeed, incomplete specification of the possible behaviors in scripting, or incomplete specification of the possible states in planning/search raise the need to deal with uncertainty. Machine learning helps reducing the complexity of fully specifying such models. We show that Bayesian programming can integrate all kinds of sources of uncertainty (hidden state, intention, stochasticity), through the realization of a fully robotic StarCraft player. Probability distributions are a mean to convey the full extent of the information we have and can represent by turns: constraints, partial knowledge, state space estimation and incompleteness in the model itself. In the first part of this thesis, we review the current solutions to problems raised by multi-player game AI, by outlining the types of computational and cognitive complexities in the main gameplay types. From here, we sum up the transversal categories of prob- lems, introducing how Bayesian modeling can deal with all of them. We then explain how to build a Bayesian program from domain knowledge and observations through a toy role-playing game example. In the second part of the thesis, we detail our application of this approach to RTS AI, and the models that we built up. For reactive behavior (micro-management), we present a real-time multi-agent decentralized controller inspired from sensory motor fusion. We then show how to perform strategic and tactical adaptation to a dynamic opponent through opponent modeling and machine learning (both supervised and unsupervised) from highly skilled players' traces. These probabilistic player-based models can be applied both to the opponent for prediction, or to ourselves for decision-making, through different inputs. Finally, we explain our StarCraft robotic player architecture and precise some technical implementation details. Beyond models and their implementations, our contributions are threefolds: machine learning based plan recognition/opponent modeling by using the structure of the domain knowledge, multi-scale decision-making under uncertainty, and integration of Bayesian models with a real-time control program.

Ces travaux de recherche proposent une nouvelle méthode d'interaction gestuelle. Nous nous intéressons en particulier à deux domaines d'application : la thérapie à domicile par la réalité virtuelle et les arts scéniques numériques. Nous partons du constat que les interfaces standardisées ne sont pas adaptées à ces cas d'usage, car elles font appel à des gestes prédéfinis et imposés. Notre approche consiste à laisser la possibilité à l'utilisateur de faire apprendre ses gestes d'interaction par le système. Cela permet de prendre en compte ses besoins et aptitudes sensorimotrices. L'utilisateur réutilise ensuite son langage gestuel appris par le système pour interagir dans l'environnement virtuel. Cette approche pose des questions de recherche centrées sur la mémorisation, la rétroaction visuelle et la fatigue. Pour aborder ces trois aspects, nous étudions d'abord le rôle de l'affordance visuelle des objets et celui de la colocalisation dans la remémoration d'un corpus de gestes. Ensuite, nous évaluons l'influence de différents types de rétroactions visuelles sur l'évolution des gestes répétés par l'utilisateur dans une série de tâches de manipulation. Nous comparons également les performances entre des gestes d'amplitude réaliste et des gestes d'amplitude faible pour effectuer la même action. Aussi, nous attachons une importance à rendre l'interface accessible en utilisant des dispositifs bas coûts et peu intrusifs. Nous explorons les moyens de pallier les contraintes techniques liées aux systèmes peu performants. Pour cela, nous avons conduit des expériences où plus de six mille gestes proposés par une quarantaine d'utilisateurs ont été étudiés. / In this thesis, we propose and evaluate new gestural interfaces for 3DUI. This work is motivated by two application cases: the first one is dedicated to people with limited sensory-motor abilities for whom generic interaction methods may not be adapted. The second one is artistic digital performances, for which gesture freedom is part of the creative process. For those cases, a standardized approach is not possible and thus user-specific or dedicated interfaces are needed. We propose a user-defined gestural interaction that allows the user to make the system learn the gestures that he has created, in a specific phase, prior to using the system. Then, the user reuses his created gestures to interact in the virtual environment. This approach raises research questions about memorization of gestures, effects of fatigue and effects of visual feedbacks. To answer those questions, we study the memorization of user created gestures regarding the role of affordances and colocalization on gesture recall. Then, we study the role of different visual feedbacks on gesture repetitions for a set of manipulation tasks. We also compare full-collocated gestures to loose gestures with lower amplitude. Also, the approach has been designed to be affordable using low-cost devices. We explore solutions to deal with the lower data quality of such devices. The results of the user-studies are based on the analysis of six thousand gestures performed by forty subjects.

Ce travail de thèse fait partie du projet 3D NeuroSecure. C'est un projet d'investissement d'avenir, qui vise à développer une solution de collaboration sécurisée pour l'innovation thérapeutique appliquant les traitements de haute performance (HPC) au monde biomédical. Cette solution donnera la possibilité pour les experts de différents domaines de naviguer intuitivement dans l'imagerie Big Data avec un accès via des terminaux mobile. La protection des données contre les fuites de données est primordiale. En tant que tel, l'environnement client et les communications avec le serveur doivent être sécurisé. Nous avons concentré notre travail sur le développement d'une solution antivirale sur le système d'exploitation Android. Nous avons promu la création de nouveaux algorithmes, méthodes et outils qui apportent des avantages par rapport à état de l'art, mais plus important encore, qui peuvent être utilisés efficacement dans un contexte de production. C'est pourquoi, ce qui est proposé ici est souvent un compromis entre ce qui peut théoriquement être fait et son applicabilité. Les choix algorithmiques et technologiques sont motivés par une relation entre efficacité et performance. Cette thèse contribue à l'état de l'art dans les domaines suivants:Analyse statique et dynamique d'applications Android, web crawling d'application.Tout d'abord, pour rechercher des fonctions malveillantes et des vulnérabilités, il faut concevoir les outils qui extraient des informations pertinentes des applications Android. C'est la base de toute analyse. En outre, tout algorithme de classification est toujours limité par la qualité discriminative des données sous-jacentes. Une partie importante de cette thèse est la la conception d'outils d'analyse statique et dynamique efficientes, telles qu'un module de reverse engineering, un outil d'analyse de communication, un système Android instrumenté.Algorithme d'initialisation, d'apprentissage et d'anti-saturation pour réseau de neurones.Les réseaux de neurones sont initialisés au hasard. Il est possible de contrôler la distribution aléatoire sous-jacente afin de réduire l'effet de saturation, le temps de l'entrainement et la capacité à atteindre le minimum global. Nous avons développé une procédure d’initialisation qui améliore les résultats par rapport à l'état del'art. Nous avons aussi adapté l'algorithme ADAM pour prendre en compte les interdépendances avec des techniques de régularisation, en particulier le Dropout. Enfin, nous utilisons techniques d'anti-saturation et nous montrons qu'elles sont nécessaires pour entraîner correctement un réseau neuronal.Un algorithme pour représenter les sous-séquences communes à un groupe de séquences.Nous proposons un nouvel algorithme pour construire l'AntichaineEnglobante des sous-séquences communes. Il est capable de traiter et de représenter toutes les sous-séquences d'un ensemble de séquences. C'estun outil qui permet de caractériser de manière systématique un groupe de séquence. Cet algorithme est une nouvelle voie de recherche verscréation automatique de règles de détection de famille de virus. / This thesis work is part of the 3D NeuroSecure project. It is an investment project, that aims to develop a secure collaborative solution for therapeutic innovation using high performance processing(HPC) technology to the biomedical world. This solution will give the opportunity for experts from different fields to navigate intuitivelyin the Big Data imaging with access via 3D light terminals. Biomedicaldata protection against data leaks is of foremost importance. As such,the client environnement and communications with the server must besecured. We focused our work on the development of antimalware solutionon the Android OS. We emphasizes the creation of new algorithms,methods and tools that carry advantages over the current state-of-the-art, but more importantly that can be used effectively ina production context. It is why, what is proposed here is often acompromise between what theoretically can be done and its applicability. Algorithmic and technological choices are motivated by arelation of efficiency and performance results. This thesis contributes to the state of the art in the following areas:Static and dynamic analysis of Android applications, application web crawling.First, to search for malicious activities and vulnerabilities, oneneeds to design the tools that extract pertinent information from Android applications. It is the basis of any analysis. Furthermore,any classifier or detector is always limited by the informative power of underlying data. An important part of this thesis is the designing of efficient static and dynamic analysis tools forapplications, such as an reverse engineering module, a networkcommunication analysis tool, an instrumented Android system, an application web crawlers etc.Neural Network initialization, training and anti-saturation techniques algorithm.Neural Networks are randomly initialized. It is possible to control the underlying random distribution in order to the reduce the saturation effect, the training time and the capacity to reach theglobal minimum. We developed an initialization procedure that enhances the results compared to the state-of-the-art. We also revisited ADAM algorithm to take into account interdependencies with regularization techniques, in particular Dropout. Last, we use anti-saturation techniques and we show that they are required tocorrectly train a neural network.An algorithm for collecting the common sequences in a sequence group.We propose a new algorithm for building the Embedding Antichain fromthe set of common subsequences. It is able to process and represent allcommon subsequences of a sequence set. It is a tool for solving the Systematic Characterization of Sequence Groups. This algorithm is a newpath of research toward the automatic creation of malware familydetection rules.

Les algorithmes d'inférence ou d'optimisation possèdent généralement des hyperparamètres qu'il est nécessaire d'ajuster. Nous nous intéressons ici à l'automatisation de cette étape d'ajustement et considérons différentes méthodes qui y parviennent en apprenant en ligne la structure du problème considéré.La première moitié de cette thèse explore l'ajustement des hyperparamètres en apprentissage artificiel. Après avoir présenté et amélioré le cadre générique de l'optimisation séquentielle à base de modèles (SMBO), nous montrons que SMBO s'applique avec succès à l'ajustement des hyperparamètres de réseaux de neurones profonds. Nous proposons ensuite un algorithme collaboratif d'ajustement qui mime la mémoire qu'ont les humains d'expériences passées avec le même algorithme sur d'autres données.La seconde moitié de cette thèse porte sur les algorithmes MCMC adaptatifs, des algorithmes d'échantillonnage qui explorent des distributions de probabilité souvent complexes en ajustant leurs paramètres internes en ligne. Pour motiver leur étude, nous décrivons d'abord l'observatoire Pierre Auger, une expérience de physique des particules dédiée à l'étude des rayons cosmiques. Nous proposons une première partie du modèle génératif d'Auger et introduisons une procédure d'inférence des paramètres individuels de chaque événement d'Auger qui ne requiert que ce premier modèle. Ensuite, nous remarquons que ce modèle est sujet à un problème connu sous le nom de label switching. Après avoir présenté les solutions existantes, nous proposons AMOR, le premier algorithme MCMC adaptatif doté d'un réétiquetage en ligne qui résout le label switching. Nous présentons une étude empirique et des résultats théoriques de consistance d'AMOR, qui mettent en lumière des liens entre le réétiquetage et la quantification vectorielle / Inference and optimization algorithms usually have hyperparameters that require to be tuned in order to achieve efficiency. We consider here different approaches to efficiently automatize the hyperparameter tuning step by learning online the structure of the addressed problem. The first half of this thesis is devoted to hyperparameter tuning in machine learning. After presenting and improving the generic sequential model-based optimization (SMBO) framework, we show that SMBO successfully applies to the task of tuning the numerous hyperparameters of deep belief networks. We then propose an algorithm that performs tuning across datasets, mimicking the memory that humans have of past experiments with the same algorithm on different datasets. The second half of this thesis deals with adaptive Markov chain Monte Carlo (MCMC) algorithms, sampling-based algorithms that explore complex probability distributions while self-tuning their internal parameters on the fly. We start by describing the Pierre Auger observatory, a large-scale particle physics experiment dedicated to the observation of atmospheric showers triggered by cosmic rays. The models involved in the analysis of Auger data motivated our study of adaptive MCMC. We derive the first part of the Auger generative model and introduce a procedure to perform inference on shower parameters that requires only this bottom part. Our model inherently suffers from label switching, a common difficulty in MCMC inference, which makes marginal inference useless because of redundant modes of the target distribution. After reviewing existing solutions to label switching, we propose AMOR, the first adaptive MCMC algorithm with online relabeling. We give both an empirical and theoretical study of AMOR, unveiling interesting links between relabeling algorithms and vector quantization.

L'objectif de cette thèse s'inscrit dans la cadre général du développement d'une stratégie de contrôle intelligent distribué en robotique collective. En effet, dans un avenir proche, de nombreux robots vont progressivement intégrer notre environnent aussi bien dans les milieux industriel que domestique. L'objectif de ces robots sera de fournir, de manière autonome, des services aux êtres humains afin de leurs faciliter la vie quotidienne comme par exemple dans le cas de robots compagnons. Ces services pourront être le résultat du travail d'un robot ou bien la conséquence de la coopération de plusieurs robots homogènes et/ou hétérogènes regroupés au sein d'un réseau. Dans ce contexte, si les progrès technologiques permettent sans problème de communiquer et d'échanger des données entre deux agents artificiels distants, la conception de stratégies de contrôle permettant l'auto-organisation de plusieurs robots dans le but de réaliser une tâche précise est encore aujourd'hui un verrou scientifique important. Cette thèse a donc pour but de proposer des pistes pour élaborer des stratégies de contrôle intelligent pour des systèmes multi-robots dans le cadre plus particulier de la logistique industrielle. En effet, le domaine de logistique industrielle nécessite l'utilisation de nombreux robots mobiles comme par exemple des AGV (Automatic Guided Vehicles) pour transporter et stoker des marchandises. Dans ce contexte, nous pensons que le domaine de la logistique peut tirer bénéfice de l'utilisation de systèmes multi-robots. Dans un premier temps, cette thèse aborde donc la problématique de transport d'objet volumineux et encombrant par une formation de robot. Effectivement, il semble que la solution qui consiste à utiliser un ensemble de robots identiques pour transporter des charges de grandes envergures soit, d'une part, très intéressante d'un point de vue économique et, d'autre part, plus robuste et flexible d'un point vue technologique. Dans un deuxième temps, cette thèse aborde l'utilisation d'un réseau de robots hétérogènes qui sont capables de s'organiser afin de réaliser une tâche précise dans un milieu dynamique. Les travaux effectués dans le cadre de la présente thèse doctorale ont donc abouti à la proposition des stratégies viables de contrôle intelligent pour des systèmes multi-robots. Une étude d'application des concepts étudiés a été réalisée, implantée et validée dans le cadre plus particulier de la logistique industrielle. Elle a concerné d'abord le contexte d'un groupe multi-robots homogène, puis a été étendue au contexte d'un système multi-robots hétérogènes. Les points forts des travaux réalisés peuvent être résumés comme ceci :- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle adaptatif par l'apprentissage artificiel pour un robot non-holonomique. Quatre publications internationales ont valorisé cette partie des travaux.- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle hybridant la vision artificielle et l'apprentissage artificiel pour un groupe de robots homogènes. Deux publications internationales ont valorisé cette partie des travaux.- Proposition, conception, réalisation et validation expérimentale d'une stratégie de contrôle hybridant la vision artificielle et l'apprentissage artificiel pour un groupe de robots hétérogènes. Deux publications internationales ont valorisé cette partie des travaux. Il est pertinent de souligner que les travaux relatifs aux aspects précités ont été couronnés par le prix : ″Innovation Award 2011″ de Industrial Robot / In this thesis, it concentrated the multi robot team navigating in an unknown environment. In our multi robot team, there is a humanoid robot as a leader and a team of two-wheel nonholonomic robots which form a vertical formation. Besides, a top camera and a computer which is a supervisor are the auxiliary robots in the multi robot team. The main purpose of the thesis is to propose an online and an offline navigation strategy for the closed and open area respectively. The core of navigation strategies is the same and it included path planning part and control part. Both the two parts constructed on the virtual structure of the formation robot team. In the former part, it improved the path planning part by the reinforcement Q learning and the image processing to acknowledge the unknown environment. And it applied the Adaptive Neural Fuzzy Inference System (ANFIS) algorithm to control of both the single nonholonomic robot and formation robot team. Furthermore, the strategies are applied to the formation robot team and the multi robot team in both closed and open environment. Simulations and real experiments are provided in the detail in the thesis. The strong points of the contribution are :- Proposition, conception, realization and experimental validation of machine learning based adaptive control for a nonholonomic single robot (in a group of robots). Four international publications have valorized this part of the doctoral Works. - Proposition, conception, realization and experimental validation of an adaptive intelligent control strategy hybridizing Artificial vision and Machine Learning for a group of nonholonomic homogeneous robots. Two international publications have valorized this part of the doctoral Works.- Proposition, conception, realization and experimental validation of an adaptive intelligent control strategy hybridizing Artificial vision and Machine Learning for a group of heterogeneous robots. Two international publications have valorized this part of the doctoral Works. It is pertinent to emphasize the investigations relative to the above-mentioned works have been awarded by: ″Innovation Award 2011″ of Industrial Robot

Le travail de recherche effectué dans le cadre de cette thèse concerne le développement d’un système de perception de la saillance en environnement 3D en tirant l’avantage d’une représentation pseudo-3D. Notre contribution et concept issue de celle-ci part de l'hypothèse que la profondeur de l’objet par rapport au robot est un facteur important dans la détection de la saillance. Sur ce principe, un système de vision saillante de l’environnement 3D a été proposé, conçu et validée sur une plateforme comprenant un robot équipé d’un capteur pseudo-3D. La mise en œuvre du concept précité et sa conception ont été d’abord validés sur le système de vision pseudo-3D KINECT. Puis dans une deuxième étape, le concept et les algorithmes mis aux points ont été étendus à la plateforme précitée. Les principales contributions de la présente thèse peuvent être résumées de la manière suivante : A) Un état de l'art sur les différents capteurs d'acquisition de l’information de la profondeur ainsi que les différentes méthodes de la détection de la saillance 2D et pseudo 3D. B) Etude d’un système basé sur la saillance visuelle pseudo 3D réalisée grâce au développement d’un algorithme robuste permettant la détection d'objets saillants dans l’environnement 3D. C) réalisation d’un système d’estimation de la profondeur en centimètres pour le robot Pepper. D) La mise en œuvre des concepts et des méthodes proposés sur la plateforme précitée. Les études et les validations expérimentales réalisées ont notamment confirmé que les approches proposées permettent d’accroitre l’autonomie des robots dans un environnement 3D réel / The research work, carried out within the framework of this thesis, concerns the development of a system of perception and saliency detection in 3D environment taking advantage from a pseudo-3D representation. Our contribution and the issued concept derive from the hypothesis that the depth of the object with respect to the robot is an important factor in the detection of the saliency. On this basis, a salient vision system of the 3D environment has been proposed, designed and validated on a platform including a robot equipped with a pseudo-3D sensor. The implementation of the aforementioned concept and its design were first validated on the pseudo-3D KINECT vision system. Then, in a second step, the concept and the algorithms have been extended to the aforementioned robotic platform. The main contributions of the present thesis can be summarized as follow: A) A state of the art on the various sensors for acquiring depth information as well as different methods of detecting 2D salience and pseudo 3D. B) Study of pseudo-3D visual saliency system based on benefiting from the development of a robust algorithm allowing the detection of salient objects. C) Implementation of a depth estimation system in centimeters for the Pepper robot. D) Implementation of the concepts and methods proposed on the aforementioned platform. The carried out studies and the experimental validations confirmed that the proposed approaches allow to increase the autonomy of the robots in a real 3D environment

Le travail effectué lors de cette thèse concerne le développement d'un système cognitif artificiel autonome. La solution proposée repose sur l'hypothèse que la curiosité est une source de motivation d'un système cognitif dans le processus d'acquisition des nouvelles connaissances. En outre, deux types distincts de curiosité ont été identifiés conformément au système cognitif humain. Sur ce principe, une architecture cognitive à deux niveaux a été proposée. Le bas-niveau repose sur le principe de la saillance perceptive, tandis que le haut-niveau réalise l'acquisition des connaissances par l'observation et l'interaction avec l'environnement. Cette thèse apporte les contributions suivantes : A) Un état de l'art sur l'acquisition autonome de connaissance. B) L'étude, la conception et la réalisation d'un système cognitif bas-niveau basé sur le principe de la curiosité perceptive. L'approche proposée repose sur la saillance visuelle réalisée grâce au développement d'un algorithme rapide et robuste permettant la détection et l'apprentissage d'objets saillants. C) La conception d'un système cognitif haut-niveau, basé sur une approche générique, permettant l'acquisition de connaissance à partir de l'observation et de l'interaction avec son environnent (y compris avec les êtres humains). Basé sur la curiosité épistémique, le système cognitif haut-niveau développé permet à une machine (par exemple un robot) de devenir l'acteur de son propre apprentissage. Une conséquence substantielle d'un tel système est la possibilité de conférer des capacités cognitives haut-niveau multimodales à des robots pour accroître leur autonomie dans un environnement réel (environnement humain). D) La mise en œuvre de la stratégie proposée dans le cadre de la robotique autonome. Les études et les validations expérimentales réalisées ont notamment confirmé que notre approche permet d'accroître l'autonomie des robots dans un environnement réel / The work accomplished in this thesis concerns development of an autonomous machine cognition system. The proposed solution reposes on the assumption that it is the curiosity which motivates a cognitive system to acquire new knowledge. Further, two distinct kinds of curiosity are identified in conformity to human cognitive system. On this I build a two level cognitive architecture. I identify its lower level with the perceptual saliency mechanism, while the higher level performs knowledge acquisition from observation and interaction with the environment. This thesis brings the following contribution: A) Investigation of the state of the art in autonomous knowledge acquisition. B) Realization of a lower cognitive level in the ensemble of the mentioned system, which is realizing the perceptual curiosity mechanism through a novel fast, real-world robust algorithm for salient object detection and learning. C) Realization of a higher cognitive level through a general framework for knowledge acquisition from observation and interaction with the environment including humans. Based on the epistemic curiosity, the high-level cognitive system enables a machine (e.g. a robot) to be itself the actor of its learning. An important consequence of this system is the possibility to confer high level multimodal cognitive capabilities to robots to increase their autonomy in real-world environment (human environment). D) Realization of the strategy proposed in the context of autonomous robotics. The studies and experimental validations done had confirmed notably that our approach allows increasing the autonomy of robots in real-world environment

Nous proposons donc un modèle original d'apprentissage constructiviste adapté pour un système d'AmI. Ce modèle repose sur une approche décentralisée, permettant de multiples implémentations convenant à un environnement hétérogène. Dans les environnements réels continus sans modélisation à priori, se pose la question de la modélisation des structures élémentaires de représentation et particulièrement le problème d'amorçage de l'apprentissage sensorimoteur (comme décrit par [Kuipers06]). Dans le cadre du modèle général proposé, nous explicitons ce problème particulier et proposons de le traiter comme une forme d'auto-organisation modélisée par un système multi-agent. Cette approche permet de construire des motifs d'interaction élémentaires à partir des seules données brutes, sur lesquels peut reposer la construction d'une représentation plus élaborée (voir [Mazac14]). Nous présentons enfin une série d'expérimentations illustrant la résolution de ce problème d'amorçage : tout d'abord grâce à un environnement simulé, qui permet de maitriser les régularités de l'environnement et autorise des expérimentations rapides ; ensuite en implémentant ce système d'apprentissage au sein d'un environnement d'AmI réel. Pour cela le modèle est intégré dans le système d'AmI développé par l'entreprise partenaire de cette thèse CIFRE. Puis nous présentons une possible application industrielle des résultats de cette première étape implémentée d'amorçage de l'apprentissage sensorimoteur. Nous concluons par l'analyse des résultats et des perspectives de ce type d'approche pour l'AmI et l'application en général de l'IA aux systèmes réels en environnements continus / The theory of cognitive development from Jean Piaget (1923) is a constructivist perspective of learning that has substantially influenced cognitive science domain. Within AI, lots of works have tried to take inspiration from this paradigm since the beginning of the discipline. Indeed it seems that constructivism is a possible trail in order to overcome the limitations of classical techniques stemming from cognitivism or connectionism and create autonomous agents, fitted with strong adaptation ability within their environment, modelled on biological organisms. Potential applications concern intelligent agents in interaction with a complex environment, with objectives that cannot be predefined. Like robotics, Ambient Intelligence (AmI) is a rich and ambitious paradigm that represents a high complexity challenge for AI. In particular, as a part of constructivist theory, the agent has to build a representation of the world that relies on the learning of sensori-motor patterns starting from its own experience only. This step is difficult to set up for systems in continuous environments, using raw data from sensors without a priori modelling.With the use of multi-agent systems, we investigate the development of new techniques in order to adapt constructivist approach of learning on actual cases. Therefore, we use ambient intelligence as a reference domain for the application of our approach