Ces travaux de thèse s'inscrivent dans le cadre du projet européen CommRob impliquant des partenaires académiques et industriels. Le but du projet est la conception d'un robot compagnon évoluant en milieu structuré, dynamique et fortement encombré par la présence d'autres agents partageant l'espace (autres robots, humains). Dans ce cadre, notre contribution porte plus spécifiquement sur la perception multimodale des usagers du robot (utilisateur et passants). La perception multimodale porte sur le développement et l'intégration de fonctions perceptuelles pour la détection, l'identification de personnes et l'analyse spatio-temporelle de leurs déplacements afin de communiquer avec le robot. La détection proximale des usagers du robot s'appuie sur une perception multimodale couplant des données hétérogènes issues de différents capteurs. Les humains détectés puis reconnus sont alors suivis dans le flot vidéo délivré par une caméra embarquée afin d'en interpréter leurs déplacements. Une première contribution réside dans la mise en place de fonctions de détection et d'identification de personnes depuis un robot mobile. Une deuxième contribution concerne l'analyse spatio-temporelle de ces percepts pour le suivi de l'utilisateur dans un premier temps, de l'ensemble des personnes situées aux alentours du robot dans un deuxième temps. Enfin, dans le sens des exigences de la robotique, la thèse comporte deux volets : un volet formel et algorithmique qui tire pertinence et validation d'un fort volet expérimental et intégratif. Ces développements s'appuient sur notre plateforme Rackham et celle mise en oeuvre durant le projet CommRob.

Ce travail de thèse concerne la synthèse de commandes référencées capteur pour les robots non holonomes, dans le cadre de l'approche par fonctions transverses, ainsi que l'étude de la robustesse de ces lois de commande. La commande de robots non holonomes a été très étudiée ces quinze dernières années. Cependant, lorsque l'on souhaite stabiliser la pose complète du robot, la synthèse de lois de commande robustes vis-à-vis d'erreurs d'estimation de l'état du robot (qui dans la pratique découlent typiquement d'erreurs sur les modèles des capteurs) reste un problème ouvert. La problématique principale de cette thèse se situe à ce niveau. Les résultats développés dans cette thèse portent essentiellement sur deux aspects. Le premier concerne la façon d'utiliser les signaux capteurs pour la synthèse de lois de commande. Plusieurs méthodes de synthèse de commande sont proposées dans ce travail, en particulier, par analogie avec la commande des robots manipulateurs, nous proposons une synthèse directe dans l'espace des signaux capteurs. La deuxième partie de ce travail, plus fondamentale, porte sur l'analyse et l'évaluation des propriétés de robustesse des schémas de commande vis-à-vis d'incertitudes sur les modèles de capteurs. Des résultats théoriques de stabilité sont établis, puis validés et complétés par des simulations ainsi que par des résultats expérimentaux.

Ce travail de thèse concerne la synthèse de commandes référencées capteur pour les robots non holonomes, dans le cadre de l'approche par fonctions transverses, ainsi que l'étude de la robustesse de ces lois de commande.<br />La commande de robots non holonomes a été très étudiée ces quinze dernières années. Cependant, lorsque l'on souhaite stabiliser la pose complète du robot, la synthèse de lois de commande robustes vis-à-vis d'erreurs d'estimation de l'état du robot (qui dans la pratique découlent typiquement d'erreurs sur les modèles des capteurs) reste un problème ouvert. La problématique principale de cette thèse se situe à ce niveau. <br />Les résultats développés dans cette thèse portent essentiellement sur deux aspects. Le premier concerne la façon d'utiliser les signaux capteurs pour la synthèse de lois de commande. Plusieurs méthodes de synthèse de commande sont proposées dans ce travail, en particulier, par analogie avec la commande des robots manipulateurs, nous proposons une synthèse directe dans l'espace des signaux capteurs. La deuxième partie de ce travail, plus fondamentale, porte sur l'analyse et l'évaluation des propriétés de robustesse des schémas de commande vis-à-vis d'incertitudes sur les modèles de capteurs. Des résultats théoriques de stabilité sont établis, puis validés et complétés par des simulations ainsi que par des résultats expérimentaux.

Inspirés par les propriétés optiques des yeux composés de la mouche et par l’observation de micromouvements périodiques de sa rétine, différents capteurs visuels ont montré qu’il était possible de localiser un contraste très précisément. Ce fut les premières démonstrations d’hyperacuité visuelle de l’œil de la mouche.Dans cette thèse, un œil composé artificiel, doté d'un large champ de vision, est utilisé. Grâce à un nouvel algorithme de fusion des données visuelles, cet œil peut mesurer le déplacement d’un robot et lui permettre de se stabiliser au-dessus d’un environnement texturé. Localiser un contraste de manière linéaire sur l'ensemble du champ visuel demeure toutefois difficile. Un deuxième algorithme permet d’améliorer la localisation d’une barre grâce à un étalonnage, mais montre une certaine dépendance aux variations de contraste et de luminosité ambiante.Afin d'éviter ce processus d’étalonnage, un troisième algorithme qui s’appuie sur les travaux d'Heiligenberg et Baldi, a été proposé pour localiser deux contrastes. Ces auteurs ont montré que la somme pondérée de plusieurs capteurs ayant un champ récepteur gaussien pouvait fournir une estimation linéaire de la position d'un stimulus. Nous avons, pour la première fois, appliqué une variante de ce principe à un œil composé artificiel. Cet œil, une fois monté sur un robot permet de suivre une cible à une distance constante.Finalement, un œil composé artificiel dont la résolution intrinsèque est faible, peut être doté d’une hyperacuité visuelle et permettre de suivre une cible avec précision. Ces travaux ont ainsi conduit à proposer des stratégies bio-inspirées pour la localisation et la poursuite de cible. / Inspired by the optical properties of the fly compound eyes and the observation of its retinal periodic micro-movements, several visual sensors established that the localization of a contrast can be made very precisely. It was the first demonstration of the visual hyperacuity of the fly compound eye.In this thesis, an artificial compound eye with a wide field of view was used. Thanks to a novel algorithm fusing the visual signals, the sensor embedded onboard an aerial robot measures its displacement and enables the robot to hover above a textured environment.The localization of a contrast precisely over the whole field of view is still difficult. A second algorithm improved the localization of a bar thanks to a calibration. But it has a dependency to the contrast and the illuminance variations.In order to avoid a calibration process, a third algorithm was proposed to localize two contrasts. It is based on the work of Heiligenberg and Baldi, which showed that an array of Gaussian receptive field can provide a linear estimation of a stimulus position. For the first time, we applied a modified version of their estimation to an artificial compound eye. This sensor mounted on a rover allows following a target precisely at a constant distance.Finally, an artificial compound eye with a coarse spatial resolution can be endowed with hyperacuity and enables a robot to follow a target with precision. A step forward has been made toward bio-inspired target localization and pursuit.

Les réseaux de capteurs sans fils se définissent comme un ensemble de petits appareils autonomes et interconnectés. Ces capteurs sont déployés dans une zone d'intérêt dans le but de collecter des informations de l'environnement comme la température ou la qualité de l'air, suivant l'application envisagée. L'évolution de ces dispositifs de capture vers le multimédia ouvre l'accès à une plus large palette d'applications et de services pour une meilleure maitrise de notre environnement. Dans cette thèse nous nous intéressons au suivi de cible mobile dans les réseaux de capteurs sans fils, certains de ces capteurs pouvant collecter des images. Le suivi de cible (Tracking) consiste à détecter et à localiser sur l'ensemble de sa trajectoire une cible traversant une zone d'intérêt. Cette application peut s'avérer très utile, par exemple, pour détecter et enregistrer les déplacements d'un intrus dans une zone sensible ou encore pour suivre les déplacements d'une personne assistée et munie d'un appareil avec interface radio. Contrairement aux systèmes de surveillance classiques qui nécessitent une infrastructure fixe, les réseaux de capteurs sans fils sont aussi faciles à installer qu'à désinstaller. De plus, grâce à leur polyvalence, ils peuvent être utilisés dans de nombreux environnements hostiles et inaccessibles pour l'être humain. Toutefois, étant restreints en énergie, ils ne peuvent rester actifs en permanence au risque de limiter considérablement leur durée de vie. Afin de résoudre ce problème, l'idée est d'activer uniquement les capteurs qui sont sur la trajectoire de la cible au moment ou cette dernière est à leur portée radio ou visuelle. La question est donc : comment et sur quels critères activer ces capteurs afin d'obtenir à tout moment le meilleur compromis entre la précision du suivi et la préservation des ressources énergétiques ? C'est à cette question que nous essayerons de répondre tout au long de cette thèse. Dans un premier temps nous nous intéressons aux cibles communicantes qui ont la faculté d'émettre des signaux et donc de faciliter grandement le processus de suivi. Le défi ici est de relayer l'information entre les différents capteurs concernés. Nous utilisons pour cela un algorithme de déploiement basé sur le concept de forces virtuelles (VFA : Virtual Forces Algorithm) associé à un algorithme de suivi collaboratif et distribué implémenté sur un réseau organisé en clusters. Ensuite, nous traitons le cas, plus complexe et plus fréquent, des cibles non communicantes. L'objectif est de détecter la présence de la cible uniquement à l'aide de capteurs de présence. Pour cela nous proposons le déploiement d'un réseau de capteurs sans fil hétérogènes composé decapteurs de mouvement en charge de la partie détection de la cible et de capteurs vidéo en charge de la partie localisation. Lorsqu'une cible est détectée par un capteur de mouvement, l'information est communiquée aux capteurs vidéo voisins qui décident d'activer ou non leurs caméras en se basant sur des critères prédéfinis tenant compte de l'angle d'orientation des caméras. Enfin, dans une dernière contribution nous nous intéressons plus spécifique mentaux modèles de mobilité de la cible. Ces modèles nous permettent d'anticiper ses déplacements et d'affiner le processus d'activation des capteurs qui sont sur sa trajectoire. Nous utilisons pour cela le filtre de Kalman étendu combiné à un mécanisme de détection de changements de direction nommé CuSum (Cumulative Summuray). Ce mécanisme nous permet de calculer efficacement les futures coordonnées de la cible et de réveiller les capteurs en conséquence / Wireless Sensor Networks (WSN) are a set of tiny autonomous and interconnected devices. These Sensors are scattered in a region of interest to collect information about the surrounding environment depending on the intended application. Nowadays, sensors allow handling more complex data such as multimedia flow. Thus, we observe the emergence of Wireless Multimedia Sensor Networks opening a wider range of applications. In this work, we focus on tracking moving target in these kinds of networks. Target tracking is defined as a two-stage application: detection and localization of the target through its evolution inside an area of interest. This application can be very useful. For example, the presence of an intruder can be detected and its position inside a sensitive area reported, elderly or sick persons carrying sensors can be tracked anytime and so on. Unlike classical monitoring systems, WSN are more flexible and more easy to set up. Moreover, due to their versatility and autonomy they can be used in hostile regions, inaccessible for human. However, these kinds of networks have some limitations: wireless links are not reliable and data processing and transmission are greedy processes in term of energy. To overcome the energy constraint, only the sensors located in target pathway should be activated. Thus, the question is : how to select these sensors to obtain the best compromise between the tracking precision and the energy consumption? This is the question we are trying to answer in this dissertation. Firstly, we focus on communicating targets which have the ability to transmit signals and greatly facilitate the tracking process. The challenge here is to relay the information between the concerned sensors. In order to deal with this challenge, we use a deployment strategy based on virtual forces (VFA: Virtual Forces Algorithm) associated to a distributed tracking algorithm implemented in a cluster-based network. Secondly, we handle a more complex and more frequent case of non-communicating targets. The objective is to detect the presence of such target using movement sensors. We propose the deployment of an heterogeneous wireless sensor networks composed of movement sensors used to detect the target and camera sensors used to locate it. When the target is detected the information is sent to the camera sensors which decide whether to activate or not their cameras based on probabilistic criteria which include the camera orientation angle. Finally, as our last contribution, we specifically focus on target mobility models. These models help us to predict target behaviour and refine the sensor activation process. We use the Extended Kalamn filter as prediction model combined with a change detection mechanism named CuSum (Cumulative Summuray). This mechanism allows to efficiently compute the future target coordinates, and to select which sensors to activate

À mesure que la population des personnes agées dans les pays industrialisés augmente au fil de années, les ressources nécessaires au maintien du niveau de vie de ces personnes augmentent aussi. Des statistiques montrent que les chutes sont l’une des principales causes d’hospitalisation chez les personnes agées, et, de plus, il a été démontré que le risque de chute d’une personne agée a une correlation avec sa capacité de maintien de l’équilibre en étant debout. Il est donc d’intérêt de développer un système automatisé pour analyser l’équilibre chez une personne, comme moyen d’évaluation objective. Dans cette étude, nous avons proposé l’implémentation d’un tel système. En se basant sur une installation simple contenant une seule caméra sur un trépied, on a développé un algorithme utilisant une implémentation de la méthode de détection d’objet de Viola-Jones, ainsi qu’un appariement de gabarit, pour suivre autant le mouvement latéral que celui antérieur-postérieur d’un sujet. On a obtenu des bons résultats avec les deux types de suivi, cependant l’algorithme est sensible aux conditions d’éclairage, ainsi qu’à toute source de bruit présent dans les images. Il y aurait de l’intérêt, comme développement futur, d’intégrer les deux types de suivi, pour ainsi obtenir un seul ensemble de données facile à interpréter. / As the senior population in developed countries increases, so will the resources dedicated to maintaining a high standard of life for the elderly. Statistics show that falls are one of the main causes of senior citizens being hospitalized. Furthermore, it has been shown that the risk of an elderly person falling is correlated to their ability to maintain their balance during standing position. It is then of interest to develop an automated system to evaluate a subject’s balance, or postural sway, as a means of objective evaluation. In this study we have proposed the implementation of such a system. Based on a simple setup of one camera on a tripod, we have developed an algorithm using the Viola-Jones implementation, as well as template matching, to track both lateral and anterior-posterior postural sway. We have obtained good results for both types of tracking, however, the tracking algorithm is sensitive to lighting conditions and any kind of noise in the images. It would be of interest, as a future development, to integrate both types of tracking, so as to obtain only one easily-interpretable dataset as a result.

Ce travail de thèse se place dans le cadre de la conduite automatisée des véhicules sur roues.<br />Notre objectif est le développement et l´expérimentation d´une nouvelle approche de commande des systèmes non-linéaires en vue du suivi d´une cible, associée par exemple à un véhicule de référence. L´originalité de ce travail est que la cible n´est pas contrainte dans ces mouvements et peut donc suivre des trajectoires non réalisables par le véhicule commandé.<br />Il devient ainsi possible d´effectuer le suivi d´un véhicule de référence quelque soit le mouvement de celui-ci (marche avant, marche arrière, manoeuvres...).<br /><br />L´approche de commande étudiée ici est basée sur le concept de fonction transverse, et consiste à effectuer une stabilisation pratique du repère cible.<br />Dans un premier temps, nous analysons l´influence des paramètres de commande sur le suivi du repère.<br />A partir de cette analyse, nous proposons ensuite de nouvelles commandes qui permettent d´améliorer la précision du suivi et le comportement du système lors des phases transitoires.<br />Enfin, nous présentons des résultats d´expérimentations obtenus sur le système robotique du laboratoire Icare.<br />Cette phase expérimentale a nécessité de développer un estimateur de la vitesse de la cible. Celui-ci est basé sur la fusion des données issues de la vision et de celles issues des mesures odométriques.

Cette thèse s'inscrit dans la problématique de la perception des véhicules autonomes, qui doivent notamment être capables de détecter et de positionner à tout moment les éléments fixes et mobiles de leur environnement. Les besoins sont ensuite multiples, de la détection d'obstacles à la localisation du porteur dans l'espace, et de nombreuses méthodes de la littérature s'y attellent. L'objectif de cette thèse est de reconstituer, à partir de prises de vues de stéréo-vision, une carte en trois dimensions décrivant l'environnement proche ; tout en effectuant une détection, localisation et suivi dans le temps des objets mobiles.La détection et le suivi dans le temps d'un grand nombre de points d'intérêt constitue une première étape. Après avoir effectué une comparaison exhaustive de divers détecteurs de points d'intérêt de la littérature, on propose pour réaliser le suivi de points une implémentation massivement parallélisée de l'algorithme KLT, dans une configuration redondante réalisée pendant cette thèse. Cette implémentation autorise le suivi fiable de milliers de points en temps réel, et se compare favorablement à l'état de l'art.Il s'agit ensuite d'estimer le déplacement du porteur, et de positionner ces points dans l'espace, tâche pour laquelle on propose une évolution robuste d'une procédure bien connue, dite "SVD", suivie d'un filtrage par UKF, qui nous permettent d'estimer très rapidement le mouvement propre du porteur. Les points suivis sont ensuite positionnés dans l'espace, en prenant en compte leur possible mobilité, en estimant continuellement la position la plus probable compte tenu des observations successives.La détection et le suivi des objets mobiles font l'objet d'une dernière partie, dans laquelle on propose une segmentation originale tenant compte des aspects de position et de vitesse. On exploite ainsi une des singularités de notre approche, qui conserve pour chaque point positionné un ensemble cohérent de positions dans le temps. Le filtrage et le suivi des cibles se basent finalement sur un filtre GM-PHD. / This PhD work is to be seen within the context of autonomous vehicle perception, in which the detection and localisation of elements of the surroundings in real time is an obvious requirement. Subsequent perception needs are manyfold, from localisation to obstacle detection, and are the subject of a continued research interest. The goal of this work is to build, in real time and from stereovision acquisition, a 3D map of the surroundings ; while detecting and tracking moving objects.Interest point selection and tracking on picture space are a first step, which we initiate by a thorough comparison of detectors from the literature. As regards tracking, we propose a massively parallel implementation of the standard KLT algorithm, using redundant tracking to provide reliable quality estimation. This allows us to track thousands of points in real-time, which compares favourably to the state of the art.Next step is the ego-motion estimation, along with the positioning of tracked points in 3D space. We first propose an iterative variant of the well known “SVD” process followed by UKF filtering, which allows for a very fast and reliable estimation. Then the position of every followed interest point is filtered on the fly over time, in contrast to most dense approaches from the literature.We finally propose a segmentation of moving objects in the augmented position-speed space, which is made possible by our continuous estimation of feature points position. Target tracking and filtering finally use a GM-PHD approach.

Les pays industrialisés comme le Canada doivent faire face au vieillissement de leur population. En particulier, la majorité des personnes âgées, vivant à domicile et souvent seules, font face à des situations à risques telles que des chutes. Dans ce contexte, la vidéosurveillance est une solution innovante qui peut leur permettre de vivre normalement dans un environnement sécurisé. L’idée serait de placer un réseau de caméras dans l’appartement de la personne pour détecter automatiquement une chute. En cas de problème, un message pourrait être envoyé suivant l’urgence aux secours ou à la famille via une connexion internet sécurisée. Pour un système bas coût, nous avons limité le nombre de caméras à une seule par pièce ce qui nous a poussé à explorer les méthodes monoculaires de détection de chutes. Nous avons d’abord exploré le problème d’un point de vue 2D (image) en nous intéressant aux changements importants de la silhouette de la personne lors d’une chute. Les données d’activités normales d’une personne âgée ont été modélisées par un mélange de gaussiennes nous permettant de détecter tout événement anormal. Notre méthode a été validée à l’aide d’une vidéothèque de chutes simulées et d’activités normales réalistes. Cependant, une information 3D telle que la localisation de la personne par rapport à son environnement peut être très intéressante pour un système d’analyse de comportement. Bien qu’il soit préférable d’utiliser un système multi-caméras pour obtenir une information 3D, nous avons prouvé qu’avec une seule caméra calibrée, il était possible de localiser une personne dans son environnement grâce à sa tête. Concrêtement, la tête de la personne, modélisée par une ellipsoide, est suivie dans la séquence d’images à l’aide d’un filtre à particules. La précision de la localisation 3D de la tête a été évaluée avec une bibliothèque de séquence vidéos contenant les vraies localisations 3D obtenues par un système de capture de mouvement (Motion Capture). Un exemple d’application utilisant la trajectoire 3D de la tête est proposée dans le cadre de la détection de chutes. En conclusion, un système de vidéosurveillance pour la détection de chutes avec une seule caméra par pièce est parfaitement envisageable. Pour réduire au maximum les risques de fausses alarmes, une méthode hybride combinant des informations 2D et 3D pourrait être envisagée. / Developed countries like Canada have to adapt to a growing population of seniors. A majority of seniors reside in private homes and most of them live alone, which can be dangerous in case of a fall, particularly if the person cannot call for help. Video surveillance is a new and promising solution for healthcare systems to ensure the safety of elderly people at home. Concretely, a camera network would be placed in the apartment of the person in order to automatically detect a fall. When a fall is detected, a message would be sent to the emergency center or to the family through a secure Internet connection. For a low cost system, we must limit the number of cameras to only one per room, which leads us to explore monocular methods for fall detection. We first studied 2D information (images) by analyzing the shape deformation during a fall. Normal activities of an elderly person were used to train a Gaussian Mixture Model (GMM) to detect any abnormal event. Our method was tested with a realistic video data set of simulated falls and normal activities. However, 3D information like the spatial localization of a person in a room can be very useful for action recognition. Although a multi-camera system is usually preferable to acquire 3D information, we have demonstrated that, with only one calibrated camera, it is possible to localize a person in his/her environment using the person’s head. Concretely, the head, modeled by a 3D ellipsoid, was tracked in the video sequence using particle filters. The precision of the 3D head localization was evaluated with a video data set containing the real 3D head localizations obtained with a Motion Capture system. An application example using the 3D head trajectory for fall detection is also proposed. In conclusion, we have confirmed that a video surveillance system for fall detection with only one camera per room is feasible. To reduce the risk of false alarms, a hybrid method combining 2D and 3D information could be considered.

Cette thèse se place dans le cadre de la commande des manipulateurs mobiles hybrides holonomes/ non-holonomes, c'est-à-dire <br />des robots constitués d'un bras manipulateur embarqué sur une plate-forme porteuse. L'objectif de <br />ce travail est de fournir un cadre méthodologique pour la synthèse de lois de commande par retour d'état de tels systèmes, en <br />partant du constat qu'une stratégie de coordination entre la plate-forme et le manipulateur requiert génériquement de commander la <br />situation complète de la plate-forme. L'originalité des deux nouvelles approches proposées est de permettre un contrôle coordonné <br />d'une tâche prioritaire de manipulation et d'une tâche secondaire de locomotion, obtenu via la stabilisation pratique <br />de la situation complète de la plate-forme le long d'une trajectoire de référence quelconque.<br /><br />Ces deux méthodes génériques s'appuient sur la fusion de deux outils de commande: <br />l'approche par fonctions de tâches, dédiée au contrôle des bras manipulateurs, et <br />l'approche par fonctions transverses, consacrée à la commande des plate-formes non-holonomes. <br />Différentes applications de suivi de cible valident la flexibilité et la polyvalence de ces <br />approches de commande à travers le choix de plusieurs stratégies de coopération entre <br />manipulation et locomotion.