Les systèmes multi-capteurs exploitent les complémentarités des différentes sources sensorielles. Par example, le capteur visuo-inertiel permet d'estimer la pose à haute fréquence et avec une grande précision. Les méthodes de vision mesurent la pose à basse fréquence mais limitent la dérive causée par l'intégration des données inertielles. Les centrales inertielles mesurent des incréments du déplacement à haute fréquence, ce que permet d'initialiser la vision et de compenser la perte momentanée de celle-ci. Cette thèse analyse deux aspects du problème. Premièrement, nous étudions les méthodes visuelles directes pour l'estimation de pose, et proposons une nouvelle technique basée sur la corrélation entre des images et la pondération des régions et des pixels, avec une optimisation inspirée de la méthode de Newton. Notre technique estime la pose même en présence des changements d'illumination extrêmes. Deuxièmement, nous étudions la fusion des données a partir de la théorie de la commande. Nos résultats principaux concernent le développement d'observateurs pour l'estimation de pose, biais IMU et l'autocalibrage. Nous analysons la dynamique de rotation d'un point de vue nonlinéaire, et fournissons des observateurs stables dans le groupe des matrices de rotation. Par ailleurs, nous analysons la dynamique de translation en tant que système linéaire variant dans le temps, et proposons des conditions d'observabilité uniforme. Les analyses d'observabilité nous permettent de démontrer la stabilité uniforme des observateurs proposés. La méthode visuelle et les observateurs sont testés et comparés aux méthodes classiques avec des simulations et de vraies données visuo-inertielles.

Dans cette thèse, nous présentons des solutions pour la conception des systèmes de contrôle actif de vibrations. Dans la première partie, des méthodes de contrôle par action anticipatrice (feedforward) sont développées. Celles-ci sont dédiées à la suppression des perturbations bande large en utilisant une image de la perturbation mesurée par un deuxième capteur, en amont de la variable de performance à minimiser. Les algorithmes présentés dans cette mémoire sont conçus pour réaliser de bonnes performances et maintenir la stabilité du système en présence du couplage positif interne qui apparaît entre le signal de commande et l'image de la perturbation. Les principales contributions de cette partie sont l'assouplissement de la condition de " Stricte Positivité Réelle " (SPR) par l'utilisation des algorithmes d'adaptation " Intégrale + Proportionnelle " et le développement de compensateurs à action anticipatrice (feedforward) sur la base de la paramétrisation Youla-Kučera. La deuxième partie de la thèse concerne le rejet des perturbations bande étroite par contre-réaction adaptative (feedback). Une méthode d'adaptation indirecte est proposée pour le rejet de plusieurs perturbations bande étroite en utilisant des filtres Stop-bande et la paramétrisation Youla-Kučera. Cette méthode utilise des Filtres Adaptatifs à Encoche en cascade pour estimer les fréquences de perturbations sinusoïdales puis des Filtres Stop-bande pour introduire des atténuations aux fréquences estimées. Les algorithmes sont vérifiés et validés sur un dispositif expérimental disponible au sein du département Automatique du laboratoire GIPSA-Lab de Grenoble.

L'échographie est un outil qui s'impose de plus en plus dans le domaine des Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO). Les médecins et les chirurgiens disposent en conséquence d'un excellent outil de travail qui les aide à planifier et surtout à réaliser des interventions chirurgicales. Pour cela, ils ont besoin également de logiciels automatiques et faciles à utiliser fondés sur d'algorithmes robustes, précis et rapides. L'objectif majeur de cette thèse est d'exploiter la dualité segmentation- recalage pour extraire de l'information pertinente des images échographiques. Cette information permettra ensuite le recalage automatique et précis des structures anatomiques contenues dans le modèle pré-opératoire issu de l'imagerie TDM/IRM et des données per-opératoires contenues dans les images échographique. Le résultat du recalage sera utilisé ultérieurement pour prêter assistance à un outil guidé par ordinateur. Dans une première partie, nous proposons des méthodes de filtrage, segmentation et calibrage des images échographiques. Un intérêt majeur a été accordé au développement des algorithmes de traitement robustes, précis et rapides. Une deuxième partie a été dédiée à la dualité segmentation-recalage et à la compensation des déformations élastiques des tissus mous. Des algorithmes de segmentation de haut niveau des images échographiques ont été développés. Ils se fondent sur la fusion des résultats fournis par la segmentation de bas niveau, des connaissances anatomiques a priori et de l'information apportée par le modèle pré-opératoire. La troisième partie est réservée à la description détaillée des applications et à l'interprétation des résultats. Les applications traitées sont : l'orthopédie du rachis - visée pédiculaire, l'orthopédie du bassin - visée sacro-iliaque, la radiothérapie de la prostate et la ponction d'un épanchement péricardique. Finalement, les développements futurs de cette approche sont discutés.

Dans cette thèse, nous nous sommes intéressés à l 'étude d'un micro-robot destiné à la mise en oeuvre d'une technique de chirurgie mini-invasive pour le traitement des anévrismes de l'artère aorte abdominale. Ce micro-robot placé à l'extrémité d'un cathéter, rendant ce dernier actif, permettra la navigation à l'intérieur de l'artère en évitant les contacts avec les parois de celle-ci. Le système sera destiné à l'apprentissage du geste chirurgical et à l'assistance du chirurgienpendant l'opération. De par sa structure et ses propriétés physiques, le micro-robot, pouvantêtre composé de plusieurs modules élémentaires, entre dans la catégorie des robots continuum. Dans notre étude, un module élémentaire est considéré comme étant un robot parallèle. Lesmodèles géométriques et cinématiques inverses ont alors été établis en utilisant les techniques dela robotique parallèle. L'approche de modélisation proposée permet de faire ressortir explicitement du modèle les paramètres géométriques du micro-robot. Une étude sur l'identificationde ces paramètres a été effectuée par le calibrage du modèle géométrique inverse. Des résultatsde simulation sont présentés validant d'une part les modèles développés et d'autre part la méthode de calibrage proposée. Afin de mettre nos modèles en situation, nous avons développé unsimulateur tridimensionnel intégrant le modèle d'un segment de l'artère, le modèle du micro-robotet un syntaxeur à retour de force. La mise en place d'une navigation active, planifiée etguidée dans ce simulateur permet de contraindre les gestes du chirurgien lors de la navigation du micro-robot à l'intérieur de l'artère

Cette thèse traite de la reconstruction tridimensionnelle d'une scène rigide à partir d'une collection de photographies numériques, dites vues. Le problème traité est connu sous le nom du "calcul de la structure et du mouvement" (structure-and/from-motion) qui consiste à "expliquer" des trajectoires de points dits d'intérêt au sein de la collection de vues par un certain mouvement de l'appareil (dont sa trajectoire) et des caractéristiques géométriques tridimensionnelles de la scène. Dans ce travail, nous proposons les fondements théoriques pour étendre certaines méthodes de calcul de la structure et du mouvement afin d'intégrer comme données d'entrée, des points d'intérêt réels et des points d'intérêt complexes, et plus précisément des images de points cycliques. Pour tout plan projectif, les points cycliques forment une paire de points complexes conjugués qui, par leur invariance par les similitudes planes, munissent le plan projectif d'une structure euclidienne. Nous introduisons la notion de marqueurs cycliques qui sont des marqueurs plans permettant de calculer sans ambiguïté les images des points cycliques de leur plan de support dans toute vue. Une propriété de ces marqueurs, en plus d'être très "riches" en information euclidienne, est que leurs images peuvent être appariées même si les marqueurs sont disposés arbitrairement sur des plans parallèles, grâce à l'invariance des points cycliques. Nous montrons comment utiliser cette propriété dans le calcul projectif de la structure et du mouvement via une technique matricielle de réduction de rang, dite de factorisation, de la matrice des données correspondant aux images de points réels, complexes et/ou cycliques. Un sous-problème critique abordé dans le calcul de la structure et du mouvement est celui de l'auto-calibrage de l'appareil, problème consistant à transformer un calcul projectif en un calcul euclidien. Nous expliquons comment utiliser l'information euclidienne fournie par les images des points cycliques dans l'algorithme d'auto-calibrage opérant dans l'espace projectif dual et fondé sur des équations linéaires. L'ensemble de ces contributions est finalement utilisé pour une application de suivi automatique de caméra utilisant des marqueurs formés par des couronnes concentriques (appelés CCTags), où il s'agit de calculer le mouvement tridimensionnel de la caméra dans la scène à partir d'une séquence vidéo. Ce type d'application est généralement utilisé dans l'industrie du cinéma ou de la télévision afin de produire des effets spéciaux. Le suivi de caméra proposé dans ce travail a été conçu pour proposer le meilleur compromis possible entre flexibilité d'utilisation et précision des résultats obtenus.

Dans l'objectif de réduire les consommations énergétiques des bâtiments et de diminuer leur impact sur le réseau électrique, il est utile de disposer de stratégies de gestion énergétique en temps réel. Il s'agit en effet d'un verrou clé dans la perspective des réseaux intelligents (« smart grids ») et des programmes de gestion de la demande (« demand response »). Cette thèse propose ainsi le développement de stratégies de gestion en temps réel du chauffage électrique d'un bâtiment énergétiquement performant en période de pointe électrique. Tout d'abord, ces stratégies nécessitent l'utilisation et le développement de plusieurs modèles, à savoir un modèle de prévision météorologique, un modèle d'occupation et un modèle énergétique dynamique du bâtiment. Ensuite, dans l'objectif d'un suivi fiable des performances énergétiques et pour un pilotage optimal des installations, le calibrage du modèle de bâtiment à partir de relevés in situ est préférable. Une nouvelle méthodologie, basée sur un criblage des paramètres incertains et sur l'utilisation d'une méthode d'inférence bayésienne (calcul bayésien approché) a ainsi été développée. Enfin, deux méthodes d'optimisation ont été étudiées pour le développement de stratégies de régulation adaptées au temps réel. La première repose sur une méthode d'optimisation hors-ligne dont l'objectif est d'approximer les résultats d'une stratégie optimale calculée par une méthode d'optimisation exacte et ainsi identifier des lois de commandes simplifiées. La deuxième méthode repose quant à elle sur la commande prédictive et l'adaptation au temps réel de la commande optimale sous contraintes d'état et de commande utilisant la pénalisation intérieure. Une maison de la plateforme INCAS de l'Institut National de l'Énergie Solaire (INES) a été utilisée comme cas d'application pour étudier par simulation les différentes stratégies développées. / To reach the objectives of reducing the energy consumption of buildings and decreasing their impact on the electrical grid, it is necessary to elaborate real time control strategies in view of smart grids and demand response programs. In this context, this thesis aims at developing real time control strategies for electric load shifting in energy efficient buildings. First, these strategies require appropriate models regarding weather forecast, occupants' behaviour and building energy simulation. Then, in order to improve the reliability of building energy simulation and to ensure optimal control of facilities, a calibration process of the model based on on-site measurements is recommended. In this way a new methodology was developed , based on a screening technique and a bayesian inference method (approximate bayesian computation). Finally, two optimisation techniques were studied to develop real time control strategies. The first technique was based on offline optimisation methods. The principle is to approximate optimisation results (and more specifically model based predictive controllers results) and to extract simplified control strategies. The second method consisted in using model predictive control and, more precisely, in solving in real time a state and input constrained optimal control problem by interior penalty methods. An actual experimental passive house being part of the INCAS platform built by the National Solar Energy Institute (INES) was used to study by numerical simulation the different strategies developed.

Le travail présenté dans ce mémoire a pour cadre le dispositif de réalité mixte ray-on, conçu par la société on-situ. Ce dispositif, dédié à la mise en valeur du patrimoine architectural et en particulier d'édifices historiques, est installé sur le lieu de l'édifice et propose à l'utilisateur une vision uchronique de celui-ci. Le parti pris étant celui du photo-réalisme, deux pistes ont été suivies : l'amélioration du mélange réel virtuel par la reproduction de l'éclairage réel sur les objets virtuels, et la mise en place d'une méthode de segmentation d'image résiliente aux changements lumineux.Pour la reproduction de l'éclairage, une méthode de rendu basé-image est utilisée et associée à une capture haute dynamique de l'environnement lumineux. Une attention particulière est portée pour que ces deux phases soient justes photométriquement et colorimétriquement. Pour évaluer la qualité de la chaîne de reproduction de l'éclairage, une scène test constituée d'une mire de couleur calibrée est mise en place, et capturée sous de multiples éclairages par un couple de caméra, l'une capturant une image de la mire, l'autre une image de l'environnement lumineux. L'image réelle est alors comparée au rendu virtuel de la même scène, éclairée par cette seconde image.La segmentation résiliente aux changements lumineux a été développée à partir d'une classe d'algorithmes de segmentation globale de l'image, considérant celle-ci comme un graphe où trouver la coupe minimale séparant l'arrière plan et l'avant plan. L'intervention manuelle nécessaire à ces algorithmes a été remplacée par une pré-segmentation de moindre qualité à partir d'une carte de profondeur, cette pré-segmentation étant alors utilisée comme une graîne pour la segmentation finale. / The work described in this report has as a target the mixed reality device ray-on, developed by the on-situ company. This device, dedicated to cultural heritage and specifically architectural heritage, is meant to be installed on-site and shows the user an uchronic view of its surroundings. As the chosen stance is to display photo-realistic images, two trails were followed: the improvement of the real-virtual merging by reproducing accurately the real lighting on the virtual objects, and the development of a real-time segmentation method which is resilient to lighting changes.Regarding lighting reproduction, an image-based rendering method is used in addition to a high dynamic range capture of the lighting environment. The emphasis is put on the photometric and colorimetric correctness of these two steps. To measure the quality of the lighting reproduction chain, a test scene is set up with a calibrated color checker, captured by a camera while another camera is grabbing the lighting environment. The image of the real scene is then compared to the simulation of the same scene, enlightened by the light probe.Segmentation resilient to lighting changes is developed from a set of global image segmentation methods, which consider an image as a graph where a cut of minimal energy has to be found between the foreground and the background. These methods being semi-automatic, the manual part is replaced by a low resolution pre-segmentation based on the depthmap of the scene which is used as a seed for the final segmentation.

L'objectif principal de ce travail de thèse est l'élaboration d'un système de vision binoculaire mettant en oeuvre deux caméras de types différents. Le système étudié est constitué d'une caméra de type omnidirectionnelle associée à une caméra PTZ. Nous appellerons ce couple de caméras un système de vision hybride. L'utilisation de ce type de capteur fournit une vision globale de la scène à l'aide de la caméra omnidirectionnelle tandis que l'usage de la caméra mécanisée permet une fovéation, c'est-à-dire l'acquisition de détails, sur une région d'intérêt détectée depuis l'image panoramique.Les travaux présentés dans ce manuscrit ont pour objet, à la fois de permettre le suivi d'une cible à l'aide de notre banc de caméras mais également de permettre une reconstruction 3D par stéréoscopie hybride de l'environnement nous permettant d'étudier le déplacement du robot équipé du capteur. / The primary goal of this thesis is to elaborate a binocular vision system using two different types of camera. The system studied here is composed of one omnidirectional camera coupled with a PTZ camera. This heterogeneous association of cameras having different characteristics is called a hybrid stereo-vision system. The couple composed of these two cameras combines the advantages given by both of them, that is to say a large field of view and an accurate vision of a particular Region of interest with an adjustable level of details using the zoom. In this thesis, we are presenting multiple contributions in visual tracking using omnidirectional sensors, PTZ camera self calibration, hybrid vision system calibration and structure from motion using a hybrid stereo-vision system.

L’objectif de cette thèse est de développer des méthodes permettant la cartographie d’un environnement tridimensionnel de grande dimension en combinant radar panoramique MMW et caméras optiques. Contrairement aux méthodes existantes de fusion de données multi-capteurs, telles que le SLAM, nous souhaitons réaliser un capteur de type RGB-D fournissant directement des mesures de profondeur enrichies par l’apparence (couleur, texture...). Après avoir modélisé géométriquement le système radar/caméra, nous proposons une méthode de calibrage originale utilisant des correspondances de points. Pour obtenir ces correspondances, des cibles permettant une mesure ponctuelle aussi bien par le radar que la caméra ont été conçues. L’approche proposée a été élaborée pour pouvoir être mise en oeuvre dans un environnement libre et par un opérateur non expert. Deuxièmement, une méthode de reconstruction de points tridimensionnels sur la base de correspondances de points radar et image a été développée. Nous montrons par une analyse théorique des incertitudes combinées des deux capteurs et par des résultats expérimentaux, que la méthode proposée est plus précise que la triangulation stéréoscopique classique pour des points éloignés comme on en trouve dans le cas de cartographie d’environnements extérieurs. Enfin, nous proposons une stratégie efficace de mise en correspondance automatique des données caméra et radar. Cette stratégie utilise deux caméras calibrées. Prenant en compte l’hétérogénéité des données radar et caméras, l’algorithme développé commence par segmenter les données radar en régions polygonales. Grâce au calibrage, l’enveloppe de chaque région est projetée dans deux images afin de définir des régions d’intérêt plus restreintes. Ces régions sont alors segmentées à leur tour en régions polygonales générant ainsi une liste restreinte d’appariement candidats. Un critère basé sur l’inter corrélation et la contrainte épipolaire est appliqué pour valider ou rejeter des paires de régions. Tant que ce critère n’est pas vérifié, les régions sont, elles même, subdivisées par segmentation. Ce processus, favorise l’appariement de régions de grande dimension en premier. L’objectif de cette approche est d’obtenir une cartographie sous forme de patchs localement denses. Les méthodes proposées, ont été testées aussi bien sur des données de synthèse que sur des données expérimentales réelles. Les résultats sont encourageants et montrent, à notre sens, la faisabilité de l’utilisation de ces deux capteurs pour la cartographie d’environnements extérieurs de grande échelle. / The main goal of this PhD work is to develop 3D mapping methods of large scale environment by combining panoramic radar and cameras. Unlike existing sensor fusion methods, such as SLAM (simultaneous localization and mapping), we want to build a RGB-D sensor which directly provides depth measurement enhanced with texture and color information. After modeling the geometry of the radar/camera system, we propose a novel calibration method using points correspondences. To obtain these points correspondences, we designed special targets allowing accurate point detection by both the radar and the camera. The proposed approach has been developed to be implemented by non-expert operators and in unconstrained environment. Secondly, a 3D reconstruction method is elaborated based on radar data and image point correspondences. A theoretical analysis is done to study the influence of the uncertainty zone of each sensor on the reconstruction method. This theoretical study, together with the experimental results, show that the proposed method outperforms the conventional stereoscopic triangulation for large scale outdoor scenes. Finally, we propose an efficient strategy for automatic data matching. This strategy uses two calibrated cameras. Taking into account the heterogeneity of cameras and radar data, the developed algorithm starts by segmenting the radar data into polygonal regions. The calibration process allows the restriction of the search by defining a region of interest in the pair of images. A similarity criterion based on both cross correlation and epipolar constraint is applied in order to validate or reject region pairs. While the similarity test is not met, the image regions are re-segmented iteratively into polygonal regions, generating thereby a shortlist of candidate matches. This process promotes the matching of large regions first which allows obtaining maps with locally dense patches. The proposed methods were tested on both synthetic and real experimental data. The results are encouraging and prove the feasibility of radar and vision sensor fusion for the 3D mapping of large scale urban environment.

La finalité industrielle de ce travail est la réalisation d’un simulateur qui permette aux entraîneurs de football de mieux interpréter certaines situations de jeu à partir de séquences vidéo en en proposant une vision 3D, mais aussi de présenter de la manière la plus ergonomique qui soit des schémas de jeux sur la base de ces situations réelles. De plus, contrairement à ce qui se pratique assez couramment dans ce cadre-là, nous avons souhaité – pour des raisons de souplesse d’utilisation – rester dans un cadre assez large et ne pas profiter d’une phase préalable (fastidieuse) de calibrage, ce qui a été à l’origine de verrous scientifiques et technologiques que nous avons cherché à résoudre, et pour lesquels nous proposons des solutions dans la première partie. Les problèmes que nous avons eu à traiter sont de deux natures, informatiques d’une part et ergonomiques d’autre part. Il s’est agi, par exemple, de caractériser la transformation homographique permettant de passer de l’image au modèle, de retrouver la position de la caméra ou de déterminer automatiquement à quelle zone du terrain correspond l’image acquise. Et, au niveau ergonomique, il s’est agi de reproduire le plus fidèlement possible les modes d’appréhension de la réalité terrain, ainsi que de modélisation et de communication des entraîneurs de football. / This work refers to a 3D simulator that has for purpose to help football trainers interpreting tactical sequences based on real situations. This simulator has to be able to interpret video movies, to reconstruct a situation. The camera’s calibration state has to be as simple as possible. The first part of this document refers to the solution elaborated to implement this constraint whereas the second one is more oriented on the industrialisation process. These processes imply to focus on vision computing and ergonomics problems and to answer questions such as : how to characterize a homographic transformation matching the image and the model ? How to retrieve the position of the camera? Which area is part of the image? In an ergonomically point of view, the simulator has to reproduce the game play reality and to improve the abstraction and the communication of the coaches.