Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble). / Cette thèse s’intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d’intérêt identifié par l’usager. Nous reprenons une des méthodes les plus robustes à cet effet et l’améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu’effectue l’objet d’intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s’agit là, d’estimer des paramètres intrinsèques qui décrivent la projection d’entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les cam ́eras linéaires (pushbroom) et les vidéo projecteurs lesquels ́etaient, jusque là, calibrés de façon laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à-priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra. / The topic of this thesis revolves around three fundamental problems in computer vision; namely, video tracking, camera calibration and shape recovery. The proposed methods are solely based on photometric and geometric constraints found in the images. Video tracking, usually performed on a video sequence, consists in tracking a region of interest, selected manually by an operator. We extend a successful tracking method by adding the ability to estimate the orientation of the tracked object. Furthermore, we consider another fundamental problem in computer vision: cali- bration. Here we tackle the problem of calibrating linear cameras (a.k.a: pushbroom) and video projectors. For the former one we propose a convenient plane-based cali- bration algorithm and for the latter, a calibration algorithm that does not require a physical grid and a planar auto-calibration algorithm. Finally, we pointed our third research direction toward shape reconstruction using coplanar shadows. This technique is known to suffer from a bas-relief ambiguity if no extra information on the scene or light source is provided. We propose a simple method to reduce this ambiguity from four to a single parameter. We achieve this by taking into account the visibility of the light spots in the camera.

Cette thèse s’intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d’intérêt identifié par l’usager. Nous reprenons une des méthodes les plus robustes à cet effet et l’améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu’effectue l’objet d’intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s’agit là, d’estimer des paramètres intrinsèques qui décrivent la projection d’entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les cam ́eras linéaires (pushbroom) et les vidéo projecteurs lesquels ́etaient, jusque là, calibrés de façon laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à-priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra. / The topic of this thesis revolves around three fundamental problems in computer vision; namely, video tracking, camera calibration and shape recovery. The proposed methods are solely based on photometric and geometric constraints found in the images. Video tracking, usually performed on a video sequence, consists in tracking a region of interest, selected manually by an operator. We extend a successful tracking method by adding the ability to estimate the orientation of the tracked object. Furthermore, we consider another fundamental problem in computer vision: cali- bration. Here we tackle the problem of calibrating linear cameras (a.k.a: pushbroom) and video projectors. For the former one we propose a convenient plane-based cali- bration algorithm and for the latter, a calibration algorithm that does not require a physical grid and a planar auto-calibration algorithm. Finally, we pointed our third research direction toward shape reconstruction using coplanar shadows. This technique is known to suffer from a bas-relief ambiguity if no extra information on the scene or light source is provided. We propose a simple method to reduce this ambiguity from four to a single parameter. We achieve this by taking into account the visibility of the light spots in the camera. / Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble).

Nous présentons une nouvelle approche pour la modélisation d'objets 3D de haute qualité à partir de séquences d'images en rotation partiellement calibrées. L'algorithme est capable: de calibrer la caméra (la pose et la longueur focale), de reconstruire la géométrie 3D et de créer une carte de texture. Par rapport à d'autres méthodes plus classiques, le calibrage est réalisé à partir d'un ensemble de silhouettes comme seule source d'information. Nous développons le concept de cohérence d'un ensemble de silhouettes généré par un objet 3D. Nous discutons d'abord la notion de cohérence de silhouettes et définissons un critère pratique pour l'estimer. Ce critère dépend à la fois des silhouettes et des paramètres des caméras qui les ont générées. Ces paramètres peuvent être estimés pour le problème de modélisation 3D en maximisant la cohérence globale des silhouettes. La méthode de reconstruction 3D est fondée sur l'utilisation d'un modèle déformable classique, qui définit le cadre dans lequel nous pouvons fusionner l'information de la texture et des silhouettes pour reconstruire la géométrie 3D. Cette fusion est accomplie en définissant deux forces basées sur les images: une force définie par la texture et une autre définie par les silhouettes. La force de texture est calculée en deux étapes: une approche corrélation multi-stéréo par décision majoritaire, et une étape de diffusion du vecteur gradient (GVF). En raison de la haute résolution de l'approche par décision majoritaire, une version multi-résolution du GVF a été développée. En ce qui concerne la force des silhouettes, une nouvelle formulation de la contrainte des silhouettes est dérivée. Elle fournit une manière robuste d'intégrer les silhouettes dans l'évolution du modèle déformable. A la fin de l'évolution, cette force fixe les contours générateurs du modèle 3D. Finalement, une carte de texture est calculée à partir des images originales et du modèle 3D reconstruit.

Dans cette thèse, nous nous sommes intéressés à l 'étude d'un micro-robot destiné à la mise en oeuvre d'une technique de chirurgie mini-invasive pour le traitement des anévrismes de l'artère aorte abdominale. Ce micro-robot placé à l'extrémité d'un cathéter, rendant ce dernier actif, permettra la navigation à l'intérieur de l'artère en évitant les contacts avec les parois de celle-ci. Le système sera destiné à l'apprentissage du geste chirurgical et à l'assistance du chirurgienpendant l'opération. De par sa structure et ses propriétés physiques, le micro-robot, pouvantêtre composé de plusieurs modules élémentaires, entre dans la catégorie des robots continuum. Dans notre étude, un module élémentaire est considéré comme étant un robot parallèle. Lesmodèles géométriques et cinématiques inverses ont alors été établis en utilisant les techniques dela robotique parallèle. L'approche de modélisation proposée permet de faire ressortir explicitement du modèle les paramètres géométriques du micro-robot. Une étude sur l'identificationde ces paramètres a été effectuée par le calibrage du modèle géométrique inverse. Des résultatsde simulation sont présentés validant d'une part les modèles développés et d'autre part la méthode de calibrage proposée. Afin de mettre nos modèles en situation, nous avons développé unsimulateur tridimensionnel intégrant le modèle d'un segment de l'artère, le modèle du micro-robotet un syntaxeur à retour de force. La mise en place d'une navigation active, planifiée etguidée dans ce simulateur permet de contraindre les gestes du chirurgien lors de la navigation du micro-robot à l'intérieur de l'artère / In this thesis, we are interested in a micro-robot study for the implementation of a mini-invasivesurgery technique. The medical application concerns the treatment of the artery abdominal aorta aneurysms. This micro-robot located at the extremity of the catheter permits thecatheter movements into the artery avoiding minimizing contacts with the artery walls. The system can be used for the surgical gesture learning and for the surgeon assistance during the medical operation. Because of its structure and its physical properties the micro-robot is considered as a continuum robot. It is composed of one or several elementary modules. In our study we consider each elementary module as a parallel robot. Then the inverse kinematics model has been established by using techniques of parallel robotics. The proposed modelling approach allows the expression of the model according to the micro-robot geometric parameters. A study on the identification of these parameters has been developed by an inverse geometric modelcalibration. The given simulation results validate the developed models on the one hand, the proposed calibration method on the other hand. We have developed a three-dimensional simulator integrating the model of an artery segment, the micro-robot model, and a joystick with force feedback. The implementation of active, planned and guided navigation on this simulator allows to constrain the surgeon gestures during the movements of the micro-robot inside the artery

Les systèmes multi-capteurs exploitent les complémentarités des différentes sources sensorielles. Par exemple, le capteur visuo-inertiel permet d’estimer la pose à haute fréquence et avec une grande précision. Les méthodes de vision mesurent la pose à basse fréquence mais limitent la dérive causée par l’intégration des données inertielles. Les centrales inertielles mesurent des incréments du déplacement à haute fréquence, ce que permet d’initialiser la vision et de compenser la perte momentanée de celle-ci. Cette thèse analyse deux aspects du problème. Premièrement, nous étudions les méthodes visuelles directes pour l’estimation de pose, et proposons une nouvelle technique basée sur la corrélation entre des images et la pondération des régions et des pixels, avec une optimisation inspirée de la méthode de Newton. Notre technique estime la pose même en présence des changements d’illumination extrêmes. Deuxièmement, nous étudions la fusion des données a partir de la théorie de la commande. Nos résultats principaux concernent le développement d’observateurs pour l’estimation de pose, biais IMU et l’autocalibrage. Nous analysons la dynamique de rotation d’un point de vue non linéaire, et fournissons des observateurs stables dans le groupe des matrices de rotation. Par ailleurs, nous analysons la dynamique de translation en tant que système linéaire variant dans le temps, et proposons des conditions d’observabilité uniforme. Les analyses d’observabilité nous permettent de démontrer la stabilité uniforme des observateurs proposés. La méthode visuelle et les observateurs sont testés et comparés aux méthodes classiques avec des simulations et de vraies données visuo-inertielles. / Systems with multiple sensors can provide information unavailable from a single source, and complementary sensory characteristics can improve accuracy and robustness to many vulnerabilities as well. Explicit pose measurements are often performed either with high frequency or precision, however visuo-inertial sensors present both features. Vision algorithms accurately measure pose at low frequencies, but limit the drift due to integration of inertial data. Inertial measurement units yield incremental displacements at high frequencies that initialize vision algorithms and compensate for momentary loss of sight. This thesis analyzes two aspects of that problem. First, we survey direct visual tracking methods for pose estimation, and propose a new technique based on the normalized crosscorrelation, region and pixel-wise weighting together with a Newton-like optimization. This method can accurately estimate pose under severe illumination changes. Secondly, we investigate the data fusion problem from a control point of view. Main results consist in novel observers for concurrent estimation of pose, IMU bias and self-calibration. We analyze the rotational dynamics using tools from nonlinear control, and provide stable observers on the group of rotation matrices. Additionally, we analyze the translational dynamics using tools from linear time-varying systems, and propose sufficient conditions for uniform observability. The observability analyses allow us to prove uniform stability of the observers proposed. The proposed visual method and nonlinear observers are tested and compared to classical methods using several simulations and experiments with real visuo-inertial data.

Les Systèmes Mobiles de Cartographie basés LIDAR permettent d’obtenir des cartes 3D de l’environnement, qui sont géo-référencées grâce à d’autres capteurs embarqués sur le véhicule : GPS, centrale inertielle, ou encore odomètre sont de tels capteurs qui permettent de localiser le véhicule mobile pendant la campagne d’acquisition. Toutefois, ces cartes manquent de précisions et un affinage des cartes est essentiel dans de nombreux cas d’applications où une précision fine est requise sur les cartes 3D, comme pour des applications de classifications par exemple.Lors de la création de cartes 3D géoréférencées,les données sont tout d’abord acquises par le capteur LIDAR et référencées dans le repère cartésien du laser à l’aide d’un calibrage intrinsèque du capteur d’acquisition. Ensuite, un calibrage extrinsèque du capteur permet de caractériser la transformation entre le capteur et le véhicule, et permet de référencer les données dans le repère « body», lié au véhicule d’acquisition. Enfin, avec la trajectoire du véhicule obtenue en fusionnant les données issues des GPS, centrale inertielle et odomètre, il est possible de géoréférencer les données lasers.Nous proposons dans cette thèse d’affiner les relevés laser issus d’acquisitions effectuées à l’aide d’un véhicule mobile de cartographie, en optimisant plusieurs paramètres différents qui entrent en compte dans le géoréférencement des données. Nous nous sommes intéressés à l’affinement des nuages de points par optimisation des paramètres decalibrage extrinsèque dans un premier temps, puis par optimisation des paramètres de calibrage intrinsèque, et enfin par optimisation des paramètres de translations liés à la trajectoire du véhicule mobile. / LIDAR based Mobile Mapping Systems allowto get 3D maps of the environment, which are globally referenced with the help of others sensors embedded on the vehicle: GPS,Inertial Measurement Unit, or odometer are such sensors which allow localizing the vehicle during the acquisition process. However, these maps lack of precision, and are finement of the maps is necessary for manywork where a good precision is needed on the 3D maps, like classification applications for example.When creating the globally referenced 3D maps, the data are firstly acquired by the LIDAR sensor and referenced in the Cartesian reference frame of the sensor withan intrinsic calibration of the sensor. Then, anextrinsic calibration gives the transformation between the sensor and the vehicle, and gives data referenced in the « body »reference frame, linked to the vehicle. Finally, with the fusion of the data coming from the GPS, the Inertial Measurement Unit and theodometer, the laser data can be globally referenced.In this thesis, we propose to refine the point clouds coming from acquisitions done with a mobile mapping system, by optimizing some parameters which are used in the georeferencing process of the data. Firstly, we were interested in the refinement of point clouds by optimizing the extrinsic calibration parameters, and then we were interested in the refinement of point clouds by optimizing the intrinsic calibration parameters; finally by optimizing the translation parameters of the mobile vehicle trajectory.

La connaissance des positions et des mouvements des articulateurs (lèvres, palais, langue...) du conduit vocal lors de la phonation est un enjeu crucial pour l'étude de la parole. Puisqu'il n'existe pas encore de système permettant l'acquisition de ces positions et de ces mouvements, ce travail de thèse s'intéresse à la fusion de plusieurs modalités d'imagerie et de capteurs de localisation pour l'acquisition des positions des articulateurs dans l'espace et dans le temps. Nous décrivons un ensemble de protocoles et de méthodes pour obtenir et fusionner automatiquement un important volume de données échographiques (imageant en 2D la dynamique de la langue), stéréoscopiques (imageant en 3D la dynamique des lèvres), de capteurs électromagnétiques (capturant des points 3D de la langue et du visage), et d'Imagerie par Résonance Magnétique (IRM) pour acquérir en 3D l'ensemble des articulateurs en position statique. Nos contributions concernent plus particulièrement la synchronisation temporelle, le recalage spatial des données et l'extraction automatique des formes à partir des données (suivi de la langue dans les images échographiques). Nous évaluons la précision sur chaque donnée extraite, ainsi que sur l'ensemble des données fusionnées. Nous les validons enfin sur un modèle articulatoire existant. Ces travaux permettent l'obtention de données bien fondées pour la mise en place et l'étude de modèles articulatoires pour des applications en parole.

Depuis l'apparition des premiers réseaux radiomobiles cellulaires analogiques au d´ebut des années 70, nous avons assisté à une explosion de la demande en systèmes de communication sans fil. Les services concernés par les télécommunications sans fil se sont depuis étendus à la transmission de données et aux applications multimédia. Devant la nécessité d'avoir des débits élevés tout en garantissant une certaine qualit´e de service, les techniques MIMO (Multiple Input - Multiple Output) apparaissent comme très prometteuses. En utilisant plusieurs antennes simultanément en émission et en réception, ces systèmes exploitent la dimension spatiale pour la transmission de l'information. Ainsi la mise en oeuvre de ces techniques permet d'aboutir à une amélioration substantielle des débits et/ou des performances des liaisons numériques. Comme dans toutes les études systèmes, une analyse approfondie du canal de transmission et des mécanismes de propagation associés s'avère indispensable. Si dans un contexte classique, la caractérisation et la modélisation du canal peuvent se limiter au domaine temporel, il est n´ecessaire pour les systèmes MIMO de considérer la dimension spatiale au même niveau que la dimension temporelle. Une modélisation précise et réaliste du canal dans le domaine spatial est d'autant plus importante dans un contexte MIMO, puisque le gain par rapport à un système classique en terme de débit et/ou de performance est largement tributaire des propriétés spatiales du canal. C'est dans ce contexte que s'inscrit le travail présenté dans ce document. Cette thèse a pour objectif la conception d'un système de mesure performant permettant d'approfondir la connaissance du canal de propagation MIMO pour la bande UMTS.

Cette étude porte sur l'application des techniques de mesure optiques pour la caractérisation mécanique des organes biologiques. Deux voies ont été explorées : la réalisation de maillages en éléments finis et la mesure de déformations planes. Les maillages en éléments finis peuvent être réalisés à partir du relief des organes. Nous avons alors développé une technique de projection de réseaux de traits. Afin d'améliorer l'exactitude, l'analyse des réseaux s'effectue par des techniques de décalages de phases. Une procédure de calibrage du montage a été spécialement développée. La mesure des déformations sur de la peau a été effectuée par une extension de la technique de suivi de marqueurs. Afin de voir l'ensemble des phénomènes mécaniques qui régissent ce tissu, nous avons réalisé des essais de traction simple, de relaxation, de traction à accélération constante et de traction biaxiale. Le caractère viscoplastique de la peau et l'orthotropie de sa structure ont été ainsi mis en évidence.

Avec le développement actuel des nano-technologies, la demande en matière d'étude du comportement des matériaux à des échelles micro ou nanoscopique ne cesse d'augmenter. Pour la mesure de forme ou de déformation tridimensionnelles à ces échelles de grandeur, l'acquisition d'images à partir d'un Microscope Électronique à Balayage (MEB) couplée à l'analyse par corrélation d'images numériques s'est avérée une technique intéressante. Cependant, un MEB est un outil conçu essentiellement pour de la visualisation et son utilisation pour des mesures tridimensionnelles précises pose un certain nombre de difficultés comme par exemple le calibrage du système et la correction des fortes distorsions (spatiales et temporelles) présentes dans les images. De plus, le MEB ne possède qu'un seul capteur et les informations tridimensionnelles souhaitées ne peuvent pas être obtenues par une approche classique de type stéréovision. Cependant, l'échantillon à analyser étant monté sur un support orientable, des images peuvent être acquises sous différents points de vue, ce qui permet une reconstruction tridimensionnelle en utilisant le principe de vidéogrammétrie pour retrouver à partir des seules images les mouvements inconnus du porte-échantillon.<br /><br />La thèse met l'accent sur la nouvelle technique de calibrage et de correction des distorsions développée car c'est une contribution majeure pour la précision de la mesure de forme et de déformations 3D aux échelles de grandeur étudiées. Elle prouve que, contrairement aux travaux précédents, la prise en compte de la dérive temporelle et des distorsions spatiales d'images est indispensable pour obtenir une précision de mesure suffisante. Les principes permettant la mesure de forme par vidéogrammétrie et le calcul de déformations 2D et 3D sont aussi présentés en détails. Dans le but de valider nos travaux et démontrer en particulier la précision de mesure obtenue, des résultats expérimentaux issus de différentes applications sont présentés tout au long de la thèse. Enfin, un logiciel rassemblant différentes applications de vision par ordinateur a été developpé.