La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable.

La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable.

Cette thèse, consacrée à la mesure endoscopique de formes tridimensionnelle, se place dans un double contexte applicatif : tout d'abord industriel, avec l'inspection endoscopique de pièces mécaniques en milieu contraint (notamment tubulaire) à des résolutions micrométriques. Le second contexte est médical avec la détection de formes tridimensionnelle lors de coloscopies pour l'aide au diagnostic. L'endoscopie souple est obtenue par l'utilisation de guides optiques, la méthode de mesure tridimensionnelle est basée sur la stéréovision active avec la génération de lumière structurée par une matrice de micro-miroirs. Après avoir établi l'état de l'art, une méthode de conception et d'évaluation optique appliquée à la stéréovision en endoscopie souple est décrite. C'est ensuite la réalisation instrumentale, son évaluation métrologique, et une méthode innovante de basculement de modes dynamique entre stéréovision active et passive qui sont détaillées. Des méthodes algorithmiques de reconstruction tridimensionnelle adaptées à ce type d'instrument sont enfin proposées. Les contributions scientifiques de cette étude sont multiples. Une méthode d'analyse optique basée sur l'utilisation de fonctions de transfert de modulation pour la conception d'un endoscope mesurant par stéréovision est proposée. Des méthodes de traitement d'image pour un étalonnage robuste malgré une défocalisation optique ainsi qu'un nouvel algorithme à décalage de phase constituent également des contributions de l'étude. L'association de ces méthodes a permis d'extraire un principe de réalisation permettant la mesure tridimensionnelle par endoscopie souple. / This thesis aims at developing a tri-dimensional measurement endoscopic device in a double context: the first one is industrial with endoscopic inspection of mechanical pieces (tubular inspection, for example) at micrometric resolution. The second context is medical with tri-dimensional shape detection during colonoscopy to help the surgeon diagnosis. In this study, flexible endoscopy is made possible by using image guides and the tri-dimensional reconstruction method is based on active stereovision where a digital micro-mirror device is used to spatially structure the incoming light. After developing the state of the art, an optical conception and evaluation method, applied to stereovision for flexible endoscopic devices is described. The instrumental realization is then detailed and metrologically evaluated. An innovative method that allows to switch dynamically between active and passive stereovision is then detailed. Finally, 3D reconstruction algorithms adapted to this endoscopic instrument are proposed. The scientific contributions of this study are multiple. Firstly, an optical analysis method based on the modulation transfer function to design an endoscopic stereovision system is proposed. An image processing method for robust calibration in a defocused optical environment and a new phase-shifting algorithm for 3D reconstruction are proposed. Finally, a realization principle for 3D measurement in flexible endoscopy was extracted from the combination of all these methods.

La cystoscopie est actuellement l'examen clinique de référence permettant l'exploration visuelle des parois internes de la vessie. Le cystoscope (instrument utilisé pour cet examen) permet d'acquérir une séquence vidéo des parois épithéliales de la vessie. Cependant, chaque image de la séquence vidéo ne visualise qu'une surface réduite de quelques centimètres carrés de la paroi. Les travaux réalisés dans le cadre de cette thèse ont pour objectif de construire une carte 3D reproduisant d'une manière fidèle les formes et les textures des parois internes de la vessie. Une telle représentation de l'intérieur de la vessie permettrait d'améliorer l'interprétation des données acquises lors d'un examen cystoscopique. Pour atteindre cet objectif, un nouvel algorithme flexible est proposé pour le calibrage de systèmes cystoscopiques à vision active. Cet algorithme fournit les paramètres nécessaires à la reconstruction précise de points 3D sur la portion de surface imagée à chaque instant donné de la séquence vidéo cystoscopique. Ainsi, pour chaque acquisition de la séquence vidéo, un ensemble de quelques points 3D/2D et une image 2D est disponible. L'objectif du deuxième algorithme proposé dans cette thèse est de ramener l'ensemble des données obtenues pour une séquence dans un repère global pour générer un nuage de points 3D et une image panoramique 2D représentant respectivement la forme 3D et la texture de la totalité de la paroi imagée dans la séquence vidéo. Cette méthode de cartographie 3D permet l'estimation simultanée des transformations 3D rigides et 2D perspectives liant respectivement les positions du cystoscope et les images de paires d'acquisitions consécutives. Les résultats obtenus sur des fantômes réalistes de vessie montrent que ces algorithmes permettent de calculer des surfaces 3D reproduisant les formes à retrouver / Cystoscopy is currently the reference clinical examination for visual exploration of the inner walls of the bladder. A cystoscope (instrument used in this examination) allows for video acquisition of the bladder epithelium. Nonetheless, each frame of the video displays only a small area of few squared centimeters. This work aims to build 3D maps representing the 3D shape and the texture of the inner walls of the bladder. Such maps should improve and facilitate the interpretation of the cystoscopic data. To reach this purpose, a new flexible algorithm is proposed for the calibration of cystoscopic active vision systems. This algorithm provides the required parameters to achieve accurate reconstruction of 3D points on the surface part imaged at each given moment of the video cystoscopy. Thus, available data for each acquisition are a set of few 3D points (and their corresponding 2D projections) and a 2D image. The aim of the second algorithm described in this work is to place all the data obtained for a sequence in a global coordinate system to generate a 3D point cloud and a 2D panoramic image representing respectively the 3D shape and the texture of the bladder wall imaged in the video. This 3D cartography method allows for the simultaneous estimation of 3D rigid transformations and 2D perspective transformations. These transformations give respectively the link between cystoscope positions and between images of consecutive acquisitions. The results obtained on realistic bladder phantoms show that the proposed method generates 3D surfaces recovering the ground truth shapes

Les techniques de reconstruction de formes tridimensionnelles sont très largement utilisées dans de nombreux domaines, et notamment dans le domaine industriel ou médical. Et dans ces domaines, les techniques de mesure sans contact sont particulièrement étudiées, principalement parce qu'elles permettent de ne pas détériorer l'objet mesuré. Ce travail de thèse se place donc dans ce contexte et plus particulièrement dans le cas des dispositifs endoscopiques de mesure tridimensionnelle de surface par moyen optique. Dans le domaine médical, ce type d'instrument peut être appliqué à la coloscopie 3D ou à la chirurgie mini-invasive pour la détection de forme en surface de tissus biologiques. Dans cette thèse ce sont plus particulièrement les méthodes à base de stéréovision active ou passive, qui vont être étudiées et intégrées dans un dispositif miniaturisé. Différents modes de mesure vont être intégrés simultanément dans un unique instrument miniaturisé afin de permettre d'augmenter les performances de mesure : l'instrument peut adapter son principe de mesure à la texture de l'objet ou également à l'orientation des surfaces mesurées et plus généralement au contexte de la mesure. Ce travail de thèse est donc basé sur une étude algorithmique et instrumentale d'intégration de ces différents modes de mesure dans un unique instrument endoscopique miniaturisé. L'étude des modes de mesure par stéréovision a été réalisée en trois phases. Tout d'abord, c'est l'influence de l'orientation de la surface des objets mesurés dans un cas de stéréovision active qui est analysé. Puis une technique de basculement entre les voies de projection et d'acquisition du système de stéréovision active par actionnement bistable est proposé, ce qui permet d'adapter la mesure à l'orientation des surfaces à mesurer. Enfin, l'étude est orientée vers la possibilité de basculer d'un mode de stéréovision active vers un mode de stéréovision passive, toujours par actionnement bistable, le mode de stéréovision passive étant particulièrement adapté aux objets fortement texturés. Ainsi, trois modes de mesure sont réalisés dans ce nouveau système : deux modes de stéréovision active (avec inversion des voies de capture et de projection) et un mode de stéréovision passive. Pour réaliser la reconstruction tridimensionnelle, deux méthodes actives (par décalage de phase et par transformation de Fourier) et une méthode passive sont étudiées. Différentes performances de mesure sont obtenues selon les méthodes sélectionnées : un résultat de mesure plus précis est obtenu par les méthodes à. décalage de phase, une vitesse de mesure plus élevée est obtenu par les méthodes à transformée de Fourier ou par les méthodes passives. Le développement instrumental est également décrit dans cette thèse. Après modélisation optique et conception mécanique du système de mesure, un prototype de l'instrument endoscopique est fabriqué avec divers équipements spécifiques, tels qu'un DMD (Digital Micromirror Device), des guides d'images et des actionneurs électromagnétiques bistables. La validation expérimentale de la mesure tridimensionnelle est réalisée essentiellement sur objets mécaniques (du type mesure de détails sur pièce de monnaie), les deux méthodes actives et la méthode passives sont ainsi testées et confrontées. Enfin, une mesure sur un colon artificiel est réalisée par ce système pour se placer dans un contexte applicatif médical. / The techniques of three dimensional shapes reconstruction are widely used in many fields, particularly in the industrial or medical field. And in these areas, non-contact measurement techniques are particularly studied, mainly because they don't damage the measured object. This work therefore falls within this context and in particular in the case of endoscopic devices of surface coordinate measuring by optical methods. ln the medical field, this type of instrument can be applied to 3D colonoscopy or minimally invasive surgery to the surface in the form of biological tissues. In this thesis, methods based on active or passive stereo vision are the principle, which will be studied and integrated into a miniaturized device. Different measurement modes will be incorporated simultaneously into a single miniaturized instrument to help increase measurement performance: the instrument can adjust its measurement principle to the texture of the object or also to the orientation of measured surfaces more generally to the context of the measurement. This thesis is based on an algorithmic study and instrumental integration of these different measurement modes into a single miniaturized endoscopic instrument. The study of the measurement modes stereovision was conducted in three phases. First, it is the influence of the orientation of the measured objects' surface in a case of active stereovision being analyzed. And a technique of switching between the projection and acquisition in an active stereovision system by bistable actuation is proposed, which allows to adapt the measurement to the orientation of the measured surfaces. Finally, the study is oriented towards the ability to switch from one active stereovision mode to one passive stereovision mode, always by bistable actuator operation, the passive stereovision mode is particularly suitable for highly textured objects. Thus, three measurement modes are made in the new system: two modes of active stereovision (reversing capture and projection channels) and a mode of passive stereovision. To achieve three-dimensional reconstruction, two active methods (phase shift and Fourier Transform) and a passive method are studied. Different performance measurements are obtained according to methods selected: a more accurate measuring result is obtained by the phase shift methods; a high measurement speed is obtained by the Fourier transform methods or by passive methods. The instrumental development is also described in this thesis. After optical modeling and mechanical design of the measuring system, a prototype of the endoscopic instrument is manufactured with various specific devices such as a DMD (Digital Micromirror Deviee),images guides and bistable electromagnetic actuators. The experimental validation of the three-dimensional measurement is performed mainly on mechanical objects (such as details measurement on a coin), both active and passive method methods are well tested and compared. Finally, an artificial colon is measured by this system to be placed in a medical application context.

La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l’animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l’insuffisance de la texture faciale. L’information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l’éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d’un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l’information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l’information 3D, de compléter la vue scannée du visage en traitant son aspect déformable. / 3D face measurement is increasingly demanded for many applications such as bio-metrics, animation and facial surgery. Current solutions often employ a structured light camera/projector device to overcome the relatively uniform appearance of skin. Depth in-formation is recovered by decoding patterns of the projected structured light. One of the most widely used structured-light coding is sinusoidal phase shifting which allows a 3Ddense resolution. Current solutions mostly utilize more than three phase-shifted sinusoidal patterns to recover the depth information, thus impacting the acquisition delay. They further require projector-camera calibration whose accuracy is crucial for phase to depth estimation step. Also, they need an unwrapping stage which is sensitive to ambient light, especially when the number of patterns decreases. An alternative to projector-camera systems consists of recovering depth information by stereovision using a multi-camera system. A stereo matching step finds correspondence between stereo images and the 3D information is obtained by optical triangulation. However, the model computed in this way generally is quite sparse. To up sample and denoise depth images, researchers looked into super-resolution techniques. Super-resolution was especially proposed for time-of-flight cameras which have very low data quality and a very high random noise. This thesis proposes a3D acquisition solution with a 3D space-time non-rigid super-resolution capability, using a calibrated multi-camera system coupled with a non calibrated projector device, which is particularly suited to 3D face scanning, i.e. rapid and easily movable. The proposed solution is a hybrid stereovision and phase-shifting approach, using two shifted patterns and a texture image, which not only takes advantage of the assets of stereovision and structured light but also overcomes their weaknesses. The super-resolution scheme involves a 3D non-rigid registration for 3D artifacts correction in the presence of small non-rigid deformations as facial expressions.