La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable.

La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l'animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l'insuffisance de la texture faciale. L'information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l'éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d'un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l'information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l'information 3D, de compléter la vue scannée du visage en traitant son aspect déformable.

Depuis plus de vingt ans, le besoin en numérisation 3D de pièces industrielles augmente considérablement. Par conséquent, un grand nombre de techniques expérimentales ont été proposées ainsi que quelques solutions commerciales. Cependant, des difficultés subsistent pour l'acquisition de surfaces optiquement non coopératives, comme les surfaces transparentes et/ou spéculaires. En effet, la transmission ou réflexion spéculaire de la lumière va à l'encontre du fonctionnement des systèmes conventionnels d'acquisition 3D, qui repose sur l'acquisition de la partie diffuse de la réflexion. Afin d'aborder la problématique de numérisation 3D des surfaces métalliques fortement réfléchissantes, nous proposons l'extension d'une technique non conventionnelle, initialement dédiée aux objets en verre et appelée " Scanning from Heating ". Cette technique diffère des approches classiques de triangulation active par la mesure de l'émission thermique de la surface plutôt que de la réflexion du rayonnement visible. Une source laser est géométriquement calibrée avec un capteur infrarouge pour extraire le nuage de points 3D des images thermiques. En nous appuyant sur les propriétés thermo-physiques des métaux, nous présentons un modèle théorique des échanges thermiques mis en jeu par la technique, permettant de démontrer la faisabilité sur les matériaux métalliques. Grâce à un outil de simulation par éléments finis, les résultats apportent des indications essentielles pour le développement d'une solution expérimentale et le réglage de celle-ci. Un premier dispositif expérimental a été mis en œuvre afin de valider le processus de numérisation 3D sur des surfaces spéculaires, de géométries et de compositions variées. Par ailleurs, une comparaison de nos résultats de numérisation avec ceux d'un système conventionnel permet de démontrer la polyvalence de notre technique. En effet, à partir d'un panel d'échantillons de géométries identiques mais d'états de surface différents, nous mettons en évidence que les performances d'acquisition 3D ne sont pas influencées par la rugosité de la surface. Enfin, en se basant sur des observations empiriques, un prototype de numérisation 3D est développé afin d'apporter des améliorations conséquentes par rapport au système initial

Cette thèse s'intéresse au recalage de données issues de capteurs 3D et multispectraux pour l'étude du patrimoine.Lorsque l'on étudie ce type d'objet, il y a souvent peu de points saillants naturels entre ces jeux de données complémentaires. Par ailleurs, l'utilisation de mires optiques est proscrite.Notre problème est donc de recaler des données multimodales sans points caractéristiques.Nous avons développé une méthode de recalage basé sur le suivi des systèmes d'acquisition en utilisant des techniques issues de la photogrammétrie.Des simulations nous ont permis d'évaluer la précision de la méthode dans trois configurations qui représentent des cas typiques dans l'étude d'objets du patrimoine.Ces simulations ont montré que l'on peut atteindre une précision du suivi de 0.020 mm spatialement et 0.100 mrad angulairement en utilisant quatre caméras 5 Mpx lorsque l'on numérise une zone de 400 mm x 700 mm.La précision finale du recalage repose sur le succès d'une série de calibrations optiques et géométriques, ainsi que sur leur stabilité pour la durée du processus d'acquisition.Plusieurs tests ont permis d'évaluer la précision du suivi et du recalage de plusieurs jeux de données indépendants; d'abord seulement 3D, puis 3D et multispecrales.Enfin, nous avons étendu notre méthode d'estimation de la réflectance à partir des données multispectrales lorsque celles-ci sont recalées sur un modèle 3D.

Les travaux de thèse ont pour objectif de proposer une méthode flexible de mesure de balourds des vilebrequins. A l'heure actuelle, la mesure des balourds des vilebrequins est réalisée à l'aide de machines d'équilibrage, qui sont très dépendantes de la géométrie et de la typologie des vilebrequins. De ce constat, il semble intéressant de remplacer ces moyens de mesure mécanique par des moyens de mesure de géométrie de la peau plus flexibles vis-à-vis des typologies de pièces. Ces travaux ont mis en évidence les deux problématiques majeures : le calcul des balourds sur données bruitées et incomplètes issues de la numérisation, le choix des systèmes de numérisation acceptables vis-à-vis de l'équilibrage, et la planification de trajectoires de mesure respectant des contraintes de qualité et de temps de cycle. Une méthode de calcul de balourds à partir de données discrètes et basée sur une voxélisation a été développée. Un protocole d'évaluation de capteurs a été mis en place. Celui-ci est constitué d'indicateurs de qualité préalablement développés au Lurpa et de nouveaux indicateurs permettant de prendre en compte la complexité géométrique des vilebrequins. La méthode de planification de trajectoires s'appuie sur une voxélisation adaptative dans laquelle la taille des voxels est réglée en fonction du besoin. Les caractéristiques de la fenêtre de mesure du capteur sont prises en compte. La démarche globale d'équilibrage par mesure de la géométrie externe a été validée grâce à la numérisation de 7 vilebrequins avec deux différents systèmes de numérisation.

La numérisation 3D telle que pratiquée aujourd'hui repose essentiellement sur les connaissances de l'opérateur qui la réalise. La qualité des résultats reste très sensible à la procédure utilisée et par conséquent aux compétences de l'opérateur. Ainsi, la numérisation manuelle est très coûteuse en ressources humaines et matérielles et son résultat dépend fortement du niveau de technicité de l'opérateur. Les solutions de numérisation les plus avancées en milieu industriel sont basées sur une approche d'apprentissage nécessitant une adaptation manuelle pour chaque pièce. Ces systèmes sont donc semi-automatiques compte tenu de l'importance de la contribution humaine pour la planification des vues.Mon projet de thèse se focalise sur la définition d'un procédé de numérisation 3D automatique et intelligente. Ce procédé est présenté sous forme d'une séquence de processus qui sont la planification de vues, la planification de trajectoires, l'acquisition et les post-traitements des données acquises. L'originalité de notre démarche de numérisation est qu'elle est générique parce qu'elle n'est pas liée aux outils et méthodes utilisés pour la réalisation des tâches liées à chaque processus. Nous avons également développé trois méthodes de planification de vues pour la numérisation d'objets sans connaissance a priori de leurs formes. Ces méthodes garantissent une indépendance des résultats par rapport au savoir-faire de l'opérateur. L'originalité de ces approches est qu'elles sont applicables à tous types de scanners. Nous avons implanté ces méthodes sur une cellule de numérisation robotisée. Nos approches assurent une reconstruction progressive et intelligente d'un large panel d'objets de différentes classes de complexité en déplaçant efficacement le scanner / The manual 3D digitization process is expensive since it requires a highly trained technician who decides about the different views needed to acquire the object model. The quality of the final result strongly depends, in addition to the complexity of the object shape, on the selected viewpoints and thus on the human expertise. Nowadays, the most developed digitization strategies in industry are based on a teaching approach in which a human operator manually determines one set of poses for the ranging device. The main drawback of this methodology is the influence of the operator's expertise. Moreover, this technique does not fulfill the high level requirement of industrial applications which require reliable, repeatable, and fast programming routines.My thesis project focuses on the definition of a procedure for automatic and intelligent 3D digitization. This procedure is presented as a sequence of processes that are essentially the view planning, the motion planning, the acquisition and the post-processing of the acquired data. The advantage of our procedure is that it is generic since it is not performed for a specific scanning system. Moreover, it is not dependent on the methods used to perform the tasks associated with each elementary process. We also developed three view planning methods to generate a complete 3D model of unknown and complex objects that we implemented on a robotic cell. Our methods enable fast and complete 3D reconstruction while moving efficiently the scanner. Additionaly, our approaches are applicable to all kinds of range sensors.

Cette thèse s'intéresse au recalage de données issues de capteurs 3D et multispectraux pour l'étude du patrimoine.Lorsque l'on étudie ce type d'objet, il y a souvent peu de points saillants naturels entre ces jeux de données complémentaires. Par ailleurs, l'utilisation de mires optiques est proscrite.Notre problème est donc de recaler des données multimodales sans points caractéristiques.Nous avons développé une méthode de recalage basé sur le suivi des systèmes d'acquisition en utilisant des techniques issues de la photogrammétrie.Des simulations nous ont permis d'évaluer la précision de la méthode dans trois configurations qui représentent des cas typiques dans l'étude d'objets du patrimoine.Ces simulations ont montré que l'on peut atteindre une précision du suivi de 0.020 mm spatialement et 0.100 mrad angulairement en utilisant quatre caméras 5 Mpx lorsque l'on numérise une zone de 400 mm x 700 mm.La précision finale du recalage repose sur le succès d'une série de calibrations optiques et géométriques, ainsi que sur leur stabilité pour la durée du processus d'acquisition.Plusieurs tests ont permis d'évaluer la précision du suivi et du recalage de plusieurs jeux de données indépendants; d'abord seulement 3D, puis 3D et multispecrales.Enfin, nous avons étendu notre méthode d'estimation de la réflectance à partir des données multispectrales lorsque celles-ci sont recalées sur un modèle 3D. / The concern and interest of this PhD thesis is the registration of featureless 3D and multispectral datasets describing cultural heritage objects.In this context, there are few natural salient features between the complementary datasets, and the use of targets is generally proscribed.We thus develop a technique based on the photogrammetric tracking of the acquisition systems in use.A series of simulations was performed to evaluate the accuracy of our method in three configurations chosen to represent a variety of cultural heritage objects.These simulations show that we can achieve a spatial tracking accuracy of 0.020 mm and an angular accuracy of 0.100 mrad using four 5 Mpx cameras when digitizing an area of 400 mm x 700 mm. The accuracy of the final registration relies on the success of a series of optical and geometrical calibrations and their stability for the duration of the full acquisition process.The accuracy of the tracking and registration was extensively tested in laboratory settings. We first evaluated the potential for multiview 3D registration. Then, the method was used for to project of multispectral images on 3D models.Finally, we used the registered data to improve the reflectance estimation from the multispectral datasets

Pour optimiser sa création de valeur, l'entreprise adapte sans cesse son mode de fonctionnement et ses outils de production. Les machines considérées comme obsolètes car ne répondant plus à la demande sont arrêtées, remisées voire même démantelées. Ainsi, certains sites industriels disparaissent et les hommes, catalyseurs des savoir-faire, les emportent avec eux. L'absence de protection de ce patrimoine technique et industriel pose aujourd'hui question car cette culture technique s'avère parfois transposable à des domaines d'applications connexes. Sauvegarder, analyser et comprendre ces objets du Patrimoine Passé peut permettre de les transformer en Capital Présent et devenir source d'innovation pour anticiper notre futur et aider les industriels à créer les objets de demain. Quant à leurs conservations et leurs vulgarisations dans les musées et les sites, le vieillissement intrinsèque de l'information technique nécessite d'implémenter une nouvelle muséologie pour ce 3ème millénaire : la Techno-muséologie.<br />La méthodologie développée consiste à renverser l'axe des temps de la conception : c'est le Rétro processus de Conception Patrimoniale. L'Archéologie Industrielle Avancée permet la constitution du Dossier d'Oeuvre Patrimoniale Technique en capitalisant les connaissances du passé sous une forme numérique et en les repositionnant virtuellement en situation d'usage à des fins de muséographie et de valorisation. La complexité des objets induisant une multiplicité des compétences, le Processus Coopératif d'Ingénierie Patrimoniale requiert la collaboration de métiers qui, jusqu'alors, ne collaboraient pas ou peu. Dès lors, une nouvelle forme d'Equipe Inter disciplinaire émerge pour laquelle un référentiel commun permet de faire cohabiter les différentes sémantiques. Ainsi, le Système d'Information proposé encapsule cette taxonomie des Hommes en considérant également les acteurs du passé. Le modèle définit l'Objet technique à caractère patrimonial dans ses Aspects Internalistes et Externalistes. Le Digital Heritage Reference Model ou Dossier d'Oeuvre Patrimonial Numérique de Référence, DHRM, peut alors être considéré comme un nouvel outil de travail muséologique.<br />Dans ces travaux de recherche, de nombreux cas d'études sont analysés et conceptualisés pour construire les ontologies validant ainsi l'applicabilité du DHRM.

Depuis quelques décennies, les communautés d'informatique graphique et de vision ont contribué à l'émergence de technologies permettant la numérisation d'objets 3D. Une demande grandissante pour ces technologies vient des acteurs de la culture, notamment pour l'archivage, l'étude à distance et la restauration d'objets du patrimoine culturel : statuettes, grottes et bâtiments par exemple. En plus de la géométrie, il peut être intéressant de numériser la photométrie avec plus ou moins de détail : simple texture (2D), champ de lumière (4D), SV-BRDF (6D), etc. Nous formulons des solutions concrètes pour la création et le traitement de champs de lumière surfaciques représentés par des fonctions de radiance attachés à la surface.Nous traitons le problème de la phase de construction de ces fonctions à partir de plusieurs prises de vue de l'objet dans des conditions sur site : échantillonnage non structuré voire peu dense et bruité. Un procédé permettant une reconstruction robuste générant un champ de lumière surfacique variant de prévisible et sans artefacts à excellente, notamment en fonction des conditions d'échantillonnage, est proposé. Ensuite, nous suggérons un algorithme de simplification permettant de réduire la complexité mémoire et calculatoire de ces modèles parfois lourds. Pour cela, nous introduisons une métrique qui mesure conjointement la dégradation de la géométrie et de la radiance. Finalement, un algorithme d'interpolation de fonctions de radiance est proposé afin de servir une visualisation lisse et naturelle, peu sensible à la densité spatiale des fonctions. Cette visualisation est particulièrement bénéfique lorsque le modèle est simplifié. / Vision and computer graphics communities have built methods for digitizing, processing and rendering 3D objects. There is an increasing demand coming from cultural communities for these technologies, especially for archiving, remote studying and restoring cultural artefacts like statues, buildings or caves. Besides digitizing geometry, there can be a demand for recovering the photometry with more or less complexity : simple textures (2D), light fields (4D), SV-BRDF (6D), etc. In this thesis, we present steady solutions for constructing and treating surface light fields represented by hemispherical radiance functions attached to the surface in real-world on-site conditions. First, we tackle the algorithmic reconstruction-phase of defining these functions based on photographic acquisitions from several viewpoints in real-world "on-site" conditions. That is, the photographic sampling may be unstructured and very sparse or noisy. We propose a process for deducing functions in a manner that is robust and generates a surface light field that may vary from "expected" and artefact-less to high quality, depending on the uncontrolled conditions. Secondly, a mesh simplification algorithm is guided by a new metric that measures quality loss both in terms of geometry and radiance. Finally, we propose a GPU-compatible radiance interpolation algorithm that allows for coherent radiance interpolation over the mesh. This generates a smooth visualisation of the surface light field, even for poorly tessellated meshes. This is particularly suited for very simplified models.

La mesure de la forme 3D du visage est une problématique qui attire de plus en plus de chercheurs et qui trouve son application dans des domaines divers tels que la biométrie, l’animation et la chirurgie faciale. Les solutions actuelles sont souvent basées sur des systèmes projecteur/caméra et utilisent de la lumière structurée pour compenser l’insuffisance de la texture faciale. L’information 3D est ensuite calculée en décodant la distorsion des patrons projetés sur le visage. Une des techniques les plus utilisées de la lumière structurée est la codification sinusoïdale par décalage de phase qui permet une numérisation 3D de résolution pixélique. Cette technique exige une étape de déroulement de phase, sensible à l’éclairage ambiant surtout quand le nombre de patrons projetés est limité. En plus, la projection de plusieurs patrons impacte le délai de numérisation et peut générer des artefacts surtout pour la capture d’un visage en mouvement. Une alternative aux approches projecteur-caméra consiste à estimer l’information 3D par appariement stéréo suivi par une triangulation optique. Cependant, le modèle calculé par cette technique est généralement non-dense et manque de précision. Des travaux récents proposent la super-résolution pour densifier et débruiter les images de profondeur. La super-résolution a été particulièrement proposée pour les caméras 3D TOF (Time-Of-Flight) qui fournissent des scans 3D très bruités. Ce travail de thèse propose une solution de numérisation 3D à faible coût avec un schéma de super-résolution spatio-temporelle. Elle utilise un système multi-caméra étalonné assisté par une source de projection non-étalonnée. Elle est particulièrement adaptée à la reconstruction 3D de visages, i.e. rapide et mobile. La solution proposée est une approche hybride qui associe la stéréovision et la codification sinusoïdale par décalage de phase, et qui non seulement profite de leurs avantages mais qui surmonte leurs faiblesses. Le schéma de la super-résolution proposé permet de corriger l’information 3D, de compléter la vue scannée du visage en traitant son aspect déformable. / 3D face measurement is increasingly demanded for many applications such as bio-metrics, animation and facial surgery. Current solutions often employ a structured light camera/projector device to overcome the relatively uniform appearance of skin. Depth in-formation is recovered by decoding patterns of the projected structured light. One of the most widely used structured-light coding is sinusoidal phase shifting which allows a 3Ddense resolution. Current solutions mostly utilize more than three phase-shifted sinusoidal patterns to recover the depth information, thus impacting the acquisition delay. They further require projector-camera calibration whose accuracy is crucial for phase to depth estimation step. Also, they need an unwrapping stage which is sensitive to ambient light, especially when the number of patterns decreases. An alternative to projector-camera systems consists of recovering depth information by stereovision using a multi-camera system. A stereo matching step finds correspondence between stereo images and the 3D information is obtained by optical triangulation. However, the model computed in this way generally is quite sparse. To up sample and denoise depth images, researchers looked into super-resolution techniques. Super-resolution was especially proposed for time-of-flight cameras which have very low data quality and a very high random noise. This thesis proposes a3D acquisition solution with a 3D space-time non-rigid super-resolution capability, using a calibrated multi-camera system coupled with a non calibrated projector device, which is particularly suited to 3D face scanning, i.e. rapid and easily movable. The proposed solution is a hybrid stereovision and phase-shifting approach, using two shifted patterns and a texture image, which not only takes advantage of the assets of stereovision and structured light but also overcomes their weaknesses. The super-resolution scheme involves a 3D non-rigid registration for 3D artifacts correction in the presence of small non-rigid deformations as facial expressions.