Les applications basées sur 3D tels que les films 3D, l’impression 3D, la cartographie 3D, la reconnaissance 3D, sont de plus en plus présentes dans notre vie quotidienne; elles exigent une reconstruction 3D qui apparaît alors comme une technique clé. Dans cette thèse, nous nous intéressons à l’appariement stéréo qui est au coeur de l’acquisition 3D. Malgré les nombreuses publications traitant de l’appariement stéréo, il demeure un défi en raison des contraintes de précision et de temps de calcul: la conduite autonome requiert le temps réel; la modélisation d’objets 3D exige une précision et une résolution élevées. La méthode de pondération adaptative des pixels de support (adaptative-supportweight), basée sur le bien connu filtre bilatéral, est une méthode de l’état de l’art, de catégorie locale, qui en dépit de ses potentiels atouts peine à lever l’ambiguïté induite par des pixels voisins, de disparités différentes mais avec des couleurs similaires. Notre première contribution, à base de filtre trilatéral, est une solution pertinente qui tout en conservant les avantages du filtre bilatéral permet de lever l’ambiguïté mentionnée. Evaluée sur le corpus de référence, communément acceptée, Middlebury, elle se positionne comme étant la plus précise au moment où nous écrivons ces lignes. Malgré ces performances, la complexité de notre première contribution est élevée. Elle dépend en effet de la taille de la fenêtre support. Nous avons proposé alors une implémentation récursive du filtre trilatérale, inspirée par les filtres récursifs. Ici, les coûts bruts en chaque pixel sont agrégés à travers une grille organisée en graphe. Quatre passages à une dimension permettent d’atteindre une complexité en O(N), indépendante cette fois de la taille de la fenêtre support. C’est-à-dire des centaines de fois plus rapide que la méthode originale. Pour le calcul des pondérations des pixels du support, notre méthode basée sur le filtre trilatéral introduit un nouveau terme, qui est une fonction d’amplitude du gradient. Celui-ci est remarquable aux bords des objets, mais aussi en cas de changement de couleurs et de texture au sein des objets. Or, le premier cas est déterminant dans l’estimation de la profondeur. La dernière contribution de cette thèse vise alors à distinguer les contours des objets de ceux issus du changement de couleur au sein de l’objet. Les évaluations, sur Middlebury, prouvent l’efficacité de la méthode proposée. Elle est en effet plus précise que la méthode basée sur le filtre trilatéral d’origine, mais aussi d’autres méthodes locales. / 3D-related applications are becoming more and more popular in our daily life, such as 3D movies, 3D printing, 3D maps, 3D object recognition, etc. Many applications require realistic 3D models and thus 3D reconstruction is a key technique behind them. In this thesis, we focus on a basic problem of 3D reconstruction, i.e. stereo matching, which searches for correspondences in a stereo pair or more images of a 3D scene. Although various stereo matching methods have been published in the past decades, it is still a challenging task since the high requirement of accuracy and efficiency in practical applications. For example, autonomous driving demands realtime stereo matching technique; while 3D object modeling demands high quality solution. This thesis is dedicated to develop efficient and accurate stereo matching method. The well-known bilateral filter based adaptive support weight method represents the state-of-the-art local method, but it hardly sorts the ambiguity induced by nearby pixels at different disparities but with similar colors. Therefore, we proposed a novel trilateral filter based method that remedies such ambiguities by introducing a boundary strength term. As evaluated on the commonly accepted Middlebury benchmark, the proposed method is proved to be the most accurate local stereo matching method at the time of submission (April 2013). The computational complexity of the trilateral filter based method is high and depends on the support window size. In order to enhance its computational efficiency, we proposed a recursive trilateral filter method, inspired by recursive filter. The raw costs are aggregated on a grid graph by four one-dimensional aggregations and its computational complexity proves to be O(N), which is independent of the support window size. The practical runtime of the proposed recursive trilateral filter based method processing 375 _ 450 resolution image is roughly 260ms on a PC with a 3:4 GHz Inter Core i7 CPU, which is hundreds times faster than the original trilateral filter based method. The trilateral filter based method introduced a boundary strength term, which is computed from color edges, to handle the ambiguity induced by nearby pixels at different disparities but with similar colors. The color edges consist of two types of edges, i.e. depth edges and texture edges. Actually, only depth edges are useful for the boundary strength term. Therefore, we presented a depth edge detection method, aiming to pick out depth edges and proposed a depth edge trilateral filter based method. Evaluation on Middlebury benchmark proves the effectiveness of the proposed depth edge trilateral filter method, which is more accurate than the original trilateral filter method and other local stereo matching methods.

Les capteurs 3D existants sont encore peu utilisés et ne permettent que l’acquisition de données 3D. En cas de nécessité de données 2D monochrome ou couleur, il faut alors obligatoirement ajouter un capteur supplémentaire et procéder au recalage des données. La société NT2I a décidé de développer sa propre solution afin de pouvoir rester maître de la chaîne d’acquisition. Mon travail a consisté en la conception d’un capteur spécifique intégrant couleur et calibration et au traitement des images issues de celui-ci. Pour cela, j’ai été amené à travailler sur l’extension du modèle LIP (Logarithmic Image Processing) pour des images couleur et à l’implémentation d’algorithmes temps réel / The existing 3D sensors aren’t much used and are only capable of capturing 3D dat. When 2D data are necessary, one has to use another camera and correlate the 2 images. NT2I has decided to develop its own solution in order to control the acquisition chain. My work has been to develop a specific camera with color, calibration, and image processing algorithms. In that purpose, I've worked on the extension of the LIP model (Logarithmic Image Processing) for color images and on the implementation of real time algorithms

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d’interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l’utilisateur. Ce travail vise à animer l’avatar à partir d’une acquisition 3D des gestes de l’utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d’un PC grand public équipé d’une webcam. L’approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d’une part et de l’image d’autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d’images monoculaires provient des ambiguïtés 3D/2D et de l’absence d’information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d’hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l’attitude des bras par l’extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l’incertitude sur la profondeur. Enfin, l’évaluation est accélérée par calcul sur GPU. En conclusion, l’algorithme proposé permet un suivi 3D robuste en temps-réel à partir d’une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur. / Networked 3D virtual environments allow multiple users to interact with each other over the Internet. Users can share some sense of telepresence by remotely animating an avatar that represents them. However, avatar control may be tedious and still render user gestures poorly. This work aims at animating a user’s avatar from real time 3D motion capture by monoscopic computer vision, thus allowing virtual telepresence to anyone using a personal computer with a webcam. The approach followed consists of registering a 3D articulated upper-body model to a video sequence. This involves searching iteratively for the best match between features extracted from the 3D model and from the image. A two-step registration process matches regions and then edges. The first contribution of this thesis is a method of allocating computing iterations under real-time constrain that achieves optimal robustness and accuracy. The major issue for robust 3D tracking from monocular images is the 3D/2D ambiguities that result from the lack of depth information. Particle filtering has become a popular framework for propagating multiple hypotheses between frames. As a second contribution, this thesis enhances particle filtering for 3D/2D registration under limited computation constrains with a number of heuristics, the contribution of which is demonstrated experimentally. A parameterization of the arm pose based on their end-effector is proposed to better model uncertainty in the depth direction. Finally, evaluation is accelerated by computation on GPU. In conclusion, the proposed algorithm is demonstrated to provide robust real-time 3D body tracking from a single webcam for a large variety of gestures including partial occlusions and motion in the depth direction.

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d'interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. Ce travail vise à animer l'avatar à partir d'une acquisition 3D des gestes de l'utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d'un PC grand public équipé d'une webcam. L'approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d'une part et de l'image d'autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d'images monoculaires provient des ambiguïtés 3D/2D et de l'absence d'information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d'hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l'attitude des bras par l'extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l'incertitude sur la profondeur. Enfin, l'évaluation est accélérée par calcul sur GPU. En conclusion, l'algorithme proposé permet un suivi 3D robuste en temps-réel à partir d'une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur.

Le transfert de masse et de chaleur dans les vêtements est un phénomène faisant appel àdifférents mécanismes physiques : les échanges de chaleurs sèches et les transferts de vapeur etde liquide. Ces mécanismes sont fortement influencés par les facteurs liés à la construction, laforme du vêtement par rapport à celle du corps et l’utilisation du vêtement. Ces facteurs peuventêtre optimisés en changeant la taille et la forme des différentes couches d’air emprisonnées entrela peau et les vêtements. La plupart des modèles mathématiques de vêtements font l’hypothèse que l’épaisseur d’air entrela peau et l’étoffe est uniforme, ou alors ils l’ignorent. La non-uniformité et de la non-linéaritédes transferts de chaleur et d’eau ne sont alors pas prises en compte. En effet, le processus detranspiration dépend non seulement de l’aire de contact et de l’épaisseur d’air emprisonnée entrela peau et le vêtement mais également de la région du corps. Nous proposons une méthode permettant de déterminer, avec une plus grande précision que lestechniques existantes, l’épaisseur d’air et l’aire de contact entre le corps et un vêtement à l’aided’une analyse avancée de scans 3D d’un mannequin homme nu et habillé. L’effet du tauxd’humidité sur l’aire de contact et l’épaisseur du film d’air a été étudié en fonction de la zone ducorps et ceci pour différentes tailles, structures de l’étoffe et fibres. Cette méthode contribue àévaluer de façon plus réaliste les échanges de masse et de chaleur au travers de plusieurs couchesde vêtements et ainsi de fournir des données d’entrée précises aux modèles pour la conception devêtements avec prise en compte du confort et de l’ergonomie. / The heat and mass transfer within the clothing system is a composition of a number of physicalprocesses, such as: dry heat and vapour and liquid water transfer. Factors associated with theconstruction and use of the garment, such as body posture and movement, and clothing fitinfluence these processes significantly. This is achieved mainly by changing the size and theshape of the different layers of air trapped between the skin and clothing. Most existing mathematical clothing models assume uniform air gap between the body and fabric layers or ignore it. However, this approach disregards the non-uniform and non-linear heat,vapour and liquid water transfer, which depend on presence of contact between surfaces and onthe shape of the air layers trapped within clothing and the body regions which are not equivalentin terms of sweating process. In this study, we propose a method to accurately determine the air gap thickness and the contactarea between clothing and the human body through an advanced analysis of 3D body scans of thenude and dressed body of a male manikin. This method allowed more accurate measurement ofthe air gap thickness and the contact area than other existing methods. Additionally, in two casestudies the effect of garment design and moisture gain in fabric combined with effects of bodypart, garment type and its overall and regional fit, fabric structure and fibre type were determined.Consequently, this method will contribute to a more realistic evaluation of heat and massexchange rates through clothing systems and provide more accurate input for ergonomic andcomfort design of clothing.

L’impression 2.5D est une technologie à mi-chemin entre l’impression couleur traditionnelle, à laquelle elle emprunte son procédé et la qualité de reproduction des couleurs, et l’impression 3D qui crée des reliefs et des formes. Par ses qualités visuelles, elle pourrait permettre la reproduction réaliste de multiples surfaces, mais un frein s’oppose à cette perspective : les encres brillent. En modulant la rugosité des surfaces imprimées à l'échelle du micromètre, en fréquence et en amplitude, nous avons réussi à réduire et contrôler le brillant des encres. Des stratégies d'impression différentes ont été proposées et étudiées pour diminuer l’effet scintillant et permettre l’impression d’une couche couleur mate : la création d'un espace à cinq dimensions dans lequel le brillant et la couleur sont modélisés aboutit à l'uniformisation des niveaux de brillant colorés. Les protocoles d'impression développés ont ensuite été appliqués à des cas concrets issus de la conservation – restauration du patrimoine. Plusieurs exemples distincts sont présentés, qui abordent un point particulier sur lequel l’impression 2.5D est pertinente: comblement de lacune, création de répliques réalistes, intérêt de l'aspect visuel mat pour la lisibilité des œuvres. / 2.5D printing is between traditional color printing, for the process and its visual quality, and 3D printing, which makes forms and reliefs by ink superposition. Because of its properties, 2.5D printing could allow the realistic reproduction of objects and surfaces, but inks are too glossy. To reduce and control this glossy aspect of inks, we modulate the roughness of the printed layers, at the micro-scale, both in frequency and amplitude. Influence of parameters was measured, and different strategies were suggested to reduce sparkle and to allow the creation of matte colored layers: by constituting a 5D space where gloss and color are modeled, we can make gloss level of colored surfaces uniform.Several case studies form the Conservation of Cultural Heritage were considered, where 2.5D printing could help the curator, the conservator or the archivist. We studied in particular the issues of the the gap filling on an archaeological object, the realistic reproduction of surfaces, and the creation of matte objects for readability.