Cette thèse s'intéresse au recalage de données issues de capteurs 3D et multispectraux pour l'étude du patrimoine.Lorsque l'on étudie ce type d'objet, il y a souvent peu de points saillants naturels entre ces jeux de données complémentaires. Par ailleurs, l'utilisation de mires optiques est proscrite.Notre problème est donc de recaler des données multimodales sans points caractéristiques.Nous avons développé une méthode de recalage basé sur le suivi des systèmes d'acquisition en utilisant des techniques issues de la photogrammétrie.Des simulations nous ont permis d'évaluer la précision de la méthode dans trois configurations qui représentent des cas typiques dans l'étude d'objets du patrimoine.Ces simulations ont montré que l'on peut atteindre une précision du suivi de 0.020 mm spatialement et 0.100 mrad angulairement en utilisant quatre caméras 5 Mpx lorsque l'on numérise une zone de 400 mm x 700 mm.La précision finale du recalage repose sur le succès d'une série de calibrations optiques et géométriques, ainsi que sur leur stabilité pour la durée du processus d'acquisition.Plusieurs tests ont permis d'évaluer la précision du suivi et du recalage de plusieurs jeux de données indépendants; d'abord seulement 3D, puis 3D et multispecrales.Enfin, nous avons étendu notre méthode d'estimation de la réflectance à partir des données multispectrales lorsque celles-ci sont recalées sur un modèle 3D.

The use of hand gestures provides an attractive alternative to cumbersome interface devices such as keyboard, mouse, joystick, etc. Hand tracking has a great potential as a tool for better human-computer interaction by means of communication in a more natural and articulate way. This has motivated a very active research area concerned with computer vision-based analysis and interpretation of hand gestures and hand tracking. In this study, a real-time hand tracking system is developed. Mainly, it is image-based hand tracking and based on 2D image information. For separation and identification of finger parts, coloured markers are used. In order to obtain 3D tracking, a stereo vision approach is used where third dimension is obtained by depth information. In order to see results in 3D, a 3D hand model is developed and Java 3D is used as the 3D environment. Tracking is tested on two different types of camera: a cheap USB web camera and Sony FCB-IX47AP camera, connected to the Matrox Meteor frame grabber with a standard Intel Pentium based personal computer. Coding is done by Borland C++ Builder 6.0 and Intel Image Processing and Open Source Computer Vision (OpenCV) library are used as well. For both camera types, tracking is found to be robust and efficient where hand tracking at ~8 fps could be achieved. Although the current progress is encouraging, further theoretical as well as computational advances are needed for this highly complex task of hand tracking.

L'algorithme RANSAC (Random Sample Consensus) est l'approche la plus populaire pour l'estimation robuste des paramètres d'un modèle en vision par ordinateur. C'est principalement sa capacité à traiter des données contenant potentiellement plus d'erreurs que d'information utile qui fait son succès dans ce domaine ou les capteurs fournissent une information très riche mais très difficilement exploitable. Depuis sa création, il y a trente ans, de nombreuses modifications ont été proposées pour améliorer sa vitesse, sa précision ou sa robustesse. Dans ce travail, nous proposons d'accélérer la résolution d'un problème par RANSAC en utilisant plus d'information que les approches habituelles. Cette information, calculée à partir des données elles-mêmes ou provenant de sources complémentaires de tous types, nous permet d'aider RANSAC à générer des hypothèses plus pertinentes. Pour ce faire, nous proposons de distinguer quatre degrés de qualité d'une hypothèse: la non contamination, la cohésion, la cohérence et enfin la pertinence. Puis nous montrons à quel point une hypothèse non contaminée par des données erronées est loin d'être pertinente dans le cas général. Dès lors, nous nous attachons à concevoir un algorithme original qui, contrairement aux méthodes de l'état de l'art, se focalise sur la génération d'échantillons pertinents plutôt que simplement non contaminés. Afin de concevoir notre approche, nous commençons par proposer un modèle probabiliste unifiant l'ensemble des méthodes de réordonnancement de l'échantillonnage de RANSAC. Ces méthodes assurent un guidage du tirage aléatoire des données tout en se prémunissant d'une mise en échec de RANSAC. Puis, nous proposons notre propre algorithme d'ordonnancement, BetaSAC, basé sur des tris conditionnels partiels. Nous montrons que la conditionnalité du tri permet de satisfaire des contraintes de cohérence des échantillons formés, menant à une génération d'échantillons pertinents dans les premières itérations de RANSAC, et donc à une résolution rapide du problème. La partialité des tris, quant à elle, assure la rapidité et la randomisation, indispensable à ce type de méthodes. Dans un second temps, nous proposons une version optimale de notre méthode, que l'on appelle OABSAC (pour Optimal and Adaptative BetaSAC), faisant intervenir une phase d'apprentissage hors ligne. Cet apprentissage a pour but de mesurer les propriétés caractéristiques du problème spécifique que l'on souhaite résoudre, de façon à établir automatiquement le paramétrage optimal de notre algorithme. Ce paramétrage est celui qui doit mener à une estimation suffisamment précise des paramètres du modèle recherché en un temps (en secondes) le plus court. Les deux méthodes proposées, sont des solutions très générales, qui permettent d'intégrer dans RANSAC tout type d'information complémentaire utile à la résolution du problème. Nous montrons le bénéfice de ces méthodes sur le problème de l'estimation d'homographies et de géométries épipolaires entre deux photographies d'une même scène. Les gains en vitesse de résolution du problème peuvent atteindre un facteur cent par rapport à l'algorithme RANSAC classique. / RANSAC algorithm (Random Sample Consensus) is the most common approach for the problem of robust parameters estimation of a model in computer vision. This is mainly its ability to handle data containing more errors than potentially useful information that made its success in this area where sensors provide a very rich but noisy information. Since its creation thirty years ago, many modifications have been proposed to improve its speed, accuracy and robustness. In this work, we propose to accelerate the resolution of a problem by using RANSAC with more information than traditional approaches. This information, extracted from the data itself or from complementary sources of all types, is used help generating more relevant RANSAC hypotheses. To do this, we propose to distinguish four degrees of quality of a hypothesis: inlier, consistent, coherent or suitable sample. Then we show how an inlier sample is far from being relevant in the general case. Therefore, we strive to design a novel algorithm which, unlike previous methods, focuses on the generation of suitable samples rather than inlier ones. We begin by proposing a probabilistic model unifying all the RANSAC reordered sampling methods. These methods provide a guidance of the random data selection without impairing the search. Then, we propose our own scheduling algorithm, BetaSAC, based on conditional partial sorting. We show that the conditionality of the sort can satisfy consistency constraints, leading to a generation of suitable samples in the first iterations of RANSAC, and thus a rapid resolution of the problem. The use of partial rather than exhaustive sorting ensures rapidity and randomization, essential to this type of methods. In a second step, we propose an optimal version of our method, called OABSAC (for Optimal and Adaptive BetaSAC), involving an offline learning phase. This learning is designed to measure the properties of the specific problem that we want to solve in order to determine automatically the optimal setting of our algorithm. This setting is the one that should lead to a reasonably accurate estimate of the model parameters in a shortest time (in seconds). The two proposed methods are very general solutions that integrate into RANSAC any additional useful information. We show the advantage of these methods to the problem of estimating homographies and epipolar geometry between two photos of the same scene. The speed gain compared to the classical RANSAC algorithm can reach a factor of hundred.

La reconnaissance faciale est l'une des meilleures modalités biomêtriques pour des applications liées à l'identification ou l'authentification de personnes. En effet, c'est la modalité utilisée par les humains; elle est non intrusive, et socialement bien acceptée. Malheureusement, les visages humains sont semblables et offrent par conséquent une faible distinctivité par rapport à d'autres modalités biométriques, comme par exemple, les empreintes digitales et l'iris. Par ailleurs, lorsqu'il s'agit d'images de texture de visages, les variations intra-classe, dues à des facteurs aussi divers que les changements des conditions d'éclairage mais aussi de pose, sont généralement supérieures aux variations inter-classe, ce qui rend la reconnaissance faciale 2D peu fiable dans des conditions réelles. Récemment, les représentations 3D de visages ont été largement étudiées par la communauté scientifique pour palier les problèmes non résolus dans la reconnaissance faciale 2D, qui sont notamment causés par les changements d'illumination et de pose. Cette thèse est consacrée à la reconnaissance faciale robuste utilisant les données faciales 3D, incluant la reconnaissance de visage 3D, la reconnaissance de visage 3D texturé ainsi que la reconnaissance faciale asymétrique 3D-2D. La reconnaissance faciale 3D, utilisant l'information géométrique 3D représentée sous forme de nuage de points 3D ou d'image de profondeur, est théoriquement non affectée par les changements dans les conditions d'illumination et peut facilement corriger, par l'application d'une approche de recalage rigide comme ICP, les changements de pose. Le principal défi réside dans la représentation, avec précision, de la surface faciale 3D, mais aussi dans le recalage robuste aux changements d'expression faciale. Dans cette thèse, nous concevons une approche efficace et performante pour la reconnaissance de visage 3D. Concernant la description du visage, nous proposons une représentation géométrique basée sur les cartes extended Local Binary Pattern (eLBP), qui décrivent de manière précise les variations de la géométrie locale de la surface faciale 3D; tandis qu'une étape combinant l'appariement local, basé 81FT, aux informations compositionnelles du visage et aux contraintes de configuration permet d'apparier des points caractéristiques, d'un même individu, entre les différentes représentations de son visage. Évaluée sur les bases de données FRGC v2.0 et Gavab DB, l'approche proposée prouve son efficacité. Par ailleurs, contrairement à la plupart des approches nécessitant une étape d'alignement précise et couteuse, notre approche, en raison de l'utilisation de l'appariement local, ne nécessite pas d'enrôlement dans des conditions de pose frontale précise et se contente seulement d'un alignement grossier. Considérant que la plupart des systèmes actuels d'imagerie 3D permettent la capture simultanée de modèles 3D du visage ainsi que de leur texture, une tendance majeure dans la littérature scientifique est d'adopter à la fois la modalité 3D et celle de texture 2D. On fait valoir que l'utilisation conjointe de ces deux types d'informations aboutit généralement à des résultats plus précis et plus robustes que ceux obtenus par l'un des deux séparément. Néanmoins, les deux facteurs clés de la réussite sont la représentation bimodale du visage ainsi que la fusion des résultats obtenus selon chaque modalité. Dans cette thèse, nous proposons une représentation bio-inspirée du visage, appelée Cartes de Gradients Orientés (Oriented Gradient Maps: OGMs), qui peut être appliqué à la fois à la modalité 3D et à celle de texture 2D. Les OGMs simulent la réponse des neurones complexes, à l'information de gradient dans un voisinage donné et ont la propriété d'être très distinctifs et robustes aux transformations affines d'illumination et géométriques. [...] / The face is one of the best biometrics for person identification and verification related applications, because it is natural, non-intrusive, and socially weIl accepted. Unfortunately, an human faces are similar to each other and hence offer low distinctiveness as compared with other biometrics, e.g., fingerprints and irises. Furthermore, when employing facial texture images, intra-class variations due to factors as diverse as illumination and pose changes are usually greater than inter-class ones, making 2D face recognition far from reliable in the real condition. Recently, 3D face data have been extensively investigated by the research community to deal with the unsolved issues in 2D face recognition, Le., illumination and pose changes. This Ph.D thesis is dedicated to robust face recognition based on three dimensional data, including only 3D shape based face recognition, textured 3D face recognition as well as asymmetric 3D-2D face recognition. In only 3D shape-based face recognition, since 3D face data, such as facial pointclouds and facial scans, are theoretically insensitive to lighting variations and generally allow easy pose correction using an ICP-based registration step, the key problem mainly lies in how to represent 3D facial surfaces accurately and achieve matching that is robust to facial expression changes. In this thesis, we design an effective and efficient approach in only 3D shape based face recognition. For facial description, we propose a novel geometric representation based on extended Local Binary Pattern (eLBP) depth maps, and it can comprehensively describe local geometry changes of 3D facial surfaces; while a 81FT -based local matching process further improved by facial component and configuration constraints is proposed to associate keypoints between corresponding facial representations of different facial scans belonging to the same subject. Evaluated on the FRGC v2.0 and Gavab databases, the proposed approach proves its effectiveness. Furthermore, due tq the use of local matching, it does not require registration for nearly frontal facial scans and only needs a coarse alignment for the ones with severe pose variations, in contrast to most of the related tasks that are based on a time-consuming fine registration step. Considering that most of the current 3D imaging systems deliver 3D face models along with their aligned texture counterpart, a major trend in the literature is to adopt both the 3D shape and 2D texture based modalities, arguing that the joint use of both clues can generally provides more accurate and robust performance than utilizing only either of the single modality. Two important factors in this issue are facial representation on both types of data as well as result fusion. In this thesis, we propose a biological vision-based facial representation, named Oriented Gradient Maps (OGMs), which can be applied to both facial range and texture images. The OGMs simulate the response of complex neurons to gradient information within a given neighborhood and have properties of being highly distinctive and robust to affine illumination and geometric transformations. The previously proposed matching process is then adopted to calculate similarity measurements between probe and gallery faces. Because the biological vision-based facial representation produces an OGM for each quantized orientation of facial range and texture images, we finally use a score level fusion strategy that optimizes weights by a genetic algorithm in a learning pro cess. The experimental results achieved on the FRGC v2.0 and 3DTEC datasets display the effectiveness of the proposed biological vision-based facial description and the optimized weighted sum fusion. [...]

No description available.

No description available.

Le système perceptif d’un chirurgien doit s’adapter aux contraintes multisensorielles liées à la chirurgie guidée par l’image. Trois expériences sont conçues pour explorer ces contraintes visuelles et haptiques pour l’apprentissage guidé par l’image. Les résultats montrent que les sujets sont plus rapides et plus précis avec une vision directe. La stéréoscopie 3D n’améliore pas les performances des débutants complets. En réalité virtuelle, la variation de la longueur, largeur, position et complexité de l'objet affecte les performances motrices. La force de préhension appliquée sur un système robotique chirurgical dépend de l'expérience de l'utilisateur. En conclusion, le temps et la précision sont importants, mais la précision doit rester une priorité pour un apprenti. L'homogénéité des groupes d'étude est important pour la recherche sur la formation chirurgicale. Les résultats ont un impact direct sur le suivi des compétences individuelles pour les applications guidées par l'image. / Perceptual system of a surgeon must adapt to conditions of multisensorial constrains regard to planning, control, and execution of the image-guided surgical operations. Three experimental setups are designed to explore these visual and haptic constraints in the image-guided training. Results show that subjects are faster and more precise with direct vision compared to image guidance. Stereoscopic 3D viewing does not represent a performance advantage for complete beginners. In virtual reality, variation in object length, width, position, and complexity affect the motor performance. Applied grip force on a surgical robot system depends on the user experience level. In conclusion, both time and precision matter critically, but trainee gets as precise as possible before getting faster should be a priority. Study group homogeneity and background play key role in surgical training research. The findings have direct implications for individual skill monitoring for image-guided applications.

Ce mémoire traite de synthèse de textures volumiques anisotropes à partir d’une observation 2D unique. Nous présentons différentes variantes d’algorithmes non paramétriques et multi-échelles. Leur principale particularité réside dans le fait que le processus de synthèse 3D s’appuie sur l’échantillonnage d’une seule image 2D d’entrée, en garantissant la cohérence selon les différentes vues de la texture 3D. Deux catégories d’approches sont abordées, toutes deux multi-échelles et basées sur une hypothèse markovienne. La première catégorie regroupe un ensemble d’algorithmes dits de recherche de voisinages fixes, adaptés d’algorithmes existants de synthèses de textures volumiques à partir de sources 2D multiples. Le principe consiste, à partir d’une initialisation aléatoire, à modifier les voxels un par un, de façon déterministe, en s’assurant que les configurations locales de niveaux de gris sur des tranches orthogonales contenant le voxel sont semblables à des configurations présentes sur l’image d’entrée. La deuxième catégorie relève d’une approche probabiliste originale dont l’objectif est de reproduire, sur le volume texturé, les interactions entre pixels estimées sur l’image d’entrée. L’estimation est réalisée de façon non paramétrique par fenêtrage de Parzen. L’optimisation est gérée voxel par voxel, par un algorithme déterministe de type ICM. Différentes variantes sont proposées, relatives aux stratégies de gestion simultanée des tranches orthogonales contenant le voxel. Ces différentes méthodes sont d’abord mises en œuvre pour la synthèse d’un jeu de textures structurées, de régularité et d’anisotropie variées. Une analyse comparée et une étude de sensibilité sont menées, mettant en évidence les atouts et faiblesses des différentes approches. Enfin, elles sont appliquées à la simulation de textures volumiques de matériaux composites carbonés, à partir de clichés obtenus à l’échelle nanométrique par microscopie électronique à transmission. Le schéma expérimental proposé permet d’évaluer quantitativement et de façon objective les performances des différentes méthodes. / This thesis deals with the synthesis of anisotropic volumetric textures from a single 2D observation. We present variants of non parametric and multi-scale algorithms. Their main specificity lies in the fact that the 3D synthesis process relies on the sampling of a single 2D input sample, ensuring consistency in the different views of the 3D texture. Two types of approaches are investigated, both multi-scale and based on markovian hypothesis. The first category brings together a set of algorithms based on fixed-neighbourhood search, adapted from existing algorithms of texture synthesis from multiple 2D sources. The principle is that, starting from a random initialisation, the 3D texture is modified, voxel by voxel, in a deterministic manner, ensuring that the grey level local configurations on orthogonal slices containing the voxel are similar to configurations of the input image. The second category points out an original probabilistic approach which aims at reproducing in the textured volume the interactions between pixels learned in the input image. The learning is done by non-parametric Parzen windowing. Optimization is handled voxel by voxel by a deterministic ICM type algorithm. Several variants are proposed regarding the strategies used for the simultaneous handling of the orthogonal slices containing the voxel. These synthesis methods are first implemented on a set of structured textures of varied regularity and anisotropy. A comparative study and a sensitivity analysis are carried out, highlighting the strengths and the weaknesses of the different algorithms. Finally, they are applied to the simulation of volumetric textures of carbon composite materials, on nanometric scale snapshots obtained by transmission electron microscopy. The proposed experimental benchmark allows to evaluate quantitatively and objectively the performances of the different methods.

L’objectif de cette thèse était de mettre au point une analyse critique de vecteurs polymères utilisés pour la thérapie photodynamique (PDT) et de faire le lien avec l’efficacité thérapeutique observée. Pour cela, une analyse complète des vecteurs a été réalisée par des techniques classiques comme la diffusion dynamique de la lumière ou la microscopie électronique, mais aussi grâce au fractionnement flux-force, technique peu utilisée jusqu’à présent dans le domaine des auto-assemblages polymères. Dans un deuxième temps, les auto-assemblages ont été utilisés comme vecteurs d’un photosensibilisateur, le Phéophorbide a, et l’efficacité thérapeutique évaluée en travaillant sur culture cellulaire 2D et 3D de lignées HCT116 (cancer du colon) ou FaDu (cancer tête et cou). Différents vecteurs polymères simples ont tout d’abord été examinés, à savoir des micelles ou des polymersomes à base de copolymères diblocs amphiphiles comme le poly(oxyde d’éthylène-b--caprolactone), le poly(oxyde d’éthylène-b-lactide) ou le poly(oxyde d’éthylène-b-styrène). Ceci a permis d’obtenir des vecteurs présentant des tailles et des morphologies variables. Les résultats en PDT ont montré des comportements différents et une meilleure efficacité en 3D pour les systèmes à base de PEO-PDLLA. La technique de fractionnement flux-force asymétrique (AsFlFFF) a particulièrement été utilisée pour ces vecteurs afin de démontrer la pureté des auto-assemblages. Les connaissances acquises dans cette première partie ont permis de caractériser des vecteurs faits à base de mélanges d’auto-assemblages micelles/vésicules. Ceux-ci ont révélé des phénomènes d’antagonisme ou de synergie dans l’efficacité en PDT, démontrant l’existence de processus complexes au niveau de la réponse cellulaire.Des auto-assemblages figés par réticulation ont aussi été développés, caractérisés et examinés en PDT. Ils se sont avérés extrêmement intéressants pour la PDT sur les cultures cellulaires en 3D, démontrant une efficacité accrue comparée aux systèmes simples. La comparaison de ces résultats avec ceux obtenus en culture 2D pour les mêmes objets a de plus permis de mettre en évidence la différence entre ces deux modèles biologiques. Enfin, des auto-assemblages à base de complexes poly-ioniques ont aussi été formés et caractérisés. Le fractionnement flux-force s’est là encore avéré efficace, mais a nécessité l’utilisation d’une injection spéciale par Frit-inlet. Leur efficacité en PDT s’est avérée faible. / The objective of this study was to critically analyze different polymer self-assemblies used for photodynamic therapy (PDT) and to link this analysis to their therapeutic efficiency. To do that, a thorough characterization of the vectors has been performed by classical techniques such as Dynamic Light Scattering or electron Microscopy, but also using flow fractionation, which has been seldomly used so far for polymeric self-assemblies. In a second step, these have been used as vectors of a photosensitizer, namely Phéophorbide a, and the therapeutic efficiency assessed on both 2D and 3D cell cultures of HCT 116 (colon cancer) and FaDu (head and neck cancer) cells. Different simple polymer vectors have first been evaluated, namely micelles and polymersomes based on diblock amphiphilic copolymers such as poly(ethylene-oxide-b--caprolactone), poly(ethylene-oxide-b-lactide) or poly(ethylene-oxide-b-styrene). This enabled obtaining vectors exhibiting various sizes and morphologies. Results in PDT showed different behaviours and a better efficiency in 3D for PEO-PDLLA. The Asymmetric Flow Field Flow Fractionation was particularly used for these systems to demonstrate their purity. The acquired expertise on this part enabled us to also characterize vectors made of known mixtures of micelles and polymersomes. These revealed antagonism and synergy effects in PDT, demonstrating the presence of complex processes for the cell response. Other self-assemblies consisting of crosslinked systems have also been developed and characterized. These were observed to be particularly efficient for PDT on 3D cell cultures. The comparison of these results with those for the 2D cell culture enabled to highlight the difference between those two biological systems. Finally, self-assemblies based on Polyion Complexes were also formed and characterized. Field Flow Fractionation was once again used as a powerful technique for this, although this implied the use of a special injection device called Frit Inlet. Their PDT efficiency however proved to be low.

This thesis deals with design and implementation of an application for medical data imaging in real-time. The first part of project is focused on methods for obtaining data in medical practice and visualization of large volume data on computer using familiar rendering approaches. Similar applications are used outside of medicine in other fields, such as chemistry to display molecular structures or microorganisms. Another part of project will focus on benefits of visualization of volumetric data using programmable hardware and new methods of parallelization of algorithms on graphics card using CUDA technology, and OpenCL. The resulting application will display the volume of medical data based on selected method accelerated by programmable shaders, and time-consuming operations will be paralleled on graphics card.