Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2017-04-06T12:41:32Z No. of bitstreams: 2 Dissertação - Karolina Martins Ferreira Menezes - 2017.pdf: 2464113 bytes, checksum: 32b27416285d148a8688f05ca977eafa (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2017-04-06T12:41:53Z (GMT) No. of bitstreams: 2 Dissertação - Karolina Martins Ferreira Menezes - 2017.pdf: 2464113 bytes, checksum: 32b27416285d148a8688f05ca977eafa (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2017-04-06T12:41:53Z (GMT). No. of bitstreams: 2 Dissertação - Karolina Martins Ferreira Menezes - 2017.pdf: 2464113 bytes, checksum: 32b27416285d148a8688f05ca977eafa (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2017-03-07 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Amblyomma sculptum belongs to Amblyomma cajennense complex and parasites human beings as well domestic and wild animals. This tick species has a world recognized importance in public and animal health due blood expoliation and transmission of some pathogens such as Rickettsia rickettsia, causal agent of Rocky Mountain Spotted Fever in Brazil. Ticks oriented themselves using chemical stimuli perceived by their sensorial organs. The Haller organ, which is localized in the first leg, has olfactory sensilla which perceive volatile molecules, as the odors. Inside of the sensilla there are neurones that project themselves to olfactory lobes in the synganglion, the central nervous system. In ticks, there is a gap in how the perception of the olfactory information is integrated in the synganglion and this comprehension would allow obtain details that could be used to the development of new control strategies. This work aims to verify the integration between the Haller organ and the synganglion by determining its neuronal projection patterns until the olfactory lobes as well accomplish its three-dimensional reconstruction. Males and females of A. sculptum were immobilized and the Haller organ was excised. The olfactory nerves were filled with one drop of dextran tetramethylrhodamine 1%. The synganglions were dissected in saline, fixed in 4% paraformaldehyde, washed in saline and triton X-100, dehydrated in alcohol series and mounted in glicerol. The synganlions were examined in a fluorescence microscope (Axio Scope.A1) to confirm filling from the peripheral neurons to the synganglion. The olfactory lobes stained were digitalized in a confocal microscope TCS SP8 (Leica) and the series were examined in the Reconstruct software. The olfactory lobes of one male and three females were selected to tracing the edges of each glomerulus in successive optical sessions in order to obtain the 3D reconstruction. The volume was calculated using the same software and their correlation was analyzed by Pearson correlation. The neuronal projections from the Haller organ were confined in the olfactory lobes, which were organized in glomeruli. The number of glomeruli in the males was 26 and 30 in each olfactory lobe examined and in the females varied between 24 and 29. Male and females showed similar glomeruli in both olfactory lobes, meaning they are homologues, when compared intra and intersexually, with a positive correlation between 72% and 95%. Considering the volume, the glomeruli were also similar and no macroglomerulus was identified, as any glomerulus in the male and female were two times bigger than the average volume. The number of specimens evaluated does not allow inferring if the lower number of glomeruli in the females was statistically significant. This work shows, for the first time, the 3D reconstruction of the olfactory lobe in a tick species. The results obtained contribute to understand how ticks process their olfactory information. / Amblyomma sculptum, pertencente ao complexo A. cajennense, parasita humanos, animais domésticos e silvestres. Apresenta importância mundialmente reconhecida na saúde pública e animal por espoliar seus hospedeiros e transmitir patógenos causadores de doenças, como Rickettsia rickettsii agente de Febre Maculosa no Brasil. Os carrapatos orientam-se por estímulos químicos detectados por seus órgãos sensoriais, como o órgão de Haller, localizado no primeiro par de patas, que possui sensilas olfativas capazes de detectarem moléculas voláteis, como os odores. No interior destas sensilas há neurônios que se projetam para os lobos olfativos, organizados em glomérulos, no interior do singânglio, o sistema nervoso central. Em carrapatos, pouco se sabe sobre como a percepção da informação olfativa é integrada no singânglio e esta compreensão permitiria obter mais detalhes sobre a biologia, contribuindo para o desenvolvimento de novas tecnologias de controle. Objetivou-se verificar a integração entre o órgão de Haller e o singânglio por meio da determinação dos padrões de projeção neuronal das sensilas olfativas aos lobos olfativos e da reconstrução tridimensional dos glomérulos. Machos e fêmeas adultos de A. sculptum foram imobilizados, o órgão de Haller seccionado e o nervos olfativos corados com dextran tetrametilrodamina 1%. Os singânglios foram dissecados em PBS, fixados em paraformaldeído 4%, lavados em PBST e PBS, desidratados em séries ascendente de etanol e montados em lâminas com glicerol. Os singânglios foram observados em microscópio de fluorescência Axio Scope.A1 para determinar aqueles onde houve projeção. Os lobos olfativos corados foram digitalizados em microscópio confocal a laser TCS SP8 e as séries de imagens confocais foram avaliadas no programa Reconstruct. Selecionaram-se os lobos olfativos de um macho e três fêmeas para identificação dos glomérulos, marcação manual e numeração, com posterior reconstrução 3D. O programa permitiu o cálculo dos volumes glomerulares que foram analisados por correlação de Pearson. As projeções neuronais originadas nas sensilas olfativas do órgão de Haller estiveram confinadas estritamente aos lobos olfativos, organizados em glomérulos. Os glomérulos no macho variaram entre 26 e 30 e nas fêmeas, entre 24 e 29. Macho e fêmeas apresentaram glomérulos similares, denominados homólogos, nos dois lobos olfativos quando comparados intra- e intersexualmente, com correlação positiva entre 72% e 95%. Com relação aos tamanhos e formas, os glomérulos foram similares e não foram identificados macroglomérulos, uma vez que os glomérulos com maiores volumes no macho e nas fêmeas não apresentaram valores superiores a duas vezes o valor da média. O número de indivíduos avaliados não permitiu inferir se a menor quantidade de glomérulo nas fêmeas foi estatisticamente significativa e, portanto, não se pode afirmar se há dimorfismo sexual. Em carrapatos este foi o primeiro trabalho em que se realizou a reconstrução tridimensional dos lobos olfativos. Os resultados obtidos contribuem para o conhecimento do processamento central da informação olfativa em carrapatos.

Pour comprendre et diagnostiquer les pathologies qui affectent l’organisation spatialede notre squelette, il est essentiel d’aborder ces problématiques en 3D. Le CT-Scan et l’IRMsont des modalités d’imagerie couramment utilisées en milieu clinique pour étudier en 3D notresystème musculosquelettique. La plupart de ces systèmes d’imagerie proposent une acquisitioncouchée sur laquelle les effets gravitaires ne sont pas pris en compte. Le CT-Scan est unemodalité particulièrement irradiante et l’IRM est plus spécifiquement dédiée à l’étude des tissusmous. Le système EOS permet de reconstruire en 3D les os à partir d’une paire deradiographies biplanes à faible dose d’irradiation. En plus, le système EOS propose uneacquisition en position debout, prenant en compte les effets gravitaires. Cette thèse contribue àl’amélioration des méthodes de reconstruction 3D des membres inférieurs à partir des radiosbiplanes. Dans le cadre de thèse on a proposé et évalué : 1) Une méthode de reconstruction3D des membres inférieurs s’appuyant sur des modèles paramétrés et des inférencesstatistiques. 2) Une méthode d’auto-amélioration de la reconstruction 3D des membresinférieurs en utilisant du traitement d’images local et le recalcul d’inférences statistiques. 3)Enfin, des méthodes utilisant des critères de similarité d’images et des critères morphologiquespour détecter de manière automatique le côté médial et latéral du fémur et du tibia. Le but estd’éviter l’inversion par l’opérateur de condyles fémoraux et plateaux tibiaux, affectant la valeurdes paramètres cliniques, surtout les torsions. La méthode de reconstruction proposée dans lecadre de cette thèse est intégrée dans le logiciel sterEOS® et utilisée dans une soixantained’hôpitaux au monde. Les méthodes développées dans le cadre de cette thèse ont permis deprogresser vers la reconstruction semi-automatisée, précise et robuste du membre inférieur / For a better understanding and diagnosis of the pathologies affecting the spatialorganization of our skeleton it is necessary to address them in 3D. CT-Scan and MRI areimaging modalities commonly used to study the musculoskeletal system in 3D. Moreover,patients are recorded in reclining position thus gravity effect can’t be taken into account.Furthermore, CT-Scan exposes patient to high radiation doses and MRI is used mostly tocharacterize soft tissues. With the EOS system, from a pair of low dose biplanar radiographs wecan reconstruct bones in 3D, and the radiographs are recorded in standing position thus gravityeffects are considered. This thesis contributes to the improvement of the 3D reconstructionmethods of lower limbs from biplanar radiographs. In this thesis we have proposed andevaluated: 1) A 3D reconstruction method of the lower limbs based on parametric models andstatistical inferences. 2) A method for the auto-improvement of the 3D reconstruction of thelower limbs. This method combines image processing and the recalculation of the statisticalinferences. 3) Finally, methods based on similarity measures and shape criteria were used todetect automatically the medial and lateral side of the femur and tibia. The aim of thesemethods is to avoid the inversion of the femoral and tibial condyles in biplanar radiographs.These inversions have an impact in the calculation of clinical measurements, particularly thetorsional ones. The reconstruction method proposed in this thesis is already integrated withinthe sterEOS® software, available in 60 hospitals around the world. The methods developed inthis thesis have led us to a semi-automatic, accurate and robust reconstruction of lower limbs.

Les méthodes de microscopie de super-résolution (SRM) telles que la microscopie PALM (photoactivated localization microscopy), STORM (stochastic optical reconstruction microscopy), BALM (binding-activated localization microscopy) et le DNA-PAINT, représentent un nouvel ensemble de techniques de microscopie optique qui permettent de surpasser la limite de diffraction ( > 200 nm dans le spectre visible). Ces méthodes sont basées sur la localisation de la fluorescence de molécules uniques, et peuvent atteindre des résolutions de l'ordre du nanomètres (~20 nm latéralement et 50 nm axialement). Les techniques SRM ont un large spectre d'applications dans les domaines de la biologie et de la biophysique, rendant possible l'accès à l'information tant dynamique que structurale de structures connues ou non, in vivo et in vitro. Beaucoup d'efforts ont été fournis durant la dernière décennie afin d'élargir le potentiel de ces méthodes en développant des méthodes de localisation à la fois plus précise et plus rapide, d'améliorer la photophysique des fluorophores, de développer des algorithmes pour obtenir une information quantitative et augmenter la précision de localisation, etc. Cependant, très peu de méthodes ont été développées pour examiner l'hétérogénéité des images et extraire les informations statistiquement pertinent à partir de plusieurs milliers d'images individuelles super-résolues. Dans mon travail de thèse, je me suis spécifiquement attaquée à ces limitations en: (1) construisant des objets de dimensions nanométriques et de structures bien définies, avec la possibilité d'être adaptés aux besoins. Ces objets sont basés sur les origamis d'ADN. (2) développant des approches de marquage afin d'acquérir des images homogènes de ces objets. (3) implémentant des outils statistiques dans le but d'améliorer l'analyse et la validation d'images. Ces outils se basent sur des méthodes de reconstruction de molécules uniques communément appliquées aux reconstructions d'images de microscopie électronique. J'ai spécifiquement appliqué ces développements à la reconstruction de formes 3D de deux origamis d'ADN modèles (en une et trois dimensions). Je montre comment ces méthodes permettent la dissection de l'hétérogénéité de l'échantillon, et la combinaison d'images similaires afin d'améliorer le rapport signal sur bruit. La combinaison de différentes classes moyennes ont permis la reconstruction des formes tridimensionnelles des origamis d'ADN. Particulièrement, car cette méthode utilise la projection 2D de différentes vues d'une même structure, elle permet la récupération de résolutions isotropes en trois dimensions. Des fonctions spécifiques ont été adaptées à partir de méthodologies existantes afin de quantifier la fiabilité des reconstructions et de leur résolution. A l'avenir, ces développements seront utiles pour la reconstruction 3D de tous types d'objets biologiques pouvant être observés à haute résolution par des méthodologies dérivées de PALM, STORM ou PAINT. / Super resolution microscopy (SRM) methods such as photoactivated localization microscopy (PALM), stochastic optical reconstruction microscopy (STORM), binding-activated localization microscopy (BALM) and DNA-PAINT represent a new collection of light microscopy techniques that allow to overpass the diffraction limit barrier ( > 200 nm in the visible spectrum). These methods are based on the localization of bursts of fluorescence from single fluorophores, and can reach nanometer resolutions (~20 nm in lateral and 50 nm in axial direction, respectively). SRM techniques have a broad spectrum of applications in the field of biology and biophysics, allowing access to structural and dynamical information of known and unknown biological structures in vivo and in vitro. Many efforts have been made over the last decade to increase the potential of these methods by developing more precise and faster localization techniques, to improve fluorophore photophysics, to develop algorithms to obtain quantitative information and increase localization precision, etc. However, very few methods have been developed to dissect image heterogeneity and to extract statistically relevant information from thousands of individual super-resolved images. In my thesis, I specifically tackled these limitations by: (1) constructing objects with nanometer dimensions and well-defined structures with the possibility of be tailored to any need. These objects are based on DNA origami. (2) developing labeling approaches to homogeneously image these objects. These approaches are based on adaptations of BALM and DNA-PAINT microscopies. (3) implemented statistical tools to improve image analysis and validation. These tools are based on single-particle reconstruction methods commonly applied to image reconstruction in electron microscopy.I specifically applied these developments to reconstruct the 3D shape of two model DNA origami (in one and three dimensions). I show how this method permits the dissection of sample heterogeneity, and the combination of similar images in order to improve the signal-to-noise ratio. The combination of different average classes permitted the reconstruction of the three dimensional shape of DNA origami. Notably, because this method uses the 2D projections of different views of the same structure, it permits the recovery of isotropic resolutions in three dimensions. Specific functions were adapted from previous methodologies to quantify the reliability of the reconstructions and their resolution.In future, these developments will be helpful for the 3D reconstruction of any biological object that can be imaged at super resolution by PALM, STORM or PAINT-derived methodologies.

Nous présentons une approche de rendu à base d'images (IBR) qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes dépendent des modèles 3D et donnent lieu à des rendus de qualité réduite avec beaucoup d'artefacts. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie 3D. Nous utilisons un warp d'image guidé par des cartes de profondeur quasi-denses qui donnent lieu à beaucoup moins d'artefacts. En se basant sur cette approche, nous avons développé une méthode entièrement automatique permettant de traiter les scènes complexes. Nous sur-segmentons les images d’entrées en superpixels qui limitent les occlusions sur les bords des objets. Nous introduisons la synthèse de profondeur pour créer une approximation de cette profondeur mal reconstruite dans certaines régions et calculons les warps sur les superpixels pour synthétiser le résultat final. Nous comparons nos résultats à de nombreuses approches récentes. Nous avons analysé les artefacts de l'IBR d'un point de vue perceptif en comparant les artefacts générés par le mélange de plusieurs images avec ceux des transitions temporelles brusques et avons élaboré une méthodologie pour la sélection d'un compromis idéal entre les deux. Nous avons également analysé les distorsions perspectives et avons développé un modèle quantitatif qui permet de prédire les distorsions en fonction des paramètres de capture et de visualisation. Comme application, nous avons mis en œuvre un système de réalité virtuelle qui utilise l'IBR à la place de l'infographie traditionnelle. / We present image-based rendering (IBR) approaches that allow free viewpoint walkthroughs of urban scenes using just a few photographs as input. Previous approaches depend upon 3D models which give artifacts as the quality of 3D model degrades. In this thesis, we propose image-based approximations to compensate for the lack of accurate 3D geometry. In the first project, we use discontinuous shape-preserving image warp guided by quasi-dense depth maps which gives far fewer rendering artifacts than previous approaches. We build upon this approach in the second project by developing a completely automated solution that is capable of handling more complex scenes. We oversegment input images into superpixels that capture all occlusion boundaries. We introduce depth synthesis to create approximate depth in very poorly reconstructed regions and compute shape-preserving warps on superpixels to synthesize the final result. We also compare our results to many recent approaches. We analyze IBR artifacts from a perceptual point of view. In the first study, we compare artifacts caused by blending multiple images with abrupt temporal transitions and develop guidelines for selecting the ideal tradeoff. We use vision science in another study to investigate perspective distortions and develop a quantitative model that predicts distortions as a function of capture and viewing parameters. We use guidelines from these experiments to motivate the design of our own IBR systems. We demonstrate the very first virtual reality system that uses IBR instead of traditional computer graphics. This drastically reduces the cost of modeling 3D scenes while producing highly realistic walkthroughs.

The Next-Best-View (NBV) problem plays an important part in automatic 3D object reconstruction and exploration applications. This thesis presents a novel approach of ray-casting in Occupancy Grid Maps (OGM) in the context of solving the NBV problem in a 3D-exploration setting. The proposed approach utilizes the structure of an octree-based OGM to perform calculations of potential information gain. The computations are significantly faster than current methods, without decreasing mapping quality. Performance, both in terms of mapping quality, coverage and computational complexity, is experimentally verified through a comparison with existing state-of-the-art methods using high-resolution point cloud data generated using time-of-flight laser range scanners. Current methods for viewpoint ranking focus either heavily on mapping performance or computation speed. The results presented in this thesis indicate that the proposed method is able to achieve a mapping performance similar to the performance-oriented approaches while maintaining the same low computation speed as more approximative methods.

RERUME: Les modèles personnalisés 3D sont de plus en plus demandés pour la planification chirurgicale et les recherches en biomécanique. L’objectif principal de cette thèse cotutelle était d’améliorer la méthode de reconstruction 3D à partir des images radiographies biplanes proposée par Lagacé, Ohl et al., afin que celle-ci puisse être plus facilement utilisée en clinique et qu’elle puisse permettre d’aider à la planification chirurgicale et/ou l’évaluation post-chirurgicale. Le système de radiographie biplane EOS à faible dose d’irradiation est le résultat d’une collaboration entre la société EOS imaging, l’institut biomécanique humaine Georges Charpak d’Arts et Métiers ParisTech, le laboratoire de recherche en imagerie et orthopédie (LIO) de l’école de technologie supérieure de Montréal, Georges Charpak, Jean Dubousset et Gabriel Kalifa (Dubousset et al. 2010). Le principe du détecteur de rayon X est basé sur les travaux développés par le Prof. Charpak, qui réduit significativement la dose de rayonnement comparé à la radiographie standard (Dubousset et al. 2010) Quatorze indices cliniques utilisés plus ou moins couramment en clinique pour le diagnostic et le suivi des pathologies de l’épaule et pour la planification chirurgicale et son évaluation post-opératoire ont été calculé. La justesse est acceptable (biais <1 mm sauf la distance sous acrominale) et une reproductibilité (2 fois écart-type inférieur à 5 mm ou 5° sauf 2 paramètres) qui est similaire à ce qui est présenté dans la littérature. L’approche proposée apporte sur une amélioration de la reconstruction dans un contexte où il serait intéressant qu’elle devienne utilisable en routine clinique. Bien que les améliorations soient encore nécessaires, cette contribution apporte une pierre à l’analyse de l’articulation intacte et pathologique et est prometteuse quant à la possibilité de son implantation dans la routine clinique pour évaluer les interventions chirurgicales en pré- et post-opératoire. / Three-dimensional subject-specific models are increasingly requested for surgical planning and research in biomechanics. The main objective of this cotutelle thesis was to improve the 3D reconstruction method using biplane radiography images proposed by Lagacé, Ohl et al., in order to facilitate its application in clinic, especially to assist surgical planning and/or post-surgical evaluation. The low-dose biplane radiography EOS was used and an improvement to the reconstruction method was proposed. Fourteen clinical indices used more or less routinely in clinical diagnosis for monitoring of shoulder disorders and for surgical planning and postoperative evaluation were calculated and evaluated. The accuracy is acceptable and reproducibility is similar to what is presented in the literature. The proposed approach brings an improvement of reconstruction in a context where it would be interesting for clinical routine use. Although improvements are required, this contribution brings a stone to the analysis of intact and pathological joint and is promising as to the possibility of its presence in the clinical routine for evaluating pre- and post-operative surgery.

La création d'une maquette numérique d'un bâtiment existant nécessite le relevé du bâtiment. Le scanner laser terrestre est largement utilisé pour atteindre cet objectif. Il permet d'obtenir la géométrie des objets sous forme de nuages de points. Il fournit une grande quantité de données précises de manière très rapide et avec un niveau élevé de détails. Malheureusement, le passage du nuage de points à la maquette numérique reste actuellement largement manuel en raison du volume important de données et des processus qui sont difficiles à automatiser. Cette démarche est chronophage et source d'erreurs. Un défi majeur aujourd'hui est donc d'automatiser le processus menant à la reconstruction 3D de bâtiments existants à partir de nuages de points. L'objectif de cette thèse est de développer une chaîne de traitements permettant d'extraire automatiquement le maximum d'informations du nuage de points d'un bâtiment en vue d'intégrer le résultat dans un logiciel de BIM. / The creation of an as-built BIM requires the acquisition of the as-is conditions of existing buildings. Terrestrial laser scanning (TLS) is widely used to achieve this goal. Indeed, laser scanners permit to collect information about object geometry in form of point clouds. They provide a large amount of accurate data in a very fast way and with a high level of details. Unfortunately, the scan-to-BIM process remains currently largely a manual process because of the huge amount of data and because of processes, which are difficult to automate. It is time consuming and error-prone. A key challenge today is thus to automate the process leading to 3D reconstruction of existing buildings from point clouds. The aim of this thesis is to develop a processing chain to extract the maximum amount of information from a building point cloud in order to integrate the result in a BIM software.

Abstract Three-dimensional scene reconstruction has been an important area of research for many decades. It has a myriad of applications ranging from entertainment to medicine. This thesis explores the 3D reconstruction pipeline and proposes novel methods to improve many of the steps necessary to achieve a high quality reconstruction. It proposes novel methods in the areas of depth sensor calibration, simultaneous localization and mapping, depth map inpainting, point cloud simplification, and free-viewpoint rendering. Geometric camera calibration is necessary in every 3D reconstruction pipeline. This thesis focuses on the calibration of depth sensors. It presents a review of sensors models and how they can be calibrated. It then examines the case of the well-known Kinect sensor and proposes a novel calibration method using only planar targets. Reconstructing a scene using only color cameras entails di_erent challenges than when using depth sensors. Moreover, online applications require real-time response and must update the model as new frames are received. The thesis looks at these challenges and presents a novel simultaneous localization and mapping system using only color cameras. It adaptively triangulates points based on the detected baseline while still utilizing non-triangulated features for pose estimation. The thesis addresses the extrapolating missing information in depth maps. It presents three novel methods for depth map inpainting. The first utilizes random sampling to fit planes in the missing regions. The second method utilizes a 2nd-order prior aligned with intensity edges. The third method learns natural filters to apply a Markov random field on a joint intensity and depth prior. This thesis also looks at the issue of reducing the quantity of 3D information to a manageable size. It looks at how to merge depth maps from multiple views without storing redundant information. It presents a method to discard this redundant information while still maintaining the naturally variable resolution. Finally, transparency estimation is examined in the context of free-viewpoint rendering. A procedure to estimate transparency maps for the foreground layers of a multi-view scene is presented. The results obtained reinforce the need for a high accuracy 3D reconstruction pipeline including all the previously presented steps. / Tiivistelmä Kolmiuloitteisen ympäristöä kuvaavan mallin rakentaminen on ollut tärkeä tutkimuksen kohde jo usean vuosikymmenen ajan. Sen sovelluskohteet ulottuvat aina lääketieteestä viihdeteollisuuteen. Väitöskirja tarkastelee 3D ympäristöä kuvaavan mallin tuottamisprosessia ja esittää uusia keinoja parantaa korkealaatuisen rekonstruktion tuottamiseen vaadittavia vaiheita. Työssä esitetään uusia menetelmiä etäisyyssensoreiden kalibrointiin, samanaikaisesti tapahtuvaan paikannukseen ja kartoitukseen, syvyyskartan korjaamiseen, etäisyyspistepilven yksinkertaistamiseen ja vapaan katselukulman kuvantamiseen. Väitöskirjan ensi osa keskittyy etäisyyssensoreiden kalibrointiin. Työ esittelee erilaisia sensorimalleja ja niiden kalibrointia. Yleisen tarkastelun lisäksi keskitytään hyvin tunnetun Kinect-sensorin käyttämiseen, ja ehdotetaan uutta kalibrointitapaa pelkkiä tasokohteita hyväksikäyttäen. Pelkkien värikameroiden käyttäminen näkymän rekonstruointiin tuottaa erilaisia haasteita verrattuna etäisyyssensoreiden käyttöön kuvan muodostamisessa. Lisäksi verkkosovellukset vaativat reaaliaikaista vastetta. Väitös tarkastelee kyseisiä haasteita ja esittää uudenlaisen yhtäaikaisen paikannuksen ja kartoituksen mallin tuottamista pelkkiä värikameroita käyttämällä. Esitetty tapa kolmiomittaa adaptiivisesti pisteitä taustan pohjalta samalla kun hyödynnetään eikolmiomitattuja piirteitä asentotietoihin. Työssä esitellään kolme uudenlaista tapaa syvyyskartan korjaamiseen. Ensimmäinen tapa käyttää satunnaispisteitä tasojen kohdentamiseen puuttuvilla alueilla. Toinen tapa käyttää 2nd-order prior kohdistusta ja intensiteettireunoja. Kolmas tapa oppii filttereitä joita se soveltaa Markov satunnaiskenttiin yhteisillä tiheys ja syvyys ennakoinneilla. Tämä väitös selvittää myös mahdollisuuksia 3D-information määrän pienentämiseen käsiteltävälle tasolle. Työssä selvitetään, kuinka syvyyskarttoja voidaan yhdistää ilman päällekkäisen informaation tallentamista. Työssä esitetään tapa jolla päällekkäisestä datasta voidaan luopua kuitenkin säilyttäen luonnollisesti muuttuva resoluutio. Viimeksi, tutkimuksessa on esitetty läpinäkyvyyskarttojen arviointiproseduuri etualan kerroksien monikatselukulmanäkymissä vapaan katselukulman renderöinnin näkökulmasta. Saadut tulokset vahvistavat tarkan 3D-näkymän rakentamisliukuhihnan tarvetta sisältäen kaikki edellä mainitut vaiheet.

L’objectif de cette thèse est de développer des méthodes permettant la cartographie d’un environnement tridimensionnel de grande dimension en combinant radar panoramique MMW et caméras optiques. Contrairement aux méthodes existantes de fusion de données multi-capteurs, telles que le SLAM, nous souhaitons réaliser un capteur de type RGB-D fournissant directement des mesures de profondeur enrichies par l’apparence (couleur, texture...). Après avoir modélisé géométriquement le système radar/caméra, nous proposons une méthode de calibrage originale utilisant des correspondances de points. Pour obtenir ces correspondances, des cibles permettant une mesure ponctuelle aussi bien par le radar que la caméra ont été conçues. L’approche proposée a été élaborée pour pouvoir être mise en oeuvre dans un environnement libre et par un opérateur non expert. Deuxièmement, une méthode de reconstruction de points tridimensionnels sur la base de correspondances de points radar et image a été développée. Nous montrons par une analyse théorique des incertitudes combinées des deux capteurs et par des résultats expérimentaux, que la méthode proposée est plus précise que la triangulation stéréoscopique classique pour des points éloignés comme on en trouve dans le cas de cartographie d’environnements extérieurs. Enfin, nous proposons une stratégie efficace de mise en correspondance automatique des données caméra et radar. Cette stratégie utilise deux caméras calibrées. Prenant en compte l’hétérogénéité des données radar et caméras, l’algorithme développé commence par segmenter les données radar en régions polygonales. Grâce au calibrage, l’enveloppe de chaque région est projetée dans deux images afin de définir des régions d’intérêt plus restreintes. Ces régions sont alors segmentées à leur tour en régions polygonales générant ainsi une liste restreinte d’appariement candidats. Un critère basé sur l’inter corrélation et la contrainte épipolaire est appliqué pour valider ou rejeter des paires de régions. Tant que ce critère n’est pas vérifié, les régions sont, elles même, subdivisées par segmentation. Ce processus, favorise l’appariement de régions de grande dimension en premier. L’objectif de cette approche est d’obtenir une cartographie sous forme de patchs localement denses. Les méthodes proposées, ont été testées aussi bien sur des données de synthèse que sur des données expérimentales réelles. Les résultats sont encourageants et montrent, à notre sens, la faisabilité de l’utilisation de ces deux capteurs pour la cartographie d’environnements extérieurs de grande échelle. / The main goal of this PhD work is to develop 3D mapping methods of large scale environment by combining panoramic radar and cameras. Unlike existing sensor fusion methods, such as SLAM (simultaneous localization and mapping), we want to build a RGB-D sensor which directly provides depth measurement enhanced with texture and color information. After modeling the geometry of the radar/camera system, we propose a novel calibration method using points correspondences. To obtain these points correspondences, we designed special targets allowing accurate point detection by both the radar and the camera. The proposed approach has been developed to be implemented by non-expert operators and in unconstrained environment. Secondly, a 3D reconstruction method is elaborated based on radar data and image point correspondences. A theoretical analysis is done to study the influence of the uncertainty zone of each sensor on the reconstruction method. This theoretical study, together with the experimental results, show that the proposed method outperforms the conventional stereoscopic triangulation for large scale outdoor scenes. Finally, we propose an efficient strategy for automatic data matching. This strategy uses two calibrated cameras. Taking into account the heterogeneity of cameras and radar data, the developed algorithm starts by segmenting the radar data into polygonal regions. The calibration process allows the restriction of the search by defining a region of interest in the pair of images. A similarity criterion based on both cross correlation and epipolar constraint is applied in order to validate or reject region pairs. While the similarity test is not met, the image regions are re-segmented iteratively into polygonal regions, generating thereby a shortlist of candidate matches. This process promotes the matching of large regions first which allows obtaining maps with locally dense patches. The proposed methods were tested on both synthetic and real experimental data. The results are encouraging and prove the feasibility of radar and vision sensor fusion for the 3D mapping of large scale urban environment.

Ce travail de thèse porte sur la modélisation dynamique 3D du rein et le suivi d’une tumeur de cet organe. Il s’inscrit dans le projet KiTT (Kidney Tumor Tracking) qui regroupe des chercheurs issus de plusieurs domaines : la modélisation géométrique, la radiologie et l’urologie. Le cadre de cette thèse suit une tendance de mini-invasivité des gestes chirurgicaux observée ces dernières années (HIFU, coelioscopie). Sa finalité est d’aboutir à un nouveau protocole de destruction de tumeurs rénales totalement non-invasif, par la diffusion d’agents physiques (ondes d’ultrasons) à travers la peau et focalisés sur la tumeur. Devant le mouvement et la déformation que le rein présente au cours du cycle respiratoire, la problématique de ces travaux de recherche est de connaître en permanence la position de la tumeur afin d’ajuster à moyen terme la diffusion des ondes en conséquence. / This Ph.D. thesis deals with the 3D dynamic modeling of the kidney and tracking a tumor of this organ. It is in line with the KiTT project (Kidney Tumor Tracking) which gathers researchers from different fileds: geometric modeling, radiology and urology. This work arised from the tendency of nowadays surgical gestures to be less and less invasive (HIFU, coelioscopy). Its goal is to result in a totally non-invasive protocol of kidney tumors eradication by transmitting ultrasound waves through the skin without breaking in it. As the kidney presents motions and deformations during the breathing phase, the main issue is to know the kidney and tumor positions at any time in order to adjust the waves accordingly.