Les champs de lumière ont attisé la curiosité durant ces dernières décennies. Capturés par une caméra plénoptique ou un ensemble de caméras, ils échantillonnent la fonction plénoptique qui informe sur la radiance de n'importe quel rayon lumineux traversant la scène observée. Les champs lumineux offrent de nombreuses applications en vision par ordinateur comme en infographie, de la reconstruction 3D à la segmentation, en passant par la synthèse de vue, l'inpainting ou encore le matting par exemple.Dans ce travail nous nous attelons au problème de reconstruction du champ de lumière dans le but de synthétiser une image, comme si elle avait été prise par une caméra plus proche du sujet de la scène que l'appareil de capture plénoptique. Notre approche consiste à formuler la reconstruction du champ lumineux comme un problème de rendu basé image (IBR). La plupart des algorithmes de rendu basé image s'appuient dans un premier temps sur une reconstruction 3D approximative de la scène, appelée proxy géométrique, afin d'établir des correspondances entre les points image des vues sources et ceux de la vue cible. Une nouvelle vue est générée par l'utilisation conjointe des images sources et du proxy géométrique, bien souvent par la projection des images sources sur le point de vue cible et leur fusion en intensité.Un simple mélange des couleurs des images sources ne garantit pas la cohérence de l'image synthétisée. Nous proposons donc une méthode de rendu direct multi-échelles basée sur les pyramides de laplaciens afin de fusionner les images sources à toutes les fréquences, prévenant ainsi l'apparition d'artefacts de rendu.Mais l'imperfection du proxy géométrique est aussi la cause d'artefacts de rendu, qui se traduisent par du bruit en haute fréquence dans l'image synthétisée. Nous introduisons une nouvelle méthode de rendu variationnelle avec des contraintes sur les gradients de l'image cible dans le but de mieux conditionner le système d'équation linéaire à résoudre et supprimer les artefacts de rendu dus au proxy.Certaines scènes posent de grandes difficultés de reconstruction du fait du caractère non-lambertien éventuel de certaines surfaces~; d'autre part même un bon proxy ne suffit pas, lorsque des réflexions, transparences et spécularités remettent en cause les règles de la parallaxe. Nous proposons méthode originale basée sur l'approximation locale de l'espace plénoptique à partir d'un échantillonnage épars afin de synthétiser n'importe quel point de vue sans avoir recours à la reconstruction explicite d'un proxy géométrique. Nous évaluons notre méthode à la fois qualitativement et quantitativement sur des scènes non-triviales contenant des matériaux non-lambertiens.Enfin nous ouvrons une discussion sur le problème du placement optimal de caméras contraintes pour le rendu basé image, et sur l'utilisation de nos algorithmes pour la vision d'objets dissimulés derrière des camouflages.Les différents algorithmes proposés sont illustrés par des résultats sur des jeux de données plénoptiques structurés (de type grilles de caméras) ou non-structurés. / Light fields have gathered much interest during the past few years. Captured from a plenoptic camera or a camera array, they sample the plenoptic function that provides rich information about the radiance of any ray passing through the observed scene. They offer a pletora of computer vision and graphics applications: 3D reconstruction, segmentation, novel view synthesis, inpainting or matting for instance.Reconstructing the light field consists in recovering the missing rays given the captured samples. In this work we cope with the problem of reconstructing the light field in order to synthesize an image, as if it was taken by a camera closer to the scene than the input plenoptic device or set of cameras. Our approach is to formulate the light field reconstruction challenge as an image-based rendering (IBR) problem. Most of IBR algorithms first estimate the geometry of the scene, known as a geometric proxy, to make correspondences between the input views and the target view. A new image is generated by the joint use of both the input images and the geometric proxy, often projecting the input images on the target point of view and blending them in intensity.A naive color blending of the input images do not guaranty the coherence of the synthesized image. Therefore we propose a direct multi-scale approach based on Laplacian rendering to blend the source images at all the frequencies, thus preventing rendering artifacts.However, the imperfection of the geometric proxy is also a main cause of rendering artifacts, that are displayed as a high-frequency noise in the synthesized image. We introduce a novel variational rendering method with gradient constraints on the target image for a better-conditioned linear system to solve, removing the high-frequency noise due to the geometric proxy.Some scene reconstructions are very challenging because of the presence of non-Lambertian materials; moreover, even a perfect geometric proxy is not sufficient when reflections, transparencies and specularities question the rules of parallax. We propose an original method based on the local approximation of the sparse light field in the plenoptic space to generate a new viewpoint without the need for any explicit geometric proxy reconstruction. We evaluate our method both quantitatively and qualitatively on non-trivial scenes that contain non-Lambertian surfaces.Lastly we discuss the question of the optimal placement of constrained cameras for IBR, and the use of our algorithms to recover objects that are hidden behind a camouflage.The proposed algorithms are illustrated by results on both structured (camera arrays) and unstructured plenoptic datasets.

Image based modeling using visual images has undergone major development during the earlier parts of the 21th century. In this thesis a system for automated uncalibrated scene reconstruction using infrared images is implemented and tested. An automated reconstruction system could serve to simplify thermal inspection or as a demonstration tool. Thermal images will in general have lower resolution, less contrast and less high frequency content as compared to visual images. These characteristics of infrared images further complicates feature extraction and matching, key steps in the reconstruction process. In order to remedy the complication preprocessing methods are suggested and tested as well. Infrared modeling will also impose additional demands on the reconstruction as it is of importance to maintain thermal accuracy of the images in the product. Three main results are obtained from this thesis. Firstly, it is possible to obtain camera calibration and pose as well as a sparse point cloud reconstruction from an infrared image sequence using the suggested implementation. Secondly, correlation of thermal measurements from the images used to reconstruct three dimensional coordinates is presented and analyzed. Lastly, from the preprocessing evaluation it is concluded that the tested methods are not suitable. The methods will increase computational cost while improvements in the model are not proportional. / Bildbaserad modellering med visuella bilder har genomgått en stor utveckling under de tidigare delarna av 2000-talet. Givet en sekvens bestående av vanliga tvådimensionella bilder på en scen från olika perspektiv så är målet att rekonstruera en tredimensionell modell. I denna avhandling implementeras och testas ett system för automatiserad okalibrerad scenrekonstruktion från infraröda bilder. Okalibrerad rekonstruktion refererar till det faktum att parametrar för kameran, såsom fokallängd och fokus, är okända och enbart bilder används som indata till systemet. Ett stort användingsområde för värmekameror är inspektion. Temperaturskillnader i en bild kan indikera till exempel dålig isolering eller hög friktion. Om ett automatiserat system kan skapa en tredimensionell modell av en scen så kan det bidra till att förenkla inspektion samt till att ge en bättre överblick. Värmebilder kommer generellt att ha lägre upplösning, mindre kontrast och mindre högfrekvensinnehåll jämfört med visuella bilder. Dessa egenskaper hos infraröda bilder komplicerar extraktion och matchning av punkter i bilderna vilket är viktiga steg i rekonstruktionen. För att åtgärda komplikationen förbehandlas bilderna innan rekonstruktionen, ett urval av metoder för förbehandling har testats. Rekonstruktion med värmebilder kommer också att ställa ytterligare krav på rekonstruktionen, detta eftersom det är viktigt att bibehålla termisk noggrannhet från bilderna i modellen. Tre huvudresultat erhålls från denna avhandling. För det första är det möjligt att beräkna kamerakalibrering och position såväl som en gles rekonstruktion från en infraröd bildsekvens, detta med implementationen som föreslås i denna avhandling. För det andra presenteras och analyseras korrelationen för temperaturmätningar i bilderna som används för rekonstruktionen. Slutligen så visar den testade förbehandlingen inte en förbättring av rekonstruktionen som är propotionerlig med den ökade beräkningskomplexiteten.

[ES] La Fotogrametría es una ciencia y tecnología que tiene utilidad médica creciente. Una aplicación médica destacable de la Fotogrametría es la medición de las úlceras de la piel. Las úlceras de la piel constituyen un problema médico y social importante: por su elevado coste económico, afectación de la salud y calidad de vida, frecuente cronicidad y complicaciones. La medición de la úlcera es necesaria y útil para el seguimiento clínico. La disminución de variables de tamaño de la úlcera indica su progresión hacia la cicatrización. Los procedimientos tradicionales de medición unidimensional y bidimensional, como la regla graduada y la planimetría con acetato, se siguen utilizando por su sencillez y comodidad de uso. Sin embargo, son invasivos y tienen inconvenientes técnicos, como inexactitud e imprecisión. Otros procedimientos de medición tridimensional (3D), como la inyección de líquido y los moldes de pasta, pueden tener, además, efectos adversos, como dolor, irritación o reacción alérgica. Algunos procedimientos sin contacto que utilizan técnicas de escaneo con luz estructurada o láser: 1/ necesitan dispositivos de escaneo específicos; 2/ no se ha demostrado su utilidad en la práctica clínica; 3/ tienen un coste elevado. Por otra parte, no hay un procedimiento de referencia (patrón oro) para la medición del volumen de las úlceras cutáneas. Una optimización de las técnicas utilizadas para la valoración objetiva de la evolución de las úlceras de la piel ayudaría a comparar la eficacia de los distintos tratamientos y seleccionar los más adecuados, así como predecir el tiempo de curación. Por todo lo anterior, se justifica el desarrollo de un procedimiento de medición de úlceras basado en una técnica fotogramétrica sin contacto, como la estereofotogrametría. El objetivo general de esta tesis es desarrollar un procedimiento fotogramétrico para el escaneo, medición, clasificación tisular y seguimiento clínico de úlceras cutáneas; y validar dicho procedimiento en un estudio clínico con pacientes, evaluando su fiabilidad y exactitud. El procedimiento SfM-3DULC está basado en las técnicas estereofotogramétricas SfM (Structure from Motion) y MVS (Multi View Stereo) y utiliza como software de escaneo Agisoft PhotoScan y como software de medición del modelo 3D el programa 3DULC, creado por los autores. Este procedimiento escanea y reconstruye un modelo digital 3D de la úlcera utilizando una cámara digital, con la que se adquieren una serie de fotografías desde varias localizaciones y orientaciones. Para la validación del procedimiento SfM-3DULC, se realizó un estudio piloto en el que se evaluó su fiabilidad y exactitud. También se propuso una nueva variante del procedimiento ImageJ, en la que se utiliza una ortofotografía (Ortho-ImageJ), para medir el área proyectada. Por último, se compararon las mediciones realizadas por un grupo de dermatólogos y otro grupo de no expertos. Todas las variables medidas por dermatólogos usando SfM-3DULC mostraron excelentes puntuaciones de fiabilidad intra-evaluador (ICC > 0.99) e inter-evaluador (ICC > 0.98). En conclusión, el software 3DULC desarrollado, en su versión 1.0: 1/ Interviene en la fase de medición de la úlcera cutánea, tras su escaneo. 2/ Es autónomo respecto al procedimiento de escaneo, y podría utilizarse junto a cualquier otra técnica que obtenga una nube de puntos de la úlcera cutánea. 3/ Detecta el contorno de la úlcera de forma asistida basándose en su respuesta espectral. 4/ Clasifica las zonas de la úlcera cutánea según su tipo de tejido utilizando un árbol de decisión. 5/ Mide las siguientes variables morfométricas de la úlcera cutánea: coeficiente de circularidad, coeficiente de lisura, longitud máxima, perímetro, profundidad máxima, área proyectada, área de la superficie excavada, área de la superficie de referencia y volumen. 6/ Presenta los resultados con un informe HTML que facilita la interpretación por personal sanitario. / [CA] La Fotogrametria és una ciència i tecnologia que té utilitat mèdica creixent. Una aplicació mèdica destacable de la Fotogrametria és el mesurament de les úlceres de la pell. Les úlceres de la pell constitueixen un problema mèdic i social important: pel seu elevat cost econòmic, afectació de la salut i qualitat de vida, freqüent cronicitat i complicacions. El mesurament de l'úlcera és necessària i útil per al seguiment clínic. La disminució de variables de mida de l'úlcera indica la seva progressió cap a la cicatrització. Els procediments tradicionals de mesurament unidimensional i bidimensional, com el regle graduat i la planimetria amb acetat, es continuen utilitzant per la seva senzillesa i comoditat d'ús. No obstant això, són invasius i tenen inconvenients tècnics, com inexactitud i imprecisió. Altres procediments de mesurament tridimensional (3D), com la injecció de líquid i els motles de pasta, poden tenir, a més, efectes adversos, com dolor, irritació o reaccions al·lèrgiques. Alguns procediments sense contacte que utilitzen tècniques d'escaneig amb llum estructurada o làser: 1 / necessiten dispositius d'escaneig específics; 2 / no s'ha demostrat la seva utilitat en la pràctica clínica; 3 / tenen un cost elevat. D'altra banda, no hi ha un procediment de referència (patró or) per al mesurament del volum de les úlceres cutànies. Una optimització de les tècniques utilitzades per a la valoració objectiva de l'evolució de les úlceres de la pell ajudaria a comparar l'eficàcia dels diferents tractaments i seleccionar els més adequats, així com predir el temps de curació. Per tot l'anterior, es justifica el desenvolupament d'un procediment de mesurament de úlceres basat en una tècnica fotogramètrica sense contacte, com la estereofotogrametría. L'objectiu general d'aquesta tesi és desenvolupar un procediment fotogramètric per a l'escaneig, mesurament, classificació tissular i seguiment clínic d'úlceres cutànies; i validar aquest procediment en un estudi clínic amb pacients, avaluant la seva fiabilitat i exactitud. El procediment SFM-3DULC està basat en les tècniques estereofotogramétricas SFM (Structure from Motion) i MVS (Multi View Stereo) i utilitza com a programari d'escaneig Agisoft PhotoScan i com a programari de mesurament de el model 3D el programa 3DULC, creat pels autors. Aquest procediment escaneja i reconstrueix un model digital 3D de l'úlcera utilitzant una càmera digital, amb la qual s'adquireixen una sèrie de fotografies des de diverses localitzacions i orientacions. Per a la validació de l'procediment SFM-3DULC, es va realitzar un estudi pilot en el qual es va avaluar la seva fiabilitat i exactitud. També es va proposar una nova variant del procediment ImageJ, en què s'utilitza una ortofotografia (Ortho-ImageJ), per mesurar l'àrea projectada. Finalment, es van comparar les mesures realitzades per un grup de dermatòlegs i un altre grup de no experts. Totes les variables mesures per dermatòlegs usant SFM-3DULC van mostrar excel·lents puntuacions de fiabilitat intra-avaluador (ICC> 0.99) i inter-avaluador (ICC> 0.98). En conclusió, el programari 3DULC desenvolupat, en la seva versió 1.0: 1 / Intervé en la fase de mesurament de l'úlcera cutània, després de la seva exploració. 2 / És autònom respecte a l'procediment d'escaneig, i podria utilitzar-costat de qualsevol altra tècnica que obtingui un núvol de punts de l'úlcera cutània. 3 / Detecta el contorn de l'úlcera de forma assistida basant-se en la seva resposta espectral. 4 / Classifica les zones de l'úlcera cutània segons el seu tipus de teixit utilitzant un arbre de decisió. 5 / Mesura les variables morfomètriques de l'úlcera cutània: coeficient de circularitat, coeficient de llisor, longitud màxima, perímetre, profunditat màxima, àrea projectada, àrea de la superfície excavada, àrea de la superfície de referència i volum. 6 / Presenta els resultats amb un informe HTML que facilita la interpretació per personal sanitari. / [EN] Photogrammetry is a science and technology of increasing medical utility. A notable medical application of photogrammetry is the measurement of skin ulcers. Skin ulcers are a major medical and social problem: due to their high economic cost, impact on health and quality of life, frequent chronicity and complications. Ulcer measurement is necessary and useful for the clinical follow-up. Decreasing ulcer size variables indicate progression towards healing. Traditional one- and two-dimensional measurement procedures, such as the graduated ruler and acetate planimetry, are still used because of their simplicity and ease of use. However, they are invasive and have technical drawbacks, such as inaccuracy and imprecision. Other three-dimensional (3D) measurement procedures, such as liquid injection and paste moulds, may also have adverse effects, such as pain, irritation or allergic reaction. Some non-contact procedures that use structured light or laser scanning techniques: 1/ require specific scanning devices; 2/ have not been demonstrated to be useful in clinical practice; 3/ are expensive. Moreover, there is no reference procedure (gold standard) for the measurement of skin ulcer volume. Optimisation of the techniques used for the objective assessment of the evolution of skin ulcers would help to compare the efficacy of different treatments and to select the most appropriate ones, as well as to predict healing time. Therefore, the development of an ulcer measurement procedure based on a non-contact photogrammetric technique, such as stereophotogrammetry, is justified. The main objective of this thesis is to develop a photogrammetric procedure for the scanning, measurement, tissue classification and clinical follow-up of skin ulcers; and to validate this procedure in a clinical study with patients, evaluating its reliability and accuracy. The SfM-3DULC procedure is based on the stereophotogrammetric techniques SfM (Structure from Motion) and MVS (Multi View Stereo) and uses Agisoft PhotoScan as scanning software and 3DULC as 3D model measurement software. This procedure scans and reconstructs a 3D digital model of the ulcer using a digital camera, which acquires photographs from various locations and orientations. In order to validate the SfM-3DULC procedure, a pilot study was conducted to assess its reliability and accuracy. A new variant of the ImageJ procedure was also proposed, in which an orthophotography (Ortho-ImageJ) is used to measure the projected area. Finally, measurements made by a group of dermatologists and a group of non-experts were compared. All the variables measured by dermatologists using SfM-3DULC showed excellent scores of intra-rater reliability (ICC > 0.99) and inter-rater reliability (ICC > 0.98). In conclusion, the 3DULC software developed, in its version 1.0: 1/ Is used to measure the skin ulcer, after its scan. 2/ Is autonomous with respect to the scanning procedure, and could be used with any other technique that obtains a point cloud of the skin ulcer. 3/ Outlines the edge of the ulcer semi-automatically, based on its spectral response. 4/ Classifies skin ulcer areas according to their tissue type, using a decision tree. 5/ Measures the following morphometric variables of the skin ulcer: circularity coefficient, evenness coefficient, maximum length, perimeter, maximum depth, projected area, surface area, reference surface area and volume. 6/ Presents the results with an HTML report that facilitates its interpretation by healthcare personnel. / Esta tesis doctoral fue financiada con una beca predoctoral de la Generalitat Valenciana – Consellería de Educación, Investigación, Cultura y Deporte, y el Fondo Social Europeo (ACIF/2018/160). / Sánchez Jiménez, D. (2022). SfM-3DULC: Desarrollo y validación de un procedimiento fotogramétrico para el escaneo, medición, clasificación tisular y seguimiento clínico de úlceras cutáneas [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181691 / TESIS

Comprendre, analyser et modéliser l'environment 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuel de recherche en vision par ordinateur. Cette thèse s'interesse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surface à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme un problème de rendu inverse, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifférement s'adapter à divers cas d'application tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le “shape from shading” multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances de l'apparence pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre la reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité. / Understanding, analyzing and modeling the 3D world from 2D pictures and videos is probably one of the most exciting and challenging problem of computer vision. In this thesis, we address several geometric and photometric aspects to 3D surface reconstruction from multi-view calibrated images. We first formulate multi-view shape reconstruction as an inverse rendering problem. Using generative models, we formulate the problem as an energy minimization method that leads to the non-linear surface optimization of a deformable mesh. A particular attention is addressed to the computation of the discrete gradient flow, which leads to coherent vertices displacements. We particularly focus on models and energy functionals that depend on visibility and photometry. The same framework can then be equally used to perform multi-view stereo, multi-view shape from shading or multi-view photometric stereo. Then, we propose to exploit different additional information to constraint the problem in the non-Lambertian case, where the appearance of the scene depends on the view-point direction. Segmentation for instance can be used to segment surface regions sharing similar appearance or reflectance. Helmholtz reciprocity can also be applied to reconstruct 3D shapes of objects of any arbitrary reflectance properties. By taking multiple image-light pairs around an object, multi-view Helmholtz stereo can be performed. Using this constrained acquisition scenario and our deformable mesh framework, it is possible to reconstruct high quality 3D models.

No description available.

L'analyse et la reconstruction automatique de scène urbaine 3D est un problème fondamental dans le domaine de la vision par ordinateur et du traitement numérique de la géométrie. Cette thèse présente des méthodologies pour résoudre le problème complexe de la reconstruction d'éléments urbains en 3D à partir de données aériennes Lidar ou bien de maillages générés par imagerie Multi-View Stereo (MVS). Nos approches génèrent une représentation précise et compacte sous la forme d'un maillage 3D comportant une sémantique de l'espace urbain. Deux étapes sont nécessaires ; une identification des différents éléments de la scène urbaine, et une modélisation des éléments sous la forme d'un maillage 3D. Le Chapitre 2 présente deux méthodes de classifications des éléments urbains en classes d'intérêts permettant d'obtenir une compréhension approfondie de la scène urbaine, et d'élaborer différentes stratégies de reconstruction suivant le type d'éléments urbains. Cette idée, consistant à insérer à la fois une information sémantique et géométrique dans les scènes urbaines, est présentée en détails et validée à travers des expériences. Le Chapitre 3 présente une approche pour détecter la 'Végétation' incluses dans des données Lidar reposant sur les processus ponctuels marqués, combinée avec une nouvelle méthode d'optimisation. Le Chapitre 4 décrit à la fois une approche de maillage 3D pour les 'Bâtiments' à partir de données Lidar et de données MVS. Des expériences sur des structures urbaines larges et complexes montrent les bonnes performances de nos systèmes. / Analysis and 3D reconstruction of urban scenes from physical measurements is a fundamental problem in computer vision and geometry processing. Within the last decades, an important demand arises for automatic methods generating urban scenes representations. This thesis investigates the design of pipelines for solving the complex problem of reconstructing 3D urban elements from either aerial Lidar data or Multi-View Stereo (MVS) meshes. Our approaches generate accurate and compact mesh representations enriched with urban-related semantic labeling.In urban scene reconstruction, two important steps are necessary: an identification of the different elements of the scenes, and a representation of these elements with 3D meshes. Chapter 2 presents two classification methods which yield to a segmentation of the scene into semantic classes of interests. The beneath is twofold. First, this brings awareness of the scene for better understanding. Second, deferent reconstruction strategies are adopted for each type of urban elements. Our idea of inserting both semantical and structural information within urban scenes is discussed and validated through experiments. In Chapter 3, a top-down approach to detect 'Vegetation' elements from Lidar data is proposed using Marked Point Processes and a novel optimization method. In Chapter 4, bottom-up approaches are presented reconstructing 'Building' elements from Lidar data and from MVS meshes. Experiments on complex urban structures illustrate the robustness and scalability of our systems.

This project is an examination of the possibility of using existing software to develop Virtual Reality (VR) software that includes key aspects of objects in a user’s surroundings into a virtual environment, producing Augmented Virtuality (AV). A defining limitation is the requirement that the software be consumer-accessible, meaning it needs run on a common smartphone with no additional equipment. Two related AV concepts were considered: shape reconstruction and positional tracking. Two categories of techniques were considered for taking the measurements of reality necessary to achieve those AV concepts using only a monocular RGB camera as sensor: monocular visual SLAM (mvSLAM) and Structure from Motion (SfM). Two lists of requirements were constructed, formalising the notions of AV and consumer-accessibility. A search process was then conducted, where existing software packages were evaluated for their suitability to be included in a piece of software fulfilling all requirements. The evaluations of SfM systems were made in combination with Multi-View Stereo (MVS) systems – a necessary complement for achieving visible shape reconstruction using a system that outputs point clouds. After thoroughly evaluating a variety of software, it was concluded that consumer-accessible AV can not currently be achieved by combining existing packages, due to several issues. While future hardware performance increases and new software implementations would solve complexity and availability issues, some inaccuracy and usability issues are inherent to the limitation of using a monocular camera. / Detta projekt är en undersökning av möjligheten att använda befintlig programvara till att utveckla Virtual Reality (VR)-programvara som infogar framstående aspekter av objekt från en användares omgivning in i en virtuell miljö och därmed skapar Augmented Virtuality (AV). En definierande begränsning är kravet på att programvaran skall vara konsumenttillgänglig, vilket innebär att den behöver kunna köras på en vanlig smartphone utan extra utrustning. Två besläktade AV-koncept beaktades: formrekonstruktion och positionsspårning. Två kategorier av tekniker togs i beaktande, vilka kunde användas för att göra de uppmätningar av verkligheten som var nödvändiga för att uppnå de tänkta AV-koncepten med hjälp av endast en monokulär RGB-kamera som sensor: monocular visual SLAM (mvSLAM) och Structure from Motion (SfM). Två listor med kriterier konstruerades, vilka formaliserade begreppen AV och konsumenttillgänglighet. En sökprocess utfördes sedan, där befintliga programvarupaket utvärderades för sin lämplighet att inkluderas i en programvara som uppfyllde alla kriterier. Utvärderingarna av SfM-system gjordes i kombination med Multi-View Stereo (MVS)-system – ett nödvändigt komplement för att uppnå synlig formrekonstruktion med ett system vars utdata är punktmoln. Efter att noggrant ha utvärderat en mängd programvara var slutsatsen att konsumenttillgänglig AV inte för närvarande kan uppnås genom att kombinera befintliga programvarupaket, på grund av ett antal olika problem. Medan framtida prestandaökningar hos maskinvara och nya programvarutillämpningar skulle lösa problem med komplexitet och tillgänglighet, är vissa problem med tillförlitlighet och användbarhet inneboende hos begränsningen till att använda en monokulär kamera.

L'analyse et la reconstruction automatique de scène urbaine 3D est un problème fondamental dans le domaine de la vision par ordinateur et du traitement numérique de la géométrie. Cette thèse présente des méthodologies pour résoudre le problème complexe de la reconstruction d'éléments urbains en 3D à partir de données aériennes Lidar ou bien de maillages générés par imagerie Multi-View Stereo (MVS). Nos approches génèrent une représentation précise et compacte sous la forme d'un maillage 3D comportant une sémantique de l'espace urbain. Deux étapes sont nécessaires; une identification des différents éléments de la scène urbaine, et une modélisation des éléments sous la forme d'un maillage 3D. Le Chapitre 2 présente deux méthodes de classifications des éléments urbains en classes d'intérêts permettant d'obtenir une compréhension approfondie de la scène urbaine, et d'élaborer différentes stratégies de reconstruction suivant le type d'éléments urbains. Cette idée, consistant à insérer à la fois une information sémantique et géométrique dans les scènes urbaines, est présentée en détails et validée à travers des expériences. Le Chapitre 3 présente une approche pour détecter la 'Végétation' incluses dans des données Lidar reposant sur les processus ponctuels marqués, combinée avec une nouvelle méthode d'optimisation. Le Chapitre 4 décrit à la fois une approche de maillage 3D pour les 'Bâtiments' à partir de données Lidar et de données MVS. Des expériences sur des structures urbaines larges et complexes montrent les bonnes performances de nos systèmes.