[EN] Hydric soil erosion is an economic and ecological problem throughout the world. Current investigation of the processes intervening in the erosion needs detailed information about the soil's surface topography appropriate in resolution and precision for the work's scale. Part of the studies trying to model and quantify the erosive processes are carried out in laboratories, in detailed scales (millimetric), and need methods capable of giving accurate measurements of the surface, in an efficient way. Experiments carried out in a laboratory to measure hydric erosion are based on the use of rain simulators on small soil plots. Soil's rugosity or micro relief influences considerably the distribution of rain water among infiltration and run-off, and is a key factor when modelling erosive processes. Accurate measurement of the plot's relief before and after the rain simulation allows estimation based on the volume differences. In recent years there is an increasing demand for accurate topographical data in the area of geomorphological science. Reproduction of the soil's surface is done by means of Digital Elevation Models (DEM), generated from massive altimetric data acquired by means of laser scanners or image-based photogrammetric techniques. These data have been collected by means of classical photogrammetric techniques (among others) up until recently; it is not, however, an easy task, and furthermore, to achieve the necessary accuracy, a strict methodology is needed, taking into account all the error sources in the process. Advances in digital photogrammetry and related fields, such as image processing and computer vision, have brought new software tools with potential application in various fields, such as geomorphology and erosion study. Structure from Motion (SfM) method produces automatically a 3D model of an object from multiple converging images, using automatic image to image registry methods and image correspondence algorithms, which allow a great degree of automatization and a greater ease of use, with a very low cost. This thesis tries to establish a DEM collection methodology of an experimental zone in a laboratory after repeated episodes of simulated rain by means of photogrammetric techniques based on SfM. Based on the obtained DEM, an estimation of the erosion using DEM of Difference (DoD) techniques will be carried out, comparing these estimations with the results of the obtained run-off and infiltration to validate the method. The results show the suitability of this technique for laboratory erosion studies. / [ES] La erosión hídrica del suelo es hoy un problema económico y ecológico en todo el mundo. La investigación actual de los procesos que intervienen en la erosión requiere información detallada sobre la topografía de la superficie del suelo con resolución y precisión adecuadas a la escala de trabajo. Una parte de los estudios que se realizan para la modelización y cuantificación de los procesos erosivos se llevan a cabo en laboratorio, a escalas de detalle (milimétricas), y necesitan métodos capaces de proporcionar mediciones precisas de la superficie, de una manera eficiente. Los experimentos realizados en laboratorio para la medición de la erosión hídrica se basan en el uso de simuladores de lluvia sobre parcelas de suelo de reducidas dimensiones. La rugosidad o microrrelieve del suelo influye considerablemente en el reparto de agua de lluvia entre infiltración y escorrentía, y es un parámetro importante para la modelización de procesos erosivos. La medición precisa del relieve de la parcela antes y después de la simulación de la lluvia permite estimar la erosión a partir de las diferencias de volumen. Así, en los últimos años se ha producido una creciente demanda de datos topográficos de precisión en el ámbito de las ciencias geomorfológicas. La representación de la superficie del suelo se realiza a través de Modelos Digitales de Elevaciones (MDE), generados a partir de datos altimétricos masivos, adquiridos mediante escáneres láser o por técnicas fotogramétricas basadas en imágenes. La obtención de estos datos se ha realizado mediante técnicas fotogramétricas clásicas (entre otras) hasta hace poco; sin embargo, no es una tarea trivial, y además para conseguir las precisiones necesarias se ha de trabajar con una metodología rigurosa que tenga en cuenta todas las fuentes de error en el proceso. Los avances experimentados en fotogrametría digital y otros ámbitos relacionados, como el procesamiento de imágenes y la visión por computador, han proporcionado nuevas herramientas software disponibles con gran potencial de aplicación en muchas y variadas disciplinas, entre ellas la geomorfología y el estudio de la erosión. El método Structure from Motion (SfM) obtiene de forma automática un modelo 3D de un objeto a partir de múltiples imágenes convergentes empleando métodos automáticos de registro imagen a imagen y algoritmos de correspondencia de imágenes, lo que permite un alto nivel de automatización y una mayor facilidad de uso, con un coste muy bajo. En esta tesis se pretende establecer una metodología para la obtención de MDE de una zona experimental en laboratorio tras sucesivos episodios de simulación de lluvia mediante técnicas fotogramétricas basadas en SfM. A partir de los MDE obtenidos se realizará una estimación de la erosión aplicando técnicas de diferencias de MDE (DoD), contrastando estas estimaciones con los resultados de los sedimentos arrastrados por la escorrentía y la infiltración para validar el método. Los resultados han demostrado la idoneidad de esta técnica en los estudios de erosión en laboratorio. / [CA] L'erosió hídrica del sòl és actualment un problema econòmic i ecològic en tot el món. La investigació actual dels processos que intervenen en l'erosió requereix informació detallada sobre la topografia de la superfície del sòl amb resolució i precisió adequades a l'escala de treball. Una part dels estudis que es realitzen per a la modelització i quantificació dels processos erosius es duen a terme en laboratori, a escales de detall (mil·limètriques) , i necessiten mètodes capaços de proporcionar mesuraments precisos de la superfície, d'una manera eficient. Els experiments realitzats en laboratori per al mesurament de l'erosió hídrica es basen en l'ús de simuladors de pluja sobre parcel·les de sòl de reduïdes dimensions. La rugositat o microrrelleu del sòl influeix considerablement en el repartiment d'aigua de pluja entre infiltració i escolament, i és un paràmetre important per a la modelització de processos erosius. La medició precisa del relleu de la parcel·la abans i després de la simulació de la pluja permet estimar l'erosió a partir de les diferències de volum. Així, en els últims anys s'ha produït una creixent demanda de dades topogràfiques de precisió en l'àmbit de les ciències geomorfològiques. La representació de la superfície del sòl es realitza a través de Models Digitals d'Elevacions (MDE) , generats a partir de dades altimètriques massives, adquirides per mitjà d'escàners làser o per tècniques fotogramètriques basades en imatges. La obtenció d'estes dades s'ha realitzat amb tècniques fotogramètriques clàssiques (entre altres) fins fa poc; no obstant això, no és una tasca trivial, i a més per a aconseguir les precisions necessàries s'ha de treballar amb una metodologia rigorosa que tinga en compte totes les fonts d'error en el procés. Els avanços experimentats en fotogrametria digital i altres àmbits relacionats, com el processament d'imatges i la visió per computador, han proporcionat noves ferramentes disponibles amb gran potencial d'aplicació en moltes i variades disciplines, entre elles la geomorfologia i l'estudi de l'erosió. El mètode Structure from Motion (SfM) obté de forma automàtica un model 3D d'un objecte a partir de múltiples imatges convergents emprant mètodes automàtics de registre imatge a imatge i algoritmes de correspondència d'imatges, la qual cosa permet un alt nivell d'automatització i una major facilitat d'ús, amb un cost molt baix. En esta tesi es pretén establir una metodologia per a l'obtenció de MDE d'una zona experimental en laboratori després de successius episodis de simulació de pluja per mitjà de tècniques fotogramètriques basades en SfM. A partir dels MDE obtinguts es realitzarà una estimació de l'erosió aplicant tècniques de diferències de MDE (DoD) , contrastant estes estimacions amb els resultats dels sediments arrossegats per l'escolament i la infiltració per a validar el mètode. Els resultats han demostrat la idoneïtat d'esta tècnica en els estudis d'erosió en laboratori. / Balaguer Puig, M. (2015). Análisis empírico de soluciones fotogramétricas en estudios de erosión hídrica en laboratorio [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/58989

[ES] La Fotogrametría es una ciencia y tecnología que tiene utilidad médica creciente. Una aplicación médica destacable de la Fotogrametría es la medición de las úlceras de la piel. Las úlceras de la piel constituyen un problema médico y social importante: por su elevado coste económico, afectación de la salud y calidad de vida, frecuente cronicidad y complicaciones. La medición de la úlcera es necesaria y útil para el seguimiento clínico. La disminución de variables de tamaño de la úlcera indica su progresión hacia la cicatrización. Los procedimientos tradicionales de medición unidimensional y bidimensional, como la regla graduada y la planimetría con acetato, se siguen utilizando por su sencillez y comodidad de uso. Sin embargo, son invasivos y tienen inconvenientes técnicos, como inexactitud e imprecisión. Otros procedimientos de medición tridimensional (3D), como la inyección de líquido y los moldes de pasta, pueden tener, además, efectos adversos, como dolor, irritación o reacción alérgica. Algunos procedimientos sin contacto que utilizan técnicas de escaneo con luz estructurada o láser: 1/ necesitan dispositivos de escaneo específicos; 2/ no se ha demostrado su utilidad en la práctica clínica; 3/ tienen un coste elevado. Por otra parte, no hay un procedimiento de referencia (patrón oro) para la medición del volumen de las úlceras cutáneas. Una optimización de las técnicas utilizadas para la valoración objetiva de la evolución de las úlceras de la piel ayudaría a comparar la eficacia de los distintos tratamientos y seleccionar los más adecuados, así como predecir el tiempo de curación. Por todo lo anterior, se justifica el desarrollo de un procedimiento de medición de úlceras basado en una técnica fotogramétrica sin contacto, como la estereofotogrametría. El objetivo general de esta tesis es desarrollar un procedimiento fotogramétrico para el escaneo, medición, clasificación tisular y seguimiento clínico de úlceras cutáneas; y validar dicho procedimiento en un estudio clínico con pacientes, evaluando su fiabilidad y exactitud. El procedimiento SfM-3DULC está basado en las técnicas estereofotogramétricas SfM (Structure from Motion) y MVS (Multi View Stereo) y utiliza como software de escaneo Agisoft PhotoScan y como software de medición del modelo 3D el programa 3DULC, creado por los autores. Este procedimiento escanea y reconstruye un modelo digital 3D de la úlcera utilizando una cámara digital, con la que se adquieren una serie de fotografías desde varias localizaciones y orientaciones. Para la validación del procedimiento SfM-3DULC, se realizó un estudio piloto en el que se evaluó su fiabilidad y exactitud. También se propuso una nueva variante del procedimiento ImageJ, en la que se utiliza una ortofotografía (Ortho-ImageJ), para medir el área proyectada. Por último, se compararon las mediciones realizadas por un grupo de dermatólogos y otro grupo de no expertos. Todas las variables medidas por dermatólogos usando SfM-3DULC mostraron excelentes puntuaciones de fiabilidad intra-evaluador (ICC > 0.99) e inter-evaluador (ICC > 0.98). En conclusión, el software 3DULC desarrollado, en su versión 1.0: 1/ Interviene en la fase de medición de la úlcera cutánea, tras su escaneo. 2/ Es autónomo respecto al procedimiento de escaneo, y podría utilizarse junto a cualquier otra técnica que obtenga una nube de puntos de la úlcera cutánea. 3/ Detecta el contorno de la úlcera de forma asistida basándose en su respuesta espectral. 4/ Clasifica las zonas de la úlcera cutánea según su tipo de tejido utilizando un árbol de decisión. 5/ Mide las siguientes variables morfométricas de la úlcera cutánea: coeficiente de circularidad, coeficiente de lisura, longitud máxima, perímetro, profundidad máxima, área proyectada, área de la superficie excavada, área de la superficie de referencia y volumen. 6/ Presenta los resultados con un informe HTML que facilita la interpretación por personal sanitario. / [CA] La Fotogrametria és una ciència i tecnologia que té utilitat mèdica creixent. Una aplicació mèdica destacable de la Fotogrametria és el mesurament de les úlceres de la pell. Les úlceres de la pell constitueixen un problema mèdic i social important: pel seu elevat cost econòmic, afectació de la salut i qualitat de vida, freqüent cronicitat i complicacions. El mesurament de l'úlcera és necessària i útil per al seguiment clínic. La disminució de variables de mida de l'úlcera indica la seva progressió cap a la cicatrització. Els procediments tradicionals de mesurament unidimensional i bidimensional, com el regle graduat i la planimetria amb acetat, es continuen utilitzant per la seva senzillesa i comoditat d'ús. No obstant això, són invasius i tenen inconvenients tècnics, com inexactitud i imprecisió. Altres procediments de mesurament tridimensional (3D), com la injecció de líquid i els motles de pasta, poden tenir, a més, efectes adversos, com dolor, irritació o reaccions al·lèrgiques. Alguns procediments sense contacte que utilitzen tècniques d'escaneig amb llum estructurada o làser: 1 / necessiten dispositius d'escaneig específics; 2 / no s'ha demostrat la seva utilitat en la pràctica clínica; 3 / tenen un cost elevat. D'altra banda, no hi ha un procediment de referència (patró or) per al mesurament del volum de les úlceres cutànies. Una optimització de les tècniques utilitzades per a la valoració objectiva de l'evolució de les úlceres de la pell ajudaria a comparar l'eficàcia dels diferents tractaments i seleccionar els més adequats, així com predir el temps de curació. Per tot l'anterior, es justifica el desenvolupament d'un procediment de mesurament de úlceres basat en una tècnica fotogramètrica sense contacte, com la estereofotogrametría. L'objectiu general d'aquesta tesi és desenvolupar un procediment fotogramètric per a l'escaneig, mesurament, classificació tissular i seguiment clínic d'úlceres cutànies; i validar aquest procediment en un estudi clínic amb pacients, avaluant la seva fiabilitat i exactitud. El procediment SFM-3DULC està basat en les tècniques estereofotogramétricas SFM (Structure from Motion) i MVS (Multi View Stereo) i utilitza com a programari d'escaneig Agisoft PhotoScan i com a programari de mesurament de el model 3D el programa 3DULC, creat pels autors. Aquest procediment escaneja i reconstrueix un model digital 3D de l'úlcera utilitzant una càmera digital, amb la qual s'adquireixen una sèrie de fotografies des de diverses localitzacions i orientacions. Per a la validació de l'procediment SFM-3DULC, es va realitzar un estudi pilot en el qual es va avaluar la seva fiabilitat i exactitud. També es va proposar una nova variant del procediment ImageJ, en què s'utilitza una ortofotografia (Ortho-ImageJ), per mesurar l'àrea projectada. Finalment, es van comparar les mesures realitzades per un grup de dermatòlegs i un altre grup de no experts. Totes les variables mesures per dermatòlegs usant SFM-3DULC van mostrar excel·lents puntuacions de fiabilitat intra-avaluador (ICC> 0.99) i inter-avaluador (ICC> 0.98). En conclusió, el programari 3DULC desenvolupat, en la seva versió 1.0: 1 / Intervé en la fase de mesurament de l'úlcera cutània, després de la seva exploració. 2 / És autònom respecte a l'procediment d'escaneig, i podria utilitzar-costat de qualsevol altra tècnica que obtingui un núvol de punts de l'úlcera cutània. 3 / Detecta el contorn de l'úlcera de forma assistida basant-se en la seva resposta espectral. 4 / Classifica les zones de l'úlcera cutània segons el seu tipus de teixit utilitzant un arbre de decisió. 5 / Mesura les variables morfomètriques de l'úlcera cutània: coeficient de circularitat, coeficient de llisor, longitud màxima, perímetre, profunditat màxima, àrea projectada, àrea de la superfície excavada, àrea de la superfície de referència i volum. 6 / Presenta els resultats amb un informe HTML que facilita la interpretació per personal sanitari. / [EN] Photogrammetry is a science and technology of increasing medical utility. A notable medical application of photogrammetry is the measurement of skin ulcers. Skin ulcers are a major medical and social problem: due to their high economic cost, impact on health and quality of life, frequent chronicity and complications. Ulcer measurement is necessary and useful for the clinical follow-up. Decreasing ulcer size variables indicate progression towards healing. Traditional one- and two-dimensional measurement procedures, such as the graduated ruler and acetate planimetry, are still used because of their simplicity and ease of use. However, they are invasive and have technical drawbacks, such as inaccuracy and imprecision. Other three-dimensional (3D) measurement procedures, such as liquid injection and paste moulds, may also have adverse effects, such as pain, irritation or allergic reaction. Some non-contact procedures that use structured light or laser scanning techniques: 1/ require specific scanning devices; 2/ have not been demonstrated to be useful in clinical practice; 3/ are expensive. Moreover, there is no reference procedure (gold standard) for the measurement of skin ulcer volume. Optimisation of the techniques used for the objective assessment of the evolution of skin ulcers would help to compare the efficacy of different treatments and to select the most appropriate ones, as well as to predict healing time. Therefore, the development of an ulcer measurement procedure based on a non-contact photogrammetric technique, such as stereophotogrammetry, is justified. The main objective of this thesis is to develop a photogrammetric procedure for the scanning, measurement, tissue classification and clinical follow-up of skin ulcers; and to validate this procedure in a clinical study with patients, evaluating its reliability and accuracy. The SfM-3DULC procedure is based on the stereophotogrammetric techniques SfM (Structure from Motion) and MVS (Multi View Stereo) and uses Agisoft PhotoScan as scanning software and 3DULC as 3D model measurement software. This procedure scans and reconstructs a 3D digital model of the ulcer using a digital camera, which acquires photographs from various locations and orientations. In order to validate the SfM-3DULC procedure, a pilot study was conducted to assess its reliability and accuracy. A new variant of the ImageJ procedure was also proposed, in which an orthophotography (Ortho-ImageJ) is used to measure the projected area. Finally, measurements made by a group of dermatologists and a group of non-experts were compared. All the variables measured by dermatologists using SfM-3DULC showed excellent scores of intra-rater reliability (ICC > 0.99) and inter-rater reliability (ICC > 0.98). In conclusion, the 3DULC software developed, in its version 1.0: 1/ Is used to measure the skin ulcer, after its scan. 2/ Is autonomous with respect to the scanning procedure, and could be used with any other technique that obtains a point cloud of the skin ulcer. 3/ Outlines the edge of the ulcer semi-automatically, based on its spectral response. 4/ Classifies skin ulcer areas according to their tissue type, using a decision tree. 5/ Measures the following morphometric variables of the skin ulcer: circularity coefficient, evenness coefficient, maximum length, perimeter, maximum depth, projected area, surface area, reference surface area and volume. 6/ Presents the results with an HTML report that facilitates its interpretation by healthcare personnel. / Esta tesis doctoral fue financiada con una beca predoctoral de la Generalitat Valenciana – Consellería de Educación, Investigación, Cultura y Deporte, y el Fondo Social Europeo (ACIF/2018/160). / Sánchez Jiménez, D. (2022). SfM-3DULC: Desarrollo y validación de un procedimiento fotogramétrico para el escaneo, medición, clasificación tisular y seguimiento clínico de úlceras cutáneas [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181691

La reconstruction 3D monoculaire déformable est le problème général d'estimation de forme 3D d'un objet déformable à partir d'images 2D. Plusieurs scénarios ont émergé : le Shape-from-Template (SfT) et le Non-Rigid Structure-from-Motion (NRSfM) sont deux approches qui ont été grandement étudiées pour leur applicabilité. La première utilise une seule image qui montre un objet se déformant et un patron (une forme 3D texturée de l'objet dans une pose de référence). La seconde n'utilise pas de patron, mais utilise plusieurs images et estime la forme 3D dans chaque image. Les deux approches s'appuient sur le mouvement de points de correspondances entre les images et sur des a priori de déformations, restreignant ainsi leur utilisation à des surfaces texturées qui se déforment de manière lisse. Cette thèse fait avancer l'état de l'art du SfT et du NRSfM dans deux directions. La première est l'étude du SfT dans le cas de patrons 1D (c’est-à-dire des courbes comme des cordes et des câbles). La seconde direction est le développement d'algorithmes de SfT et de NRSfM qui exploitent plusieurs indices visuels et qui résolvent des cas réels et complexes non-résolus précédemment. Nous considérons des déformations isométriques et reconstruisons la partie extérieure de l'objet. Les contributions techniques et scientifiques de cette thèse sont divisées en quatre parties.La première partie de cette thèse étudie le SfT curvilinéaire, qui est le cas du patron curvilinéaire plongé dans un espace 2D ou 3D. Nous proposons une analyse théorique approfondie et des solutions pratiques pour le SfT curvilinéaire. Malgré son apparente simplicité, le SfT curvilinéaire s'est avéré être un problème complexe : il ne peut pas être résolu à l'aide de solutions locales non-holonomes d'une équation différentielle ordinaire et ne possède pas de solution unique, mais un nombre fini de solutions ambiguës. Une contribution technique majeure est un algorithme basé sur notre théorie, qui génère toutes les solutions ambiguës. La deuxième partie de cette thèse traite d'une limitation des méthodes de SfT : la reconstruction de plis. Cette limitation vient de la parcimonie de la contrainte de mouvement et de la régularisation. Nous proposons deux contributions qui s'appuient sur un cadre de minimisation d'énergie non-convexe. Tout d'abord, nous complétons la contrainte de mouvement avec une contrainte robuste de bord. Ensuite, nous modélisons implicitement les plis à l'aide d'une représentation dense de la surface basée maillage et d'une contrainte robuste de lissage qui désactive automatiquement le lissage de la courbure sans connaître a priori la position des plis.La troisième partie de cette thèse est dédiée à une autre limitation du SfT : la reconstruction de surfaces peu texturées. Cette limitation vient de la difficulté d'obtenir des correspondances (parcimonieuses ou denses) sur des surfaces peu texturées. Comme l'ombrage révèle les détails sur des surfaces peu texturées, nous proposons de combiner l'ombrage avec le SfT. Nous présentons deux contributions. La première est une initialisation en cascade qui estime séquentiellement la déformation de la surface, l'illumination de la scène, la réponse de la caméra et enfin les albédos de la surface à partir d'images monoculaires où la surface se déforme. La seconde est l'intégration de l'ombrage à notre précédent cadre de minimisation d'énergie afin de raffiner simultanément les paramètres photométriques et de déformation.La dernière partie de cette thèse relâche la connaissance du patron et aborde deux limitations du NRSfM : la reconstruction de surfaces peu texturées avec des plis. Une contribution majeure est l'extension du second cadre d'optimisation pour la reconstruction conjointe de la forme 3D de la surface sur toutes les images d'entrée et des albédos de la surface sans en connaître un patron. / Monocular deformable 3D reconstruction is the general problem of recovering the 3D shape of a deformable object from monocular 2D images. Several scenarios have emerged: the Shape-from-Template (SfT) and the Non-Rigid Structure-from-Motion (NRSfM) are two approaches intensively studied for their practicability. The former uses a single image depicting the deforming object and a template (a textured 3D shape of this object in a reference pose). The latter does not use a template, but uses several images and recovers the 3D shape in each image. Both approaches rely on the motion of correspondences between the images and deformation priors, which restrict their use to well-textured surfaces which deform smoothly. This thesis advances the state-of-the-art in SfT and NRSfM in two main directions. The first direction is to study SfT for the case of 1D templates (i.e. curved, thin structures such as ropes and cables). The second direction is to develop algorithms in SfT and NRSfM that exploit multiple visual cues and can solve complex, real-world cases which were previously unsolved. We focus on isometric deformations and reconstruct the outer part of the object. The technical and scientific contributions of this thesis are divided into four parts. The first part of this thesis studies the case of a curvilinear template embedded in 2D or 3D space, referred to Curve SfT. We propose a thorough theoretical analysis and practical solutions for Curve SfT. Despite its apparent simplicity, Curve SfT appears to be a complex problem: it cannot be solved locally using exact non-holonomic partial differential equation and is only solvable up to a finite number of ambiguous solutions. A major technical contribution is a computational solution based on our theory, which generates all the ambiguous solutions.The second part of this thesis deals with a limitation of SfT methods: reconstructing creases. This is due to the sparsity of the motion constraint and regularization. We propose two contributions which rely on a non-convex energy minimization framework. First, we complement the motion constraint with a robust boundary contour constraint. Second, we implicitly model creases with a dense mesh-based surface representation and an associated robust smoothing constraint, which deactivates curvature smoothing automatically where needed, without knowing a priori the crease location. The third part of this thesis is dedicated to another limitation of SfT: reconstructing poorly-textured surfaces. This is due to correspondences which cannot be obtained so easily on poorly-textured surfaces (either sparse or dense). As shading reveals details on poorly-textured surfaces, we propose to combine shading and SfT. We have two contributions. The first is a cascaded initialization which estimates sequentially the surface's deformation, the scene illumination, the camera response and then the surface albedos from deformed monocular images. The second is to integrate shading to our previous energy minimization framework for simultaneously refining deformation and photometric parameters.The last part of this thesis relaxes the knowledge of the template and addresses two limitations of NRSfM: reconstructing poorly-textured surfaces with creases. Our major contribution is an extension of the second framework to recover jointly the 3D shapes of all input images and the surface albedos without any template.

Die vorliegende Arbeit beschäftigt sich mit der Konzeptionierung und Entwicklung eines neuartigen Fahrerassistenzsystems für Nutzfahrzeuge, welches die lichte Höhe von vor dem Fahrzeug befindlichen Hindernissen berechnet und über einen Abgleich mit der einstellbaren Fahrzeughöhe die Passierbarkeit bestimmt. Dabei werden die von einer Monokamera aufgenommenen Bildsequenzen genutzt, um durch indirekte und direkte Rekonstruktionsverfahren ein 3D-Abbild der Fahrumgebung zu erschaffen. Unter Hinzunahme einer Radodometrie-basierten Eigenbewegungsschätzung wird die erstellte 3D-Repräsentation skaliert und eine Prädiktion der longitudinalen und lateralen Fahrzeugbewegung ermittelt. Basierend auf dem vertikalen Höhenplan der Straßenoberfläche, welcher über die Aneinanderreihung mehrerer Ebenen modelliert wird, erfolgt die Klassifizierung des 3D-Raums in Fahruntergrund, Struktur und potentielle Hindernisse. Die innerhalb des Fahrschlauchs liegenden Hindernisse werden hinsichtlich ihrer Entfernung und Höhe bewertet. Ein daraus abgeleitetes Warnkonzept dient der optisch-akustischen Signalisierung des Hindernisses im Kombiinstrument des Fahrzeugs. Erfolgt keine entsprechende Reaktion durch den Fahrer, so wird bei kritischen Hindernishöhen eine Notbremsung durchgeführt. Die geschätzte Eigenbewegung und berechneten Hindernisparameter werden mithilfe von Referenzsensorik bewertet. Dabei kommt eine dGPS-gestützte Inertialplattform sowie ein terrestrischer und mobiler Laserscanner zum Einsatz. Im Rahmen der Arbeit werden verschiedene Umgebungssituationen und Hindernistypen im urbanen und ländlichen Raum untersucht und Aussagen zur Genauigkeit und Zuverlässigkeit des Verfahrens getroffen. Ein wesentlicher Einflussfaktor auf die Dichte und Genauigkeit der 3D-Rekonstruktion ist eine gleichmäßige Umgebungsbeleuchtung innerhalb der Bildsequenzaufnahme. Es wird in diesem Zusammenhang zwingend auf den Einsatz einer Automotive-tauglichen Kamera verwiesen. Die durch die Radodometrie bestimmte Eigenbewegung eignet sich im langsamen Geschwindigkeitsbereich zur Skalierung des 3D-Punktraums. Dieser wiederum sollte durch eine Kombination aus indirektem und direktem Punktrekonstruktionsverfahren erstellt werden. Der indirekte Anteil stützt dabei die Initialisierung des Verfahrens zum Start der Funktion und ermöglicht eine robuste Kameraschätzung. Das direkte Verfahren ermöglicht die Rekonstruktion einer hohen Anzahl an 3D-Punkten auf den Hindernisumrissen, welche zumeist die Unterkante beinhalten. Die Unterkante kann in einer Entfernung bis zu 20 m detektiert und verfolgt werden. Der größte Einflussfaktor auf die Genauigkeit der Berechnung der lichten Höhe von Hindernissen ist die Modellierung des Fahruntergrunds. Zur Reduktion von Ausreißern in der Höhenberechnung eignet sich die Stabilisierung des Verfahrens durch die Nutzung von zeitlich vorher zur Verfügung stehenden Berechnungen. Als weitere Maßnahme zur Stabilisierung wird zudem empfohlen die Hindernisausgabe an den Fahrer und den automatischen Notbremsassistenten mittels einer Hysterese zu stützen. Das hier vorgestellte System eignet sich für Park- und Rangiervorgänge und ist als kostengünstiges Fahrerassistenzsystem interessant für Pkw mit Aufbauten und leichte Nutzfahrzeuge. / The present work deals with the conception and development of a novel advanced driver assistance system for commercial vehicles, which estimates the clearance height of obstacles in front of the vehicle and determines the passability by comparison with the adjustable vehicle height. The image sequences captured by a mono camera are used to create a 3D representation of the driving environment using indirect and direct reconstruction methods. The 3D representation is scaled and a prediction of the longitudinal and lateral movement of the vehicle is determined with the aid of a wheel odometry-based estimation of the vehicle's own movement. Based on the vertical elevation plan of the road surface, which is modelled by attaching several surfaces together, the 3D space is classified into driving surface, structure and potential obstacles. The obstacles within the predicted driving tube are evaluated with regard to their distance and height. A warning concept derived from this serves to visually and acoustically signal the obstacle in the vehicle's instrument cluster. If the driver does not respond accordingly, emergency braking will be applied at critical obstacle heights. The estimated vehicle movement and calculated obstacle parameters are evaluated with the aid of reference sensors. A dGPS-supported inertial measurement unit and a terrestrial as well as a mobile laser scanner are used. Within the scope of the work, different environmental situations and obstacle types in urban and rural areas are investigated and statements on the accuracy and reliability of the implemented function are made. A major factor influencing the density and accuracy of 3D reconstruction is uniform ambient lighting within the image sequence. In this context, the use of an automotive camera is mandatory. The inherent motion determined by wheel odometry is suitable for scaling the 3D point space in the slow speed range. The 3D representation however, should be created by a combination of indirect and direct point reconstruction methods. The indirect part supports the initialization phase of the function and enables a robust camera estimation. The direct method enables the reconstruction of a large number of 3D points on the obstacle outlines, which usually contain the lower edge. The lower edge can be detected and tracked up to 20 m away. The biggest factor influencing the accuracy of the calculation of the clearance height of obstacles is the modelling of the driving surface. To reduce outliers in the height calculation, the method can be stabilized by using calculations from older time steps. As a further stabilization measure, it is also recommended to support the obstacle output to the driver and the automatic emergency brake assistant by means of hysteresis. The system presented here is suitable for parking and maneuvering operations and is interesting as a cost-effective driver assistance system for cars with superstructures and light commercial vehicles.

This work aims at providing a novel camera motion estimation pipeline from large collections of unordered omnidirectional images. In oder to keep the pipeline as general and flexible as possible, cameras are modelled as unit spheres, allowing to incorporate any central camera type. For each camera an unprojection lookup is generated from intrinsics, which is called P2S-map (Pixel-to-Sphere-map), mapping pixels to their corresponding positions on the unit sphere. Consequently the camera geometry becomes independent of the underlying projection model. The pipeline also generates P2S-maps from world map projections with less distortion effects as they are known from cartography. Using P2S-maps from camera calibration and world map projection allows to convert omnidirectional camera images to an appropriate world map projection in oder to apply standard feature extraction and matching algorithms for data association. The proposed estimation pipeline combines the flexibility of SfM (Structure from Motion) - which handles unordered image collections - with the efficiency of PGO (Pose Graph Optimization), which is used as back-end in graph-based Visual SLAM (Simultaneous Localization and Mapping) approaches to optimize camera poses from large image sequences. SfM uses BA (Bundle Adjustment) to jointly optimize camera poses (motion) and 3d feature locations (structure), which becomes computationally expensive for large-scale scenarios. On the contrary PGO solves for camera poses (motion) from measured transformations between cameras, maintaining optimization managable. The proposed estimation algorithm combines both worlds. It obtains up-to-scale transformations between image pairs using two-view constraints, which are jointly scaled using trifocal constraints. A pose graph is generated from scaled two-view transformations and solved by PGO to obtain camera motion efficiently even for large image collections. Obtained results can be used as input data to provide initial pose estimates for further 3d reconstruction purposes e.g. to build a sparse structure from feature correspondences in an SfM or SLAM framework with further refinement via BA. The pipeline also incorporates fixed extrinsic constraints from multi-camera setups as well as depth information provided by RGBD sensors. The entire camera motion estimation pipeline does not need to generate a sparse 3d structure of the captured environment and thus is called SCME (Structureless Camera Motion Estimation).:1 Introduction 1.1 Motivation 1.1.1 Increasing Interest of Image-Based 3D Reconstruction 1.1.2 Underground Environments as Challenging Scenario 1.1.3 Improved Mobile Camera Systems for Full Omnidirectional Imaging 1.2 Issues 1.2.1 Directional versus Omnidirectional Image Acquisition 1.2.2 Structure from Motion versus Visual Simultaneous Localization and Mapping 1.3 Contribution 1.4 Structure of this Work 2 Related Work 2.1 Visual Simultaneous Localization and Mapping 2.1.1 Visual Odometry 2.1.2 Pose Graph Optimization 2.2 Structure from Motion 2.2.1 Bundle Adjustment 2.2.2 Structureless Bundle Adjustment 2.3 Corresponding Issues 2.4 Proposed Reconstruction Pipeline 3 Cameras and Pixel-to-Sphere Mappings with P2S-Maps 3.1 Types 3.2 Models 3.2.1 Unified Camera Model 3.2.2 Polynomal Camera Model 3.2.3 Spherical Camera Model 3.3 P2S-Maps - Mapping onto Unit Sphere via Lookup Table 3.3.1 Lookup Table as Color Image 3.3.2 Lookup Interpolation 3.3.3 Depth Data Conversion 4 Calibration 4.1 Overview of Proposed Calibration Pipeline 4.2 Target Detection 4.3 Intrinsic Calibration 4.3.1 Selected Examples 4.4 Extrinsic Calibration 4.4.1 3D-2D Pose Estimation 4.4.2 2D-2D Pose Estimation 4.4.3 Pose Optimization 4.4.4 Uncertainty Estimation 4.4.5 PoseGraph Representation 4.4.6 Bundle Adjustment 4.4.7 Selected Examples 5 Full Omnidirectional Image Projections 5.1 Panoramic Image Stitching 5.2 World Map Projections 5.3 World Map Projection Generator for P2S-Maps 5.4 Conversion between Projections based on P2S-Maps 5.4.1 Proposed Workflow 5.4.2 Data Storage Format 5.4.3 Real World Example 6 Relations between Two Camera Spheres 6.1 Forward and Backward Projection 6.2 Triangulation 6.2.1 Linear Least Squares Method 6.2.2 Alternative Midpoint Method 6.3 Epipolar Geometry 6.4 Transformation Recovery from Essential Matrix 6.4.1 Cheirality 6.4.2 Standard Procedure 6.4.3 Simplified Procedure 6.4.4 Improved Procedure 6.5 Two-View Estimation 6.5.1 Evaluation Strategy 6.5.2 Error Metric 6.5.3 Evaluation of Estimation Algorithms 6.5.4 Concluding Remarks 6.6 Two-View Optimization 6.6.1 Epipolar-Based Error Distances 6.6.2 Projection-Based Error Distances 6.6.3 Comparison between Error Distances 6.7 Two-View Translation Scaling 6.7.1 Linear Least Squares Estimation 6.7.2 Non-Linear Least Squares Optimization 6.7.3 Comparison between Initial and Optimized Scaling Factor 6.8 Homography to Identify Degeneracies 6.8.1 Homography for Spherical Cameras 6.8.2 Homography Estimation 6.8.3 Homography Optimization 6.8.4 Homography and Pure Rotation 6.8.5 Homography in Epipolar Geometry 7 Relations between Three Camera Spheres 7.1 Three View Geometry 7.2 Crossing Epipolar Planes Geometry 7.3 Trifocal Geometry 7.4 Relation between Trifocal, Three-View and Crossing Epipolar Planes 7.5 Translation Ratio between Up-To-Scale Two-View Transformations 7.5.1 Structureless Determination Approaches 7.5.2 Structure-Based Determination Approaches 7.5.3 Comparison between Proposed Approaches 8 Pose Graphs 8.1 Optimization Principle 8.2 Solvers 8.2.1 Additional Graph Solvers 8.2.2 False Loop Closure Detection 8.3 Pose Graph Generation 8.3.1 Generation of Synthetic Pose Graph Data 8.3.2 Optimization of Synthetic Pose Graph Data 9 Structureless Camera Motion Estimation 9.1 SCME Pipeline 9.2 Determination of Two-View Translation Scale Factors 9.3 Integration of Depth Data 9.4 Integration of Extrinsic Camera Constraints 10 Camera Motion Estimation Results 10.1 Directional Camera Images 10.2 Omnidirectional Camera Images 11 Conclusion 11.1 Summary 11.2 Outlook and Future Work Appendices A.1 Additional Extrinsic Calibration Results A.2 Linear Least Squares Scaling A.3 Proof Rank Deficiency A.4 Alternative Derivation Midpoint Method A.5 Simplification of Depth Calculation A.6 Relation between Epipolar and Circumferential Constraint A.7 Covariance Estimation A.8 Uncertainty Estimation from Epipolar Geometry A.9 Two-View Scaling Factor Estimation: Uncertainty Estimation A.10 Two-View Scaling Factor Optimization: Uncertainty Estimation A.11 Depth from Adjoining Two-View Geometries A.12 Alternative Three-View Derivation A.12.1 Second Derivation Approach A.12.2 Third Derivation Approach A.13 Relation between Trifocal Geometry and Alternative Midpoint Method A.14 Additional Pose Graph Generation Examples A.15 Pose Graph Solver Settings A.16 Additional Pose Graph Optimization Examples Bibliography

Fotogrammetri är en viktig metod för att skapa 3D-representationer av terräng och strukturer, men utmaningar kvarstår när det gäller noggrannheten på grund av faktorer som bildkvalitet, kamerakalibrering och positionsdata. Användningen av drönare för byggnadsdetaljmätning möjliggör snabb och kostnadseffektiv datainsamling, men noggrannheten kan påverkas av bildkvalitet och skuggning. Avhandlingen syftar till att jämföra noggrannheten och kvaliteten hos punktmoln genererade med två olika tekniker: terrester laserskanning (TLS) och struktur-från-rörelse (SfM) fotogrammetri med drönare. För att testa båda metodernas osäkerhet och noggrannhet vid detaljmätning av bostäder. Genom att utföra mätningar på en villa har data samlats in med både TLS och drönare utrustade med 48 MP kamera, samt georeferering med markstöd (GCP). SfM-punktmoln bearbetades med Agisoft Metashape. Jämförelser gjordes mellan SfM- och TLS-punktmoln avseende täckning, lägesskillnad och lägesosäkerhet. Genom att följa riktlinjer från HMK - Terrester Laserskanning och tillämpa HMK Standardnivå 3 säkerställs hög noggrannhet i mätningarna. Kontroll av lägesosäkerhet av båda punktmolnen resulterade i en lägesosäkerhet som understeg toleranser satta enligt HMK - Terrester laserskanner Standardnivå 3.  Kontrollen av lägesosäkerheten visade att kvadratiska medelfelet(RMSE) i plan och höjd var 0.011m respektive 0.007m för TLS-punktmolnet, och 0.02m respektive 0.015m för drönar-SfM-punktmolnet, vilket låg under toleransen enligt HMK- Terrester Detaljmätning 2021. Resultaten tyder på att Structure-from-Motion fotogrammetri med drönare kan generera punktmoln med god detaljrikedom, inte lika noggrann som med terrester laserskanner på sin lägsta inställning. TLS uppvisade mindre osäkerhet enligt kontrollen av lägesosäkerhet, ungefär en halvering av RMSE i både plan och höjd. I studien framgick det att TLS presterar sämre vid svåråtkomliga ytor med skymd sikt och ogynnsamma infallsvinklar, där effekten blir en lägre punkttäthet för punktmolnet. Vid gynnsamma förhållanden erbjuder TLS en högre noggrannhet och detaljnivå jämfört med SfM punktmoln. Enligt M3C2 punktmoln analys, med TLS punktmolnet som referens, antydde det att SfM punktmolnet genererade största felen vid takfot samt vid buskage. De större felen vid takfot tyder på att SfM presterar sämre gällande detaljnivå och fel vid buskageområdet varierar inte från det som dokumenterats om fotogrammetriska fel vid mappning av vegetation. SfM kan utföra en effektiv datainsamling för större samt svåråtkomliga ytor men kräver lång bearbetningstid med diverse hjälpmedel för att uppnå hög noggrannhet. TLS kräver istället en lång datainsamlingsprocess men kan generera ett detaljerat och noggrant punktmoln direkt utan långa bearbetningsprocesser. Val av metod styrs därmed baserat på specifika projektkrav. Långsiktiga implikationer inkluderar förbättrad effektivitet och säkerhet inom bygg- och anläggningsprojekt, samt potentialen för kostnadsbesparingar och mer detaljerade inspektioner. / Photogrammetry is a crucial method for creating 3D representations of terrain and structures, yet challenges remain regarding accuracy due to factors such as image quality, camera calibration, and positional data. The use of drones for building detail measurements enables rapid and cost-effective data collection, but accuracy can be affected by image quality and shading. This thesis aims to compare the accuracy and quality of point clouds generated using two different techniques: terrestrial laser scanning (TLS) and Structure-from-Motion (SfM) photogrammetry with drones. The objective is to test the uncertainty and accuracy of both methods in residential surveying. Data collection was performed on a villa using both TLS and a drone equipped with a 48 MP camera, along with georeferencing with ground control points (GCP). SfM point clouds were processed with Agisoft Metashape. Comparisons were made between SfM and TLS point clouds in terms of coverage, positional difference, and positional uncertainty. By following guidelines from HMK - Terrester laserskanning 2021 and applying HMK Standard Level 3, high measurement accuracy was ensured. Positional uncertainty checks of both point clouds resulted in positional uncertainty within tolerances set by HMK - Terrestrial Laser Scanning Standard Level 3. The positional uncertainty, with a sample of 41 points showed that the root mean square error (RMSE) in plane and height was 0.011m and 0.007m respectively for the TLS point cloud, and 0.02m and 0.015m for the drone-SfM point cloud, both within the tolerance according to HMK - Terrestrial Detail Measurement 2021. The results suggest that Structure-from-Motion photogrammetry with drones can generate point clouds with good detail, although not as accurate as terrestrial laser scanning at its lowest setting. TLS showed less uncertainty according to the positional uncertainty check, with approximately half the RMSE in both plan and height. The study found that TLS performs worse on difficult-to-access surfaces with obstructed views and unfavorable angles, resulting in lower point cloud density. Under favorable conditions, TLS offers higher accuracy and detail compared to SfM point clouds. According to M3C2 point cloud analysis, using the TLS point cloud as a reference, SfM point clouds showed the largest errors at eaves and shrubbery. The larger errors at eaves indicate that SfM performs worse in terms of detail level, and errors in the shrubbery area are consistent with documented photogrammetric errors in vegetation mapping. SfM can effectively collect data for larger and difficult-to-access areas but requires extensive processing time with various aids to achieve high accuracy. Conversely, TLS requires a long data collection process but can generate a detailed and accurate point cloud directly without lengthy processing. The choice of method thus depends on specific project requirements. Long-term implications include improved efficiency and safety in construction and infrastructure projects, as well as potential cost savings and more detailed inspections.

Cette thèse porte sur le développement d'outils permettant le recalage d'images d'une surface déformable et la reconstruction tridimensionnelle de surfaces déformables à partir d'images prises par une seule caméra. Les surfaces que nous souhaitons traiter sont typiquement un visage ou une feuille de papier. Ces problématiques sont mal posées lorsque seule l'information présente dans les images est exploitée. Des informations a priori sur les déformations physiquement admissibles de la surface observée doivent être définies. Elles diffèrent en fonction du problème étudié. Par exemple, pour une feuille de papier, la courbure Gaussienne évaluée en chacun de ces points est nulle, cette propriété n'est pas valide pour un visage. Les applications visées sont l'insertion réaliste de logo 2D, de texte et aussi d'objets virtuels 3D dans des vidéos présentant une surface déformable. La première partie de cette thèse est consacrée au recalage d'images par modèles déformables. Après avoir brièvement introduit les notions de base sur les fonctions de déformation et sur leur estimation à partir de données images, nous donnons deux contributions. La première est un algorithme de recalage d'images d'une surface déformable, qui est efficace en terme de temps de calcul. Nous proposons une paramétrisation par primitives des fonctions de déformation permettant alors leur estimation par des algorithmes compositionnels habituellement réservés aux transformations formant un groupe. La deuxième contribution est la modélisation explicite des auto-occultations, en imposant la contraction de la fonction de déformation le long de la frontière d'auto-occultation. La deuxième partie de cette thèse aborde le problème de la reconstruction tridimensionnelle monoculaire de surfaces déformables. Nous nous basons sur le modèle de faible rang : les déformations sont approximées par une combinaison linéaire de modes de déformation inconnus. Nous supposons que ces derniers sont ordonnés par importance en terme d'amplitude de déformation capturée dans les images. Il en résulte une estimation hiérarchique des modes, facilitant l'emploi d'un modèle de caméra perspectif, la sélection automatique du nombre de modes et réduisant certaines ambiguïtés inhérentes au modèle. Nous explorons finalement la capture des déformations d'une surface peu texturée à partir de données issues d'un capteur 3D. L'information présente au niveau des contours de la surface est notamment utilisée. Nous avons implanté les différentes contributions décrites ci-dessous. Elles sont testées et comparées à l'état de l'art sur des données réelles et synthétiques. Les résultats sont présentés tout au long du tapuscrit.

Ce mémoire décrit mes travaux de thèse de doctorat menés au sein de l’équipe ComSee (Computers that See) rattachée à l’axe ISPR (Image, Systèmes de Perception et Robotique) de l’Institut Pascal. Celle-ci a été financée par la Région Auvergne et le Fonds Européen de Développement Régional. Les travaux présentés s’inscrivent dans le cadre d’applications de localisation pour la robotique mobile et la Réalité Augmentée. Le framework réalisé au cours de cette thèse est une approche générique pour l’implémentation d’applications de SLAM : Simultaneous Localization And Mapping (algorithme de localisation par rapport à un modèle simultanément reconstruit). L’approche intègre une multitude de contraintes dans les processus de localisation et de reconstruction. Ces contraintes proviennent de données capteurs mais également d’a priori liés au contexte applicatif. Chaque contrainte est utilisée au sein d’un même algorithme d’optimisation afin d’améliorer l’estimation du mouvement ainsi que la précision du modèle reconstruit. Trois problèmes ont été abordés au cours de ce travail. Le premier concerne l’utilisation de contraintes sur le modèle reconstruit pour l’estimation précise d’objets 3D partiellement connus et présents dans l’environnement. La seconde problématique traite de la fusion de données multi-capteurs, donc hétérogènes et asynchrones, en utilisant un unique algorithme d’optimisation. La dernière problématique concerne la génération automatique et efficace d’algorithmes d’optimisation à contraintes multiples. L’objectif est de proposer une solution temps réel 1 aux problèmes de SLAM à contraintes multiples. Une approche générique est utilisée pour concevoir le framework afin de gérer une multitude de configurations liées aux différentes contraintes des problèmes de SLAM. Un intérêt tout particulier a été porté à la faible consommation de ressources (mémoire et CPU) tout en conservant une grande portabilité. De plus, la méta-programmation est utilisée pour générer automatiquement et spécifiquement les parties les plus complexes du code en fonction du problème à résoudre. La bibliothèque d’optimisation LMA qui a été développée au cours de cette thèse est mise à disposition de la communauté en open-source. Des expérimentations sont présentées à la fois sur des données de synthèse et des données réelles. Un comparatif exhaustif met en évidence les performances de la bibliothèque LMA face aux alternatives les plus utilisées de l’état de l’art. De plus, le framework de SLAM est utilisé sur des problèmes impliquant une difficulté et une quantité de contraintes croissantes. Les applications de robotique mobile et de Réalité Augmentée mettent en évidence des performances temps réel et un niveau de précision qui croît avec le nombre de contraintes utilisées. / This report describes my thesis work conducted within the ComSee (Computers That See) team related to the ISPR axis (ImageS, Perception Systems and Robotics) of Institut Pascal. It was financed by the Auvergne Région and the European Fund of Regional Development. The thesis was motivated by localization issues related to Augmented Reality and autonomous navigation. The framework developed during this thesis is a generic approach to implement SLAM algorithms : Simultaneous Localization And Mapping. The proposed approach use multiple constraints in the localization and mapping processes. Those constraints come from sensors data and also from knowledge given by the application context. Each constraint is used into one optimization algorithm in order to improve the estimation of the motion and the accuracy of the map. Three problems have been tackled. The first deals with constraints on the map to accurately estimate the pose of 3D objects partially known in the environment. The second problem is about merging multiple heterogeneous and asynchronous data coming from different sensors using an optimization algorithm. The last problem is to write an efficient and real-time implementation of the SLAM problem using multiple constraints. A generic approach is used to design the framework and to generate different configurations, according to the constraints, of each SLAM problem. A particular interest has been put in the low computational requirement (in term of memory and CPU) while offering a high portability. Moreover, meta-programming techniques have been used to automatically and specifically generate the more complex parts of the code according to the given problem. The optimization library LMA, developed during this thesis, is made available of the community in open-source. Several experiments were done on synthesis and real data. An exhaustive benchmark shows the performances of the LMA library compared to the most used alternatives of the state of the art. Moreover, the SLAM framework is used on different problems with an increasing difficulty and amount of constraints. Augmented Reality and autonomous navigation applications show the good performances and accuracies in multiple constraints context.

En aquesta tesi s’estudia el problema de la segmentació del moviment. La tesi presenta una revisió dels principals algoritmes de segmentació del moviment, s’analitzen les característiques principals i es proposa una classificació de les tècniques més recents i importants. La segmentació es pot entendre com un problema d’agrupament d’espais (manifold clustering). Aquest estudi aborda alguns dels reptes més difícils de la segmentació de moviment a través l’agrupament d’espais. S’han proposat nous algoritmes per a l’estimació del rang de la matriu de trajectòries, s’ha presenta una mesura de similitud entre subespais, s’han abordat problemes relacionats amb el comportament dels angles canònics i s’ha desenvolupat una eina genèrica per estimar quants moviments apareixen en una seqüència. L´ultima part de l’estudi es dedica a la correcció de l’estimació inicial d’una segmentació. Aquesta correcció es du a terme ajuntant els problemes de la segmentació del moviment i de l’estructura a partir del moviment. / IN THIS STUDY THE PROBLEM OF MOTION SEGMENTATION IS DISCUSSED. MOTION SEGMENTATION STATE OF THE ART IS PRESENTED, THE MAIN FEATURES OF MOTION SEGMENTATION ALGORITHMS ARE ANALYSED, AND A CLASSIFICATION OF THE RECENT AND MOST IMPORTANT TECHNIQUES IS PROPOSED. THE SEGMENTATION PROBLEM COULD BE CAST INTO A MANIFOLD CLUSTERING PROBLEM. IN THIS STUDY SOME OF THE MOST CHALLENGING ISSUES RELATED TO MOTION SEGMENTATION VIA MANIFOLD CLUSTERING ARE TACKLED. NEW ALGORITHMS FOR THE RANK ESTIMATION OF THE TRAJECTORY MATRIX ARE PROPOSED. A MEASURE OF SIMILARITY BETWEEN SUBSPACES IS PRESENTED. THE BEHAVIOUR OF PRINCIPAL ANGLES IS DISCUSSED. A GENERIC TOOL FOR THE ESTIMATION OF THE NUMBER OF MOTIONS IS DEVELOPED. THE LAST PART OF THE STUDY IS DEDICATED TO THE DEVELOPMENT OF AN ALGORITHM FOR THE CORRECTION OF AN INITIAL MOTION SEGMENTATION SOLUTION. SUCH A CORRECTION IS ACHIEVED BY BRINGING TOGETHER THE PROBLEMS OF MOTION SEGMENTATION AND STRUCTURE FROM MOTION.

To navigate successfully in a previously unexplored environment, a mobile robot must be able to estimate the spatial relationships of the objects of interest accurately. A Simultaneous Localization and Mapping (SLAM) sys- tem employs its sensors to build incrementally a map of its surroundings and to localize itself in the map simultaneously. The aim of this research project is to develop a SLAM system suitable for self propelled household lawnmowers. The proposed bearing-only SLAM system requires only an omnidirec- tional camera and some inexpensive landmarks. The main advantage of an omnidirectional camera is the panoramic view of all the landmarks in the scene. Placing landmarks in a lawn field to define the working domain is much easier and more flexible than installing the perimeter wire required by existing autonomous lawnmowers. The common approach of existing bearing-only SLAM methods relies on a motion model for predicting the robot’s pose and a sensor model for updating the pose. In the motion model, the error on the estimates of object positions is cumulated due mainly to the wheel slippage. Quantifying accu- rately the uncertainty of object positions is a fundamental requirement. In bearing-only SLAM, the Probability Density Function (PDF) of landmark position should be uniform along the observed bearing. Existing methods that approximate the PDF with a Gaussian estimation do not satisfy this uniformity requirement. This thesis introduces both geometric and proba- bilistic methods to address the above problems. The main novel contribu- tions of this thesis are: 1. A bearing-only SLAM method not requiring odometry. The proposed method relies solely on the sensor model (landmark bearings only) without relying on the motion model (odometry). The uncertainty of the estimated landmark positions depends on the vision error only, instead of the combination of both odometry and vision errors. 2. The transformation of the spatial uncertainty of objects. This thesis introduces a novel method for translating the spatial un- certainty of objects estimated from a moving frame attached to the robot into the global frame attached to the static landmarks in the environment. 3. The characterization of an improved PDF for representing landmark position in bearing-only SLAM. The proposed PDF is expressed in polar coordinates, and the marginal probability on range is constrained to be uniform. Compared to the PDF estimated from a mixture of Gaussians, the PDF developed here has far fewer parameters and can be easily adopted in a probabilistic framework, such as a particle filtering system. The main advantages of our proposed bearing-only SLAM system are its lower production cost and flexibility of use. The proposed system can be adopted in other domestic robots as well, such as vacuum cleaners or robotic toys when terrain is essentially 2D.