This research addresses the problem of efficiently and robustly reconstructing semantically-rich 3D architectural models from laser-scanned point-clouds. It first covers the pre-existing literature and industrial developments in active-sensing, 3D reconstruction of the built-environment and procedural modelling. It then documents a number of novel contributions to the classical problems of change-detection between temporally varying multi-modal geometric representations and automatic 3D asset creation from airborne and ground point-clouds of buildings. Finally this thesis outlines on-going research and avenues for continued investigation - most notably fully automatic temporal update and revision management for city-scale CAD models via data-driven procedural modelling from point-clouds. In short this thesis documents the outcomes of a research project whose primary aim was to engineer fast, accurate and sparse building reconstruction algorithms. Formally: this thesis puts forward the hypothesis (and advocates) that architectural reconstruction from actively-sensed point-clouds can be addressed more efficiently and affording greater control (over the geometric results) - via deterministic procedurally-driven analysis and optimisation than via stochastic sampling.

The aim of this work is to develop research on 3D building modeling. In particular, the research in aerial-based 3D building reconstruction is a topic very developed since 1990. However, it is necessary to pursue the research since the actual approaches for 3D massive building reconstruction (although efficient) still encounter problems in generalization, coherency, accuracy. Besides, the recent developments of street acquisition systems such as Mobile Mapping Systems open new perspectives for improvements in building modeling in the sense that the terrestrial data (very dense and accurate) can be exploited with more performance (in comparison to the aerial investigation) to enrich the building models at facade level (e.g., geometry, texturing).Hence, aerial and terrestrial based building modeling approaches are individually proposed. At aerial level, we describe a direct and featureless approach for simple polyhedral building reconstruction from a set of calibrated aerial images. At terrestrial level, several approaches that essentially describe a 3D urban facade modeling pipeline are proposed, namely, the street point cloud segmentation and classification, the geometric modeling of urban facade and the occlusion-free facade texturing

L'objectif principal de ce travail est le développement de recherches en modélisation 3D du bâti. En particulier, la recherche en reconstruction 3D de bâtiment est un sujet très développé depuis les années 90. Malgré tout, il paraît nécessaire de poursuivre les recherches dans cet axe étant données que les approches actuelles consacrées à la reconstruction 3D de bâtiment (bien qu'efficaces) rencontrent encore des difficultés en terme de généralisation, de cohérence et de précision. Par ailleurs, les récents développements des systèmes d'acquisitions de rues tel que les systèmes de cartographie mobile ouvrent de nouvelles perspectives d'amélioration de la modélisation des bâtiments dans le sens ou les données terrestres (très précises et résolus) peuvent être exploitées avec davantage de cohérence (en comparaison à l'aérien) pour enrichir les modèles de bâtiments au niveau des façades (la géométrie, la texture).Ainsi, des approches de modélisation aériennes et terrestres sont individuellement proposées. Au niveau aérien, nous décrivons une approche directe et dépourvu d'extraction et d'assemblage de primitives géométriques en vue de la reconstruction 3D de modèles polyédriques simples de bâtiments à partir d'un jeu d'images aériennes calibrées. Au niveau terrestre, plusieurs approches qui décrivent essentiellement un pipeline pour la modélisation 3D des façades urbaines sont proposées; à savoir, la segmentation et classification de nuage de rues urbaines, la modélisation géométrique des façades urbaines et le texturage des façades urbaines comportant des occultations causées par d'autres objets du mobilier urbains / The aim of this work is to develop research on 3D building modeling. In particular, the research in aerial-based 3D building reconstruction is a topic very developed since 1990. However, it is necessary to pursue the research since the actual approaches for 3D massive building reconstruction (although efficient) still encounter problems in generalization, coherency, accuracy. Besides, the recent developments of street acquisition systems such as Mobile Mapping Systems open new perspectives for improvements in building modeling in the sense that the terrestrial data (very dense and accurate) can be exploited with more performance (in comparison to the aerial investigation) to enrich the building models at facade level (e.g., geometry, texturing).Hence, aerial and terrestrial based building modeling approaches are individually proposed. At aerial level, we describe a direct and featureless approach for simple polyhedral building reconstruction from a set of calibrated aerial images. At terrestrial level, several approaches that essentially describe a 3D urban facade modeling pipeline are proposed, namely, the street point cloud segmentation and classification, the geometric modeling of urban facade and the occlusion-free facade texturing

Modélisation 3D réaliste des bâtiments et d'autres objets de planification urbaine est un domaine de recherche actif dans le domaine de la modélisation 3D de la ville, la documentation du patrimoine, tourisme virtuel, la planification urbaine, la conception architecturale et les jeux d'ordinateur. La création de ces modèles, très souvent, nécessite la fusion des données provenant de diverses sources telles que les images optiques et de numérisation de nuages ​​de points laser. Pour imiter de façon aussi réaliste que possible les mises en page, les activités et les fonctionnalités d'un environnement du monde réel, ces modèles doivent atteindre de haute qualité et la précision de photo-réaliste en termes de la texture de surface (par exemple pierre ou de brique des murs) et de la morphologie (par exemple, les fenêtres et les portes) des objets réels. Rendu à base d'images est une alternative pour répondre à ces exigences. Il utilise des photos, prises soit au niveau du sol ou de l'air, à ajouter de la texture au modèle 3D ajoutant ainsi photo-réalisme.Pour revêtement de texture pleine de grandes façades des modèles de blocs 3D, des images qui dépeignent la même façade doivent être correctement combinée et correctement aligné avec le côté du bloc. Les photos doivent être fusionnés de manière appropriée afin que le résultat ne présente pas de discontinuités, de brusques variations de l'éclairage ou des lacunes. Parce que ces images ont été prises, en général, dans différentes conditions de visualisation (angles de vision, des facteurs de zoom, etc.) ils sont sous différentes distorsions de perspective, mise à l'échelle, de luminosité, de contraste et de couleur nuances, ils doivent être corrigés ou ajustés. Ce processus nécessite l'extraction de caractéristiques clés de leur contenu visuel d'images.Le but du travail proposé est de développer des méthodes basées sur la vision par ordinateur et les techniques de reconnaissance des formes, afin d'aider ce processus. En particulier, nous proposons une méthode pour extraire les lignes implicites à partir d'images de mauvaise qualité des bâtiments, y compris les vues de nuit où seules quelques fenêtres éclairées sont visibles, afin de préciser des faisceaux de lignes parallèles 3D et leurs points de fuite correspondants. Puis, sur la base de ces informations, on peut parvenir à une meilleure fusion des images et un meilleur alignement des images aux façades de blocs. / Realistic 3D modeling of buildings and other urban planning objects is an active research area in the field of 3D city modeling, heritage documentation, virtual touring, urban planning, architectural design and computer gaming. The creation of such models, very often, requires merging of data from diverse sources such as optical images and laser scan point clouds. To imitate as realistically as possible the layouts, activities and functionalities of a real-world environment, these models need to attain high photo-realistic quality and accuracy in terms of the surface texture (e.g. stone or brick walls) and morphology (e.g. windows and doors) of the actual objects. Image-based rendering is an alternative for meeting these requirements. It uses photos, taken either from ground level or from the air, to add texture to the 3D model thus adding photo-realism. For full texture covering of large facades of 3D block models, images picturing the same façade need to be properly combined and correctly aligned with the side of the block. The pictures need to be merged appropriately so that the result does not present discontinuities, abrupt variations in lighting or gaps. Because these images were taken, in general, under various viewing conditions (viewing angles, zoom factors etc) they are under different perspective distortions, scaling, brightness, contrast and color shadings, they need to be corrected or adjusted. This process requires the extraction of key features from their visual content of images. The aim of the proposed work is to develop methods based on computer vision and pattern recognition techniques in order to assist this process. In particular, we propose a method for extracting implicit lines from poor quality images of buildings, including night views where only some lit windows are visible, in order to specify bundles of 3D parallel lines and their corresponding vanishing points. Then, based on this information, one can achieve better merging of the images and better alignment of the images to the block façades. Another important application dealt in this thesis is that of 3D modeling. We propose an edge preserving interpolation, based on the mean shift algorithm, that operates jointly on the optical and the elevation data. It succeeds in increasing the resolution of the elevation data (LiDAR) while improving the quality (i.e. straightness) of their edges. At the same time, the color homogeneity of the corresponding imagery is also improved. The reduction of color artifacts in the optical data and the improvement in the spatial resolution of elevation data results in more accurate 3D building models. Finally, in the problem of building detection, the application of the proposed mean shift-based edge preserving smoothing for increasing the quality of aerial/color images improves the performance of binary building vs non-building pixel classification.