Cette thèse est dédiée à la détection de l'ombre, de la végétation et des bâtiments à partir d'une unique image optique très haute résolution. La première partie présente une nouvelle méthode pour détecter simultanément les ombres et la végétation : plusieurs indices d'ombre et de végétation sont comparés puis fusionnés grâce à la théorie de l'évidence de Dempster-Shafer afin d'obtenir une segmentation en trois classes : “ombre”, “végétation” et “autre”. Comme la fusion est une méthode pixellique, elle est incorporée dans un contexte markovien pour régulariser la segmentation. Dans la deuxième partie, une nouvelle technique de segmentation d'images par croissance de région est proposée. L'image est tout d'abord sur-segmentée en régions homogènes afin de remplacer la structure rigide de la grille de pixels. Une classification-fusion itérative est ensuite appliquée sur ces régions. À chaque itération, les régions sont classées en utilisant une segmentation markovienne, puis regroupées entre elles en fonction de la position des ombres, de leur classe, et de la rectangularité de la forme fusionnée. Les bâtiments sont estimés à partir de la classification finale comme étant les rectangles d'emprise minimale. Ces deux algorithmes ont été validés sur plusieurs images de télédétection et ont permis de démontrer leur efficacité. / This PhD thesis is devoted to the detection of shadows, vegetation and buildings from single high resolution optical remote sensing images. The first part introduces a new method for simultaneously detecting shadows and vegetation. Several shadow and vegetation indices were investigated and merged using the Dempster-Shafer evidence theory so as to obtain a segmentation map with three classes : “shadow”, “vegetation” and “other”. However, the performance of the fusion is sensitive to noise since it processes at a pixel-level. A Markov random field (MRF) is thus integrated to model spatial information within the image. In the second part, a novel region growing segmentation technique is proposed. The image is oversegmented into smaller homogeneous regions which replace the rigid structure of the pixel grid. An iterative region classification-merging is then applied over these regions. At each iteration, regions are classified using a MRF-based image segmentation, then, according to the position of shadows, regions having the same class are merged to produce shapes appropriate to rectangles. The final buildings are estimated using the recursive minimum bounding rectangle method from the final classification. These two algorithms have been validated on a variety of image datasets and demonstrate their efficiency.

As more data sources containing 3-D information are becoming available, an increased interest in 3-D imaging has emerged. Among these is the 3-D reconstruction of buildings and other man-made structures. A necessary preprocessing step is the detection and isolation of individual buildings that subsequently can be reconstructed in 3-D using various methodologies. Applications for both building detection and reconstruction have commercial use for urban planning, network planning for mobile communication (cell phone tower placement), spatial analysis of air pollution and noise nuisances, microclimate investigations, geographical information systems, security services and change detection from areas affected by natural disasters. Building detection and reconstruction are also used in the military for automatic target recognition and in entertainment for virtual tourism. Previously proposed building detection and reconstruction algorithms solely utilized aerial imagery. With the advent of Light Detection and Ranging (LiDAR) systems providing elevation data, current algorithms explore using captured LiDAR data as an additional feasible source of information. Additional sources of information can lead to automating techniques (alleviating their need for manual user intervention) as well as increasing their capabilities and accuracy. Several building detection approaches surveyed in the open literature have fundamental weaknesses that hinder their use; such as requiring multiple data sets from different sensors, mandating certain operations to be carried out manually, and limited functionality to only being able to detect certain types of buildings. In this work, a building detection system is proposed and implemented which strives to overcome the limitations seen in existing techniques. The developed framework is flexible in that it can perform building detection from just LiDAR data (first or last return), or just nadir, color aerial imagery. If data from both LiDAR and aerial imagery are available, then the algorithm will use them both for improved accuracy. Additionally, the proposed approach does not employ severely limiting assumptions thus enabling the end user to apply the approach to a wider variety of different building types. The proposed approach is extensively tested using real data sets and it is also compared with other existing techniques. Experimental results are presented.

Résumé : La détection des bâtiments dans les images à très haute résolution spatiale (THRS) a plusieurs applications pratiques et représente un domaine de recherche scientifique intensive ces dernières années. Elle fait face à la complexité du milieu urbain et aux spécificités des images provenant des différents capteurs. La performance des méthodes existantes pour l’extraction des bâtiments n’est pas encore suffisante pour qu’elles soient généralisées à grande échelle (différents types de tissus urbains et capteurs). Les opérateurs morphologiques se sont montrés efficaces pour la détection des bâtiments dans les images panchromatiques (images en niveaux de gris) à très haute résolution spectrale (THRS). L’information spectrale issue des images multispectrales est jugée nécessaire pour l’amélioration de leur performance. L’extension des opérateurs morphologiques pour les images multispectrales exige l’adoption d’une stratégie qui permet le traitement des pixels sous forme de vecteurs, dont les composantes sont les valeurs dans les différentes bandes spectrales. Ce travail de recherche vise l’application de la transformation morphologique dite Hit-or-Miss (HMT) à des images multispectrales à THRS, afin de détecter des bâtiments. Pour répondre à la problématique de l’extension des opérateurs morphologiques pour les images multispectrales, nous proposons deux solutions. Comme une première solution nous avons généré des images en niveaux de gris à partir les bandes multispectrales. Dans ces nouvelles images les bâtiments potentiels sont rehaussés par rapport à l’arrière-plan. La HMT en niveaux de gris est alors appliquée à ces images afin de détecter les bâtiments. Pour rehausser les bâtiments nous avons proposé un nouvel indice, que nous avons appelé Spectral Similarity Ratio (SSR). Pour éviter de définir des configurations, des ensembles d’éléments structurants (ES), nécessaires pour l’application de la HMT, au préalable, nous avons utilisé l’érosion et la dilatation floues et poursuivi la réponse des pixels aux différentes valeurs des ES. La méthode est testée sur des extraits d’images représentant des quartiers de type résidentiel. Le taux moyen de reconnaissance obtenu pour les deux capteurs Ikonos et GeoEye est de 85 % et de 80 %, respectivement. Le taux moyen de bonne identification, quant à lui, est de 85 % et 84 % pour les images Ikonos et GeoEye, respectivement. Après certaines améliorations, la méthode a été appliquée sur des larges scènes Ikonos et WorldView-2, couvrant différents tissus urbains. Le taux moyen des bâtiments reconnus est de 82 %. Pour sa part, le taux de bonne identification est de 81 %. Dans la deuxième solution, nous adoptons une stratégie vectorielle pour appliquer la HMT directement sur les images multispectrales. La taille des ES de cette transformation morphologique est définie en utilisant la transformation dite chapeau haut-de-forme par reconstruction. Une étape de post-traitement inclut le filtrage de la végétation par l’indice de la végétation NDVI et la validation de la localisation des bâtiments par l’information d’ombre. La méthode est appliquée sur un espace urbain de type résidentiel. Des extraits d’images provenant des capteurs satellitaires Ikonos, GeoEye et WorldView 2 ont été traités. Le taux des bâtiments reconnus est relativement élevé pour tous les extraits - entre 85 % et 97 %. Le taux de bonne identification démontre des résultats entre 74 % et 88 %. Les résultats obtenus nous permettent de conclure que les objectifs de ce travail de recherche, à savoir, la proposition d’une technique pour l’estimation de la similarité spectrale entre les pixels formant le toit d’un bâtiment, l’intégration de l’information multispectrale dans la HMT dans le but de détecter les bâtiments, et la proposition d’une technique qui permet la définition semi-automatique des configurations bâtiment/voisinage dans les images multispectrales, ont été atteints. // Abstract : Detection of buildings in very high spatial resolution images (THRS) has various practical applications and is recently a subject of intensive scientific research. It faces the complexity of the urban environment and the variety of image characteristics depending on the type of the sensor. The performance of existing building extraction methods is not yet sufficient to be generalized to a large scale (different urban patterns and sensors). Morphological operators have been proven effective for the detection of buildings in panchromatic (greyscale) very high spectral resolution (VHSR) images. The spectral information of multispectral images is jugged efficient to improve the results of the detection. The extension of morphological operators to multispectral images is not straightforward. As pixels of multispectral images are pixels vectors the components of which are the intensity values in the different bands, a strategy to order vectors must be adopted. This research thesis focuses on the application of the morphological transformation called Hit-or-Miss (HMT) on multispectral VHSR images in order to detect buildings. To address the issue of the extension of morphological operators to multispectral images we have proposed two solutions. The first one employs generation of greyscale images from multispectral bands, where potential buildings are enhanced. The grayscale HMT is then applied to these images in order to detect buildings. To enhance potential building locations we have proposed the use of Spectral Similarity Ratio (SSR). To avoid the need to set multiple configurations of structuring elements (SE) necessary for the implementation of the HMT, we have used fuzzy erosion and fuzzy dilation and examined the pixel response to different values of SE. The method has been tested on image subsets taken over residential areas. The average rate of recognition for the two sensors, Ikonos and GeoEye, is 85% and 80%, respectively. The average rate of correct identification is 85% and 84%, for Ikonos and GeoEye subsets, respectively. Having made some improvements, we then applied the method to large scenes from Ikonos and WorldView-2 images covering different urban patterns. The average rate of recognized buildings is 82%. The rate of correct identification is 81%. As a second solution, we have proposed a new vector based strategy which allows the multispectral information to be integrated into the percent occupancy HMT (POHMT). Thus, the POHMT has been directly applied on multispectral images. The parameters for the POHMT have been defined using the morphological transformation dubbed top hat by reconstruction. A post-processing step included filtering the vegetation and validating building locations by proximity to shadow. The method has been applied to urban residential areas. Image subsets from Ikonos, GeoEye and WorldView2 have been processed. The rate of recognized buildings is relatively high for all subsets - between 85% and 97%. The rate of correct identification is between 74 % and 88 %. The results allow us to conclude that the objectives of this research, namely, suggesting a technique for estimating the spectral similarity between the pixels forming the roof of a building, the integration of multispectral information in the HMT in order to detect buildings and the proposition of a semiautomatic technique for the definition of the configurations building/neighbourhood in multispectral images, have been achieved.

Als Datengrundlage für die Erhebung von Flächennutzungsparametern, wie sie in geografischen Informationssystemen (GIS) abgelegt und verwaltet werden, dienen oft Bilddaten aus der Erdfernerkundung. Die zur Erkennung und Unterscheidung der Objekte notwendige hohe Pixelauflösung führt bei der Erfassung eines Zielgebiets wie beispielsweise einer Stadt zu enormen Datenmengen. Aus diesen Bilddaten gilt es, möglichst schnell und preiswert die für ein GIS notwendigen Informationen, wie Umrissvektoren und Objektattribute, zu extrahieren. Diese Arbeit ist ein Beitrag zur Automatisierung dieses Schritts mit besonderem Schwerpunkt auf der Gebäudeextraktion. Datengrundlage sind hochauflösende multispektrale Orthobilder und ein digitales Oberflächenmodell (DOM) der digitalen Luftbildkamera HRSC-A bzw. HRSC-AX zum Einsatz. Deswegen werden das Aufnahmeprinzip sowie die Datenverarbeitung der HRSC überblicksartig vorgestellt. Auf Basis dieser HRSC-Standarddatenprodukte wird ein Vorgehen zur Extraktion von Objekten entwickelt. In einer hierarchisch geordneten Abfolge an Segmentierungsschritten werden aus der Pixelinformation bedeutungstragende Einheiten extrahiert. Dieser Segmentierungsansatz lässt sich auf mehrere Objektkategorien, wie Straßen oder Ackerflächen, erweitern. So werden in der aktuellen Entwicklungsstufe neben Gebäuden auch Baumregionen detektiert. Anhand des Oberflächenmodells werden erhöhte Regionen erkannt. Dazu wird das DOM durch Berechnung eines Terrainmodells auf Grundhöhe normiert. Für erhöhte Objekte wird die Grundhöhe aus umliegenden Grundregionen abgeleitet. Die erhöhten Regionen werden anschließend in Bäume und Gebäude unterteilt. Dazu werden aus den Multispektraldaten Vegetationscharakteristika bestimmt und entsprechende Baumsegmente ermittelt. Die Gebäuderegionen resultieren aus einer Nachverarbeitung der verbleibenden Segmente. Um Gebäudekomplexe in einzelne Häuser aufzuteilen, wird ein gradientenbasierter Ansatz entwickelt. Anhand der für Brandmauern typischen Gradienteninformation werden Linienhypothesen zur Unterteilung der Gebäudesegmente generiert. Diese werden schrittweise anhand geometrischer und radiometrischer Kriterien auf ihre Plausibilität überprüft. Schließlich werden die ursprünglich aus dem DOM stammenden Konturen der Gebäudesegmente und deren Übereinstimung mit Bildkanten eines Orthobildes betrachtet. In einem adaptiven Ansatz wird das Konturpolygon durch die Gradienteninformation an angrenzende Bildkanten angepasst. Zur Umsetzung typischer Gebäudegeometrien wie rechter Winkel oder Parallelität werden innerhalb des Adaptionsprozesses entsprechende Nebenbedingungen formuliert. Die Extraktion erhöhter Objekte wie auch deren Unterteilung in Bäume und Gebäude erfolgt mit hoher Genauigkeit, z.B. liegen die Detektionsraten bei Gebäuden über 90%. Der neuartige Ansatz zur Unterteilung in einzelne Häuser ohne explizite Liniendetektion führt bereits in der vorgestellten Entwicklungsstufe zur Beschleunigung einer manuellen Interpretation. Die adaptive Verbesserung der Gebäudekontur führt zu gebäudetypischeren Umrissen ohne Beeinträchtigung der hohen Detektionsraten. / Remote sensing image data are often used as a basis for determining land use parameters, as they are stored and managed in geographic information systems (GIS). Covering a target area leads to an enormous amount of data due to the high pixel resolution required for recognizing and discriminating objects. To effectively derive GIS information like contour vectors or object attributes from these data, the extraction process has to be fast and cost-effective. This thesis is a contribution to the automization of this step with a focus on building extraction. High resolution multispectral ortho-images and a digital surface model (DSM), generated by the digital aerial camera HRSC-A or HRSC-AX, are used as data basis. Therefore, the HRSC imaging principle and data processing are summarized. Based on these HRSC standard data products, an object extraction scheme is developed. In a hierarchically ordered sequence of segmentation steps, meaningful units are extracted from pixel information. This segmentation approach is extendable to several object categories like streets or fields. Thus, tree regions, as well as buildings are detected in the current stage of implementation. Elevated regions are recognized using the digital surface model. For that purpose the DSM is normalized by calculating a terrain model. For elevated objects the terrain height is derived from surrounding ground regions. Subsequently, the elevated regions are separated into trees and buildings. Determining spectral characteristics of vegetation from the multispectral data leads to corresponding tree segments. The building regions result from post-processing the remaining segments. In order to split the building segments into single houses, a gradient based approach is developed. By means of the gradient information associated with firewalls, line hypotheses for subdividing the building segments are generated. Their plausibility is checked by gradually applying geometric and spectral criteria. Finally, the building contours, originally derived from the DSM, and their correspondence to image edges in an ortho-image, are considered. In an adaptive approach, the contour polygon is adjusted to neighboring image edges using the gradient information. Typical building geometries like right angles or parallelism are enforced by applying corresponding constraints in the adaption process. The extraction of elevated objects, as well as the separation into trees and buildings, is carried out with high accuracy, e.g. the building detection rates are over 90%. In the current development stage the novel approach for separating building segments into single houses without an explicit line detection already leads to a speeding-up of a manual interpretation. The adaptive improvement of building contours leads to building typical contours without affecting the high detection rates.

R??sum?? : La d??tection des b??timents dans les images ?? tr??s haute r??solution spatiale (THRS) a plusieurs applications pratiques et repr??sente un domaine de recherche scientifique intensive ces derni??res ann??es. Elle fait face ?? la complexit?? du milieu urbain et aux sp??cificit??s des images provenant des diff??rents capteurs. La performance des m??thodes existantes pour l???extraction des b??timents n???est pas encore suffisante pour qu???elles soient g??n??ralis??es ?? grande ??chelle (diff??rents types de tissus urbains et capteurs). Les op??rateurs morphologiques se sont montr??s efficaces pour la d??tection des b??timents dans les images panchromatiques (images en niveaux de gris) ?? tr??s haute r??solution spectrale (THRS). L???information spectrale issue des images multispectrales est jug??e n??cessaire pour l???am??lioration de leur performance. L???extension des op??rateurs morphologiques pour les images multispectrales exige l???adoption d???une strat??gie qui permet le traitement des pixels sous forme de vecteurs, dont les composantes sont les valeurs dans les diff??rentes bandes spectrales. Ce travail de recherche vise l???application de la transformation morphologique dite Hit-or-Miss (HMT) ?? des images multispectrales ?? THRS, afin de d??tecter des b??timents. Pour r??pondre ?? la probl??matique de l???extension des op??rateurs morphologiques pour les images multispectrales, nous proposons deux solutions. Comme une premi??re solution nous avons g??n??r?? des images en niveaux de gris ?? partir les bandes multispectrales. Dans ces nouvelles images les b??timents potentiels sont rehauss??s par rapport ?? l???arri??re-plan. La HMT en niveaux de gris est alors appliqu??e ?? ces images afin de d??tecter les b??timents. Pour rehausser les b??timents nous avons propos?? un nouvel indice, que nous avons appel?? Spectral Similarity Ratio (SSR). Pour ??viter de d??finir des configurations, des ensembles d?????l??ments structurants (ES), n??cessaires pour l???application de la HMT, au pr??alable, nous avons utilis?? l?????rosion et la dilatation floues et poursuivi la r??ponse des pixels aux diff??rentes valeurs des ES. La m??thode est test??e sur des extraits d???images repr??sentant des quartiers de type r??sidentiel. Le taux moyen de reconnaissance obtenu pour les deux capteurs Ikonos et GeoEye est de 85 % et de 80 %, respectivement. Le taux moyen de bonne identification, quant ?? lui, est de 85 % et 84 % pour les images Ikonos et GeoEye, respectivement. Apr??s certaines am??liorations, la m??thode a ??t?? appliqu??e sur des larges sc??nes Ikonos et WorldView-2, couvrant diff??rents tissus urbains. Le taux moyen des b??timents reconnus est de 82 %. Pour sa part, le taux de bonne identification est de 81 %. Dans la deuxi??me solution, nous adoptons une strat??gie vectorielle pour appliquer la HMT directement sur les images multispectrales. La taille des ES de cette transformation morphologique est d??finie en utilisant la transformation dite chapeau haut-de-forme par reconstruction. Une ??tape de post-traitement inclut le filtrage de la v??g??tation par l???indice de la v??g??tation NDVI et la validation de la localisation des b??timents par l???information d???ombre. La m??thode est appliqu??e sur un espace urbain de type r??sidentiel. Des extraits d???images provenant des capteurs satellitaires Ikonos, GeoEye et WorldView 2 ont ??t?? trait??s. Le taux des b??timents reconnus est relativement ??lev?? pour tous les extraits - entre 85 % et 97 %. Le taux de bonne identification d??montre des r??sultats entre 74 % et 88 %. Les r??sultats obtenus nous permettent de conclure que les objectifs de ce travail de recherche, ?? savoir, la proposition d???une technique pour l???estimation de la similarit?? spectrale entre les pixels formant le toit d???un b??timent, l???int??gration de l???information multispectrale dans la HMT dans le but de d??tecter les b??timents, et la proposition d???une technique qui permet la d??finition semi-automatique des configurations b??timent/voisinage dans les images multispectrales, ont ??t?? atteints. // Abstract : Detection of buildings in very high spatial resolution images (THRS) has various practical applications and is recently a subject of intensive scientific research. It faces the complexity of the urban environment and the variety of image characteristics depending on the type of the sensor. The performance of existing building extraction methods is not yet sufficient to be generalized to a large scale (different urban patterns and sensors). Morphological operators have been proven effective for the detection of buildings in panchromatic (greyscale) very high spectral resolution (VHSR) images. The spectral information of multispectral images is jugged efficient to improve the results of the detection. The extension of morphological operators to multispectral images is not straightforward. As pixels of multispectral images are pixels vectors the components of which are the intensity values in the different bands, a strategy to order vectors must be adopted. This research thesis focuses on the application of the morphological transformation called Hit-or-Miss (HMT) on multispectral VHSR images in order to detect buildings. To address the issue of the extension of morphological operators to multispectral images we have proposed two solutions. The first one employs generation of greyscale images from multispectral bands, where potential buildings are enhanced. The grayscale HMT is then applied to these images in order to detect buildings. To enhance potential building locations we have proposed the use of Spectral Similarity Ratio (SSR). To avoid the need to set multiple configurations of structuring elements (SE) necessary for the implementation of the HMT, we have used fuzzy erosion and fuzzy dilation and examined the pixel response to different values of SE. The method has been tested on image subsets taken over residential areas. The average rate of recognition for the two sensors, Ikonos and GeoEye, is 85% and 80%, respectively. The average rate of correct identification is 85% and 84%, for Ikonos and GeoEye subsets, respectively. Having made some improvements, we then applied the method to large scenes from Ikonos and WorldView-2 images covering different urban patterns. The average rate of recognized buildings is 82%. The rate of correct identification is 81%. As a second solution, we have proposed a new vector based strategy which allows the multispectral information to be integrated into the percent occupancy HMT (POHMT). Thus, the POHMT has been directly applied on multispectral images. The parameters for the POHMT have been defined using the morphological transformation dubbed top hat by reconstruction. A post-processing step included filtering the vegetation and validating building locations by proximity to shadow. The method has been applied to urban residential areas. Image subsets from Ikonos, GeoEye and WorldView2 have been processed. The rate of recognized buildings is relatively high for all subsets - between 85% and 97%. The rate of correct identification is between 74 % and 88 %. The results allow us to conclude that the objectives of this research, namely, suggesting a technique for estimating the spectral similarity between the pixels forming the roof of a building, the integration of multispectral information in the HMT in order to detect buildings and the proposition of a semiautomatic technique for the definition of the configurations building/neighbourhood in multispectral images, have been achieved.

<div>This dissertation addresses the problem of how to design a convolutional neural network (CNN) for giving semantic labels to the points on the ground given the satellite image coverage over the area and, for the ground truth, given the noisy labels in OpenStreetMap (OSM). This problem is made challenging by the fact that -- (1) Most of the images are likely to have been recorded from off-nadir viewpoints for the area of interest on the ground; (2) The user-supplied labels in OSM are frequently inaccurate and, not uncommonly, entirely missing; and (3) The size of the area covered on the ground must be large enough to possess any engineering utility. As this dissertation demonstrates, solving this problem requires that we first construct a DSM (Digital Surface Model) from a stereo fusion of the available images, and subsequently use the DSM to map the individual pixels in the satellite images to points on the ground. That creates an association between the pixels in the images and the noisy labels in OSM. The CNN-based solution we present yields a 4-8% improvement in the per-class segmentation IoU (Intersection over Union) scores compared to the traditional approaches that use the views independently of one another. The system we present is end-to-end automated, which facilitates comparing the classifiers trained directly on true orthophotos vis-`a-vis first training them on the off-nadir images and subsequently translating the predicted labels to geographical coordinates. This work also presents, for arguably the first time, an in-depth discussion of large-area image alignment and DSM construction using tens of true multi-date and multi-view WorldView-3 satellite images on a distributed OpenStack cloud computing platform.</div>