Il saggio è dedicato allo studio del Mscr.Dresd.Ob.25 della Sächsische Landesbibliothek – Staats- und Universitätsbibliothek di Dresda. Il codice, databile alla fine del XIV secolo, contiene le tre cantiche della Commedia di Dante. Nonostante le difficoltà di lettura dovute ai danni subiti durante la guerra, il codice si è rivelato un manoscritto di grande interesse per la tradizione dantesca. Dall’analisi codicologica e paleografica, Ob.25 emerge come un prodotto tipico del suo tempo, trascritto per uso personale e per questo anche letto e annotato da un copista che dimostra di avere una certa cultura e sensibilità. Il saggio, però, ha il suo focus nell’analisi di una delle pagine della prima cantica, molto deteriorata e non più leggibile a occhio nudo, che è stata resa possibile dall’utilizzo del Multispectral Imaging System. Si è quindi inteso evidenziare la complessità di una conoscenza che si può realizzare attraverso il metodo storico proprio delle discipline del libro e grazie alle possibilità offerte dalla tecnologia.

La texture est un élément clé pour l’interprétation des images de télédétection à fine résolution spatiale. L’intégration de l’information texturale dans un processus de classification automatisée des images se fait habituellement via des images de texture, souvent créées par le calcul de matrices de co-occurrences (MCO) des niveaux de gris. Une MCO est un histogramme des fréquences d’occurrence des paires de valeurs de pixels présentes dans les fenêtres locales, associées à tous les pixels de l’image utilisée; une paire de pixels étant définie selon un pas et une orientation donnés. Les MCO permettent le calcul de plus d’une dizaine de paramètres décrivant, de diverses manières, la distribution des fréquences, créant ainsi autant d’images texturales distinctes. L’approche de mesure des textures par MCO a été appliquée principalement sur des images de télédétection monochromes (ex. images panchromatiques, images radar monofréquence et monopolarisation). En imagerie multispectrale, une unique bande spectrale, parmi celles disponibles, est habituellement choisie pour générer des images de texture. La question que nous avons posée dans cette recherche concerne justement cette utilisation restreinte de l’information texturale dans le cas des images multispectrales. En fait, l’effet visuel d’une texture est créé, non seulement par l’agencement particulier d’objets/pixels de brillance différente, mais aussi de couleur différente. Plusieurs façons sont proposées dans la littérature pour introduire cette idée de la texture à plusieurs dimensions. Parmi celles-ci, deux en particulier nous ont intéressés dans cette recherche. La première façon fait appel aux MCO calculées bande par bande spectrale et la seconde utilise les MCO généralisées impliquant deux bandes spectrales à la fois. Dans ce dernier cas, le procédé consiste en le calcul des fréquences d’occurrence des paires de valeurs dans deux bandes spectrales différentes. Cela permet, en un seul traitement, la prise en compte dans une large mesure de la « couleur » des éléments de texture. Ces deux approches font partie des techniques dites intégratives. Pour les distinguer, nous les avons appelées dans cet ouvrage respectivement « textures grises » et « textures couleurs ». Notre recherche se présente donc comme une analyse comparative des possibilités offertes par l’application de ces deux types de signatures texturales dans le cas spécifique d’une cartographie automatisée des occupations de sol à partir d’une image multispectrale. Une signature texturale d’un objet ou d’une classe d’objets, par analogie aux signatures spectrales, est constituée d’une série de paramètres de texture mesurés sur une bande spectrale à la fois (textures grises) ou une paire de bandes spectrales à la fois (textures couleurs). Cette recherche visait non seulement à comparer les deux approches intégratives, mais aussi à identifier la composition des signatures texturales des classes d’occupation du sol favorisant leur différentiation : type de paramètres de texture / taille de la fenêtre de calcul / bandes spectrales ou combinaisons de bandes spectrales. Pour ce faire, nous avons choisi un site à l’intérieur du territoire de la Communauté Métropolitaine de Montréal (Longueuil) composé d’une mosaïque d’occupations du sol, caractéristique d’une zone semi urbaine (résidentiel, industriel/commercial, boisés, agriculture, plans d’eau…). Une image du satellite SPOT-5 (4 bandes spectrales) de 10 m de résolution spatiale a été utilisée dans cette recherche. Puisqu’une infinité d’images de texture peuvent être créées en faisant varier les paramètres de calcul des MCO et afin de mieux circonscrire notre problème nous avons décidé, en tenant compte des études publiées dans ce domaine : a) de faire varier la fenêtre de calcul de 3*3 pixels à 21*21 pixels tout en fixant le pas et l’orientation pour former les paires de pixels à (1,1), c'est-à-dire à un pas d’un pixel et une orientation de 135°; b) de limiter les analyses des MCO à huit paramètres de texture (contraste, corrélation, écart-type, énergie, entropie, homogénéité, moyenne, probabilité maximale), qui sont tous calculables par la méthode rapide de Unser, une approximation des matrices de co-occurrences, c) de former les deux signatures texturales par le même nombre d’éléments choisis d’après une analyse de la séparabilité (distance de Bhattacharya) des classes d’occupation du sol; et d) d’analyser les résultats de classification (matrices de confusion, exactitudes, coefficients Kappa) par maximum de vraisemblance pour conclure sur le potentiel des deux approches intégratives; les classes d’occupation du sol à reconnaître étaient : résidentielle basse et haute densité, commerciale/industrielle, agricole, boisés, surfaces gazonnées (incluant les golfs) et plans d’eau. Nos principales conclusions sont les suivantes a) à l’exception de la probabilité maximale, tous les autres paramètres de texture sont utiles dans la formation des signatures texturales; moyenne et écart type sont les plus utiles dans la formation des textures grises tandis que contraste et corrélation, dans le cas des textures couleurs, b) l’exactitude globale de la classification atteint un score acceptable (85%) seulement dans le cas des signatures texturales couleurs; c’est une amélioration importante par rapport aux classifications basées uniquement sur les signatures spectrales des classes d’occupation du sol dont le score est souvent situé aux alentours de 75%; ce score est atteint avec des fenêtres de calcul aux alentours de11*11 à 15*15 pixels; c) Les signatures texturales couleurs offrant des scores supérieurs à ceux obtenus avec les signatures grises de 5% à 10%; et ce avec des petites fenêtres de calcul (5*5, 7*7 et occasionnellement 9*9) d) Pour plusieurs classes d’occupation du sol prises individuellement, l’exactitude dépasse les 90% pour les deux types de signatures texturales; e) une seule classe est mieux séparable du reste par les textures grises, celle de l’agricole; f) les classes créant beaucoup de confusions, ce qui explique en grande partie le score global de la classification de 85%, sont les deux classes du résidentiel (haute et basse densité). En conclusion, nous pouvons dire que l’approche intégrative par textures couleurs d’une image multispectrale de 10 m de résolution spatiale offre un plus grand potentiel pour la cartographie des occupations du sol que l’approche intégrative par textures grises. Pour plusieurs classes d’occupations du sol un gain appréciable en temps de calcul des paramètres de texture peut être obtenu par l’utilisation des petites fenêtres de traitement. Des améliorations importantes sont escomptées pour atteindre des exactitudes de classification de 90% et plus par l’utilisation des fenêtres de calcul de taille variable adaptées à chaque type d’occupation du sol. Une méthode de classification hiérarchique pourrait être alors utilisée afin de séparer les classes recherchées une à la fois par rapport au reste au lieu d’une classification globale où l’intégration des paramètres calculés avec des fenêtres de taille variable conduirait inévitablement à des confusions entre classes. / Texture is a key element in interpreting remotely sensed images of fine spatial resolution. The integration of textural information in an automatic image-classification process is usually done via textural images, which are often created by calculating gray levels co-occurrences matrices (COM). A COM is a histogram of frequencies of pairs of pixel values present in local windows associated with all pixels in the used image; each pixel pair being formed using a given orientation and spacing. COM allows calculation for more than a dozen of parameters describing in various ways the frequency distribution, creating thus as many different textural images. Texture measurements approach based on COMs had been mainly applied on monochrome images (e.g. panchromatic, single polarisation and frequency radar images). In the case of multispectral images, a single spectral band, among those available, is usually chosen to generate texture images. The question we asked in this research concerns precisely this limited use of textural information in the case of multispectral images. In fact, the visual effect of a texture is created, not only by the spatial arrangement of variable objects/pixels brightness, but also of different colors. Several ways are suggested in the literature to introduce this concept of multi-dimensional texture. In this research, two of them were of particularly interested us. In the first way COMs are calculated spectral band by band and in the second one, generalized COMs are applied involving the joint use of two spectral bands. In the latter case, the pairs of pixel values are defined in two different spectral bands. This allows, in a single treatment, for a broad accounting of the "color" element composing a texture. These two approaches are called integrative techniques. To distinguish them, we call them respectively “gray textures” and “color textures”. Our research concerns the comparative analysis of the opportunities offered by applying these two types of textural signatures in the specific case of an automated land cover mapping using multispectral images. A textural signature of an object or class of objects, by analogy to spectral signatures, consists in a set of texture parameters measured; band by band (grey textures), or by pairs of bands (color textures).This research was designed not only to compare the two integrative approaches, but also to identify the components of textural signatures favouring the differentiation of land cover classes: texture parameters, window sizes and bands selection. To do this, a site within the territory of the Montreal Metropolitan Community (Longueuil) was chosen with a diversity of land covers representative of a semi-urban area. (residential, industrial / commercial, woodlots , agriculture, water bodies…). A SPOT-5 (4 spectral bands) image of 10m spatial resolution was used in this research. Since an infinite number of texture images can be created by varying the design parameters of COM, and to better define our problem, we have decided, taking into account studies published in this field: a) to vary the computation window from 3*3 to 21*21 pixels while setting the pixel spacing and direction to (1,1); that is to say, an spacing of 1 and an orientation of 135 ° between pairs of pixels. b) limit the COM analysis to eight texture parameters (contrast, correlation, standard deviation, energy, entropy, homogeneity, average, maximum probability), all of which are computable by the Unser’s fast-COM-approximation method, c) form the two textural signatures by the same number of elements chosen from a separability analysis (Bhattacharya distance) between land cover classes, and d) analyse the results (confusion matrices, accuracies, kappa) obtained using a maximum likelihood classification algorithm to conclude on the potential of both integrative approaches; classes to be recognized included: low and high density residential, commercial / industrial, agricultural, woodlots, turf (including golf) water bodies, clouds and their shadows. Our main conclusions are as follows a) except maximum probability, all other textural parameters are useful in the formation of textural signatures; mean and standard deviation are most useful in the formation of gray textures while contrast and correlation, are the best in the case of color textures b) the overall classification accuracy achieved an acceptable score (85%), only in the case of color textural signatures. This is a significant improvement compared to classifications based solely on spectral signatures, whose accuracies are often situated around 75%. This score is reached with windows size from about 11*11 to 15 * 15 pixels, c) Textural colors signatures offer higher scores, ranging from 5% to 10%, than those obtained by gray signatures. This is true while using the smaller process windows (5*5, 7*7, and occasionally 9*9) d) For several land cover classes examined individually, the accuracy is above 90% regardless of the used textural signatures e) Only one class is better separated from the rest by gray textures, the agricultural one; f) Classes creating a lot of confusion, which largely explains the overall classification score of 85 %, are the two residential classes (high and low density). As a final conclusion, we can say that the integrative approach by color textures provides a greater potential for mapping land covers using multispectral images than the integrative approach by gray textures. For several land cover classes an appreciable gain computing time of textural parameters may be obtained using smaller size windows. Significant improvements of the classification results (even better than 90%) are expected using calculation windows with sizes better adapted to each classes particular texture characteristics, A hierarchical classification method could then be used to separate each class at a time from all others, instead of a broad classification where the integration of parameters calculated with varying size windows, would inevitably lead to confusion between classes.

Cette thèse s'intéresse au recalage de données issues de capteurs 3D et multispectraux pour l'étude du patrimoine.Lorsque l'on étudie ce type d'objet, il y a souvent peu de points saillants naturels entre ces jeux de données complémentaires. Par ailleurs, l'utilisation de mires optiques est proscrite.Notre problème est donc de recaler des données multimodales sans points caractéristiques.Nous avons développé une méthode de recalage basé sur le suivi des systèmes d'acquisition en utilisant des techniques issues de la photogrammétrie.Des simulations nous ont permis d'évaluer la précision de la méthode dans trois configurations qui représentent des cas typiques dans l'étude d'objets du patrimoine.Ces simulations ont montré que l'on peut atteindre une précision du suivi de 0.020 mm spatialement et 0.100 mrad angulairement en utilisant quatre caméras 5 Mpx lorsque l'on numérise une zone de 400 mm x 700 mm.La précision finale du recalage repose sur le succès d'une série de calibrations optiques et géométriques, ainsi que sur leur stabilité pour la durée du processus d'acquisition.Plusieurs tests ont permis d'évaluer la précision du suivi et du recalage de plusieurs jeux de données indépendants; d'abord seulement 3D, puis 3D et multispecrales.Enfin, nous avons étendu notre méthode d'estimation de la réflectance à partir des données multispectrales lorsque celles-ci sont recalées sur un modèle 3D. / The concern and interest of this PhD thesis is the registration of featureless 3D and multispectral datasets describing cultural heritage objects.In this context, there are few natural salient features between the complementary datasets, and the use of targets is generally proscribed.We thus develop a technique based on the photogrammetric tracking of the acquisition systems in use.A series of simulations was performed to evaluate the accuracy of our method in three configurations chosen to represent a variety of cultural heritage objects.These simulations show that we can achieve a spatial tracking accuracy of 0.020 mm and an angular accuracy of 0.100 mrad using four 5 Mpx cameras when digitizing an area of 400 mm x 700 mm. The accuracy of the final registration relies on the success of a series of optical and geometrical calibrations and their stability for the duration of the full acquisition process.The accuracy of the tracking and registration was extensively tested in laboratory settings. We first evaluated the potential for multiview 3D registration. Then, the method was used for to project of multispectral images on 3D models.Finally, we used the registered data to improve the reflectance estimation from the multispectral datasets

La représentation d'image est au cœur de beaucoup d'algorithmes de vision par ordinateur. Elle intervient notamment dans des tâches de reconnaissance de catégories visuelles comme la classification ou la détection d'objets. Dans ce contexte, la représentation "sac de mot visuel" (Bag of Visual Words ou BoVW en anglais) est l'une des méthodes de référence. Dans cette thèse, nous nous appuyons sur ce modèle pour proposer des représentations d'images discriminantes. Dans la première partie, nous présentons une nouvelle approche simple et efficace pour prendre en compte des informations spatiales dans le modèle BoVW. Son principe est de considérer l'orientation et la longueur de segments formés par des paires de descripteurs similaires. Une notion de "softsimilarité" est introduite pour définir ces relations intra et inter mots visuels. Nous montrons expérimentalement que notre méthode ajoute une information discriminante importante au modèle BoVW et que cette information est complémentaire aux méthodes de l'état de l'art. Ensuite, nous nous focalisons sur la description de l'information couleur. Contrairement aux approches traditionnelles qui s'appuient sur des descriptions invariantes aux changements d'éclairage, nous proposons un descripteur basé sur le pouvoir discriminant. Nos expérimentations permettent de conclure que ce descripteur apprend automatiquement un certain degré d'invariance photométrique tout en surclassant les descripteurs basés sur cette invariance photométrique. De plus, combiné avec un descripteur de forme, le descripteur proposé donne des résultats excellents sur quatre jeux de données particulièrement difficiles. Enfin, nous nous intéressons à la représentation de la couleur à partir de la réflectance multispectrale des surfaces observées, information difficile à extraire sans instruments sophistiqués. Ainsi, nous proposons d'utiliser l'écran et la caméra d'un appareil portable pour capturer des images éclairées par les couleurs primaires de l'écran. Trois éclairages et trois réponses de caméra produisent neuf valeurs pour estimer la réflectance. Les résultats montrent que la précision de la reconstruction spectrale est meilleure que celle estimée avec un seul éclairage. Nous concluons que ce type d'acquisition est possible avec des appareils grand public tels que les tablettes, téléphones ou ordinateurs portables / Image representation is in the heart of many computer vision algorithms. Different computer vision tasks (e.g. classification, detection) require discriminative image representations to recognize visual categories. In a nutshell, the bag-of-visual-words image representation is the most successful approach for object and scene recognition. In this thesis, we mainly revolve around this model and search for discriminative image representations. In the first part, we present a novel approach to incorporate spatial information in the BoVW method. In this framework, we present a simple and efficient way to infuse spatial information by taking advantage of the orientation and length of the segments formed by pairs of similar descriptors. We introduce the notion of soft-similarity to compute intra and inter visual word spatial relationships. We show experimentally that, our method adds important discriminative information to the BoVW method and complementary to the state-of-the-art method. Next, we focus on color description in general. Differing from traditional approaches of invariant description to account for photometric changes, we propose discriminative color descriptor. We demonstrate that such a color description automatically learns a certain degree of photometric invariance. Experiments show that the proposed descriptor outperforms existing photometric invariants. Furthermore, we show that combined with shape descriptor, the proposed color descriptor obtain excellent results on four challenging data sets.Finally, we focus on the most accurate color representation i.e. multispectral reflectance which is an intrinsic property of a surface. Even with the modern era technological advancement, it is difficult to extract reflectance information without sophisticated instruments. To this end, we propose to use the display of the device as an illuminant while the camera captures images illuminated by the red, green and blue primaries of the display. Three illuminants and three response functions of the camera lead to nine response values which are used for reflectance estimation. Results show that the accuracy of the spectral reconstruction improves significantly over the spectral reconstruction based on a single illuminant. We conclude that, multispectral data acquisition is potentially possible with consumer hand-held devices such as tablets, mobiles, and laptops

L’imagerie hyperspectrale, qui consiste à acquérir l'image d'une scène dans un grand nombre de bandes spectrales, permet de détecter des cibles là où l'imagerie couleur classique ne permettrait pas de conclure. Les imageurs hyperspectraux à acquisition séquentielle sont inadaptés aux applications de détection en temps réel. Dans cette thèse, nous proposons d’utiliser un imageur multispectral snapshot, capable d’acquérir simultanément un nombre réduit de bandes spectrales sur un unique détecteur matriciel. Le capteur offrant un nombre de pixels limité, il est nécessaire de réaliser un compromis en choisissant soigneusement le nombre et les profils spectraux des filtres de l'imageur afin d’optimiser la performance de détection. Dans cet objectif, nous avons développé une méthode de sélection de bandes qui peut être utilisée dans la conception d’imageurs multispectraux basés sur une matrice de filtres fixes ou accordables. Nous montrons, à partir d'images hyperspectrales issues de différentes campagnes de mesure, que la sélection des bandes spectrales à acquérir peut conduire à des imageurs multispectraux capables de détecter des cibles ou des anomalies avec une efficacité de détection proche de celle obtenue avec une résolution hyperspectrale. Nous développons conjointement un démonstrateur constitué d'une matrice de 4 filtres de Fabry-Perot accordables électroniquement en vue de son implantation sur un imageur multispectral snapshot agile. Ces filtres sont développés en technologie MOEMS (microsystèmes opto-électro-mécaniques) en partenariat avec l'Institut d'Electronique Fondamentale. Nous présentons le dimensionnement optique du dispositif ainsi qu'une étude de tolérancement qui a permis de valider sa faisabilité. / Hyperspectral imaging, which consists in acquiring the image of a scene in a large number of spectral bands, can be used to detect targets that are not visible using conventional color imaging. Hyperspectral imagers based on sequential acquisition are unsuitable for real-time detection applications. In this thesis, we propose to use a snapshot multispectral imager able to acquire simultaneously a small number of spectral bands on a single image sensor. As the sensor offers a limited number of pixels, it is necessary to achieve a trade-off by carefully choosing the number and the spectral profiles of the imager’s filters in order to optimize the detection performance. For this purpose, we developed a band selection method that can be used to design multispectral imagers based on arrays of fixed or tunable filters. We use real hyperspectral images to show that the selection of spectral bands can lead to multispectral imagers able to compete against hyperspectral imagers for target detection and anomaly detection applications while allowing snapshot acquisition and real-time detection. We jointly develop an adaptive snapshot multispectral imager based on an array of 4 electronically tunable Fabry-Perot filters. The filters are developed in MOEMS technology (Micro-Opto-Electro-Mechanical Systems) in partnership with the Institut d'Electronique Fondamentale. We present the optical design of the device and a study of tolerancing which has validated its feasibility.

Everglades National Park is a hydro-ecologically significant wetland experiencing salinity ingress over the years. This motivated our study to map water salinity using a spatially weighted optimization model (SWOM); and soil salinity using land cover classes and EC thresholds. SWOM was calibrated and validated at 3-km grids with actual salinity for 1998–2001, and yielded acceptable R2 (0.89-0.92) and RMSE (1.73-1.92 ppt). Afterwards, seasonal water salinity mapping for 1996–97, 2004–05, and 2016 was carried out. For soil salinity mapping, supervised land cover classification was firstly carried out for 1996, 2000, 2006, 2010 and 2015; with the first four providing average accuracies of 82%-94% against existing NLCD classifications. The land cover classes and EC thresholds helped mapping four soil salinity classes namely, the non saline (EC = 0~2 dS/m), low saline (EC = 2~4 dS/m), moderate saline (EC = 4~8 dS/m) and high saline (EC >8 dS/m) areas. / Includes bibliography. / Thesis (M.S.)--Florida Atlantic University, 2017. / FAU Electronic Theses and Dissertations Collection

L’imagerie multispectrale permet d’améliorer la détection et la reconnaissance de cibles dans les applications de surveillance. Elle consiste à analyser des images de la même scène acquises simultanément dans plusieurs bandes spectrales grâce à un filtrage. Cette thèse étudie la possibilité de réaliser une matrice de 4 filtres Fabry Pérot (FP) intégrés 3D et ajustables par actionnement électrostatique dans le domaine visible-proche infrarouge. Les miroirs fixes des filtres FP sont des multicouches ZnS/YF₃ déposés sur un wafer de borosilicate, et les miroirs mobiles sont des membranes multicouches PECVD SiNH/SiOH encastrées sur une structure mobile très compacte micro-usinée dans un wafer en silicium. Les performances optiques des filtres FP ont été optimisées en prenant en compte la dissymétrie et le déphasage à la réflexion des miroirs. La structure mobile a été modélisée par éléments finis pour minimiser ses déformations lors de l’actionnement. Les étapes critiques des procédés de fabrication des miroirs mobiles en technologie Si ou SOI ont été mises au point : i) la fabrication et la libération par gravures profondes DRIE et XeF₂ des membranes multicouches avec une contrainte résiduelle ajustée par recuit et une réflectance voisine de 50% dans une large gamme spectrale, ii) le contrôle des vitesse de la gravure DRIE avec des motifs temporaires permettant la gravure simultanée de motifs de largeur et de profondeur variables, et iii) la délimitation de motifs sur surfaces fortement structurées à l’aide de pochoirs alignés mécaniquement ou de films secs photosensibles. Ces travaux ouvrent la voie vers une réalisation complète d’une matrice de filtres FP intégrés 3D. / Multispectral imaging is used to improve target detection and identification in monitoring applications. It consists in analyzing images of the same scene simultaneously recorded in several spectral bands owing to a filtering. This thesis investigates the possibility to realize, an array of four 3D integrated Fabry-Perot (FP) filters that are tunable in the visible-near infrared range by electrostatic actuation. The fixed mirrors of the FP filters are ZnS/YF₃ multilayers deposited on a borosilicate wafer, and the movable mirrors are PECVD SiNH/SiOH multilayer membranes clamped in a very compact movable structure micromachined in a Si wafer. A 3rd glass wafer is used for filters packaging. Optical performances of the FP filters have been optimized by taking into account the asymmetry and the reflection phase shift of the mirrors and the mobile structure has been modeled by finite elements analysis notably to minimize its deformation during actuation. The critical steps of the movable mirrors fabrication process in Si or SOI technology have been developed : i) the fabrication and the release by DRIE and XeF₂ etching of 8 or 12 layers membranes with a residual stress tunable by annealing and a reflectance close to 50% in broad wavelength range (570-900nm), ii) the control with temporary patterns of the simultaneous deep etching of patterns with different widths and depths, and iv) various patterning techniques on highly structured surfaces based on shadow masks (with mechanical alignment) or laminated photosensitive dry films. These results open the way towards the full realization of an array of 3D integrated FP filters.

Au cours de cette thèse, nous nous sommes intéressés à deux principales problématiques de la télédétection spatiale de milieux urbains qui sont : le "démélange spectral " et la "fusion". Dans la première partie de la thèse, nous avons étudié le démélange spectral d'images hyperspectrales de scènes de milieux urbains. Les méthodes développées ont pour objectif d'extraire, d'une manière non-supervisée, les spectres des matériaux présents dans la scène imagée. Le plus souvent, les méthodes de démélange spectral (méthodes dites de séparation aveugle de sources) sont basées sur le modèle de mélange linéaire. Cependant, lorsque nous sommes en présence de paysage non-plat, comme c'est le cas en milieu urbain, le modèle de mélange linéaire n'est plus valide et doit être remplacé par un modèle de mélange non-linéaire. Ce modèle non-linéaire peut être réduit à un modèle de mélange linéaire-quadratique/bilinéaire. Les méthodes de démélange spectral proposées sont basées sur la factorisation matricielle avec contrainte de non-négativité, et elles sont conçues pour le cas particulier de scènes urbaines. Les méthodes proposées donnent généralement de meilleures performances que les méthodes testées de la littérature. La seconde partie de cette thèse à été consacrée à la mise en place de méthodes qui permettent la fusion des images multispectrale et hyperspectrale, afin d'améliorer la résolution spatiale de l'image hyperspectrale. Cette fusion consiste à combiner la résolution spatiale élevée des images multispectrales et la haute résolution spectrale des images hyperspectrales. Les méthodes mises en place sont des méthodes conçues pour le cas particulier de fusion de données de télédétection de milieux urbains. Ces méthodes sont basées sur des techniques de démélange spectral linéaire-quadratique et utilisent la factorisation en matrices non-négatives. Les résultats obtenus montrent que les méthodes développées donnent globalement des performances satisfaisantes pour la fusion des données hyperspectrale et multispectrale. Ils prouvent également que ces méthodes surpassent significativement les approches testées de la littérature. / In this thesis, we focused on two main problems of the spatial remote sensing of urban environments which are: "spectral unmixing" and "fusion". In the first part of the thesis, we are interested in the spectral unmixing of hyperspectral images of urban scenes. The developed methods are designed to unsupervisely extract the spectra of materials contained in an imaged scene. Most often, spectral unmixing methods (methods known as blind source separation) are based on the linear mixing model. However, when facing non-flat landscape, as in the case of urban areas, the linear mixing model is not valid any more, and must be replaced by a nonlinear mixing model. This nonlinear model can be reduced to a linear-quadratic/bilinear mixing model. The proposed spectral unmixing methods are based on matrix factorization with non-negativity constraint, and are designed for urban scenes. The proposed methods generally give better performance than the tested literature methods. The second part of this thesis is devoted to the implementation of methods that allow the fusion of multispectral and hyperspectral images, in order to improve the spatial resolution of the hyperspectral image. This fusion consists in combining the high spatial resolution of multispectral images and high spectral resolution of hyperspectral images. The implemented methods are designed for urban remote sensing data. These methods are based on linear-quadratic spectral unmixing techniques and use the non-negative matrix factorization. The obtained results show that the developed methods give good performance for hyperspectral and multispectral data fusion. They also show that these methods significantly outperform the tested literature approaches.

In the past decade, camera manufacturers have offered smaller form factors, smaller pixel sizes (leading to higher resolution images), and faster processing chips to increase the performance of consumer cameras. However, these conventional approaches have failed to capitalize on the spatio-temporal redundancy inherent in images, nor have they adequately provided a solution for finding $3$D point correspondences for cameras sampling different bands of the visible spectrum. In this thesis, we pose the following question---given the repetitious nature of image patches, and appropriate camera architectures, can statistical models be used to increase temporal, structural, or spectral resolution? While many techniques have been suggested to tackle individual aspects of this question, the proposed solutions either require prohibitively expensive hardware modifications and/or require overly simplistic assumptions about the geometry of the scene. We propose a two-stage solution to facilitate image reconstruction; 1) design a linear camera system that optically encodes scene information and 2) recover full scene information using prior models learned from statistics of natural images. By leveraging the tendency of small regions to repeat throughout an image or video, we are able to learn prior models from patches pulled from exemplar images. The quality of this approach will be demonstrated for two application domains, using low-speed video cameras for high-speed video acquisition and multi-spectral fusion using an array of cameras. We also investigate a conventional approach for finding 3D correspondence that enables a generalized assorted array of cameras to operate in multiple modalities, including multi-spectral, high dynamic range, and polarization imaging of dynamic scenes.

La texture est un élément clé pour l’interprétation des images de télédétection à fine résolution spatiale. L’intégration de l’information texturale dans un processus de classification automatisée des images se fait habituellement via des images de texture, souvent créées par le calcul de matrices de co-occurrences (MCO) des niveaux de gris. Une MCO est un histogramme des fréquences d’occurrence des paires de valeurs de pixels présentes dans les fenêtres locales, associées à tous les pixels de l’image utilisée; une paire de pixels étant définie selon un pas et une orientation donnés. Les MCO permettent le calcul de plus d’une dizaine de paramètres décrivant, de diverses manières, la distribution des fréquences, créant ainsi autant d’images texturales distinctes. L’approche de mesure des textures par MCO a été appliquée principalement sur des images de télédétection monochromes (ex. images panchromatiques, images radar monofréquence et monopolarisation). En imagerie multispectrale, une unique bande spectrale, parmi celles disponibles, est habituellement choisie pour générer des images de texture. La question que nous avons posée dans cette recherche concerne justement cette utilisation restreinte de l’information texturale dans le cas des images multispectrales. En fait, l’effet visuel d’une texture est créé, non seulement par l’agencement particulier d’objets/pixels de brillance différente, mais aussi de couleur différente. Plusieurs façons sont proposées dans la littérature pour introduire cette idée de la texture à plusieurs dimensions. Parmi celles-ci, deux en particulier nous ont intéressés dans cette recherche. La première façon fait appel aux MCO calculées bande par bande spectrale et la seconde utilise les MCO généralisées impliquant deux bandes spectrales à la fois. Dans ce dernier cas, le procédé consiste en le calcul des fréquences d’occurrence des paires de valeurs dans deux bandes spectrales différentes. Cela permet, en un seul traitement, la prise en compte dans une large mesure de la « couleur » des éléments de texture. Ces deux approches font partie des techniques dites intégratives. Pour les distinguer, nous les avons appelées dans cet ouvrage respectivement « textures grises » et « textures couleurs ». Notre recherche se présente donc comme une analyse comparative des possibilités offertes par l’application de ces deux types de signatures texturales dans le cas spécifique d’une cartographie automatisée des occupations de sol à partir d’une image multispectrale. Une signature texturale d’un objet ou d’une classe d’objets, par analogie aux signatures spectrales, est constituée d’une série de paramètres de texture mesurés sur une bande spectrale à la fois (textures grises) ou une paire de bandes spectrales à la fois (textures couleurs). Cette recherche visait non seulement à comparer les deux approches intégratives, mais aussi à identifier la composition des signatures texturales des classes d’occupation du sol favorisant leur différentiation : type de paramètres de texture / taille de la fenêtre de calcul / bandes spectrales ou combinaisons de bandes spectrales. Pour ce faire, nous avons choisi un site à l’intérieur du territoire de la Communauté Métropolitaine de Montréal (Longueuil) composé d’une mosaïque d’occupations du sol, caractéristique d’une zone semi urbaine (résidentiel, industriel/commercial, boisés, agriculture, plans d’eau…). Une image du satellite SPOT-5 (4 bandes spectrales) de 10 m de résolution spatiale a été utilisée dans cette recherche. Puisqu’une infinité d’images de texture peuvent être créées en faisant varier les paramètres de calcul des MCO et afin de mieux circonscrire notre problème nous avons décidé, en tenant compte des études publiées dans ce domaine : a) de faire varier la fenêtre de calcul de 3*3 pixels à 21*21 pixels tout en fixant le pas et l’orientation pour former les paires de pixels à (1,1), c'est-à-dire à un pas d’un pixel et une orientation de 135°; b) de limiter les analyses des MCO à huit paramètres de texture (contraste, corrélation, écart-type, énergie, entropie, homogénéité, moyenne, probabilité maximale), qui sont tous calculables par la méthode rapide de Unser, une approximation des matrices de co-occurrences, c) de former les deux signatures texturales par le même nombre d’éléments choisis d’après une analyse de la séparabilité (distance de Bhattacharya) des classes d’occupation du sol; et d) d’analyser les résultats de classification (matrices de confusion, exactitudes, coefficients Kappa) par maximum de vraisemblance pour conclure sur le potentiel des deux approches intégratives; les classes d’occupation du sol à reconnaître étaient : résidentielle basse et haute densité, commerciale/industrielle, agricole, boisés, surfaces gazonnées (incluant les golfs) et plans d’eau. Nos principales conclusions sont les suivantes a) à l’exception de la probabilité maximale, tous les autres paramètres de texture sont utiles dans la formation des signatures texturales; moyenne et écart type sont les plus utiles dans la formation des textures grises tandis que contraste et corrélation, dans le cas des textures couleurs, b) l’exactitude globale de la classification atteint un score acceptable (85%) seulement dans le cas des signatures texturales couleurs; c’est une amélioration importante par rapport aux classifications basées uniquement sur les signatures spectrales des classes d’occupation du sol dont le score est souvent situé aux alentours de 75%; ce score est atteint avec des fenêtres de calcul aux alentours de11*11 à 15*15 pixels; c) Les signatures texturales couleurs offrant des scores supérieurs à ceux obtenus avec les signatures grises de 5% à 10%; et ce avec des petites fenêtres de calcul (5*5, 7*7 et occasionnellement 9*9) d) Pour plusieurs classes d’occupation du sol prises individuellement, l’exactitude dépasse les 90% pour les deux types de signatures texturales; e) une seule classe est mieux séparable du reste par les textures grises, celle de l’agricole; f) les classes créant beaucoup de confusions, ce qui explique en grande partie le score global de la classification de 85%, sont les deux classes du résidentiel (haute et basse densité). En conclusion, nous pouvons dire que l’approche intégrative par textures couleurs d’une image multispectrale de 10 m de résolution spatiale offre un plus grand potentiel pour la cartographie des occupations du sol que l’approche intégrative par textures grises. Pour plusieurs classes d’occupations du sol un gain appréciable en temps de calcul des paramètres de texture peut être obtenu par l’utilisation des petites fenêtres de traitement. Des améliorations importantes sont escomptées pour atteindre des exactitudes de classification de 90% et plus par l’utilisation des fenêtres de calcul de taille variable adaptées à chaque type d’occupation du sol. Une méthode de classification hiérarchique pourrait être alors utilisée afin de séparer les classes recherchées une à la fois par rapport au reste au lieu d’une classification globale où l’intégration des paramètres calculés avec des fenêtres de taille variable conduirait inévitablement à des confusions entre classes. / Texture is a key element in interpreting remotely sensed images of fine spatial resolution. The integration of textural information in an automatic image-classification process is usually done via textural images, which are often created by calculating gray levels co-occurrences matrices (COM). A COM is a histogram of frequencies of pairs of pixel values present in local windows associated with all pixels in the used image; each pixel pair being formed using a given orientation and spacing. COM allows calculation for more than a dozen of parameters describing in various ways the frequency distribution, creating thus as many different textural images. Texture measurements approach based on COMs had been mainly applied on monochrome images (e.g. panchromatic, single polarisation and frequency radar images). In the case of multispectral images, a single spectral band, among those available, is usually chosen to generate texture images. The question we asked in this research concerns precisely this limited use of textural information in the case of multispectral images. In fact, the visual effect of a texture is created, not only by the spatial arrangement of variable objects/pixels brightness, but also of different colors. Several ways are suggested in the literature to introduce this concept of multi-dimensional texture. In this research, two of them were of particularly interested us. In the first way COMs are calculated spectral band by band and in the second one, generalized COMs are applied involving the joint use of two spectral bands. In the latter case, the pairs of pixel values are defined in two different spectral bands. This allows, in a single treatment, for a broad accounting of the "color" element composing a texture. These two approaches are called integrative techniques. To distinguish them, we call them respectively “gray textures” and “color textures”. Our research concerns the comparative analysis of the opportunities offered by applying these two types of textural signatures in the specific case of an automated land cover mapping using multispectral images. A textural signature of an object or class of objects, by analogy to spectral signatures, consists in a set of texture parameters measured; band by band (grey textures), or by pairs of bands (color textures).This research was designed not only to compare the two integrative approaches, but also to identify the components of textural signatures favouring the differentiation of land cover classes: texture parameters, window sizes and bands selection. To do this, a site within the territory of the Montreal Metropolitan Community (Longueuil) was chosen with a diversity of land covers representative of a semi-urban area. (residential, industrial / commercial, woodlots , agriculture, water bodies…). A SPOT-5 (4 spectral bands) image of 10m spatial resolution was used in this research. Since an infinite number of texture images can be created by varying the design parameters of COM, and to better define our problem, we have decided, taking into account studies published in this field: a) to vary the computation window from 3*3 to 21*21 pixels while setting the pixel spacing and direction to (1,1); that is to say, an spacing of 1 and an orientation of 135 ° between pairs of pixels. b) limit the COM analysis to eight texture parameters (contrast, correlation, standard deviation, energy, entropy, homogeneity, average, maximum probability), all of which are computable by the Unser’s fast-COM-approximation method, c) form the two textural signatures by the same number of elements chosen from a separability analysis (Bhattacharya distance) between land cover classes, and d) analyse the results (confusion matrices, accuracies, kappa) obtained using a maximum likelihood classification algorithm to conclude on the potential of both integrative approaches; classes to be recognized included: low and high density residential, commercial / industrial, agricultural, woodlots, turf (including golf) water bodies, clouds and their shadows. Our main conclusions are as follows a) except maximum probability, all other textural parameters are useful in the formation of textural signatures; mean and standard deviation are most useful in the formation of gray textures while contrast and correlation, are the best in the case of color textures b) the overall classification accuracy achieved an acceptable score (85%), only in the case of color textural signatures. This is a significant improvement compared to classifications based solely on spectral signatures, whose accuracies are often situated around 75%. This score is reached with windows size from about 11*11 to 15 * 15 pixels, c) Textural colors signatures offer higher scores, ranging from 5% to 10%, than those obtained by gray signatures. This is true while using the smaller process windows (5*5, 7*7, and occasionally 9*9) d) For several land cover classes examined individually, the accuracy is above 90% regardless of the used textural signatures e) Only one class is better separated from the rest by gray textures, the agricultural one; f) Classes creating a lot of confusion, which largely explains the overall classification score of 85 %, are the two residential classes (high and low density). As a final conclusion, we can say that the integrative approach by color textures provides a greater potential for mapping land covers using multispectral images than the integrative approach by gray textures. For several land cover classes an appreciable gain computing time of textural parameters may be obtained using smaller size windows. Significant improvements of the classification results (even better than 90%) are expected using calculation windows with sizes better adapted to each classes particular texture characteristics, A hierarchical classification method could then be used to separate each class at a time from all others, instead of a broad classification where the integration of parameters calculated with varying size windows, would inevitably lead to confusion between classes.