Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-17T00:51:51Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-22T14:06:59Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-22T18:09:14Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-22T18:12:24Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-22T19:44:22Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-23T11:57:14Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-23T12:57:55Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-23T13:16:31Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-23T13:34:43Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-23T17:24:54Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-23T17:29:01Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-24T12:05:23Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-24T12:39:43Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Submitted by Jéssyca Maria da Silva Pestana null (jessycapestana@gmail.com) on 2017-11-24T16:47:37Z No. of bitstreams: 1 d_pestana_jms.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Approved for entry into archive by ALESSANDRA KUBA OSHIRO null (alessandra@fct.unesp.br) on 2017-11-24T17:09:16Z (GMT) No. of bitstreams: 1 pestana_jms_me_prud.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) / Made available in DSpace on 2017-11-24T17:09:16Z (GMT). No. of bitstreams: 1 pestana_jms_me_prud.pdf: 5263535 bytes, checksum: 2a7e37fc45cf0d11dab98f86b0a91969 (MD5) Previous issue date: 2017-09-18 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / A integração de plataformas aéreas e terrestres representa uma solução promissora para diversas aplicações de mapeamento, como projetos rodoviários e ferroviários. Estes sistemas possuem características complementares que permitem a visualização de um objeto na superfície a partir de diferentes perspectivas, além de, quando combinados, minimizarem limitações presentes na utilização individual dos mesmos, como o alcance da região imageada (caso terrestre) e o nível de detalhe dos dados adquiridos (caso aéreo). O problema ao integrar estes sistemas está no estabelecimento de correspondência entre as imagens. A aquisição a partir de diferentes perspectivas gera imagens com geometrias muito diferentes, dificultando o processo de correspondência, de modo que os métodos existentes não consigam solucionar o problema de maneira satisfatória. Com esta motivação, o presente trabalho propõe uma metodologia para o estabelecimento de correspondência entre imagens aéreas e terrestres, baseada na alteração prévia da geometria destas imagens, sendo necessário o conhecimento da orientação das mesmas e de um Modelo Digital do Terreno (MDT). A metodologia parte de pontos bem definidos, identificados na imagem aérea, que são projetados para o terreno e então para a imagem terrestre, definindo origens para os recortes que serão projetados e, posteriormente, submetidos à busca por correspondência. O trabalho apresenta uma revisão do estado da arte no que diz respeito a soluções para o problema de correspondência entre imagens aéreas e terrestres, bem como verifica o desempenho de métodos já existentes na solução do problema. Os experimentos foram baseados em imagens reais adquiridas sobre rodovias. Os resultados obtidos validam a metodologia proposta, mostrando que, ainda que existam limitações, é possível o estabelecimento de correspondência entre imagens aéreas e terrestres, e que este pode ser realizado tanto por métodos baseados em características como por métodos baseados em área. / The integration of aerial and terrestrial platforms represents a promising solution for several mapping applications. These systems have complementary features that allow the visualization of an object on the surface from several perspectives, and, when combined, minimize existing limitations in each individual system, such as the range of the imaged region (terrestrial case) and the level of detail of the acquired data (aerial case). When integrating these systems, the main problem that arises is related to the establishment of corresponding images. The acquisition from different perspectives generates images with very different geometries, hampering the matching process, so that the existing methods cannot solve the problem satisfactorily. With this motivation, the present work proposes a methodology for the establishment of correspondences between aerial and terrestrial images, based on the previous alteration of the geometry of these images, being necessary the knowledge of their orientation and of a Digital Terrain Model (DTM). The methodology starts with well-defined points, identified in the aerial image, that are projected to the terrain and then to the terrestrial image, defining origins for the cutouts that will be projected and later submitted to the correspondence search. The work presents a review of the state of the art regarding solutions of the correspondence between aerial and terrestrial images problem, as well as verifies the performance of existing methods in the solution of the problem. The experiments were based on actual images acquires on highways. The results obtained validate the proposed methodology, showing that, although there are limitation, it is possible to establish correspondence between aerial and terrestrial images, and that this can be done either by feature based methods or by area based methods.

Submitted by Raquel Alves de Oliveira (raquel88@gmail.com) on 2017-12-07T10:06:49Z No. of bitstreams: 1 Oliveira_2017_TESE.pdf: 10400710 bytes, checksum: 4c4e6b235bd849c0d16074edea702847 (MD5) / Approved for entry into archive by ALESSANDRA KUBA OSHIRO null (alessandra@fct.unesp.br) on 2017-12-07T11:22:22Z (GMT) No. of bitstreams: 1 oliveira_ra_dr_prud.pdf: 10400710 bytes, checksum: 4c4e6b235bd849c0d16074edea702847 (MD5) / Made available in DSpace on 2017-12-07T11:22:23Z (GMT). No. of bitstreams: 1 oliveira_ra_dr_prud.pdf: 10400710 bytes, checksum: 4c4e6b235bd849c0d16074edea702847 (MD5) Previous issue date: 2017-06-29 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) / Recentemente, os sensores hiperespectrais miniaturizados entraram no mercado e alguns modelos adquirem bandas hiperespectrais com geometria de quadro, com a vantagem de serem também operados em veículos aéreos remotamente pilotados (VARP). As imagens deste tipo de câmara podem ser utilizadas para a geração de modelos digitais de superfície hiperespectral (MDSHs) de alta resolução, usando o VARP, sem a necessidade do registro de dados de diferentes sensores ou diferente datas de aquisição. MDSHs aumentam o conhecimento sobre os alvos, uma vez que permitem modelar a reflectância do alvo utilizando dados provenientes de diferentes direções. Neste trabalho, a câmara hiperespectral de quadro utilizada não adquire todas as bandas instantaneamente, causando um deslocamento entre as bandas devido ao movimento da plataforma. Os principais objetivos deste projeto foram estudar e desenvolver técnicas para a geração de MDSHs em áreas de florestas, investigando e avaliando as principais etapas para o processamento das imagens da câmara hiperespectral de quadro até a geração do MSDH. Considerando que a tecnologia da câmara baseia-se em filtros ajustáveis, o estudo avaliou: a auto-calibração da câmara, verificando o comportamento dos parâmetros de orientação interior em diferentes bandas espectrais; o corregistro das bandas através de transformações geométricas 2D; e a estimativa dos parâmetros de orientação exterior. Em relação à geração do MDS, uma abordagem baseada em correspondência de imagem no espaço do objeto foi desenvolvida, adaptando o método de busca em linha vertical (VLL) para a geração MDSH e foi nomeado como VLL hiperespectral (HVLL). Adicionalmente, o uso de imagens classificadas para a adaptação dos parâmetros de correspondência foi avaliado com o objetivo de melhorar o processo de correspondência para diferentes objetos (HVLLC). Posteriormente, foram utilizadas múltiplas bandas no processo de correspondência de imagens, dados como múltiplos ângulos de visada e informação espectral foram calculados simultaneamente ao processo de correspondência de imagens. A avaliação da qualidade foi realizada comparando-se os MDSs gerados com os produzidos por um software comercial e por dados Airborne Laser Scanning (ALS). Esta investigação demonstrou que a técnica proposta pode ser usada para a geração de modelos 3D integrados aos dados hiperespectrais multiangulares da câmara hiperespectral de quadro. A avaliação de todas as etapas demonstrou que esta tecnologia pode fornecer dados geométricos e espectrais precisos e os MDSHs resultantes possuem potencial para várias aplicações de sensoriamento remoto. / Recently, miniaturized hyperspectral sensors, operable from small Remotely Piloted Aerial Systems (RPAS), have entered the market and some of these sensors acquire hyperspectral bands in frame geometry. Images of the lightweight hyperspectral 2D frame camera can be used to generate high-resolution hyperspectral digital surface models (HDSMs), without the registration of data from different sensors or different dates of acquisition. HSDMs increase the knowledge about the targets since it allows modeling the target reflectance using data coming from different directions. In this study, the hyperspectral 2D frame camera used does not acquire all bands instantaneously, causing band misalignment due to the platform motion. The main aims of this project were to study and develop techniques for the generation of HDSMs in forest areas, studying and assessing the main steps to process the hyperspectral 2D frame camera images until the HDSM generation. Considering that the camera technology is based on tunable filters, the study have assessed the orientation and DSM generation steps: the self-calibrating bundle adjustment to verify the behaviour of the interior orientation parameters using different spectral bands; the co-registration of the bands using 2D geometric transformation; the exterior orientation parameter estimation. Regarding to the DSM generation, an approach based on object space image matching was developed, adapting the vertical line locus (VLL) method for HDSM generation, and was named as hyperspectral VLL (HVLL). Additionally, the use of image classification data was investigated in order to adapt the image matching parameters and improve the process of image matching for different objects (hyperspectral VLL classes - HVLLC). Further, multiple bands were used and the spectral and multiangular viewing geometry were computed simultaneously to the image matching method. Quality assessment was performed by comparing to DSMs generated to those produced by commercial software and also by Airborne Laser Scanning (ALS) data. This investigation demonstrated that the proposed technique can be used to generate integrated 3D information and multiangular hyperspectral data from hyperspectral 2D frame camera. The assessment of all steps showed that the hyperspectral 2D frame technology can provide accurate geometric and spectral data and the resulting HDSMs have potential for several remote sensing applications. / FAPESP: 2013/17787-3 / FAPESP: 2013/14444-0 / FAPESP: 2014/24844-6

Casamento de padrões de pontos é um problema fundamental em reconhecimento de padrões. O objetivo é encontrar uma correspondência entre dois conjuntos de pontos, associados a características relevantes de objetos ou entidades, mapeando os pontos de um conjunto no outro. Este problema está associado a muitas aplicações, como por exemplo, reconhecimento de objetos baseado em modelos, imagens estéreo, registro de imagens, biometria, entre outros. Para encontrar um mapeamento, os objetos são codificados por representações abstratas, codificando as características relevantes consideradas na comparação entre pares de objetos. Neste trabalho, objetos são representados por grafos, codificando tanto as características `locais\' quanto as relações espaciais entre estas características. A comparação entre objetos é guiada por uma formulação de atribuição quadrática, que é um problema NP-difícil. Para estimar uma solução, duas técnicas de casamento entre grafos são propostas: uma baseada em grafos auxiliares, chamados de grafos deformados; e outra baseada em representações `esparsas\', campos aleatórios de Markov e propagação de crenças. Devido as suas respectivas limitações, as abordagens são adequadas para situações específicas, conforme mostrado neste documento. Resultados envolvendo as duas abordagens são ilustrados em quatro importantes aplicações: casamento de imagens de gel eletroforese 2D, segmentação interativa de imagens naturais, casamento de formas, e colorização assistida por computador. / Point set matching is a fundamental problem in pattern recognition. The goal is to match two sets of points, associated to relevant features of objects or entities, by finding a mapping, or a correspondence, from one set to another set of points. This issue arises in many applications, e.g. model-based object recognition, stereo matching, image registration, biometrics, among others. In order to find a mapping, the objects can be encoded by abstract representations, carrying relevant features which are taken into account to compare pairs of objects. In this work, graphs are adopted to represent the objects, encoding their `local\' features and the spatial relations between these features. The comparison of two given objects is guided by a quadratic assignment formulation, which is NP-hard. In order to estimate the optimal solution, two approximations techniques, via graph matching, are proposed: one is based on auxiliary graphs, called deformed graphs; the other is based on `sparse\' representations, Markov random fields and belief propagation. Due to their respective limitations, each approach is more suitable to each specific situation, as shown in this document. The quality of the two approaches is illustrated on four important applications: 2D electrophoresis gel matching, interactive natural image segmentation, shape matching, and computer-assisted colorization.

Casamento de padrões de pontos é um problema fundamental em reconhecimento de padrões. O objetivo é encontrar uma correspondência entre dois conjuntos de pontos, associados a características relevantes de objetos ou entidades, mapeando os pontos de um conjunto no outro. Este problema está associado a muitas aplicações, como por exemplo, reconhecimento de objetos baseado em modelos, imagens estéreo, registro de imagens, biometria, entre outros. Para encontrar um mapeamento, os objetos são codificados por representações abstratas, codificando as características relevantes consideradas na comparação entre pares de objetos. Neste trabalho, objetos são representados por grafos, codificando tanto as características `locais\' quanto as relações espaciais entre estas características. A comparação entre objetos é guiada por uma formulação de atribuição quadrática, que é um problema NP-difícil. Para estimar uma solução, duas técnicas de casamento entre grafos são propostas: uma baseada em grafos auxiliares, chamados de grafos deformados; e outra baseada em representações `esparsas\', campos aleatórios de Markov e propagação de crenças. Devido as suas respectivas limitações, as abordagens são adequadas para situações específicas, conforme mostrado neste documento. Resultados envolvendo as duas abordagens são ilustrados em quatro importantes aplicações: casamento de imagens de gel eletroforese 2D, segmentação interativa de imagens naturais, casamento de formas, e colorização assistida por computador. / Point set matching is a fundamental problem in pattern recognition. The goal is to match two sets of points, associated to relevant features of objects or entities, by finding a mapping, or a correspondence, from one set to another set of points. This issue arises in many applications, e.g. model-based object recognition, stereo matching, image registration, biometrics, among others. In order to find a mapping, the objects can be encoded by abstract representations, carrying relevant features which are taken into account to compare pairs of objects. In this work, graphs are adopted to represent the objects, encoding their `local\' features and the spatial relations between these features. The comparison of two given objects is guided by a quadratic assignment formulation, which is NP-hard. In order to estimate the optimal solution, two approximations techniques, via graph matching, are proposed: one is based on auxiliary graphs, called deformed graphs; the other is based on `sparse\' representations, Markov random fields and belief propagation. Due to their respective limitations, each approach is more suitable to each specific situation, as shown in this document. The quality of the two approaches is illustrated on four important applications: 2D electrophoresis gel matching, interactive natural image segmentation, shape matching, and computer-assisted colorization.