[pt] O objetivo genérico desta Tese foi o desenvolvimento de técnicas computacionais baseadas em conhecimento para apoiar a interpretação automática de dados de sensoriamento remoto multi-temporais, com ênfase na investigação da aquisição e representação explícita de conhecimento temporal, bem como na sua integração com outros tipos de conhecimento dentro do processo de interpretação. Dois objetivos específicos, inter-relacionados, foram perseguidos: (i) o desenvolvimento de um novo método de classificação baseado no conceito de cadeias nebulosas de Markov (CNM), que provê meios para a estimação de seus parâmetros temporais e para a utilização de conhecimento temporal no processo de classificação; e (ii) a modelagem e implementação de um ambiente baseado em conhecimento, de código livre, para a interpretação de dados de sensoriamento remoto. Para validar o novo método de classificação multitemporal, foram realizados experimentos voltados à interpretação de uma seqüência de três imagens LANDSAT de uma área na Região Centro-Oeste do Brasil, utilizando um método estocástico e outro analítico para a estimação das matrizes de transição de classes que compõem o modelo CNM. Enquanto os classificadores mono-temporais obtiveram uma acurácia média por classe de 55%, o esquema multi-temporal alcançou acurácias entre 63% e 94%. Resultados semelhantes em termos de acurácia global foram verificados. Além disso, quando comparado a abordagens multi-temporais correlatas, o método proposto obteve melhores resultados. De forma a validar o ambiente baseado em conhecimento aqui proposto, o método CNM foi implementado através de suas funcionalidades. Um conjunto de experimentos nos quais diferentes variações do método CNM, estruturadas no novo ambiente, foi executado satisfatoriamente. / [en] The general objective of this research was the development of knowledgebased computational techniques to support the interpretation of multitemporal remote sensing data, focusing on the investigation of the explicit representation of temporal knowledge and its integration to other types of knowledge; and also on the processing and acquisition of temporal knowledge. Two interrelated, specific objectives were pursued: (i) the development of a novel multitemporal classification method based on the concept of fuzzy Markov chain (FMC) that provides for the automatic estimation of its temporal related parameters and for the exploration of temporal knowledge in the classification process; and (ii) the design and implementation of an open-source, knowledge-based framework for multitemporal interpretation of remote sensing data. In order to validate the new multitemporal classification method, experiments were carried out aiming at the interpretation of a sequence of three LANDSAT images from the central region of Brazil, using both a stochastic and an analytical technique to estimate the class transition possibilities that compose the FMC model. While the monotemporal classifiers used in the experiments attained an average class accuracy of approximately 55%, the multitemporal scheme reached accuracies between 65% and 94%. Similar results in terms of overall accuracy were also observed. Furthermore, when compared to two alternative multitemporal classification approaches, the devised method consistently showed better results. In order to validate the proposed multitemporal framework, the FCM-based method was implemented using its temporal functionalities, and a number of experiments in which different variants of the FCM-based method were structured through the framework were successfully carried out.

[pt] O presente trabalho apresenta uma metodologia para modelagem do conhecimento multitemporal para a interpretação automática de imagens de sensores remotos. O procedimento de interpretação utilizado combina os conhecimentos multitemporal e espectral usando técnicas da lógica nebulosa. O método utiliza diagramas de transição de estado para representar as possibilidades de mudanças de classe dentro de um determinado intervalo de tempo. As possibilidades de mudança são estimadas a partir de dados históricos da mesma região usando algoritmos genéticos. O método foi validado experimentalmente usando como base um conjunto de imagens Landsat-5 da cidade do Rio de Janeiro, obtidas em 5 datas separadas por aproximadamente 4 anos. Os resultados experimentais indicaram que o uso do conhecimento multitemporal, conforme modelado pelo método proposto traz uma melhora importante de desempenho da classificação em comparação à classificação puramente espectral. / [en] The present work presents a methodology to model the multitemporal knowledge for the automatic interpretation of remotely sensed images. The used interpretation procedure combines the multitemporal and spectral knowledge using fuzzy logic techniques. This method uses state transition diagrams to represent the possibilities of class changes within a given time interval. The change possibilities are estimated based on historical data by using genetic algorithms. The method was validated by experiments using a set of Landsat-5 images of the Rio de Janeiro City, Brazil, acquired at 5 dates separated by approximately 4 years. The experimental results indicated that the use of the multitemporal knowledge as modeled by the proposed method brings an important performance improvement in comparison with the pure spectral classification.

[pt] O crescimento da população do planeta tem aumentado continuamente a demanda por produtos agrícolas. Assim, a informação quanto a áreas cultivadas e estimativas de produção se tornam cada vez mais importantes. Técnicas baseadas em imagens satelitais constituem uma das opções mais atrativas para o monitoramento agrícola sobre grandes áreas. A maior parte dos trabalhos científicos voltados a esta aplicação foram desenvolvidos para regiões temperadas do planeta, que apresentam um dinâmica muito mais simples da que se tem em regiões tropicais. Neste contexto, a presente tese propõe um novo método automático baseado em Campos Aleatórios Condicionais (CRF) para o reconhecimento de culturas agrícolas em regiões tropicais a partir de sequências de imagens multi-temporais e multiresolução produzidas por diferentes sensores orbitais. Experimentos foram realizados para validar diversas variantes do método proposto. Utilizaramse bases de dados públicas de duas regiões do Brasil que compreendem sequências de imagens óticas e de radar com diferentes resoluções espaciais. Os experimentos realizados demonstraram que o método proposto atingiu acurácias maiores do que métodos baseados em uma única imagem ou sensor. Particularmente, notou-se a redução do efeito sal-e-pimenta nos mapas gerados devido, mormente, à capacidade do método de capturar informação contextual. / [en] The earth population growth has continuously increased the demand for agricultural production. Thus, acreage and crop yield information become increasingly important. Techniques based on satellite images are one of the most attractive options for agricultural monitoring over large areas. Most of the scientific works on this application were developed for temperate regions of the planet, which present a much simpler dynamics than those in tropical regions. In this context, the present thesis proposes a new automatic method based on Conditional Random Fields (CRF) for the crop recognition in tropical regions from multi-temporal and multi-resolution image sequences from orbital multi-sensors. Experiments were performed to validate several variants of the proposed method. We used public databases from two regions of Brazil that comprise sequences of optical and radar images with different spatial resolutions. The experiments demonstrated that the proposed method achieved a higher accuracy than methods based on a single image or sensor. Particularly, the reduction of the salt-and-pepper effect in the generated maps was noticed due, mainly, to the capacity of the method to capture contextual information.

[pt] A paisagem costeira presente no Litoral Oriental do Maranhão tem como um de seus elementos campos de dunas móveis, compondo um ambiente dinâmico que expressa alterações significativas tanto espaciais quanto temporais. Como parte dessa paisagem, o litoral de Tutóia apresenta feições eólicas relativamente próximas à linha de costa resultantes da ação conjugada de ondas, correntes costeiras, ação fluvial, variações do nível do mar e fatores climáticos que contribuíram para a configuração da atual paisagem costeira ao longo do tempo. Por estar inserida na Área de Proteção Ambiental do Delta do Parnaíba, a área de estudo merece destaque por sua importância socioeconômica e ambiental, o que justifica o desenvolvimento de estudos que contribuam para um melhor entendimento dos processos e da dinâmica que atuam na região. O presente trabalho tem como principal objetivo identificar alterações que ocorreram na paisagem costeira do município de Tutóia (MA), associadas aos processos de erosão e progradação da linha de costa e a dinâmica de evolução do campo de dunas ao longo dos últimos 23 anos. Espera-se com isso contribuir para o melhor conhecimento da dinâmica do Litoral Oriental maranhense fornecendo informações que sirvam de subsidio para futuros projetos de preservação e ordenamento do uso e ocupação da zona costeira. Para o desenvolvimento da pesquisa foram analisadas imagens de satélite (1994 a 2017) e elaborado uma série temporal por meio de técnicas de geoprocessamento, como sensoriamento remoto e sistemas de informações geográficas (SIG). Os resultados implicam em um mapa da evolução multitemporal dos campos de dunas móveis, onde houve um aumento na velocidade de deslocamento das dunas e na erosão da linha de costa, o que possibilitou identificar a significativa influência da Zona de Convergência Intertropical (ZCIT), que quando submetida à anomalia Temperatura da Superfície do Mar (TMS) e ocorrência do El Niño, interfere na região Nordeste do Brasil, aumentando o período de escassez de chuvas e a intensidade dos ventos alísios, sendo estas as causas do aumento da velocidade de migrações de dunas nos períodos analisados. A presente dissertação reuniu importantes informações a respeito da dinâmica costeira local, principalmente em um trecho do litoral com escassez de informação, mas, é importante dar continuidade aos estudos desenvolvidos na área, aprofundando o conhecimento acerca do comportamento desses ambientes tendo em vista o planejamento das ações relacionadas aos processos de ocupação e exploração dos recursos naturais e que se almeje o desenvolvimento equilibrado, respeitando as intensa variabilidade do ambiente costeiro. / [en] The coastal landscape present in the Eastern Coast of Maranhão has dune fields as one of its elements, composing a dynamic environment that expresses significant spatial and temporal changes. As part of this landscape, the littoral of Tutóia exhibits eolian features relatively near to the coastline resulting from the combined action of waves, coastal currents, fluvial action, sea level variations and climatic factors that contributed to the current coastal landscape configuration over time. Being inserted in the Environmental Protection Area of Parnaíba Delta, the study area deserves attention because of its socioeconomic and environmental importance, which justifies the development of studies that contribute to a better understanding of the processes and dynamics that operate in the region. The present work main objective is to identify changes that occurred in the coastal landscape of Tutóia (MA) city, associated with the coastline erosion and progradation processes and the dune fields evolution dynamics over the last 23 years. It is expected to contribute to a better knowledge of the Eastern Coast of Maranhão dynamics by providing information that will serve as a subsidy for future preservation and planning the use and occupation projetcs of the coastal zone. For the research development, satellite images (1994 to 2017) were analyzed and a time series was elaborated through geoprocessing techniques such as remote sensing and geographic information systems (GIS). The results imply a multitemporal evolution map of the mobile dune fields, where had an increase on the dune displacement velocity and on the coastal line erosion, which allowed identifying the significant influence of the Intertropical Convergence Zone (ITCZ), which when subdued to the Sea Surface Temperature (SST) anomaly and the El Niño occurrence, interferes in Brazil northeast region, increasing the rain scarcity period and the trade winds intensity, being these the causes of the dune migration velocity increase in the analyzed period. The present dissertation gathered important information about the local coastal dynamics, especially in a stretch of the coast with scarce information, however, it is important to continue the studies developed in the area, deepening the knowledge about the behavior of these environments owing to the planning of actions related to the occupation and exploitation of natural resources processes and that a balanced development is craved, respecting the intense variability of the coastal environment.

[pt] A presente dissertação tem como objetivo avaliar um conjunto de técnicas de aprendizado profundo para o reconhecimento de culturas agrícolas a partir de sequências multitemporais de imagens SAR. Três métodos foram considerados neste estudo: Autoencoders (AEs), Convolutional Neural Networks (CNNs) and Fully Convolutional Networks (FCNs). A avaliação experimental baseou-se em duas bases de dados contendo sequências de imagens geradas pelo sensor Sentinel- 1A. A primeira base cobre uma região tropical e a segunda uma região de clima temperado. Em todos os casos, utilizouse como referência para comparação um classificador Random Forest (RF) operando sobre atributos de textura derivados de matrizes de co-ocorrência. Para a região de clima temperado que apresenta menor dinâmica agrícola as técnicas de aprendizado profundo produziram consistentemente melhores resultados do que a abordagem via RF, sendo AEs o melhor em praticamente todos os experimentos. Na região tropical, onde a dinâmica é mais complexa, as técnicas de aprendizado profundo mostraram resultados similares aos produzidos pelo método RF, embora os quatro métodos tenham se alternado como o de melhor desempenho dependendo do número e das datas das imagens utilizadas nos experimentos. De um modo geral, as RNCs se mostraram mais estáveis do que os outros métodos, atingindo o melhores resultado entre os métodos avaliados ou estando muito próximos destes em praticamente todos os experimentos. Embora tenha apresentado bons resultados, não foi possível explorar todo o potencial das RTCs neste estudo, sobretudo, devido à dificuldade de se balancear o número de amostras de treinamento entre as classes de culturas agrícolas presentes na área de estudo. A dissertação propõe ainda duas estratégias de pós-processamento que exploram o conhecimento prévio sobre a dinâmica das culturas agrícolas presentes na área alvo. Experimentos demonstraram que tais técnicas podem produzir um aumento significativo da acurácia da classificação, especialmente para culturas menos abundantes. / [en] The present dissertation aims to evaluate a set of deep learning (DL) techniques for crop mapping from multitemporal sequences of SAR images. Three methods were considered in this study: Autoencoders (AEs), Convolutional Neural Networks (CNNs) and Fully Convolutional Networks (FCNs). The analysis was based on two databases containing image sequences generated by the Sentinel-1A. The first database covers a temperate region that presents a comparatively simpler dynamics, and second database of a tropical region that represents a scenario with complex dynamics. In all cases, a Random Forest (RF) classifier operating on texture features derived from co-occurrence matrices was used as baseline. For the temperate region, DL techniques consistently produced better results than the RF approach, with AE being the best one in almost all experiments. In the tropical region the DL approaches performed similar to RF, alternating as the best performing one for different experimental setups. By and large, CNNs achieved the best or next to the best performance in all experiments. Although the FCNs have performed well, the full potential was not fully exploited in our experiments, mainly due to the difficulty of balancing the number of training samples among the crop types. The dissertation also proposes two post-processing strategies that exploit prior knowledge about the crop dynamics in the target site. Experiments have shown that such techniques can significantly improve the recognition accuracy, in particular for less abundant crops.

[pt] A cada dia mais e mais satélites de alta resolução têm se tornado disponíveis, criando grande demanda por novos métodos de interpretação baseados em conhecimento. Estes métodos emulam parcialmente o trabalho do especialista em análise visual de imagens. Nesse contexto, o presente trabalho apresenta um modelo de classificação baseado no conhecimento do especialista aplicado a imagens de alta resolução. O modelo de interpretação consiste de três fases. A primeira inclui o conhecimento espectral e a informação de textura. Na segunda fase dados de SIG (sistema de informação geográfico) são combinados com o resultado da análise espectral através de regras nebulosas. Na terceira e última fase é introduzido o conhecimento multitemporal através de uma estimativa das possibilidades de transição entre classes de uma mesma área em um dado intervalo de tempo. Para validação desse modelo experimentos foram realizados em imagens IKONOS e fotos aéreas de 1999, 2001 e de 2002 da área do Parque Estadual da Pedra Branca, que é um importante fragmento da Floresta Atlântica situado no estado do Rio de Janeiro, Brasil. / [en] New high resolution satellites for commercial purposes became available in the few years. This increases the need of new automatic knowledge based image interpretation methods. Such methods partially emulate the reasoning of an image analyst during the visual image interpretation. The present work falls into this context and proposes an automatic classification model for high resolution remotely sensed images. The model consists of three stages. In the first stage only spectral and textural information are used for classification. In the second stage GIS (geographic information system) data are combined with the result of the spectral analysis by means of fuzzy rules. In the third stage the multitemporal knowledge is introduced by estimating class transition possibilities within a given time span. To validate the proposed model experiments were performed based on IKONOS images from 2001 and 2002 as well as aerial photos from 1999 of the Pedra Branca Park, which is an important Atlantic Forest fragment in the State Rio de Janeiro in Southeast Brazil.

[pt] O presente trabalho apresenta a modelagem de conhecimento multitemporal para a classificação automática de cobertura do solo para imagens de satélite. O procedimento de classificação agrega os conhecimentos espectral e multitemporal utilizando conjuntos nebulosos e suas pertinências de classe como informação prévia. O método se baseia no conceito de Redes de Markov Nebulosas, um sistema com um conjunto de estados que a cada instante de tempo troca o estado corrente de acordo com possibilidades associadas a cada um. No caso deste trabalho cada estado representa uma classe, e as possibilidades são estimadas automaticamente a partir de dados históricos de uma mesma região geográfica, empregando algoritmos genéticos. A avaliação experimental utilizou um conjunto de imagens Landsat-5 da cidade do Rio de Janeiro, obtidas em cinco datas separadas por aproximadamente quatro anos. Os resultados indicaram que o uso do conhecimento multitemporal, conforme modelado pelo método proposto traz um significante aumento da eficiência de classificação em comparação à classificação puramente espectral, além de flexibilizar o procedimento de classificação no que diz respeito aos dados necessários para o treinamento do modelo. / [en] This work presents a multitemporal knowledge model for automatic classification of remotely sensed images. The model combines multitemporal and spectral knowledge within a fuzzy framework. This method is based on Fuzzy Markov Chains, a system having a set of states that, at each time, change the current state according to the fuzzy possibilities associated to each one. In this work each state represents one class, and the possibilities are automatically estimated based on historical data by using genetic algorithms. The experimental evaluation was carried through for a set of Landsat-5 TM images of the Rio de Janeiro State, Brazil, acquired at five dates separated by approximately four years. Results indicate that the use of multitemporal knowledge as modeled by the proposed method brings an expressive improvement in efficiency to the classification, when compared to the pure spectral classifier. Besides it, adds flexibility to the classification procedure, concerning to necessary data used for model training.

[pt] O estudo dos eventos naturais e dos gerados pela atividade humana no mar tem tido uma grande prioridade para o setor de petróleo, isso devido à possibilidade de ter um evento perigoso para o ambiente marinho ou a área de produção. Nesse contexto, o objetivo deste trabalho é a avaliação de abordagens baseadas em aprendizado profundo para a classificação de eventos no mar usando imagens de radar de abertura sintética na área de óleo e gás. Métodos baseados em aprendizado profundo têm mostrado um ótimo desempenho através do uso de camadas convolucionais, onde as características são extraídas automaticamente através da definição de um kernel e stride. As seguintes arquiteturas são avaliadas neste trabalho: Inception V3, Xception, Inception ResNet V2, MobileNet, VGG16 e Deep Attention sampling. A avaliação é feita em uma metodologia de classificação de eventos no mar usando duas bases de dados de imagens de radar: a primeira contém 10 eventos comumente presentes no oceano ártico, e a segunda descreve um derramamento de óleo presente na costa da Louisiana. Nos experimentos realizados se obteve os melhores resultados com as arquiteturas Deep Attention sampling as quais atingiram valores de f1-score e Recall de até 0.82 por cento e 0.87 por cento respectivamente, para a classe de interesse no conjunto de dados de derramamento de óleo. Para o conjuntode dados de eventos naturais no mar, um alto desempenho foi evidenciado para arquiteturas baseadas no uso de módulos de Inception, tendo pontuações mais altas de F1-score e Recall para a arquitetura Xception. Além disso, foi observado uma melhoria de até 10 por cento e 13 por cento nas métricas f1-score e Recall no uso da atenção, em relação à sua arquitetura base (VGG16), e 4 por cento respeito a outras arquiteturas baseadas em módulos Inception, isto para o conjunto de dados de eventos no mar, demonstrando as vantagens de usar amostragem com atenção. / [en] The study of natural events and those generated by human activity at sea has been a high priority for the Oil and Gas industry, due to the possibility of a dangerous event for the marine environment or the production area. In this context, the objective of this work is the evaluation of approaches based on deep learning for the classification of events in the sea using synthetic aperture radar images in the oil and gas area. Methods based on deep learning have shown an excellent performance through the use of convolutional layers, where the characteristics are extracted automatically through the definition of a kernel and stride. The following architectures are evaluated in this work: Inception V3, Xception, Inception ResNet V2, MobileNet, VGG16, and Deep Attention sampling. The assessment is made using a methodology for classifying events at sea using two radar image databases: the first contains 10 events commonly present in the Arctic Ocean, and the second describes an oil spill present near the Louisiana coast. In the experiments performed, the best results were obtained with the Deep Attention sampling architectures, which reached f1- score and Recall values of up to 0.82 a per cent nd 0.87 per cent respectively, for the class of interest in the oil spill dataset. For the dataset of natural events in the sea, high performance was evidenced for architectures based on the non-use of Inception modules, having higher values of F1-score and Recall for an Xception architecture. Also, an improvement of up to 10 per cent and 13 per cent in the metrics f1- score and recall in the use of attention was observed, concerning its base architecture (VGG16), and 4 per cent with other architectures based on Inception modules, this for the dataset of events at sea, demonstrating the advantages of using Attention Sampling carefully.

[pt] Este trabalho propõe e avalia arquiteturas profundas para o reconhecimento de culturas agrícolas a partir de seqüências de imagens multitemporais de sensoriamento remoto. Essas arquiteturas combinam a capacidade de modelar contexto espacial prórpia de redes totalmente convolucionais com a capacidade de modelr o contexto temporal de redes recorrentes para a previsão prever culturas agrícolas em cada data de uma seqüência de imagens multitemporais. O desempenho destes métodos é avaliado em dois conjuntos de dados públicos. Ambas as áreas apresentam alta dinâmica espaçotemporal devido ao clima tropical/subtropical e a práticas agrícolas locais, como a rotação de culturas. Nos experimentos verificou-se que as arquiteturas propostas superaram os métodos recentes baseados em redes recorrentes em termos de Overall Accuracy (OA) e F1-score médio por classe. / [en] This work proposes and evaluates deep learning architectures for multi-date agricultural crop recognition from remote sensing image sequences. These architectures combine the spatial modelling capabilities of fully convolutional networks and the sequential modelling capabilities of recurrent networks into end-to-end architectures so-called fully convolutional recurrent networks, configured to predict crop type at multiple dates from a multitemporal image sequence. Their performance is assessed over two publicly available datasets. Both datasets present highly spatio-temporal dynamics due to their tropical/sub-tropical climate and local agricultural practices such as crop rotation. The experiments indicated that the proposed architectures outperformed state of the art methods based on recurrent networks in terms of Overall Accuracy (OA) and per-class average F1 score.

[pt] O desmatamento é uma das principais causas de redução da biodiversidade, mudança climática e outros fenômenos destrutivos. Assim, a detecção antecipada de desmatamento é de suma importância. Técnicas baseadas em imagens de satélite são uma das opções mais iteresantes para esta aplicação. No entanto, muitos trabalhos desenvolvidos incluem algumas operações manuais ou dependência de um limiar para identificar regiões que sofrem desmatamento ou não. Motivado por este cenário, a presente dissertação apresenta uma avaliação de métodos para detecção automática de desmatamento, especificamente de Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) e Support Vector Machine (SVM), o último tomado como baseline. Todos os métodos foram avaliados em regiões dos biomas brasileiros Amazônia e Cerrado. Duas imagens Landsat 8 adquiridas em diferentes datas foram utilizadas nos experimentos, e também o impacto do tamanho do conjunto de treinamento foi analisado. Os resultados demonstraram que as abordagens baseadas no Deep Learning superaram claramente o baseline SVM em termos de pontuação F1-score e Overrall Accuracy, com uma superioridade de SN e EF sobre CSVM e SVM. Da mesma forma, uma redução do efeito sal e pimenta nos mapas de mudança gerados foi notada devido, principalmente ao aumento de amostras nos conjuntos de treinamento. Finalmente, realizou-se uma análise visando avaliar como os métodos podem reduzir o esforço humano na inspeção visual das áreas desmatadas. / [en] Deforestation is one of the main causes of biodiversity reduction, climate change, among other destructive phenomena. Thus, early detection of deforestation processes is of paramount importance. Techniques based on satellite images are one of the most attractive options for this application. However, many works developed include some manual operations or dependency on a threshold to identify regions that suffer deforestation or not. Motivated by this scenario, the present dissertation presents an evaluation of methods for automatic deforestation detection, specifically Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) and Support Vector Machine (SVM), taken as the baseline. These methods were evaluated in regions of Brazilian Amazon and Cerrado Biomes. Two Landsat 8 images acquired at different dates were used in the experiments, and the impact of training set size was also analyzed. The results demonstrated that Deep Learning-based approaches clearly outperformed the SVM baseline in our approaches, both in terms of F1-score and Overall Accuracy, with the superiority of SN and EF over CSVM and SVM. In the same way, a reduction of the salt-and-pepper effect in the generated probabilistic change maps was noticed due, mainly, to the increase of samples in the training sets. Finally, an analysis was carried out to assess how the methods can reduce the time invested in the visual inspection of deforested areas.