[pt] Este trabalho propõe e avalia arquiteturas profundas para o reconhecimento de culturas agrícolas a partir de seqüências de imagens multitemporais de sensoriamento remoto. Essas arquiteturas combinam a capacidade de modelar contexto espacial prórpia de redes totalmente convolucionais com a capacidade de modelr o contexto temporal de redes recorrentes para a previsão prever culturas agrícolas em cada data de uma seqüência de imagens multitemporais. O desempenho destes métodos é avaliado em dois conjuntos de dados públicos. Ambas as áreas apresentam alta dinâmica espaçotemporal devido ao clima tropical/subtropical e a práticas agrícolas locais, como a rotação de culturas. Nos experimentos verificou-se que as arquiteturas propostas superaram os métodos recentes baseados em redes recorrentes em termos de Overall Accuracy (OA) e F1-score médio por classe. / [en] This work proposes and evaluates deep learning architectures for multi-date agricultural crop recognition from remote sensing image sequences. These architectures combine the spatial modelling capabilities of fully convolutional networks and the sequential modelling capabilities of recurrent networks into end-to-end architectures so-called fully convolutional recurrent networks, configured to predict crop type at multiple dates from a multitemporal image sequence. Their performance is assessed over two publicly available datasets. Both datasets present highly spatio-temporal dynamics due to their tropical/sub-tropical climate and local agricultural practices such as crop rotation. The experiments indicated that the proposed architectures outperformed state of the art methods based on recurrent networks in terms of Overall Accuracy (OA) and per-class average F1 score.

[pt] O desmatamento é uma das principais causas de redução da biodiversidade, mudança climática e outros fenômenos destrutivos. Assim, a detecção antecipada de desmatamento é de suma importância. Técnicas baseadas em imagens de satélite são uma das opções mais iteresantes para esta aplicação. No entanto, muitos trabalhos desenvolvidos incluem algumas operações manuais ou dependência de um limiar para identificar regiões que sofrem desmatamento ou não. Motivado por este cenário, a presente dissertação apresenta uma avaliação de métodos para detecção automática de desmatamento, especificamente de Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) e Support Vector Machine (SVM), o último tomado como baseline. Todos os métodos foram avaliados em regiões dos biomas brasileiros Amazônia e Cerrado. Duas imagens Landsat 8 adquiridas em diferentes datas foram utilizadas nos experimentos, e também o impacto do tamanho do conjunto de treinamento foi analisado. Os resultados demonstraram que as abordagens baseadas no Deep Learning superaram claramente o baseline SVM em termos de pontuação F1-score e Overrall Accuracy, com uma superioridade de SN e EF sobre CSVM e SVM. Da mesma forma, uma redução do efeito sal e pimenta nos mapas de mudança gerados foi notada devido, principalmente ao aumento de amostras nos conjuntos de treinamento. Finalmente, realizou-se uma análise visando avaliar como os métodos podem reduzir o esforço humano na inspeção visual das áreas desmatadas. / [en] Deforestation is one of the main causes of biodiversity reduction, climate change, among other destructive phenomena. Thus, early detection of deforestation processes is of paramount importance. Techniques based on satellite images are one of the most attractive options for this application. However, many works developed include some manual operations or dependency on a threshold to identify regions that suffer deforestation or not. Motivated by this scenario, the present dissertation presents an evaluation of methods for automatic deforestation detection, specifically Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) and Support Vector Machine (SVM), taken as the baseline. These methods were evaluated in regions of Brazilian Amazon and Cerrado Biomes. Two Landsat 8 images acquired at different dates were used in the experiments, and the impact of training set size was also analyzed. The results demonstrated that Deep Learning-based approaches clearly outperformed the SVM baseline in our approaches, both in terms of F1-score and Overall Accuracy, with the superiority of SN and EF over CSVM and SVM. In the same way, a reduction of the salt-and-pepper effect in the generated probabilistic change maps was noticed due, mainly, to the increase of samples in the training sets. Finally, an analysis was carried out to assess how the methods can reduce the time invested in the visual inspection of deforested areas.

[pt] Este trabalho propõe a comparação entre os dados do TerraClass 2004 e o Censo Agropecuário 2006 para analisar o uso de um na ausência do outro, para compreender o uso e cobertura do solo pela agropecuária na área de estudo. Através dos dados de uso e cobertura do solo do TerraClass 2004 e do Censo Agropecuário 2006, foi feita uma análise das áreas de cada classe que se enquadram como atividade agropecuária e uma comparação dessas áreas nas duas classificações. A análise utilizou o Sistema de Informação Geográfica (SIG) com imagens de satélite Landsat/TM 5 para auxiliar na análise visual qualitativa das classes e obter respostas sobre o uso e ocupação do solo no município de Lábrea. Foram escolhidos 16 setores censitários sobre os quais se tinha dados de classes referentes a agropecuária, analisando e percebendo uma variação percentual considerável em relação as duas classificações. A metodologia de comparação serviu para verificar que os métodos de aquisição dos dados do TerraClass 2004 e do Censo Agropecuário 2006 apresentam diferenças consideráveis nos resultados. Foram encontradas na classificação do TerraClass, através da análise qualitativa utilizando a imagem de satélite, dúvidas quanto a algumas classes sem vegetação, mas que não foram classificadas como atividade agropecuária, como desflorestamento, e essas consideradas duvidosas. Por fim, o presente trabalho conclui que não é adequado utilizar os dados do TerraClass na ausência do Censo Agropecuário, ou vice-versa, tendo em vista a disparidade encontrada em alguns dos setores censitários analisados. Sugere-se para trabalhos futuros um estudo específico para saber as causas das áreas desmatadas das classes consideradas duvidosas. / [en] This work proposes comparing data provided by 2004 s TerraClass and 2006 s Agribusiness Census, analyzing the validity of using one absent the other to comprehend the land cover in relation to said business within the studied area. The areas of the classes related to agribusiness were compared through the land cover reported in each classification. This analysis took place in a GIS environment with the use of Landsat/TM 5 to aid in the visual qualitative comparison of the data. The region of interest was the municipality of the Labrea district in the southern region of the Amazonas state. Sixteen census sector that showed agribusiness information were chose for the comparison of the percentages of area attributed to that business type. The variation of such areas was noteworthy and it was deemed that one should not use the two sources compared interchangeably as the information does not match. Moreover, some classes of the TerraClass classification stood out and regarded as uncertain – such as generic deflorestation and not forest – as, knowing the regions historical occupation and recent expansion of agribusiness, one would suspect that those are indeed related to the agents studied in this work.

[pt] Classificação de imagens é o processo de extração de informação em imagens digitais para reconhecimento de padrões e objetos homogêneos, que em sensoriamento remoto propõe-se a encontrar padrões entre os pixels pertencentes a uma imagem digital e áreas da superfície terrestre, para uma análise posterior por um especialista. Nesta dissertação, utilizamos a metodologia de aprendizado de máquina support vector machines para o problema de classificação de imagens, devido a possibilidade de trabalhar com grande quantidades de características. Construímos classificadores para o problema, utilizando imagens distintas que contém as informações de espaços de cores RGB e HSB, dos valores altimétricos e do canal infravermelho de uma região. Os valores de relevo ou altimétricos contribuíram de forma excelente nos resultados, uma vez que esses valores são características fundamentais de uma região e os mesmos não tinham sido analisados em classificação de imagens de sensoriamento remoto. Destacamos o resultado final, do problema de classificação de imagens, para o problema de identificação de piscinas com vizinhança dois. Os resultados obtidos são 99 por cento de acurácia, 100 por cento de precisão, 93,75 por cento de recall, 96,77 por cento de F-Score e 96,18 por cento de índice Kappa. / [en] Image Classification is an information extraction process in digital images for pattern and homogeneous objects recognition. In remote sensing it aims to find patterns from digital images pixels, covering an area of earth surface, for subsequent analysis by a specialist. In this dissertation, to this images classification problem we employ Support Vector Machines, a machine learning methodology, due the possibility of working with large quantities of features. We built classifiers to the problem using different image information, such as RGB and HSB color spaces, altimetric values and infrared channel of a region. The altimetric values contributed to excellent results, since these values are fundamental characteristics of a region and they were not previously considered in remote sensing images classification. We highlight the final result, for the identifying swimming pools problem, when neighborhood is two. The results have 99 percent accuracy, 100 percent precision, 93.75 percent of recall, 96.77 percent F-Score and 96.18 percent of Kappa index.

[pt] A crescente disponibilidade de dados de sensoriamento remoto vem criando novas oportunidades e desafios em aplicações de monitoramento de processos naturais e antropogénicos em escala global. Nos últimos anos, as técnicas de aprendizado profundo tornaram-se o estado da arte na análise de dados de sensoriamento remoto devido sobretudo à sua capacidade de aprender automaticamente atributos discriminativos a partir de grandes volumes de dados. Um dos problemas chave em análise de imagens é a segmentação semântica, também conhecida como rotulação de pixels. Trata-se de atribuir uma classe a cada sítio de imagem. As chamadas redes totalmente convolucionais de prestam a esta função. Os anos recentes têm testemunhado inúmeras propostas de arquiteturas de redes totalmente convolucionais que têm sido adaptadas para a segmentação de dados de observação da Terra. O presente trabalho avalias cinco arquiteturas de redes totalmente convolucionais que representam o estado da arte em segmentação semântica de imagens de sensoriamento remoto. A avaliação considera dados provenientes de diferentes plataformas: veículos aéreos não tripulados, aeronaves e satélites. Cada um destes dados refere-se a aplicações diferentes: segmentação de espécie arbórea, segmentação de telhados e desmatamento. O desempenho das redes é avaliado experimentalmente em termos de acurácia e da carga computacional associada. O estudo também avalia os benefícios da utilização do Campos Aleatórios Condicionais (CRF) como etapa de pósprocessamento para melhorar a acurácia dos mapas de segmentação. / [en] The increasing availability of remote sensing data has created new opportunities and challenges for monitoring natural and anthropogenic processes on a global scale. In recent years, deep learning techniques have become state of the art in remote sensing data analysis, mainly due to their ability to learn discriminative attributes from large volumes of data automatically. One of the critical problems in image analysis is the semantic segmentation, also known as pixel labeling. It involves assigning a class to each image site. The so-called fully convolutional networks are specifically designed for this task. Recent years have witnessed numerous proposals for fully convolutional network architectures that have been adapted for the segmentation of Earth observation data. The present work evaluates five fully convolutional network architectures that represent the state of the art in semantic segmentation of remote sensing images. The assessment considers data from different platforms: unmanned aerial vehicles, airplanes, and satellites. Three applications are addressed: segmentation of tree species, segmentation of roofs, and deforestation. The performance of the networks is evaluated experimentally in terms of accuracy and the associated computational load. The study also assesses the benefits of using Conditional Random Fields (CRF) as a post-processing step to improve the accuracy of segmentation maps.

[pt] As tecnologias de imageamento em três dimensões (3D) vêm tendo seu uso cada vez mais disseminado no meio acadêmico e no setor industrial, especialmente na forma de nuvens de pontos, uma representação matemática da geometria e superfície de um objeto ou área. No entanto, a obtenção desses dados pode ainda ser cara e demorada, reduzindo a eficiência de muitos procedimentos que são dependentes de um grande conjunto de nuvens de pontos, como a geração de datasets para treinamento de aprendizagem de máquina, cálculo de dossel florestal e inspeção submarina. Uma solução atualmente em voga é a criação de simuladores computacionais de sistemas de imageamento, realizando o escaneamento virtual de um cenário feito a partir de arquivos de objetos 3D. Este trabalho apresenta o desenvolvimento de um simulador de sistema LiDAR (light detection and ranging) baseado em algoritmos de rastreamento de raio com paralelismo (GPU raytracing), com o sensor virtual modelado por parâmetros metrológicos e calibrado por meio de comparação com um sensor real, juntamente com um gerador flexível de cenários virtuais. A combinação destas ferramentas no simulador resultou em uma geração robusta de nuvens de pontos sintéticas em cenários diversos, possibilitando a criação de datasets para uso em testes de conceitos, combinação de dados reais e virtuais, entre outras aplicações. / [en] Three dimensional (3D) imaging technologies have been increasingly used in academia and in the industrial sector, especially in the form of point clouds, a mathematical representation of the geometry and surface of an object or area. However, obtaining this data can still be expensive and time consuming, reducing the efficiency of many procedures dependent on a large set of point clouds, such as the generation of datasets for machine learning training, forest canopy calculation and subsea survey. A trending solution is the development of computer simulators for imaging systems, performing the virtual scanning of a scenario made from 3D object files. At the end of this process, synthetic point clouds are obtained. This work presents the development of a LiDAR system simulator (light detection and ranging) based on parallel ray tracing algorithms (GPU raytracing), with its virtual sensor modeled by metrological parameters. A way of calibrating the sensor is displayed, by comparing it with the measurements of a real LiDAR sensor, in addition to surveying error models to increase the realism of the virtual scan. A flexible scenario creator was also implemented to facilitate interaction with the user. The combination of these tools in the simulator resulted in a robust generation of synthetic point clouds in different scenarios, enabling the creation of datasets for use in concept tests, combining real and virtual data, among other applications.

[pt] No Brasil, o Rio de Janeiro é o único Estado com atribuição legal para demarcação de Faixas Marginais de Proteção, amparado pelo Decreto Estadual n.° 42.356/2010 que, para áreas urbanas consolidadas, permite aplicar limites inferiores aos limites mínimos do Código Florestal Brasileiro. As alterações das margens do rio Piabanha são relevantes devido à importância deste corpo hídrico para a melhoria da qualidade das águas do rio Paraíba do Sul que é o principal manancial de abastecimento do Estado do Rio de Janeiro. Por meio do sensoriamento remoto via satélites foi possível identificar que, entre o ano de 2006 e o ano de 2019 a degradação ambiental nas áreas que deixaram de integrar as Faixas Marginais de Proteção do rio Piabanha/RJ foi crescente, apesar de também ter sido identificada regeneração de algumas áreas que, entretanto, não superara o quantitativo de áreas desmatadas ou que poderiam ter sido recuperadas. Assim, pode-se concluir que a revisão do Decreto Estadual n. 42.356/2010 é necessária, o qual não deveria ter sido editado sem previsão de aplicação de instrumentos urbanísticos que considerasse a regeneração e a recuperação das áreas das margens dos corpos hídricos e sem que houvesse um planejamento urbano com alternativas locacionais voltadas às questões das ocupações irregulares e futuras. / [en] The areas on the margins of rivers, due to their hydrological, geological and ecological characteristics, need to be properly demarcated to be monitored and protected against human actions. In this context, the Protection Marginal Strips are of great importance and, thus, discussions about the norms that aim to protect these areas in urban environment become relevant, as many cities appear and grow along water courses without observing the land use and occupation regimes. In the State of Rio de Janeiro, the Instituto Estadual do Ambiente (INEA) uses to demarcate the Protection Marginal Strips of river minimum limits determined by State Decree 42.356/2010 that admits, for consolidated urban areas, lower limits than those established by the Brazilian Forest Code. The Piabanha River, that has its source in the Serra do Mar, in the municipality of Petrópolis, and flows into the municipality of Três Rios, was chosen as the object of work due to its importance as a tributary of the Paraíba do Sul River, one of the main sources of Rio de Janeiro. In addition, it has a large part of its extension in the mountainous region of the state, where flood events are frequent. Therefore, the technical-scientific approach of this work seeks to verify occurrences of removal of natural protection by deforestation and anthropic occupations in areas that have been excluded to Protection Marginal Strips of the Piabanha/RJ river, in consolidated urban areas, after the edition of the State Decree 42.356/2010, when it started to be applied in the demarcation of Protection Marginal Strips of waterbodies in the State of Rio de Janeiro.

[pt] O monitoramento oficial do desmatamento na Amazônia brasileira tem dependido tradicionalmente de especialistas humanos que avaliam visualmenteas imagens de sensoriamento remoto e rotulam cada pixel individual comodesmatamento ou não desmatamento. Essa metodologia é obviamente carae demorada devido à vasta área monitorada. A razão para não utilizar métodos totalmente automáticos para a tarefa é a necessidade da maior precisãopossível nos números oficiais de desmatamento. Neste trabalho é propostauma alternativa semi-automática baseada em aprendizagem profunda, naqual uma rede neural profunda é primeiro treinada com imagens existentes e referências de anos anteriores, e empregada para realizar detecção dedesmatamento em imagens recentes. Após a inferência, a incerteza nos resultados em nível de pixel da rede é estimada e assume-se que os resultadosda classificação com baixa incerteza podem ser confiáveis. As demais regiõesde alta incerteza, que correspondem a uma pequena porcentagem da áreade teste, são então submetidas à pós-classificação, por exemplo, um procedimento de auditoria realizado visualmente por um especialista humano.Desta forma, o esforço de etiquetagem manual é bastante reduzido.Investigamos várias estratégias de estimativa de incerteza, incluindo abordagens baseadas em confiança, Monte Carlo Dropout (MCD), conjuntosprofundos e aprendizagem evidencial, e avaliamos diferentes métricas de incerteza. Além disso, conduzimos uma análise abrangente para identificar ascaracterísticas das áreas florestais que contribuem para a elevada incerteza.Ilustramos as principais conclusões da análise em 25 polígonos selecionados em quatro locais-alvo, que exemplificam causas comuns de incerteza.Os sítios-alvo estão localizados em áreas de estudo desafiadoras nos biomasbrasileiros da Amazônia e do Cerrado. Através da avaliação experimental nesses locais, demonstramos que a metodologia semi-automática proposta atinge valores impressionantes de pontuação F1 que excedem 97 por cento, aomesmo tempo que reduz a carga de trabalho de auditoria visual para apenas 3 por cento da área alvo. O código desenvolvido para este estudo está disponível emhttps://github.com/DiMorten/deforestation_uncertainty. / [en] Official monitoring of deforestation in the Brazilian Amazon has relied traditionally on human experts who visually evaluate remote sensing images and label each individual pixel as deforestation or no deforestation. That methodology is obviously costly and time-consuming due to the vast monitored area. The reason for not using fully automatic methods for the task is the need for the highest possible accuracies in the authoritative deforestation figures. In this work, a semi-automatic, deep learning-based alternative is proposed, in which a deep neural network is first trained with existing images and references from previous years, and employed to perform deforestation detection on recent images. After inference, the uncertainty in the network s pixel-level results is estimated, and it is assumed that low-uncertainty classification results can be trusted. The remaining high-uncertainty regions, which correspond to a small percentage of the test area, are then submitted to post classification, e.g., an auditing procedure carried out visually by a human specialist. In this way, the manual labeling effort is greatly reduced. We investigate various uncertainty estimation strategies, including confidence-based approaches, Monte Carlo Dropout (MCD), deep ensembles and evidential learning, and evaluate different uncertainty metrics. Furthermore, we conduct a comprehensive analysis to identify the characteristics of forest areas that contribute to high uncertainty. We illustrate the main conclusions of the analysis upon 25 selected polygons on four target sites, which exemplify common causes of uncertainty. The target sites are located in challenging study areas in the Brazilian Amazon and Cerrado biomes. Through experimental evaluation on those sites, we demonstrate that the proposed semi-automated methodology achieves impressive F1-score values which exceeds 97 percent, while reducing the visual auditing workload to just 3 percent of the target area. The current code is available at https://github.com/DiMorten/deforestation_uncertainty.

[pt] Imagens óticas são frequentemente afetadas pela presença de nuvens. Com o objetivo de reduzir esses efeitos, diferentes técnicas de reconstrução foram propostas nos últimos anos. Uma alternativa comum é explorar dados de sensores ativos, como Radar de Abertura Sintética (SAR), dado que são pouco dependentes das condições atmosféricas e da iluminação solar. Por outro lado, as imagens SAR são mais difíceis de interpretar do que as imagens óticas, exigindo um tratamento específico. Recentemente, as Redes Adversárias Generativas Condicionais (cGANs - Conditional Generative Adversarial Networks) têm sido amplamente utilizadas para aprender funções de mapeamento que relaciona dados de diferentes domínios. Este trabalho, propõe um método baseado em cGANSs para sintetizar dados óticos a partir de dados de outras fontes, incluindo dados de múltiplos sensores, dados multitemporais e dados em múltiplas resoluções. A hipótese desse trabalho é que a qualidade das imagens geradas se beneficia do número de dados utilizados como variáveis condicionantes para a cGAN. A solução proposta foi avaliada em duas bases de dados. Foram utilizadas como variáveis condicionantes dados corregistrados SAR, de uma ou duas datas produzidos pelo sensor Sentinel 1, e dados óticos de sensores da série Sentinel 2 e LANDSAT, respectivamente. Os resultados coletados dos experimentos demonstraram que a solução proposta é capaz de sintetizar dados óticos realistas. A qualidade das imagens sintetizadas foi medida de duas formas: primeiramente, com base na acurácia da classificação das imagens geradas e, em segundo lugar, medindo-se a similaridade espectral das imagens sintetizadas com imagens de referência. Os experimentos confirmaram a hipótese de que o método proposto tende a produzir melhores resultados à medida que se exploram mais variáveis condicionantes para a cGAN. / [en] Optical images from Earth Observation are often affected by the presence of clouds. In order to reduce these effects, different reconstruction techniques have been proposed in recent years. A common alternative is to explore data from active sensors, such as Synthetic Aperture Radar (SAR), as they are nearly independent on atmospheric conditions and solar lighting. On the other hand, SAR images are more difficult to interpret than optical images, requiring specific treatment. Recently, conditional Generative Adversarial Networks (cGANs) have been widely used to learn mapping functions that relate data of different domains. This work proposes a method based on cGANs to synthesize optical data from data of other sources: data of multiple sensors, multitemporal data and data at multiple resolutions. The working hypothesis is that the quality of the generated images benefits from the number of data used as conditioning variables for cGAN. The proposed solution was evaluated in two databases. As conditioning data we used co-registered data from SAR at one or two dates produced by the Sentinel 1 sensor, and optical images produced by the Sentinel 2 and LANDSAT satellite series, respectively. The experimental results demonstrated that the proposed solution is able to synthesize realistic optical data. The quality of the synthesized images was measured in two ways: firstly, based on the classification accuracy of the generated images and, secondly, on the spectral similarity of the synthesized images with reference images. The experiments confirmed the hypothesis that the proposed method tends to produce better results as we explore more conditioning data for the cGANs.