O monitoramento do meio ambiente e suas mudanças requer a análise de uma grade quantidade de imagens muitas vezes coletadas por satélites. No entanto, variações nos sinais devido a mudanças nas condições atmosféricas frequentemente resultam num deslocamento da distribuição dos dados para diferentes locais e datas. Isso torna difícil a distinção dentre as várias classes de uma base de dados construída a partir de várias imagens. Neste trabalho introduzimos uma nova abordagem de classificação supervisionada, chamada Classifica-Normaliza-Classifica (CNC), para amenizar o problema de deslocamento dos dados. A proposta é implementada usando dois classificadores. O primeiro é treinado em imagens não normalizadas de refletância de topo de atmosfera para distinguir dentre pixels de uma classe de interesse (CDI) e pixels de outras categorias (e.g. floresta versus não-floresta). Dada uma nova imagem de teste, o primeiro classificador gera uma segmentação das regiões da CDI e então um vetor mediano é calculado para os valores espectrais dessas áreas. Então, esse vetor é subtraído de cada pixel da imagem e portanto fixa a distribuição de dados de diferentes imagens num mesmo referencial. Finalmente, o segundo classificador, que é treinado para minimizar o erro de classificação em imagens já centralizadas pela mediana, é aplicado na imagem de teste normalizada no segundo passo para produzir a segmentação binária final. A metodologia proposta foi testada para detectar desflorestamento em pares de imagens co-registradas da Landsat 8 OLI sobre a floresta Amazônica. Experimentos usando imagens multiespectrais de refletância de topo de atmosfera mostraram que a CNC obteve maior acurácia na detecção de desflorestamento do que classificadores aplicados em imagens de refletância de superfície fornecidas pelo United States Geological Survey. As acurácias do método proposto também se mostraram superiores às obtidas pelas máscaras de desflorestamento do programa PRODES. / Monitoring natural environments and their changes over time requires the analysis of a large amount of image data, often collected by orbital remote sensing platforms. However, variations in the observed signals due to changing atmospheric conditions often result in a data distribution shift for different dates and locations making it difficult to discriminate between various classes in a dataset built from several images. This work introduces a novel supervised classification framework, called Classify-Normalize-Classify (CNC), to alleviate this data shift issue. The proposed scheme uses a two classifier approach. The first classifier is trained on non-normalized top-of-the-atmosphere reflectance samples to discriminate between pixels belonging to a class of interest (COI) and pixels from other categories (e.g. forest vs. non-forest). At test time, the estimated COI’s multivariate median signal, derived from the first classifier segmentation, is subtracted from the image and thus anchoring the data distribution from different images to the same reference. Then, a second classifier, pre-trained to minimize the classification error on COI median centered samples, is applied to the median-normalized test image to produce the final binary segmentation. The proposed methodology was tested to detect deforestation using bitemporal Landsat 8 OLI images over the Amazon rainforest. Experiments using top-of-the-atmosphere multispectral reflectance images showed that the deforestation was mapped by the CNC framework more accurately as compared to running a single classifier on surface reflectance images provided by the United States Geological Survey (USGS). Accuracies from the proposed framework also compared favorably with the benchmark masks of the PRODES program.

O monitoramento do meio ambiente e suas mudanças requer a análise de uma grade quantidade de imagens muitas vezes coletadas por satélites. No entanto, variações nos sinais devido a mudanças nas condições atmosféricas frequentemente resultam num deslocamento da distribuição dos dados para diferentes locais e datas. Isso torna difícil a distinção dentre as várias classes de uma base de dados construída a partir de várias imagens. Neste trabalho introduzimos uma nova abordagem de classificação supervisionada, chamada Classifica-Normaliza-Classifica (CNC), para amenizar o problema de deslocamento dos dados. A proposta é implementada usando dois classificadores. O primeiro é treinado em imagens não normalizadas de refletância de topo de atmosfera para distinguir dentre pixels de uma classe de interesse (CDI) e pixels de outras categorias (e.g. floresta versus não-floresta). Dada uma nova imagem de teste, o primeiro classificador gera uma segmentação das regiões da CDI e então um vetor mediano é calculado para os valores espectrais dessas áreas. Então, esse vetor é subtraído de cada pixel da imagem e portanto fixa a distribuição de dados de diferentes imagens num mesmo referencial. Finalmente, o segundo classificador, que é treinado para minimizar o erro de classificação em imagens já centralizadas pela mediana, é aplicado na imagem de teste normalizada no segundo passo para produzir a segmentação binária final. A metodologia proposta foi testada para detectar desflorestamento em pares de imagens co-registradas da Landsat 8 OLI sobre a floresta Amazônica. Experimentos usando imagens multiespectrais de refletância de topo de atmosfera mostraram que a CNC obteve maior acurácia na detecção de desflorestamento do que classificadores aplicados em imagens de refletância de superfície fornecidas pelo United States Geological Survey. As acurácias do método proposto também se mostraram superiores às obtidas pelas máscaras de desflorestamento do programa PRODES. / Monitoring natural environments and their changes over time requires the analysis of a large amount of image data, often collected by orbital remote sensing platforms. However, variations in the observed signals due to changing atmospheric conditions often result in a data distribution shift for different dates and locations making it difficult to discriminate between various classes in a dataset built from several images. This work introduces a novel supervised classification framework, called Classify-Normalize-Classify (CNC), to alleviate this data shift issue. The proposed scheme uses a two classifier approach. The first classifier is trained on non-normalized top-of-the-atmosphere reflectance samples to discriminate between pixels belonging to a class of interest (COI) and pixels from other categories (e.g. forest vs. non-forest). At test time, the estimated COI’s multivariate median signal, derived from the first classifier segmentation, is subtracted from the image and thus anchoring the data distribution from different images to the same reference. Then, a second classifier, pre-trained to minimize the classification error on COI median centered samples, is applied to the median-normalized test image to produce the final binary segmentation. The proposed methodology was tested to detect deforestation using bitemporal Landsat 8 OLI images over the Amazon rainforest. Experiments using top-of-the-atmosphere multispectral reflectance images showed that the deforestation was mapped by the CNC framework more accurately as compared to running a single classifier on surface reflectance images provided by the United States Geological Survey (USGS). Accuracies from the proposed framework also compared favorably with the benchmark masks of the PRODES program.

O monitoramento do meio ambiente e suas mudanças requer a análise de uma grade quantidade de imagens muitas vezes coletadas por satélites. No entanto, variações nos sinais devido a mudanças nas condições atmosféricas frequentemente resultam num deslocamento da distribuição dos dados para diferentes locais e datas. Isso torna difícil a distinção dentre as várias classes de uma base de dados construída a partir de várias imagens. Neste trabalho introduzimos uma nova abordagem de classificação supervisionada, chamada Classifica-Normaliza-Classifica (CNC), para amenizar o problema de deslocamento dos dados. A proposta é implementada usando dois classificadores. O primeiro é treinado em imagens não normalizadas de refletância de topo de atmosfera para distinguir dentre pixels de uma classe de interesse (CDI) e pixels de outras categorias (e.g. floresta versus não-floresta). Dada uma nova imagem de teste, o primeiro classificador gera uma segmentação das regiões da CDI e então um vetor mediano é calculado para os valores espectrais dessas áreas. Então, esse vetor é subtraído de cada pixel da imagem e portanto fixa a distribuição de dados de diferentes imagens num mesmo referencial. Finalmente, o segundo classificador, que é treinado para minimizar o erro de classificação em imagens já centralizadas pela mediana, é aplicado na imagem de teste normalizada no segundo passo para produzir a segmentação binária final. A metodologia proposta foi testada para detectar desflorestamento em pares de imagens co-registradas da Landsat 8 OLI sobre a floresta Amazônica. Experimentos usando imagens multiespectrais de refletância de topo de atmosfera mostraram que a CNC obteve maior acurácia na detecção de desflorestamento do que classificadores aplicados em imagens de refletância de superfície fornecidas pelo United States Geological Survey. As acurácias do método proposto também se mostraram superiores às obtidas pelas máscaras de desflorestamento do programa PRODES. / Monitoring natural environments and their changes over time requires the analysis of a large amount of image data, often collected by orbital remote sensing platforms. However, variations in the observed signals due to changing atmospheric conditions often result in a data distribution shift for different dates and locations making it difficult to discriminate between various classes in a dataset built from several images. This work introduces a novel supervised classification framework, called Classify-Normalize-Classify (CNC), to alleviate this data shift issue. The proposed scheme uses a two classifier approach. The first classifier is trained on non-normalized top-of-the-atmosphere reflectance samples to discriminate between pixels belonging to a class of interest (COI) and pixels from other categories (e.g. forest vs. non-forest). At test time, the estimated COI’s multivariate median signal, derived from the first classifier segmentation, is subtracted from the image and thus anchoring the data distribution from different images to the same reference. Then, a second classifier, pre-trained to minimize the classification error on COI median centered samples, is applied to the median-normalized test image to produce the final binary segmentation. The proposed methodology was tested to detect deforestation using bitemporal Landsat 8 OLI images over the Amazon rainforest. Experiments using top-of-the-atmosphere multispectral reflectance images showed that the deforestation was mapped by the CNC framework more accurately as compared to running a single classifier on surface reflectance images provided by the United States Geological Survey (USGS). Accuracies from the proposed framework also compared favorably with the benchmark masks of the PRODES program.

[pt] Os dados de observação da Terra são freqüentemente afetados pelo fenômeno de mudança de domínio. Mudanças nas condições ambientais, variabilidade geográfica e diferentes propriedades de sensores geralmente tornam quase impossível empregar classificadores previamente treinados para novos dados sem experimentar uma queda significativa na precisão da classificação. As técnicas de adaptação de domínio baseadas em modelos de aprendizado profundo têm se mostrado úteis para aliviar o problema da mudança de domínio. Trabalhos recentes nesta área fundamentam-se no treinamento adversárial para alinhar os atributos extraídos de imagens de diferentes domínios em um espaço latente comum. Outra forma de tratar o problema é empregar técnicas de translação de imagens e adaptá-las de um domínio para outro de forma que as imagens transformadas contenham características semelhantes às imagens do outro domínio. Neste trabalho, propõem-se abordagens de adaptação de domínio para tarefas de detecção de mudanças, baseadas em primeiro lugar numa técnica de traslação de imagens, Cycle-Consistent Generative Adversarial Network (CycleGAN), e em segundo lugar, num modelo de alinhamento de atributos: a Domain Adversarial Neural Network (DANN). Particularmente, tais técnicas foram estendidas, introduzindo-se restrições adicionais na fase de treinamento dos componentes do modelo CycleGAN, bem como um procedimento de pseudo-rotulagem não supervisionado para mitigar o impacto negativo do desequilíbrio de classes no DANN. As abordagens propostas foram avaliadas numa aplicação de detecção de desmatamento, considerando diferentes regiões na floresta amazônica e no Cerrado brasileiro (savana). Nos experimentos, cada região corresponde a um domínio, e a precisão de um classificador treinado com imagens e referências de um dos domínio (fonte) é medida na classificação de outro domínio (destino). Os resultados demonstram que as abordagens propostas foram bem sucedidas em amenizar o problema de desvio de domínio no contexto da aplicação alvo. / [en] Earth observation data are frequently affected by the domain shift phenomenon. Changes in environmental conditions, geographical variability and different sensor properties typically make it almost impossible to employ previously trained classifiers for new data without a significant drop in classification accuracy. Domain adaptation (DA) techniques based on Deep Learning models have been proven useful to alleviate domain shift. Recent improvements in DA technology rely on adversarial training to align features extracted from images of the different domains in a common latent space. Another way to face the problem is to employ image translation techniques, and adapt images from one domain in such a way that the transformed images contain characteristics that are similar to the images from the other domain. In this work two different DA approaches for change detection tasks are proposed, which are based on a particular image translation technique, the Cycle-Consistent Generative Adversarial Network (CycleGAN), and on a representation matching strategy, the Domain Adversarial Neural Network (DANN). In particular, additional constraints in the training phase of the original CycleGAN model components are proposed, as well as an unsupervised pseudo-labeling procedure, to mitigate the negative impact of class imbalance in the DANN-based approach. The proposed approaches were evaluated on a deforestation detection application, considering different sites in the Amazon rain-forest and in the Brazilian Cerrado (savanna) biomes. In the experiments each site corresponds to a domain, and the accuracy of a classifier trained with images and references from one (source) domain is measured in the classification of another (target) domain. The experimental results show that the proposed approaches are successful in alleviating the domain shift problem.

[pt] O desmatamento é uma das principais causas de redução da biodiversidade, mudança climática e outros fenômenos destrutivos. Assim, a detecção antecipada de desmatamento é de suma importância. Técnicas baseadas em imagens de satélite são uma das opções mais iteresantes para esta aplicação. No entanto, muitos trabalhos desenvolvidos incluem algumas operações manuais ou dependência de um limiar para identificar regiões que sofrem desmatamento ou não. Motivado por este cenário, a presente dissertação apresenta uma avaliação de métodos para detecção automática de desmatamento, especificamente de Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) e Support Vector Machine (SVM), o último tomado como baseline. Todos os métodos foram avaliados em regiões dos biomas brasileiros Amazônia e Cerrado. Duas imagens Landsat 8 adquiridas em diferentes datas foram utilizadas nos experimentos, e também o impacto do tamanho do conjunto de treinamento foi analisado. Os resultados demonstraram que as abordagens baseadas no Deep Learning superaram claramente o baseline SVM em termos de pontuação F1-score e Overrall Accuracy, com uma superioridade de SN e EF sobre CSVM e SVM. Da mesma forma, uma redução do efeito sal e pimenta nos mapas de mudança gerados foi notada devido, principalmente ao aumento de amostras nos conjuntos de treinamento. Finalmente, realizou-se uma análise visando avaliar como os métodos podem reduzir o esforço humano na inspeção visual das áreas desmatadas. / [en] Deforestation is one of the main causes of biodiversity reduction, climate change, among other destructive phenomena. Thus, early detection of deforestation processes is of paramount importance. Techniques based on satellite images are one of the most attractive options for this application. However, many works developed include some manual operations or dependency on a threshold to identify regions that suffer deforestation or not. Motivated by this scenario, the present dissertation presents an evaluation of methods for automatic deforestation detection, specifically Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) and Support Vector Machine (SVM), taken as the baseline. These methods were evaluated in regions of Brazilian Amazon and Cerrado Biomes. Two Landsat 8 images acquired at different dates were used in the experiments, and the impact of training set size was also analyzed. The results demonstrated that Deep Learning-based approaches clearly outperformed the SVM baseline in our approaches, both in terms of F1-score and Overall Accuracy, with the superiority of SN and EF over CSVM and SVM. In the same way, a reduction of the salt-and-pepper effect in the generated probabilistic change maps was noticed due, mainly, to the increase of samples in the training sets. Finally, an analysis was carried out to assess how the methods can reduce the time invested in the visual inspection of deforested areas.

[pt] O monitoramento oficial do desmatamento na Amazônia brasileira tem dependido tradicionalmente de especialistas humanos que avaliam visualmenteas imagens de sensoriamento remoto e rotulam cada pixel individual comodesmatamento ou não desmatamento. Essa metodologia é obviamente carae demorada devido à vasta área monitorada. A razão para não utilizar métodos totalmente automáticos para a tarefa é a necessidade da maior precisãopossível nos números oficiais de desmatamento. Neste trabalho é propostauma alternativa semi-automática baseada em aprendizagem profunda, naqual uma rede neural profunda é primeiro treinada com imagens existentes e referências de anos anteriores, e empregada para realizar detecção dedesmatamento em imagens recentes. Após a inferência, a incerteza nos resultados em nível de pixel da rede é estimada e assume-se que os resultadosda classificação com baixa incerteza podem ser confiáveis. As demais regiõesde alta incerteza, que correspondem a uma pequena porcentagem da áreade teste, são então submetidas à pós-classificação, por exemplo, um procedimento de auditoria realizado visualmente por um especialista humano.Desta forma, o esforço de etiquetagem manual é bastante reduzido.Investigamos várias estratégias de estimativa de incerteza, incluindo abordagens baseadas em confiança, Monte Carlo Dropout (MCD), conjuntosprofundos e aprendizagem evidencial, e avaliamos diferentes métricas de incerteza. Além disso, conduzimos uma análise abrangente para identificar ascaracterísticas das áreas florestais que contribuem para a elevada incerteza.Ilustramos as principais conclusões da análise em 25 polígonos selecionados em quatro locais-alvo, que exemplificam causas comuns de incerteza.Os sítios-alvo estão localizados em áreas de estudo desafiadoras nos biomasbrasileiros da Amazônia e do Cerrado. Através da avaliação experimental nesses locais, demonstramos que a metodologia semi-automática proposta atinge valores impressionantes de pontuação F1 que excedem 97 por cento, aomesmo tempo que reduz a carga de trabalho de auditoria visual para apenas 3 por cento da área alvo. O código desenvolvido para este estudo está disponível emhttps://github.com/DiMorten/deforestation_uncertainty. / [en] Official monitoring of deforestation in the Brazilian Amazon has relied traditionally on human experts who visually evaluate remote sensing images and label each individual pixel as deforestation or no deforestation. That methodology is obviously costly and time-consuming due to the vast monitored area. The reason for not using fully automatic methods for the task is the need for the highest possible accuracies in the authoritative deforestation figures. In this work, a semi-automatic, deep learning-based alternative is proposed, in which a deep neural network is first trained with existing images and references from previous years, and employed to perform deforestation detection on recent images. After inference, the uncertainty in the network s pixel-level results is estimated, and it is assumed that low-uncertainty classification results can be trusted. The remaining high-uncertainty regions, which correspond to a small percentage of the test area, are then submitted to post classification, e.g., an auditing procedure carried out visually by a human specialist. In this way, the manual labeling effort is greatly reduced. We investigate various uncertainty estimation strategies, including confidence-based approaches, Monte Carlo Dropout (MCD), deep ensembles and evidential learning, and evaluate different uncertainty metrics. Furthermore, we conduct a comprehensive analysis to identify the characteristics of forest areas that contribute to high uncertainty. We illustrate the main conclusions of the analysis upon 25 selected polygons on four target sites, which exemplify common causes of uncertainty. The target sites are located in challenging study areas in the Brazilian Amazon and Cerrado biomes. Through experimental evaluation on those sites, we demonstrate that the proposed semi-automated methodology achieves impressive F1-score values which exceeds 97 percent, while reducing the visual auditing workload to just 3 percent of the target area. The current code is available at https://github.com/DiMorten/deforestation_uncertainty.