Return to search

[en] END-TO-END CONVOLUTIONAL NEURAL NETWORK COMBINED WITH CONDITIONAL RANDOM FIELDS FOR CROP MAPPING FROM MULTITEMPORAL SAR IMAGERY / [pt] TREINAMENTO PONTA A PONTA DE REDES NEURAIS CONVOLUCIONAIS COMBINADAS COM CAMPOS ALEATÓRIOS CONDICIONAIS PARA O MAPEAMENTO DE CULTURAS A PARTIR DE IMAGENS SAR MULTITEMPORAIS

[pt] Imagens de sensoriamento remoto permitem o monitoramento e mapeamento de culturas de maneira precisa, apoiando práticas de agriculturaeficientes e sustentáveis com o objetivo de garantir a segurança alimentar.No entanto, a identificação do tipo de cultura a partir de dados de sensoriamento remoto em regiões tropicais ainda são consideradas tarefas comalto grau de dificuldade. As favoráveis condições climáticas permitem o uso,planejamento e o manejo da terra com maior flexibilidade, o que implica emculturas com dinâmicas mais complexas. Além disso, a presença constantede nuvens dificulta o uso de imagens ópticas, tornando as imagens de radar uma alternativa interessante para o mapeamento de culturas em regiõestropicais. Os modelos de campos aleatórios condicionais (CRFs) têm sidousados satisfatoriamente para explorar o contexto temporal e espacial naclassificação de imagens de sensoriamento remoto. Estes modelos oferecemuma alta precisão na classificação, no entanto, dependem de atributos extraídos manualmente com base em conhecimento especializado do domínio.Neste contexto, os métodos de aprendizado profundo, tais como as redesneurais convolucionais (CNNs), provaram ser uma alternativa robusta paraa classificação de imagens de sensoriamento, pois podem aprender atributosótimos diretamente dos dados. Este trabalho apresenta um modelo híbridobaseado em aprendizado profundo e CRF para o reconhecimento de culturas em áreas de regiões tropicais caracterizadas por ter uma dinâmicaespaço–temporal complexa. O framework proposto consiste em dois módulos: uma CNNs que modela o contexto espacial e temporal dos dados deentrada, e o CRF que modela a dinâmica temporal considerando a dependência entre rótulos para datas adjacentes. Estas dependências podem seraprendidas ou desenhadas por um especialista nas práticas de agriculturalocal. Comparações entre diferentes variantes de como modelar as transiçõestemporais são apresentadas usando sequências de imagens SAR de duas municipalidades no Brasil. Os experimentos mostraram melhorias significativasatingindo ate 30 por cento no F1 score por classe e ate 12 por cento no F1 score medio em relação ao modelo de base que não inclui dependências temporais duranteo processo de aprendizagem. / [en] Remote sensing imagery enables accurate crop mapping and monitoring,
supporting efficient and sustainable agricultural practices to ensure food
security. However, accurate crop type identification and crop area estimation from remote sensing data in tropical regions are still challenging tasks.
Compared to the characteristic conditions of temperate regions, the more
favorable weather conditions in tropical regions permit higher flexibility in
land use, planning, and management, which implies complex crop dynamics.
Moreover, the frequent cloud cover prevents the use of optical data during
large periods of the year, making SAR data an attractive alternative for
crop mapping in tropical regions. To exploit both spatial and temporal contex, conditional random fields (CRFs) models have been used successfully
in the classification of RS imagery. These approaches deliver high accuracies; however, they rely on features engineering manually designed based on
domain-specific knowledge. In this context, deep learning methods such as
convolutional neural networks (CNNs) proved to be a robust alternative for
remote sensing image classification, as they can learn optimal features and
classification parameters directly from raw data. This work introduces a novel end-to-end hybrid model based on deep learning and conditional random
fields for crop recognition in areas characterized by complex spatio-temporal
dynamics typical of tropical regions. The proposed framework consists of
two modules: a CNN that models spatial and temporal contexts from the
input data and a CRF that models temporal dynamics considering label dependencies between adjacent epochs. These dependencies can be learned or
designed by an expert in local agricultural practices. Comparisons between
data-driven and prior-knowledge temporal constraints are presented for two
municipalities in Brazil, using multi-temporal SAR image sequences. The
experiments showed significant improvements in per class F1 score of up
to 30 percent and up to 12 percent in average F1 score against a baseline model that
doesn t include temporal dependencies during the learning process.

Identiferoai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:66787
Date21 May 2024
CreatorsLAURA ELENA CUE LA ROSA
ContributorsRAUL QUEIROZ FEITOSA
PublisherMAXWELL
Source SetsPUC Rio
LanguageEnglish
Detected LanguagePortuguese
TypeTEXTO

Page generated in 0.0032 seconds