[pt] Esta dissertação propõe uma metodologia baseada em Modelos de Markov Ocultos (Hidden Markov Models - HMM) para a classificação de culturas agrícolas, explorando informações de seqüências temporais de imagens dos sensores TM e ETM+/Landsat. O método reconhece os diferentes tipos de culturas agrícolas analisando os perfis espectrais em uma seqüência temporal de imagens de satélite de média resolução espacial ( aproximadamente 30m). Nesta abordagem, o comportamento temporal de cada classe de cultura é modelado por um HMM específico. A classificação é feita segmento-a-segmento, descritos por um vetor de atributos calculado como as médias espectrais dos pixels contidos no segmento em cada banda da imagem. Os vetores de atributos do segmento em cada imagem da seqüência de imagens são subseqüentemente submetidos aos HMMs de cada classe de cultura. O segmento é então associado à cultura cujo HMM correspondente gera a maior probabilidade de emitir a seqüência de valores espectrais observada. Os experimentos para análise foram conduzidos utilizando-se um conjunto de 12 imagens LANDSAT coregistradas e corrigidas radiometricamente. As imagens cobrem uma área do estado de São Paulo, Brasil, com aproximadamente 124.100ha, entre 2002 e 2004. As seguintes coberturas vegetais foram consideradas: cana de açúcar, soja, milho, pastagem e matagaleria. A avaliação do desempenho do método foi efetuada utilizando-se um conjunto de dados classificado visualmente por dois especialistas e validado por um extenso trabalho de campo. O desempenho do método de classificação multitemporal proposto foi comparado com o de um classificador monotemporal de máxima verossimilhança, e os resultados mostraram a superioridade notável do método baseado em HMM, o qual alcançou uma acurácia média de nada menos que 91% na identificação do tipo correto de cultura agrícola, para seqüências de dados contendo apenas uma única classe de cultura. / [en] This work proposes a Hidden Markov Model (HMM)-based methodology to classify agricultural crops, exploring information of temporal image sequences from TM and ETM+/Landsat sensors. HMMs are used to relate the varying spectral response along the crop cycle with plant phenology for different crop classes. The method recognizes different agricultural crops by analyzing their spectral profiles over a temporal sequence of medium resolution satellite images ( approximation 30m). In our approach the temporal behaviour of each crop class is modelled by a specific HMM. A segment- based classification is performed using the average spectral values of the pixels in each image segment across an image sequence, which is subsequently submitted to the HMMs of each crop class. The image segment is assigned to the crop class, whose corresponding HMM delivers the highest probability of emitting the observed sequence of spectral values. Experiments were conducted upon a set of 12 co-registered and radiometrically corrected LANDSAT images. The images cover an area of the State of São Paulo, Brazil with about 124.100ha, between the years 2002 and 2004. The following classes were considered: sugarcane, soybean, corn, pasture and riparian forest. Performance assessment was carried out upon a data set classified visually by two analysts and validated by extensive field work. The performance of the proposed multitemporal classification method was compared to that of a monotemporal maximum likelihood classifier, and the results indicated a remarkable superiority of the HMM-based method, which achieved an average of no less than 91% accuracy in the identification of the correct crop, for sequences of data containing a single crop class.

[pt] Esta dissertação faz uma comparação de três métodos de classificação em cascata de imagens multitemporais. Os classificadores se baseiam nas seguintes técnicas: (1) Máquina de Suporte Vetorial (SVM), (2) Modelos Ocultos de Markov (HMM) e (3) Cadeias de Markov Nebulosas(FMC). Para verificar a robustez dos modelos de classificação, introduziram-se nos dados de entrada outliers, avaliando-se assim, a robustez dos classificadores. Adicionalmente, avaliou-se o desempenho dos métodos quando a proporção de ocorrências de cada transição de classe no conjunto de treinamento difere da proporção no conjunto de teste. Determinou-se também qual o benefício do uso de conhecimento a priori sobre as transições possíveis. A análise experimental foi realizada sobre dois conjuntos de imagens de diferentes características, um par de imagens IKONOS do Rio de Janeiro, Brasil e um par de imagens LANDSAT7 de Alcinópolis, Mato Grosso do Sul. O estudo revelou que acurácia global das três abordagens tem um comportamento similar nos diferentes experimentos. Mostrou também que todas as três abordagens multitemporais apresentam desempenho superior aos seus homólogos monotemporais. / [en] This dissertation compares three cascade multitemporal image classification methods based on: (1) Support Vector Machines (SVM), (2) Hidden Markov Models (HMM) and (3) Fuzzy Markov Chains (FMC). The robustness of the classification models is verified, by introducing outliers in the data set. Additionally, performance of each method is evaluated when the number of occurrences of each class transition is different in the training and in the testing set. The gain of exploiting a prior knowledge regarding the admissible transitions in each target site is also investigated. The experimental analysis is conducted over two data sets with different characteristics; specifically a pair of IKONOS images of Rio de Janeiro and a pair of LANDSAT7 images of Alcinópolis, Mato Grosso do Sul. This study has concluded that the overall accuracy of the three approaches are similar through all experiments. The superiority ofthe multitemporal approaches over the monotemporal counterparts was confirmed.

[pt] A presente dissertação tem como objetivo avaliar um conjunto de técnicas de aprendizado profundo para o reconhecimento de culturas agrícolas a partir de sequências multitemporais de imagens SAR. Três métodos foram considerados neste estudo: Autoencoders (AEs), Convolutional Neural Networks (CNNs) and Fully Convolutional Networks (FCNs). A avaliação experimental baseou-se em duas bases de dados contendo sequências de imagens geradas pelo sensor Sentinel- 1A. A primeira base cobre uma região tropical e a segunda uma região de clima temperado. Em todos os casos, utilizouse como referência para comparação um classificador Random Forest (RF) operando sobre atributos de textura derivados de matrizes de co-ocorrência. Para a região de clima temperado que apresenta menor dinâmica agrícola as técnicas de aprendizado profundo produziram consistentemente melhores resultados do que a abordagem via RF, sendo AEs o melhor em praticamente todos os experimentos. Na região tropical, onde a dinâmica é mais complexa, as técnicas de aprendizado profundo mostraram resultados similares aos produzidos pelo método RF, embora os quatro métodos tenham se alternado como o de melhor desempenho dependendo do número e das datas das imagens utilizadas nos experimentos. De um modo geral, as RNCs se mostraram mais estáveis do que os outros métodos, atingindo o melhores resultado entre os métodos avaliados ou estando muito próximos destes em praticamente todos os experimentos. Embora tenha apresentado bons resultados, não foi possível explorar todo o potencial das RTCs neste estudo, sobretudo, devido à dificuldade de se balancear o número de amostras de treinamento entre as classes de culturas agrícolas presentes na área de estudo. A dissertação propõe ainda duas estratégias de pós-processamento que exploram o conhecimento prévio sobre a dinâmica das culturas agrícolas presentes na área alvo. Experimentos demonstraram que tais técnicas podem produzir um aumento significativo da acurácia da classificação, especialmente para culturas menos abundantes. / [en] The present dissertation aims to evaluate a set of deep learning (DL) techniques for crop mapping from multitemporal sequences of SAR images. Three methods were considered in this study: Autoencoders (AEs), Convolutional Neural Networks (CNNs) and Fully Convolutional Networks (FCNs). The analysis was based on two databases containing image sequences generated by the Sentinel-1A. The first database covers a temperate region that presents a comparatively simpler dynamics, and second database of a tropical region that represents a scenario with complex dynamics. In all cases, a Random Forest (RF) classifier operating on texture features derived from co-occurrence matrices was used as baseline. For the temperate region, DL techniques consistently produced better results than the RF approach, with AE being the best one in almost all experiments. In the tropical region the DL approaches performed similar to RF, alternating as the best performing one for different experimental setups. By and large, CNNs achieved the best or next to the best performance in all experiments. Although the FCNs have performed well, the full potential was not fully exploited in our experiments, mainly due to the difficulty of balancing the number of training samples among the crop types. The dissertation also proposes two post-processing strategies that exploit prior knowledge about the crop dynamics in the target site. Experiments have shown that such techniques can significantly improve the recognition accuracy, in particular for less abundant crops.