Reproduction de : Thèse d'Etat : mathématiques : Grenoble 1 : 1989. / Titre provenant de l'écran-titre. Notes bibliogr.

Thèse (Ph.D.)--Université Laval, 2008. / Bibliogr.: f. 147-156. Publié aussi en version électronique dans la Collection Mémoires et thèses électroniques.

Em cenas naturais, ocorrem com certa freqüência classes espectralmente muito similares, isto é, os vetores média são muito próximos. Em situações como esta, dados de baixa dimensionalidade (LandSat-TM, Spot) não permitem uma classificação acurada da cena. Por outro lado, sabe-se que dados em alta dimensionalidade [FUK 90] tornam possível a separação destas classes, desde que as matrizes covariância sejam suficientemente distintas. Neste caso, o problema de natureza prática que surge é o da estimação dos parâmetros que caracterizam a distribuição de cada classe. Na medida em que a dimensionalidade dos dados cresce, aumenta o número de parâmetros a serem estimados, especialmente na matriz covariância. Contudo, é sabido que, no mundo real, a quantidade de amostras de treinamento disponíveis, é freqüentemente muito limitada, ocasionando problemas na estimação dos parâmetros necessários ao classificador, degradando portanto a acurácia do processo de classificação, na medida em que a dimensionalidade dos dados aumenta. O Efeito de Hughes, como é chamado este fenômeno, já é bem conhecido no meio científico, e estudos vêm sendo realizados com o objetivo de mitigar este efeito. Entre as alternativas propostas com a finalidade de mitigar o Efeito de Hughes, encontram-se as técnicas de regularização da matriz covariância. Deste modo, técnicas de regularização para a estimação da matriz covariância das classes, tornam-se um tópico interessante de estudo, bem como o comportamento destas técnicas em ambientes de dados de imagens digitais de alta dimensionalidade em sensoriamento remoto, como por exemplo, os dados fornecidos pelo sensor AVIRIS. Neste estudo, é feita uma contextualização em sensoriamento remoto, descrito o sistema sensor AVIRIS, os princípios da análise discriminante linear (LDA), quadrática (QDA) e regularizada (RDA) são apresentados, bem como os experimentos práticos dos métodos, usando dados reais do sensor. Os resultados mostram que, com um número limitado de amostras de treinamento, as técnicas de regularização da matriz covariância foram eficientes em reduzir o Efeito de Hughes. Quanto à acurácia, em alguns casos o modelo quadrático continua sendo o melhor, apesar do Efeito de Hughes, e em outros casos o método de regularização é superior, além de suavizar este efeito. Esta dissertação está organizada da seguinte maneira: No primeiro capítulo é feita uma introdução aos temas: sensoriamento remoto (radiação eletromagnética, espectro eletromagnético, bandas espectrais, assinatura espectral), são também descritos os conceitos, funcionamento do sensor hiperespectral AVIRIS, e os conceitos básicos de reconhecimento de padrões e da abordagem estatística. No segundo capítulo, é feita uma revisão bibliográfica sobre os problemas associados à dimensionalidade dos dados, à descrição das técnicas paramétricas citadas anteriormente, aos métodos de QDA, LDA e RDA, e testes realizados com outros tipos de dados e seus resultados.O terceiro capítulo versa sobre a metodologia que será utilizada nos dados hiperespectrais disponíveis. O quarto capítulo apresenta os testes e experimentos da Análise Discriminante Regularizada (RDA) em imagens hiperespectrais obtidos pelo sensor AVIRIS. No quinto capítulo são apresentados as conclusões e análise final. A contribuição científica deste estudo, relaciona-se à utilização de métodos de regularização da matriz covariância, originalmente propostos por Friedman [FRI 89] para classificação de dados em alta dimensionalidade (dados sintéticos, dados de enologia), para o caso especifico de dados de sensoriamento remoto em alta dimensionalidade (imagens hiperespectrais). A conclusão principal desta dissertação é que o método RDA é útil no processo de classificação de imagens com dados em alta dimensionalidade e classes com características espectrais muito próximas. / The remote sensing analysis of natural scenes has been relying primarily on data collected by sensors that provide a relatively small number of spectral bands. In most of the cases, this low dimensional image data has proved capable of performing image data classification in an acceptable way. There are some cases, however, in which some or all of the classes involved are spectrally very similar, i.e., their mean vectors are nearly identical. In these cases, the low dimensional image data yield a very low classification accuracy. This problem may be solved by using high dimensional image data. It is well known that high dimensional image data allows for the separation of classes that are spectrally very similar , provided that their covariance matrices differ significantly. One problem with high dimensional data, however, is related to the estimation of the required parameters, specially the class covariance matrices. As the data dimension increases, so does the number of parameters to be estimated. In real world conditions, however, the sample size normally available for parameter estimation is limited, resulting in poor estimates for the parameters. This problem becomes apparent when one compares the classification accuracy against the data dimensionality. Initially the accuracy of the classifier tends to increase as the number of spectral bands increase, i.e., as the data dimensionality becomes larger. Eventually the accuracy peaks and as the data dimensionality continues to increase the classification accuracy tends to decrease. This pattern, known as the "Hughes Phenomenon" is caused by the gradual deterioration of the parameters estimation as the data dimensionality keeps increasing while the number of available training samples remains constant. One possible way to mitigate this problem consists in the procedure known as regularization of the covariance matrix. This procedure can be performed in two steps: (1) replacing the class covariance matrix by a linear combination of the class covariance matrix and the common covariance matrix for all classes involved in the process and (2) scaling the class covariance matrices to counter the bias that tend to estimate the small eigenvalues too small and the large eigenvalues too large. This bias occur whenever the number of training samples is too small compared with the data dimensionality. This study is concerned with the applications of the regularization techniques to remote sensing high dimensional image data such as the data provided by the AVIRIS sensor system. Methods using the conventional quadratic classifier (QDA) and the classifier implementing the regularized covariance matrices (RDA) are tested and compared. The experiments have shown that the regularization techniques were very efficient in mitigating the Hughes phenomenon. In some experiments, the maximum accuracy was obtained using the conventional quadratic classifier (QDA), with a smaller number of spectral bands. In other cases the regularized procedure (RDA) produced more accurate results at higher dimensionality having mitigated the Hughes phenomenon. The investigation of the behavior of the regularization procedure (RDA) in remote sensing image data constitutes the main contribution of this study. The regularization procedure, originally proposed by Friedman is shown to perform well in remote sensing digital image classification. The regularization procedure (RDA) seems to be capable of improving the accuracy of the classification procedure when high dimensional image data is used.

Em cenas naturais, ocorrem com certa freqüência classes espectralmente muito similares, isto é, os vetores média são muito próximos. Em situações como esta, dados de baixa dimensionalidade (LandSat-TM, Spot) não permitem uma classificação acurada da cena. Por outro lado, sabe-se que dados em alta dimensionalidade [FUK 90] tornam possível a separação destas classes, desde que as matrizes covariância sejam suficientemente distintas. Neste caso, o problema de natureza prática que surge é o da estimação dos parâmetros que caracterizam a distribuição de cada classe. Na medida em que a dimensionalidade dos dados cresce, aumenta o número de parâmetros a serem estimados, especialmente na matriz covariância. Contudo, é sabido que, no mundo real, a quantidade de amostras de treinamento disponíveis, é freqüentemente muito limitada, ocasionando problemas na estimação dos parâmetros necessários ao classificador, degradando portanto a acurácia do processo de classificação, na medida em que a dimensionalidade dos dados aumenta. O Efeito de Hughes, como é chamado este fenômeno, já é bem conhecido no meio científico, e estudos vêm sendo realizados com o objetivo de mitigar este efeito. Entre as alternativas propostas com a finalidade de mitigar o Efeito de Hughes, encontram-se as técnicas de regularização da matriz covariância. Deste modo, técnicas de regularização para a estimação da matriz covariância das classes, tornam-se um tópico interessante de estudo, bem como o comportamento destas técnicas em ambientes de dados de imagens digitais de alta dimensionalidade em sensoriamento remoto, como por exemplo, os dados fornecidos pelo sensor AVIRIS. Neste estudo, é feita uma contextualização em sensoriamento remoto, descrito o sistema sensor AVIRIS, os princípios da análise discriminante linear (LDA), quadrática (QDA) e regularizada (RDA) são apresentados, bem como os experimentos práticos dos métodos, usando dados reais do sensor. Os resultados mostram que, com um número limitado de amostras de treinamento, as técnicas de regularização da matriz covariância foram eficientes em reduzir o Efeito de Hughes. Quanto à acurácia, em alguns casos o modelo quadrático continua sendo o melhor, apesar do Efeito de Hughes, e em outros casos o método de regularização é superior, além de suavizar este efeito. Esta dissertação está organizada da seguinte maneira: No primeiro capítulo é feita uma introdução aos temas: sensoriamento remoto (radiação eletromagnética, espectro eletromagnético, bandas espectrais, assinatura espectral), são também descritos os conceitos, funcionamento do sensor hiperespectral AVIRIS, e os conceitos básicos de reconhecimento de padrões e da abordagem estatística. No segundo capítulo, é feita uma revisão bibliográfica sobre os problemas associados à dimensionalidade dos dados, à descrição das técnicas paramétricas citadas anteriormente, aos métodos de QDA, LDA e RDA, e testes realizados com outros tipos de dados e seus resultados.O terceiro capítulo versa sobre a metodologia que será utilizada nos dados hiperespectrais disponíveis. O quarto capítulo apresenta os testes e experimentos da Análise Discriminante Regularizada (RDA) em imagens hiperespectrais obtidos pelo sensor AVIRIS. No quinto capítulo são apresentados as conclusões e análise final. A contribuição científica deste estudo, relaciona-se à utilização de métodos de regularização da matriz covariância, originalmente propostos por Friedman [FRI 89] para classificação de dados em alta dimensionalidade (dados sintéticos, dados de enologia), para o caso especifico de dados de sensoriamento remoto em alta dimensionalidade (imagens hiperespectrais). A conclusão principal desta dissertação é que o método RDA é útil no processo de classificação de imagens com dados em alta dimensionalidade e classes com características espectrais muito próximas. / The remote sensing analysis of natural scenes has been relying primarily on data collected by sensors that provide a relatively small number of spectral bands. In most of the cases, this low dimensional image data has proved capable of performing image data classification in an acceptable way. There are some cases, however, in which some or all of the classes involved are spectrally very similar, i.e., their mean vectors are nearly identical. In these cases, the low dimensional image data yield a very low classification accuracy. This problem may be solved by using high dimensional image data. It is well known that high dimensional image data allows for the separation of classes that are spectrally very similar , provided that their covariance matrices differ significantly. One problem with high dimensional data, however, is related to the estimation of the required parameters, specially the class covariance matrices. As the data dimension increases, so does the number of parameters to be estimated. In real world conditions, however, the sample size normally available for parameter estimation is limited, resulting in poor estimates for the parameters. This problem becomes apparent when one compares the classification accuracy against the data dimensionality. Initially the accuracy of the classifier tends to increase as the number of spectral bands increase, i.e., as the data dimensionality becomes larger. Eventually the accuracy peaks and as the data dimensionality continues to increase the classification accuracy tends to decrease. This pattern, known as the "Hughes Phenomenon" is caused by the gradual deterioration of the parameters estimation as the data dimensionality keeps increasing while the number of available training samples remains constant. One possible way to mitigate this problem consists in the procedure known as regularization of the covariance matrix. This procedure can be performed in two steps: (1) replacing the class covariance matrix by a linear combination of the class covariance matrix and the common covariance matrix for all classes involved in the process and (2) scaling the class covariance matrices to counter the bias that tend to estimate the small eigenvalues too small and the large eigenvalues too large. This bias occur whenever the number of training samples is too small compared with the data dimensionality. This study is concerned with the applications of the regularization techniques to remote sensing high dimensional image data such as the data provided by the AVIRIS sensor system. Methods using the conventional quadratic classifier (QDA) and the classifier implementing the regularized covariance matrices (RDA) are tested and compared. The experiments have shown that the regularization techniques were very efficient in mitigating the Hughes phenomenon. In some experiments, the maximum accuracy was obtained using the conventional quadratic classifier (QDA), with a smaller number of spectral bands. In other cases the regularized procedure (RDA) produced more accurate results at higher dimensionality having mitigated the Hughes phenomenon. The investigation of the behavior of the regularization procedure (RDA) in remote sensing image data constitutes the main contribution of this study. The regularization procedure, originally proposed by Friedman is shown to perform well in remote sensing digital image classification. The regularization procedure (RDA) seems to be capable of improving the accuracy of the classification procedure when high dimensional image data is used.

Em cenas naturais, ocorrem com certa freqüência classes espectralmente muito similares, isto é, os vetores média são muito próximos. Em situações como esta, dados de baixa dimensionalidade (LandSat-TM, Spot) não permitem uma classificação acurada da cena. Por outro lado, sabe-se que dados em alta dimensionalidade [FUK 90] tornam possível a separação destas classes, desde que as matrizes covariância sejam suficientemente distintas. Neste caso, o problema de natureza prática que surge é o da estimação dos parâmetros que caracterizam a distribuição de cada classe. Na medida em que a dimensionalidade dos dados cresce, aumenta o número de parâmetros a serem estimados, especialmente na matriz covariância. Contudo, é sabido que, no mundo real, a quantidade de amostras de treinamento disponíveis, é freqüentemente muito limitada, ocasionando problemas na estimação dos parâmetros necessários ao classificador, degradando portanto a acurácia do processo de classificação, na medida em que a dimensionalidade dos dados aumenta. O Efeito de Hughes, como é chamado este fenômeno, já é bem conhecido no meio científico, e estudos vêm sendo realizados com o objetivo de mitigar este efeito. Entre as alternativas propostas com a finalidade de mitigar o Efeito de Hughes, encontram-se as técnicas de regularização da matriz covariância. Deste modo, técnicas de regularização para a estimação da matriz covariância das classes, tornam-se um tópico interessante de estudo, bem como o comportamento destas técnicas em ambientes de dados de imagens digitais de alta dimensionalidade em sensoriamento remoto, como por exemplo, os dados fornecidos pelo sensor AVIRIS. Neste estudo, é feita uma contextualização em sensoriamento remoto, descrito o sistema sensor AVIRIS, os princípios da análise discriminante linear (LDA), quadrática (QDA) e regularizada (RDA) são apresentados, bem como os experimentos práticos dos métodos, usando dados reais do sensor. Os resultados mostram que, com um número limitado de amostras de treinamento, as técnicas de regularização da matriz covariância foram eficientes em reduzir o Efeito de Hughes. Quanto à acurácia, em alguns casos o modelo quadrático continua sendo o melhor, apesar do Efeito de Hughes, e em outros casos o método de regularização é superior, além de suavizar este efeito. Esta dissertação está organizada da seguinte maneira: No primeiro capítulo é feita uma introdução aos temas: sensoriamento remoto (radiação eletromagnética, espectro eletromagnético, bandas espectrais, assinatura espectral), são também descritos os conceitos, funcionamento do sensor hiperespectral AVIRIS, e os conceitos básicos de reconhecimento de padrões e da abordagem estatística. No segundo capítulo, é feita uma revisão bibliográfica sobre os problemas associados à dimensionalidade dos dados, à descrição das técnicas paramétricas citadas anteriormente, aos métodos de QDA, LDA e RDA, e testes realizados com outros tipos de dados e seus resultados.O terceiro capítulo versa sobre a metodologia que será utilizada nos dados hiperespectrais disponíveis. O quarto capítulo apresenta os testes e experimentos da Análise Discriminante Regularizada (RDA) em imagens hiperespectrais obtidos pelo sensor AVIRIS. No quinto capítulo são apresentados as conclusões e análise final. A contribuição científica deste estudo, relaciona-se à utilização de métodos de regularização da matriz covariância, originalmente propostos por Friedman [FRI 89] para classificação de dados em alta dimensionalidade (dados sintéticos, dados de enologia), para o caso especifico de dados de sensoriamento remoto em alta dimensionalidade (imagens hiperespectrais). A conclusão principal desta dissertação é que o método RDA é útil no processo de classificação de imagens com dados em alta dimensionalidade e classes com características espectrais muito próximas. / The remote sensing analysis of natural scenes has been relying primarily on data collected by sensors that provide a relatively small number of spectral bands. In most of the cases, this low dimensional image data has proved capable of performing image data classification in an acceptable way. There are some cases, however, in which some or all of the classes involved are spectrally very similar, i.e., their mean vectors are nearly identical. In these cases, the low dimensional image data yield a very low classification accuracy. This problem may be solved by using high dimensional image data. It is well known that high dimensional image data allows for the separation of classes that are spectrally very similar , provided that their covariance matrices differ significantly. One problem with high dimensional data, however, is related to the estimation of the required parameters, specially the class covariance matrices. As the data dimension increases, so does the number of parameters to be estimated. In real world conditions, however, the sample size normally available for parameter estimation is limited, resulting in poor estimates for the parameters. This problem becomes apparent when one compares the classification accuracy against the data dimensionality. Initially the accuracy of the classifier tends to increase as the number of spectral bands increase, i.e., as the data dimensionality becomes larger. Eventually the accuracy peaks and as the data dimensionality continues to increase the classification accuracy tends to decrease. This pattern, known as the "Hughes Phenomenon" is caused by the gradual deterioration of the parameters estimation as the data dimensionality keeps increasing while the number of available training samples remains constant. One possible way to mitigate this problem consists in the procedure known as regularization of the covariance matrix. This procedure can be performed in two steps: (1) replacing the class covariance matrix by a linear combination of the class covariance matrix and the common covariance matrix for all classes involved in the process and (2) scaling the class covariance matrices to counter the bias that tend to estimate the small eigenvalues too small and the large eigenvalues too large. This bias occur whenever the number of training samples is too small compared with the data dimensionality. This study is concerned with the applications of the regularization techniques to remote sensing high dimensional image data such as the data provided by the AVIRIS sensor system. Methods using the conventional quadratic classifier (QDA) and the classifier implementing the regularized covariance matrices (RDA) are tested and compared. The experiments have shown that the regularization techniques were very efficient in mitigating the Hughes phenomenon. In some experiments, the maximum accuracy was obtained using the conventional quadratic classifier (QDA), with a smaller number of spectral bands. In other cases the regularized procedure (RDA) produced more accurate results at higher dimensionality having mitigated the Hughes phenomenon. The investigation of the behavior of the regularization procedure (RDA) in remote sensing image data constitutes the main contribution of this study. The regularization procedure, originally proposed by Friedman is shown to perform well in remote sensing digital image classification. The regularization procedure (RDA) seems to be capable of improving the accuracy of the classification procedure when high dimensional image data is used.

Made available in DSpace on 2014-06-12T18:03:36Z (GMT). No. of bitstreams: 2 arquivo7185_1.pdf: 1443935 bytes, checksum: 80e498e192d4886d4ef912d3c8bb8cb4 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2007 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / Desde que tecnologia da informação tornou-se essencial para muitas atividades da vida moderna e grandes conjuntos de dados surgiram junto com ela, mineração de dados tornou-se uma das mais importantes áreas de pesquisa na ciência estatística. Apesar de existirem muitos campos relacionados a mineração de dados, a tarefa de classificação ainda figura como uma das mais comuns na literatura estatística. Esta dissertação faz uma revisão de dois métodos clássicos de classificação, análise discriminante linear e quadrática, e um método não-paramétrico, a análise discriminante de núcleo. Experimentos de simulação e conjuntos de dados reais são utilizados para avaliar e comparar os três métodos de classificação. Também apresenta algumas contribuições relacionadas aos métodos boosting e bootstrap no contexto de classificação. A primeira contribuição trata-se de uma nova formulação para o método boosting em análise discriminante linear. Os resultados numéricos mostram que esta nova formulação tem desempenho similar à formulação usual. Entretanto, a nova formulação do método boosting é conceitualmente mais adequada. Dois métodos bootstrap para problemas de classificação são introduzidos e avaliados. O primeiro método bootstrap é utilizado para obter uma fronteira de classificação. O conceito de fronteira de classificação pode ser entendido como uma região onde é difícil alocar uma observação para uma das populações existentes. O segundo método bootstrap é um intervalo de confiança para a taxa de erro de classificação. Intervalos de confiança podem ser utilizados para comparar dois ou mais métodos de classificação na estrutura de inferência

Made available in DSpace on 2014-06-12T18:03:40Z (GMT). No. of bitstreams: 2 arquivo7186_1.pdf: 1869527 bytes, checksum: f88c1d6a52dd5f9a69ec334a408ad73a (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2007 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Desde que tecnologia da informação tornou-se essencial para muitas atividades da vida moderna e grandes conjuntos de dados surgiram junto com ela, mineração de dados tornou-se uma das mais importantes áreas de pesquisa na ciência estatística. Apesar de existirem muitos campos relacionados a mineração de dados, a tarefa de classificação ainda figura como uma das mais comuns na literatura estatística. Esta dissertação faz uma revisão de dois métodos clássicos de classificação, análise discriminante linear e quadrática, e um método não-paramétrico, a análise discriminante de núcleo. Experimentos de simulação e conjuntos de dados reais são utilizados para avaliar e comparar os três métodos de classificação. Também apresenta algumas contribuições relacionadas aos métodos boosting e bootstrap no contexto de classificação. A primeira contribuição trata-se de uma nova formulação para o método boosting em análise discriminante linear. Os resultados numéricos mostram que esta nova formulação tem desempenho similar à formulação usual. Entretanto, a nova formulação do método boosting é conceitualmente mais adequada. Dois métodos bootstrap para problemas de classificação são introduzidos e avaliados. O primeiro método bootstrap é utilizado para obter uma fronteira de classificação. O conceito de fronteira de classificação pode ser entendido como uma região onde é difícil alocar uma observação para uma das populações existentes. O segundo método bootstrap é um intervalo de confiança para a taxa de erro de classificação. Intervalos de confiança podem ser utilizados para comparar dois ou mais métodos de classificação na estrutura de inferência

Made available in DSpace on 2014-06-12T18:01:35Z (GMT). No. of bitstreams: 2 arquivo3760_1.pdf: 4016206 bytes, checksum: 79a180d77808032075487ee93517b7a6 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2008 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / A classificação supervisionada representa uma parte das técnicas empregadas no contexto de Data Mining, com crescente impacto nos estudos em várias áreas do conhecimento, possibilitado pelo crescimento exponencial da capacidade de processamento e disponibilidade de recursos computacionais. Além do fato que já existem várias técnicas bem conhecidas e estabelecidas na literatura, a importância desta área exige esforços contínuos no sentido da comparação de performance de diferentes métodos, e da sua aplicabilidade aos diferentes tipos de dados, bem como propostas de novas metodologias que poderão contribuir para o estado da arte atual. Esta dissertação apresenta um novo método de classificação, o método de potencial. Este método é construído com base em conceitos da física, através do mapeamento de observações no espaço p-dimensional dos dados para o sistema virtual de partículas interagentes no espaço Euclidiano p-dimensional. O método é formalizado com todos os detalhes necessários para a definição da regra de classificação com base na teoria de decisão de Bayes. As características mais relevantes do método também são apresentadas. O método de núcleo é utilizado para comparação com o método de potencial por apresentar boas propriedades e ser bastante difundido e estudado no meio acadêmico. Os dois métodos se diferenciam basicamente pela forma funcional com que estimam as densidades que são utilizadas para se construir a regra de classificação. Os classificadores propostos pelos métodos são então avaliados com respeito a discriminabilidade da regra de decisão para dados reais e simulados, respectivamente, através das técnicas bootstrap e holdout. O estudo atual, além de ser longe de ser completo, mostra que o desempenho dos métodos é semelhante na maioria dos casos, mas que por outro lado existem situações quando cada um deles tem vantagens em relação ao outro

Thèse de doctorat : Automatique et informatique industrielle : Lille 1 : 2000. / Résumé en français et en anglais. Bibliogr. p. 217-226. Index.

Thèse (Ph. D.)--Université Laval, 2004. / Titre de l'écran-titre (visionné le 12 juillet 2005). Thèse présentée en cotutelle: Faculté des sciences et de génie, Université Laval & Institut de physique nucléaire de Lyon, Université Claude Bernard Lyon-1. Bibliogr.