Designing the Nearest Neighbor Classifiers via the VQ Method

none

This research proposes a methodology to improve computed individual prediction values provided by an existing regression model without having to change either its parameters or its architecture. In other words, we are interested in achieving more accurate results by adjusting the calculated regression prediction values, without modifying or rebuilding the original regression model. Our proposition is to adjust the regression prediction values using individual reliability estimates that indicate if a single regression prediction is likely to produce an error considered critical by the user of the regression. The proposed method was tested in three sets of experiments using three different types of data. The first set of experiments worked with synthetically produced data, the second with cross sectional data from the public data source UCI Machine Learning Repository and the third with time series data from ISO-NE (Independent System Operator in New England). The experiments with synthetic data were performed to verify how the method behaves in controlled situations. In this case, the outcomes of the experiments produced superior results with respect to predictions improvement for artificially produced cleaner datasets with progressive worsening with the addition of increased random elements. The experiments with real data extracted from UCI and ISO-NE were done to investigate the applicability of the methodology in the real world. The proposed method was able to improve regression prediction values by about 95% of the experiments with real data. / Esta pesquisa propõe uma metodologia para melhorar previsões calculadas por um modelo de regressão, sem a necessidade de modificar seus parâmetros ou sua arquitetura. Em outras palavras, o objetivo é obter melhores resultados por meio de ajustes nos valores computados pela regressão, sem alterar ou reconstruir o modelo de previsão original. A proposta é ajustar os valores previstos pela regressão por meio do uso de estimadores de confiabilidade individuais capazes de indicar se um determinado valor estimado é propenso a produzir um erro considerado crítico pelo usuário da regressão. O método proposto foi testado em três conjuntos de experimentos utilizando três tipos de dados diferentes. O primeiro conjunto de experimentos trabalhou com dados produzidos artificialmente, o segundo, com dados transversais extraídos no repositório público de dados UCI Machine Learning Repository, e o terceiro, com dados do tipo séries de tempos extraídos do ISO-NE (Independent System Operator in New England). Os experimentos com dados artificiais foram executados para verificar o comportamento do método em situações controladas. Nesse caso, os experimentos alcançaram melhores resultados para dados limpos artificialmente produzidos e evidenciaram progressiva piora com a adição de elementos aleatórios. Os experimentos com dados reais extraído das bases de dados UCI e ISO-NE foram realizados para investigar a aplicabilidade da metodologia no mundo real. O método proposto foi capaz de melhorar os valores previstos por regressões em cerca de 95% dos experimentos realizados com dados reais.

This research proposes a methodology to improve computed individual prediction values provided by an existing regression model without having to change either its parameters or its architecture. In other words, we are interested in achieving more accurate results by adjusting the calculated regression prediction values, without modifying or rebuilding the original regression model. Our proposition is to adjust the regression prediction values using individual reliability estimates that indicate if a single regression prediction is likely to produce an error considered critical by the user of the regression. The proposed method was tested in three sets of experiments using three different types of data. The first set of experiments worked with synthetically produced data, the second with cross sectional data from the public data source UCI Machine Learning Repository and the third with time series data from ISO-NE (Independent System Operator in New England). The experiments with synthetic data were performed to verify how the method behaves in controlled situations. In this case, the outcomes of the experiments produced superior results with respect to predictions improvement for artificially produced cleaner datasets with progressive worsening with the addition of increased random elements. The experiments with real data extracted from UCI and ISO-NE were done to investigate the applicability of the methodology in the real world. The proposed method was able to improve regression prediction values by about 95% of the experiments with real data. / Esta pesquisa propõe uma metodologia para melhorar previsões calculadas por um modelo de regressão, sem a necessidade de modificar seus parâmetros ou sua arquitetura. Em outras palavras, o objetivo é obter melhores resultados por meio de ajustes nos valores computados pela regressão, sem alterar ou reconstruir o modelo de previsão original. A proposta é ajustar os valores previstos pela regressão por meio do uso de estimadores de confiabilidade individuais capazes de indicar se um determinado valor estimado é propenso a produzir um erro considerado crítico pelo usuário da regressão. O método proposto foi testado em três conjuntos de experimentos utilizando três tipos de dados diferentes. O primeiro conjunto de experimentos trabalhou com dados produzidos artificialmente, o segundo, com dados transversais extraídos no repositório público de dados UCI Machine Learning Repository, e o terceiro, com dados do tipo séries de tempos extraídos do ISO-NE (Independent System Operator in New England). Os experimentos com dados artificiais foram executados para verificar o comportamento do método em situações controladas. Nesse caso, os experimentos alcançaram melhores resultados para dados limpos artificialmente produzidos e evidenciaram progressiva piora com a adição de elementos aleatórios. Os experimentos com dados reais extraído das bases de dados UCI e ISO-NE foram realizados para investigar a aplicabilidade da metodologia no mundo real. O método proposto foi capaz de melhorar os valores previstos por regressões em cerca de 95% dos experimentos realizados com dados reais.

Este trabalho fundamenta-se no conceito de máquina de comitê de redes neurais artificiais e tem por objetivo resolver o problema inverso de transferência radiativa em um meio unidimensional, homogêneo, absorvedor e espalhador isotrópico. A máquina de comitê de redes neurais artificiais agrega e combina o conhecimento adquirido por um certo número de especialistas aqui representados, individualmente, por cada uma das redes neurais artificiais (RNA) que compõem a máquina de comitê de redes neurais artificiais. O objetivo é atingir um resultado final melhor do que o obtido por qualquer rede neural artificial separadamente, selecionando-se apenas àquelas redes neurais artificiais que apresentam os melhores resultados na fase de generalização descartando-se as demais, o que foi feito neste trabalho. Aqui são utilizados dois modelos estáticos de máquinas de comitê, usando a média aritmética de conjunto, que se diferenciam entre si apenas na composição do combinador de saída de cada máquina de comitê. São obtidas, usando-se máquinas de comitê de redes neurais artificiais, estimativas para os parâmetros de transferência radiativa, isto é, a espessura óptica do meio, o albedo de espalhamento simples e as refletividades difusas. Finalmente, os resultados obtidos com ambos os modelos de máquina de comitê são comparados entre si e com aqueles encontrados usando-se apenas redes neurais artificiais do tipo perceptrons de múltiplas camadas (MLP), isoladamente. Aqui essas redes neurais artificiais são denominadas redes neurais especialistas, mostrando que a técnica empregada traz melhorias de desempenho e resultados a um custo computacional relativamente baixo. / This work is based on the concept of neural networks committee machine and has the objective to solve the inverse radiative transfer problem in one-dimensional, homogeneous, absorbing and isotropic scattering media. The artificial neural networks committee machine adds and combines the knowledge acquired by an exact number of specialists which are represented, individually, by each one of the artificial neural networks (ANN) that composes the artificial neural network committee machine. The aim is to reach a final result better than the one obtained by any of the artificial neural network separately, selecting only those artificial neural networks that presents the best results during the generalization phase and discarding the others, what was done in this present work. Here are used two static models of committee machines, using the ensemble arithmetic average, that differ between themselves only by the composition of the output combinator by each one of the committee machine. Are obtained, using artificial neural networks committee machines, estimates for the radiative transfer parameters, that is, medium optical thickness, single scattering albedo and diffuse reflectivities. Finally, the results obtained with both models of committee machine are compared between themselves and with those found using artificial neural networks type multi-layer perceptrons (MLP), isolated. Here that artificial neural networks are named as specialists neural networks, showing that the technique employed brings performance and results improvements with relatively low computational cost.

Este trabalho fundamenta-se no conceito de máquina de comitê de redes neurais artificiais e tem por objetivo resolver o problema inverso de transferência radiativa em um meio unidimensional, homogêneo, absorvedor e espalhador isotrópico. A máquina de comitê de redes neurais artificiais agrega e combina o conhecimento adquirido por um certo número de especialistas aqui representados, individualmente, por cada uma das redes neurais artificiais (RNA) que compõem a máquina de comitê de redes neurais artificiais. O objetivo é atingir um resultado final melhor do que o obtido por qualquer rede neural artificial separadamente, selecionando-se apenas àquelas redes neurais artificiais que apresentam os melhores resultados na fase de generalização descartando-se as demais, o que foi feito neste trabalho. Aqui são utilizados dois modelos estáticos de máquinas de comitê, usando a média aritmética de conjunto, que se diferenciam entre si apenas na composição do combinador de saída de cada máquina de comitê. São obtidas, usando-se máquinas de comitê de redes neurais artificiais, estimativas para os parâmetros de transferência radiativa, isto é, a espessura óptica do meio, o albedo de espalhamento simples e as refletividades difusas. Finalmente, os resultados obtidos com ambos os modelos de máquina de comitê são comparados entre si e com aqueles encontrados usando-se apenas redes neurais artificiais do tipo perceptrons de múltiplas camadas (MLP), isoladamente. Aqui essas redes neurais artificiais são denominadas redes neurais especialistas, mostrando que a técnica empregada traz melhorias de desempenho e resultados a um custo computacional relativamente baixo. / This work is based on the concept of neural networks committee machine and has the objective to solve the inverse radiative transfer problem in one-dimensional, homogeneous, absorbing and isotropic scattering media. The artificial neural networks committee machine adds and combines the knowledge acquired by an exact number of specialists which are represented, individually, by each one of the artificial neural networks (ANN) that composes the artificial neural network committee machine. The aim is to reach a final result better than the one obtained by any of the artificial neural network separately, selecting only those artificial neural networks that presents the best results during the generalization phase and discarding the others, what was done in this present work. Here are used two static models of committee machines, using the ensemble arithmetic average, that differ between themselves only by the composition of the output combinator by each one of the committee machine. Are obtained, using artificial neural networks committee machines, estimates for the radiative transfer parameters, that is, medium optical thickness, single scattering albedo and diffuse reflectivities. Finally, the results obtained with both models of committee machine are compared between themselves and with those found using artificial neural networks type multi-layer perceptrons (MLP), isolated. Here that artificial neural networks are named as specialists neural networks, showing that the technique employed brings performance and results improvements with relatively low computational cost.

Made available in DSpace on 2016-03-15T19:37:30Z (GMT). No. of bitstreams: 1 Mauro Ulisses Schneider.pdf: 1455677 bytes, checksum: 6eba28391f8f6910fbf5457a57119bd3 (MD5) Previous issue date: 2010-08-23 / Fundo Mackenzie de Pesquisa / The use of biometric systems has been widely stimulated by both the government and private entities to replace or improve traditional security systems. Biometric systems are becoming increasingly indispensable to protecting life and property, mainly due to its robustness, reliability, difficult to counterfeit and fast authentication. In real world applications, the devices for image acquisition and the environment are not always controlled and may under certain circumstances produce noisy images or with large variations in tonality, texture, geometry, hindering segmentation and consequently the authentication of the an individual. To deal effectively with such problems, this dissertation investigates the possibility of using committee machines combined with digital image processing techniques for iris segmentation. The components employed in the composition of the committee machines are support vector clustering, k-means and self organizing maps. In order to evaluate the performance of the tools developed in this dissertation, the experimental results obtained are compared with related works reported in the literature. Experiments on publicity available UBIRIS database indicate that committee machine can be successfully applied to the iris segmentation. / A utilização de sistemas biométricos vem sendo amplamente; incentivados pelo governo e entidades privadas a fim de substituir ou melhorar os sistemas de segurança tradicionais. Os sistemas biométricos são cada vez mais indispensáveis para proteger vidas e bens, sendo robustos, confiáveis, de difícil falsificação e rápida autenticação. Em aplicações de mundo real, os dispositivos de aquisição de imagem e o ambiente nem sempre são controlados, podendo em certas circunstâncias produzir imagens ruidosas ou com grandes variações na tonalidade, textura, geometria, dificultando a sua segmentação e por conseqüência a autenticação do indivíduo. Para lidar eficazmente com tais problemas, nesta dissertação é estudado o emprego de comitês de máquinas em conjunto com técnicas de processamento de imagens digitais para a segmentação da íris. Os componentes estudados na composição do comitê de máquinas são agrupamento por vetores-suporte, k-means e mapas auto- organizáveis. Para a avaliação do desempenho das ferramentas desenvolvidas neste trabalho, os resultados obtidos são comparados com trabalhos relacionados na literatura. Foi utilizada a base de dados pública UBIRIS disponível na internet.