CRUZ, M. A. Avaliação de redes neurais competitivas em tarefas de quantização vetorial: um estudo comparativo. 2007. 119 f. Dissertação (Mestrado em Engenharia de Teleinformática) – Centro de Tecnologia, Universidade Federal do Ceará, Fortaleza, 2007. / Submitted by Marlene Sousa (mmarlene@ufc.br) on 2016-04-04T19:17:47Z
No. of bitstreams: 1
2007_dis_macruz.pdf: 2517117 bytes, checksum: adcb9ff5b0dbd38bb2c584d29fbb70df (MD5) / Approved for entry into archive by Marlene Sousa(mmarlene@ufc.br) on 2016-04-06T19:13:24Z (GMT) No. of bitstreams: 1
2007_dis_macruz.pdf: 2517117 bytes, checksum: adcb9ff5b0dbd38bb2c584d29fbb70df (MD5) / Made available in DSpace on 2016-04-06T19:13:24Z (GMT). No. of bitstreams: 1
2007_dis_macruz.pdf: 2517117 bytes, checksum: adcb9ff5b0dbd38bb2c584d29fbb70df (MD5)
Previous issue date: 2007-09-06 / The main goal of this master thesis was to carry out a comparative study of the performance of algorithms of unsupervised competitive neural networks in problems of vector quantization (VQ) tasks and related applications, such as cluster analysis and image compression. This study is mainly motivated by the relative scarcity of systematic comparisons between neural and nonneural algorithms for VQ in specialized literature. A total of seven algorithms are evaluated, namely: K-means, WTA, FSCL, SOM, Neural-Gas, FuzzyCL and RPCL. Of particular interest is the problem of selecting an adequate number of neurons given a particular vector quantization problem. Since there is no widespread method that works satisfactorily for all applications, the remaining alternative is to evaluate the influence that each type of evaluation metric has on a specific algorithm. For example, the aforementioned vector quantization algorithms are widely used in clustering-related tasks. For this type of application, cluster validation is based on indexes that quantify the degrees of compactness and separability among clusters, such as the Dunn Index and the Davies- Bouldin (DB) Index. In image compression tasks, however, a given vector quantization algorithm is evaluated in terms of the quality of the reconstructed information, so that the most used evaluation metrics are the mean squared quantization error (MSQE) and the peak signal-to-noise ratio (PSNR). This work verifies empirically that, while the indices Dunn and DB or favors architectures with many prototypes (Dunn) or with few prototypes (DB), metrics MSE and PSNR always favor architectures with well bigger amounts. None of the evaluation metrics cited previously takes into account the number of parameters of the model. Thus, this thesis evaluates the feasibility of the use of the Akaike’s information criterion (AIC) and Rissanen’s minimum description length (MDL) criterion to select the optimal number of prototypes. This type of evaluation metric indeed reveals itself useful in the search of the number of prototypes that simultaneously satisfies conflicting criteria, i.e. those favoring more compact and cohesive clusters (Dunn and DB indices) versus those searching for very low reconstruction errors (MSE and PSNR). Thus, the number of prototypes suggested by AIC and MDL is generally an intermediate value, i.e nor so low as much suggested for the indexes Dunn and DB, nor so high as much suggested one for metric MSE and PSNR. Another important conclusion is that sophisticated models, such as the SOM and Neural- Gas networks, not necessarily have the best performances in clustering and VQ tasks. For example, the algorithms FSCL and FuzzyCL present better results in terms of the the of the reconstructed information, with the FSCL presenting better cost-benefit ratio due to its lower computational cost. As a final remark, it is worth emphasizing that if a given algorithm has its parameters suitably tuned and its performance fairly evaluated, the differences in performance compared to others prototype-based algorithms is minimum, with the coputational cost being used to break ties. / Esta dissertação tem como principal meta realizar um estudo comparativo do desempenho de algoritmos de redes neurais competitivas não-supervisionadas em problemas de quantização vetorial (QV) e aplicações correlatas, tais como análise de agrupamentos (clustering) e compressão de imagens. A motivação para tanto parte da percepção de que há uma relativa escassez de estudos comparativos sistemáticos entre algoritmos neurais e não-neurais de análise de agrupamentos na literatura especializada. Um total de sete algoritmos são avaliados, a saber: algoritmo K -médias e as redes WTA, FSCL, SOM, Neural-Gas, FuzzyCL e RPCL. De particular interesse é a seleção do número ótimo de neurônios. Não há um método que funcione para todas as situações, restando portanto avaliar a influência que cada tipo de métrica exerce sobre algoritmo em estudo. Por exemplo, os algoritmos de QV supracitados são bastante usados em tarefas de clustering. Neste tipo de aplicação, a validação dos agrupamentos é feita com base em índices que quantificam os graus de compacidade e separabilidade dos agrupamentos encontrados, tais como Índice Dunn e Índice Davies-Bouldin (DB). Já em tarefas de compressão de imagens, determinado algoritmo de QV é avaliado em função da qualidade da informação reconstruída, daí as métricas mais usadas serem o erro quadrático médio de quantização (EQMQ) ou a relação sinal-ruído de pico (PSNR). Empiricamente verificou-se que, enquanto o índice DB favorece arquiteturas com poucos protótipos e o Dunn com muitos, as métricas EQMQ e PSNR sempre favorecem números ainda maiores. Nenhuma das métricas supracitadas leva em consideração o número de parâmetros do modelo. Em função disso, esta dissertação propõe o uso do critério de informação de Akaike (AIC) e o critério do comprimento descritivo mínimo (MDL) de Rissanen para selecionar o número ótimo de protótipos. Este tipo de métrica mostra-se útil na busca do número de protótipos que satisfaça simultaneamente critérios opostos, ou seja, critérios que buscam o menor erro de reconstrução a todo custo (MSE e PSNR) e critérios que buscam clusters mais compactos e coesos (Índices Dunn e DB). Como conseqüência, o número de protótipos obtidos pelas métricas AIC e MDL é geralmente um valor intermediário, i.e. nem tão baixo quanto o sugerido pelos índices Dunn e DB, nem tão altos quanto o sugerido pelas métricas MSE e PSNR. Outra conclusão importante é que não necessariamente os algoritmos mais sofisticados do ponto de vista da modelagem, tais como as redes SOM e Neural-Gas, são os que apresentam melhores desempenhos em tarefas de clustering e quantização vetorial. Os algoritmos FSCL e FuzzyCL são os que apresentam melhores resultados em tarefas de quantização vetorial, com a rede FSCL apresentando melhor relação custo-benefício, em função do seu menor custo computacional. Para finalizar, vale ressaltar que qualquer que seja o algoritmo escolhido, se o mesmo tiver seus parâmetros devidamente ajustados e seus desempenhos devidamente avaliados, as diferenças de performance entre os mesmos são desprezíveis, ficando como critério de desempate o custo computacional.
| Identifer | oai:union.ndltd.org:IBICT/oai:www.repositorio.ufc.br:riufc/16143 |
| Date | 06 September 2007 |
| Creators | Cruz, Magnus Alencar da |
| Contributors | Barreto, Guilherme de Alencar |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Repositório Institucional da UFC, instname:Universidade Federal do Ceará, instacron:UFC |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0061 seconds