Made available in DSpace on 2019-03-29T23:33:04Z (GMT). No. of bitstreams: 0
Previous issue date: 2012-07-27 / The selection of components in ensembles of classifiers is a very common activity in the
field of Machine Learning with several studies showing its effectiveness in obtaining significant gains in accuracy. However, the most studied classification task involves mutually exclusive labels (classes). The objective of this work is to present a study on the selection of components in ensembles of multi-label classifiers, whereby an instance can become associated with more than one label. Two search approaches for the component selection were used, one based on Genetic Algorithms and the other based on Hill Climbing. Conversely, two types of evaluation measures were adopted for ensemble selection: one based on multilabel accuracy measures and the other based on well known diversity measures for ensembles, which were modified to handle the multilabel case. Another selection approach was also conceived to assign different ensembles to different labels of the labelset. Specifically for generating the RAkEL components, 10 well known learning algorithms for inducing one-label classifiers were used, namely, Naïve Bayes, RBF Neural Networks, Support Vector Machines, J48, REP Tree, IBk, Decision Stump, OneR, PART, and Decision Table. A systematic empirical study was conducted on seven publicly available datasets, involving two ensemble models, each making use of one of the
well known multi-label classifiers RAkEL and ML-RBF. In general, the results achieved show that the ensembles produced via ensemble selection can yield better results than the full ensembles and some of their components. The ensemble selection type based on multilabel accuracy measures performed usually better than the other based on diversity measures. Finally, among the search procedures for conducting the selection, none has prevailed over the other.
Keywords: Machine Learning, Multi-label Classification, Ensembles, Ensemble Selection,
Diversity Measures, Genetic Algorithms, Hill Climbing. / A seleção de componentes em ensembles de classificadores é uma atividade muito comum
no campo de Aprendizado de Máquina, com vários estudos comprovando sua efetividade em obter maiores ganhos de acuidade. Contudo, a tarefa de classificação mais investigada é a de rótulos, ou classes, mutuamente exclusivos. Nesse contexto, o objetivo deste trabalho é apresentar um estudo sobre a seleção de componentes em ensembles de classificadores multirrótulo, em que uma instância (padrão, exemplo) pode ser associada a mais de um rótulo. Os procedimentos de seleção investigados utilizaram a abordagem evolucionária dos Algoritmos Genéticos e o método de busca gulosa Subida da Encosta. Dois tipos de medidas de avaliação foram adotados para a seleção dos componentes: enquanto o primeiro tipo inclui métricas de acuidade já propostas para o caso multirrótulo, o segundo envolve medidas bem conhecidas de diversidade em ensembles, as quais sofreram modificações para tratar problemas de classificação multirrótulo. Foi analisada também uma abordagem de seleção de componentes que atribui distintos ensembles para distintos rótulos do problema. Um estudo empírico sistemático foi conduzido com base em sete conjuntos de dados disponíveis publicamente e envolvendo dois arranjos de ensembles, cada um fazendo uso de um dos conhecidos classificadores multirrótulo RAkEL e ML-RBF. Especificamente para gerar os componentes do RAkEL, foram escolhidos 10 algoritmos conhecidos de indução de classificadores único-rótulo, quais sejam, Naïve Bayes, Redes
Neurais RBF, Máquinas de Vetores-Suporte, J48, REP Tree, IBk, Decision Stump, OneR, PART e Decision Table. Em geral, os resultados experimentais obtidos evidenciam que as diferentes abordagens de seleção de componentes podem melhorar o desempenho do novo ensemble em relação ao ensemble original e a alguns dos módulos-componentes. Dos tipos de seleção adotados, aquele que utilizou as métricas de acuidade geralmente apresentou os melhores resultados.
Por outro lado, dos procedimentos de busca para a seleção, não houve um que obtivesse maior destaque que o outro.
Palavras-chave: Aprendizado de Máquina, Classificação Multirrótulo, Ensembles, Seleção
de Componentes, Medida de Diversidade, Algoritmos Genéticos, Subida da Encosta.
| Identifer | oai:union.ndltd.org:IBICT/oai:dspace.unifor.br:tede/89772 |
| Date | 27 July 2012 |
| Creators | Costa, Nathanael de Castro |
| Contributors | Coelho, Andre Luis Vasconcelos, Farias, Pedro Porfírio Muniz, Coelho, Andre Luis Vasconcelos, Lima, Clodoaldo Aparecido de Moraes |
| Publisher | Universidade de Fortaleza, Mestrado Em Informática Aplicada, UNIFOR, Brasil, Centro de Ciências Tecnológicas |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da UNIFOR, instname:Universidade de Fortaleza, instacron:UNIFOR |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | 5443571202788449035, 500, 500, -7645770940771915222 |
Page generated in 0.0022 seconds