Made available in DSpace on 2014-12-17T15:47:50Z (GMT). No. of bitstreams: 1 KarlianeMOV.pdf: 860257 bytes, checksum: 481ec0c73e057f9e2acea8211d919448 (MD5) Previous issue date: 2009-08-07 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / The objective of the researches in artificial intelligence is to qualify the computer to execute functions that are performed by humans using knowledge and reasoning. This work was developed in the area of machine learning, that it s the study branch of artificial intelligence, being related to the project and development of algorithms and techniques capable to allow the computational learning. The objective of this work is analyzing a feature selection method for ensemble systems. The proposed method is inserted into the filter approach of feature selection method, it s using the variance and Spearman correlation to rank the feature and using the reward and punishment strategies to measure the feature importance for the identification of the classes. For each ensemble, several different configuration were used, which varied from hybrid (homogeneous) to non-hybrid (heterogeneous) structures of ensemble. They were submitted to five combining methods (voting, sum, sum weight, multiLayer Perceptron and na?ve Bayes) which were applied in six distinct database (real and artificial). The classifiers applied during the experiments were k- nearest neighbor, multiLayer Perceptron, na?ve Bayes and decision tree. Finally, the performance of ensemble was analyzed comparatively, using none feature selection method, using a filter approach (original) feature selection method and the proposed method. To do this comparison, a statistical test was applied, which demonstrate that there was a significant improvement in the precision of the ensembles / As pesquisas em intelig?ncia artificial t?m como objetivo capacitar o computador a executar fun??es que s?o desempenhadas pelo ser humano usando conhecimento e racioc?nio. O presente trabalho foi desenvolvido dentro da ?rea de aprendizado de m?quina (AM), que ? um ramo de estudo da intelig?ncia artificial, sendo relacionado ao projeto e desenvolvimento de algoritmos e t?cnicas capazes de permitir o aprendizado computacional. O objetivo deste trabalho ? analisar um m?todo de sele??o de atributos em comit?s de classificadores. Esse m?todo, baseado em filtros, utilizou a vari?ncia e a correla??o de Spearman para ordenar os atributos e estrat?gias de recompensa e puni??o para medir a import?ncia de cada atributo na identifica??o das classes. Foram formados comit?s de classificadores tanto homog?neos quanto heterog?neos, e submetidos a cinco m?todos de combina??o de classificadores (voto, soma, soma ponderada, MLP e naive Bayes), os quais foram aplicados a seis bases de dados distintas (reais e artificiais). Os classificadores aplicados durante os experimentos foram k-nn, MLP, naive Bayes e ?rvore de decis?o. Por fim, foram analisados, comparativamente, o esempenho dos comit?s de classificadores utilizando nenhum m?todo de sele??o de atributos, utilizando um m?todo de sele??o de atributos padr?o baseado em filtro e o m?todo proposto (RecPun). Com base em um teste estat?stico, foi demonstrado que houve uma melhora significante na precis?o dos comit?s

Made available in DSpace on 2014-12-17T15:47:53Z (GMT). No. of bitstreams: 1 LigiaMMS_DISSERT.pdf: 1430923 bytes, checksum: 56e9de29de6907d7e9da54247e3af4ba (MD5) Previous issue date: 2010-10-14 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / Classifier ensembles are systems composed of a set of individual classifiers and a combination module, which is responsible for providing the final output of the system. In the design of these systems, diversity is considered as one of the main aspects to be taken into account since there is no gain in combining identical classification methods. The ideal situation is a set of individual classifiers with uncorrelated errors. In other words, the individual classifiers should be diverse among themselves. One way of increasing diversity is to provide different datasets (patterns and/or attributes) for the individual classifiers. The diversity is increased because the individual classifiers will perform the same task (classification of the same input patterns) but they will be built using different subsets of patterns and/or attributes. The majority of the papers using feature selection for ensembles address the homogenous structures of ensemble, i.e., ensembles composed only of the same type of classifiers. In this investigation, two approaches of genetic algorithms (single and multi-objective) will be used to guide the distribution of the features among the classifiers in the context of homogenous and heterogeneous ensembles. The experiments will be divided into two phases that use a filter approach of feature selection guided by genetic algorithm / Comit?s de classificadores s?o sistemas compostos por um conjunto de classificadores individuais e um m?dulo de combina??o, o qual ? respons?vel por fornecer a sa?da final do sistema. Para que esses sistemas apresentem melhor desempenho que um classificador simples, ? necess?rio que os componentes individuais n?o cometam erros nos mesmos padr?es. Por este motivo, a diversidade tem sido considerada um dos aspectos mais importantes no projeto desses sistemas, j? que n?o h? vantagem na combina??o de m?todos de classifica??o id?nticos. Uma forma de garantir diversidade ? atrav?s da constru??o de classificadores individuais a partir de diferentes conjuntos de treinamento (padr?es e/ou atributos). Nesse contexto, uma maneira de selecionar subconjuntos de atributos para os classificadores individuais ? atrav?s da utiliza??o de m?todos de sele??o de atributos. No entanto, na maioria das pesquisas, os m?todos de sele??o de atributos s?o aplicados apenas em comit?s de classificadores homog?neos, ou seja, comit?s compostos pelo mesmo tipo de classificador. Sendo assim, o objetivo deste trabalho ? analisar o comportamento desses m?todos na gera??o de comit?s de classificadores diversos, tanto homog?neos como heterog?neos. Para guiar a distribui??o dos atributos, entre os classificadores base, ser?o utilizadas duas abordagens de algoritmo gen?tico (mono-objetivo e multi-objetivo), usando diferentes fun??es de aptid?o. Para tanto, os experimentos ser?o divididos em duas fases, as quais usam uma abordagem filtro para a sele??o de atributos

Made available in DSpace on 2014-12-17T15:46:59Z (GMT). No. of bitstreams: 1 LauraEASS_TESE.pdf: 2447411 bytes, checksum: 3e442431965058383423623bc7751de0 (MD5) Previous issue date: 2012-02-02 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / Traditional applications of feature selection in areas such as data mining, machine learning and pattern recognition aim to improve the accuracy and to reduce the computational cost of the model. It is done through the removal of redundant, irrelevant or noisy data, finding a representative subset of data that reduces its dimensionality without loss of performance. With the development of research in ensemble of classifiers and the verification that this type of model has better performance than the individual models, if the base classifiers are diverse, comes a new field of application to the research of feature selection. In this new field, it is desired to find diverse subsets of features for the construction of base classifiers for the ensemble systems. This work proposes an approach that maximizes the diversity of the ensembles by selecting subsets of features using a model independent of the learning algorithm and with low computational cost. This is done using bio-inspired metaheuristics with evaluation filter-based criteria / A aplica??o tradicional da sele??o de atributos em diversas ?reas como minera??o de dados, aprendizado de m?quina e reconhecimento de padr?es visa melhorar a acur?cia dos modelos constru?dos com a base de dados, ao retirar dados ruidosos, redundantes ou irrelevantes, e diminuir o custo computacional do modelo, ao encontrar um subconjunto representativo dos dados que diminua sua dimensionalidade sem perda de desempenho. Com o desenvolvimento das pesquisas com comit?s de classificadores e a verifica??o de que esse tipo de modelo possui melhor desempenho que os modelos individuais, dado que os classificadores base sejam diversos, surge uma nova aplica??o ?s pesquisas com sele??o de atributos, que ? a de encontrar subconjuntos diversos de atributos para a constru??o dos classificadores base de comit?s de classificadores. O presente trabalho prop?e uma abordagem que maximiza a diversidade de comit?s de classificadores atrav?s da sele??o de subconjuntos de atributos utilizando um modelo independente do algoritmo de aprendizagem e de baixo custo computacional. Isso ? feito utilizando metaheur?sticas bioinspiradas com crit?rios de avalia??o baseados em filtro