Made available in DSpace on 2014-12-17T14:56:07Z (GMT). No. of bitstreams: 1 NaiyanHCL_DISSERT.pdf: 1452285 bytes, checksum: 018fb1e8fa51e8f7094cce68a18c6c73 (MD5) Previous issue date: 2012-08-13 / Reinforcement learning is a machine learning technique that, although finding a large number of applications, maybe is yet to reach its full potential. One of the inadequately tested possibilities is the use of reinforcement learning in combination with other methods for the solution of pattern classification problems. It is well documented in the literature the problems that support vector machine ensembles face in terms of generalization capacity. Algorithms such as Adaboost do not deal appropriately with the imbalances that arise in those situations. Several alternatives have been proposed, with varying degrees of success. This dissertation presents a new approach to building committees of support vector machines. The presented algorithm combines Adaboost algorithm with a layer of reinforcement learning to adjust committee parameters in order to avoid that imbalances on the committee components affect the generalization performance of the final hypothesis. Comparisons were made with ensembles using and not using the reinforcement learning layer, testing benchmark data sets widely known in area of pattern classification / A aprendizagem por refor?o ? uma t?cnica de aprendizado de m?quina que, embora j? tenha encontrado uma grande quantidade de aplica??es, talvez ainda n?o tenha alcan?ado seu pleno potencial. Uma das possibilidades que n?o foi devidamente testada at? hoje foi a utiliza??o da aprendizagem por refor?o em conjunto com outros m?todos para a solu??o de problemas de classifica??o de padr?es. ? bem documentada na literatura a problem?tica que ensembles de m?quinas de vetor de suporte encontram em termos de capacidade de generaliza??o. Algoritmos como Adaboost n?o lidam apropriadamente com os desequil?brios que podem surgir nessas situa??es. V?rias alternativas j? foram propostas, com margens variadas de sucesso. Esta disserta??o apresenta uma nova abordagem para a constru??o de comit?s de m?quinas de vetor de suporte. O algoritmo apresentado combina o algoritmo Adaboost com uma camada de aprendizagem por refor?o, para ajustar par?metros do comit? evitando que desequil?brios nos classificadores componentes do comit? prejudiquem o desempenho de generaliza??o da hip?tese final. Foram efetuadas compara??es de comit?s com e sem essa camada adicional de aprendizagem por refor?o, testando conjuntos de dados benchmarks amplamente conhecidos na ?rea de classifica??o de padr?es

Made available in DSpace on 2014-12-17T14:56:13Z (GMT). No. of bitstreams: 1 CarlosAAP_DISSERT.pdf: 1150903 bytes, checksum: a90e625336bbabe7e96da74cb85ee7aa (MD5) Previous issue date: 2013-01-31 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / The pattern classification is one of the machine learning subareas that has the most outstanding. Among the various approaches to solve pattern classification problems, the Support Vector Machines (SVM) receive great emphasis, due to its ease of use and good generalization performance. The Least Squares formulation of SVM (LS-SVM) finds the solution by solving a set of linear equations instead of quadratic programming implemented in SVM. The LS-SVMs provide some free parameters that have to be correctly chosen to achieve satisfactory results in a given task. Despite the LS-SVMs having high performance, lots of tools have been developed to improve them, mainly the development of new classifying methods and the employment of ensembles, in other words, a combination of several classifiers. In this work, our proposal is to use an ensemble and a Genetic Algorithm (GA), search algorithm based on the evolution of species, to enhance the LSSVM classification. In the construction of this ensemble, we use a random selection of attributes of the original problem, which it splits the original problem into smaller ones where each classifier will act. So, we apply a genetic algorithm to find effective values of the LS-SVM parameters and also to find a weight vector, measuring the importance of each machine in the final classification. Finally, the final classification is obtained by a linear combination of the decision values of the LS-SVMs with the weight vector. We used several classification problems, taken as benchmarks to evaluate the performance of the algorithm and compared the results with other classifiers / A classifica??o de padr?es ? uma das sub?reas do aprendizado de m?quina que possui maior destaque. Entre as v?rias t?cnicas para resolver problemas de classifica??o de padr?es, as M?quinas de Vetor de Suporte (do ingl?s, Support Vector Machines ou SVM) recebem grande ?nfase, devido a sua facilidade de uso e boa capacidade de generaliza??o. A formula??o por M?nimos Quadrados da SVM (do ingl?s, Least Squares Support Vector Machines ou LS-SVM) encontra um hiperplano de separa??o ?tima atrav?s da solu??o de um sistema de equa??es lineares, evitando assim o uso da programa??o quadr?tica implementada na SVM. As LS-SVMs fornecem alguns par?metros livres que precisam ser corretamente selecionados para alcan?ar resultados satisfat?rios em uma determinada tarefa. Apesar das LS-SVMs possuir elevado desempenho, v?rias ferramentas tem sido desenvolvidas para aprimor?-la, principalmente o desenvolvimento de novos m?todos de classifica??o e a utiliza??o de comit?s de m?quinas, ou seja, a combina??o de v?rios classificadores. Neste trabalho, n?s propomos tanto o uso de um comit? de m?quinas quanto o uso de um Algoritmo Gen?tico (AG), algoritmo de busca baseada na evolu??o das esp?cies, para aprimorar o poder de classifica??o da LS-SVM. Na constru??o desse comit?, utilizamos uma sele??o aleat?ria de atributos do problema original, que divide o problema original em outros menores onde cada classificador do comit? vai atuar. Ent?o, aplicamos o AG para encontrar valores efetivos para os par?metros de cada LS-SVM e tamb?m encontrando um vetor de pesos, medindo a import?ncia de cada m?quina na classifica??o final. Por fim, a classifica??o final ? dada por uma combina??o linear das respostas de cada m?quina ponderadas pelos pesos. Foram utilizados v?rios problemas de classifica??o, tidos como benchmarks, para avaliar o desempenho do algoritmo e comparamos os resultados obtidos com outros classificadores

Made available in DSpace on 2014-12-17T15:46:59Z (GMT). No. of bitstreams: 1 LauraEASS_TESE.pdf: 2447411 bytes, checksum: 3e442431965058383423623bc7751de0 (MD5) Previous issue date: 2012-02-02 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico / Traditional applications of feature selection in areas such as data mining, machine learning and pattern recognition aim to improve the accuracy and to reduce the computational cost of the model. It is done through the removal of redundant, irrelevant or noisy data, finding a representative subset of data that reduces its dimensionality without loss of performance. With the development of research in ensemble of classifiers and the verification that this type of model has better performance than the individual models, if the base classifiers are diverse, comes a new field of application to the research of feature selection. In this new field, it is desired to find diverse subsets of features for the construction of base classifiers for the ensemble systems. This work proposes an approach that maximizes the diversity of the ensembles by selecting subsets of features using a model independent of the learning algorithm and with low computational cost. This is done using bio-inspired metaheuristics with evaluation filter-based criteria / A aplica??o tradicional da sele??o de atributos em diversas ?reas como minera??o de dados, aprendizado de m?quina e reconhecimento de padr?es visa melhorar a acur?cia dos modelos constru?dos com a base de dados, ao retirar dados ruidosos, redundantes ou irrelevantes, e diminuir o custo computacional do modelo, ao encontrar um subconjunto representativo dos dados que diminua sua dimensionalidade sem perda de desempenho. Com o desenvolvimento das pesquisas com comit?s de classificadores e a verifica??o de que esse tipo de modelo possui melhor desempenho que os modelos individuais, dado que os classificadores base sejam diversos, surge uma nova aplica??o ?s pesquisas com sele??o de atributos, que ? a de encontrar subconjuntos diversos de atributos para a constru??o dos classificadores base de comit?s de classificadores. O presente trabalho prop?e uma abordagem que maximiza a diversidade de comit?s de classificadores atrav?s da sele??o de subconjuntos de atributos utilizando um modelo independente do algoritmo de aprendizagem e de baixo custo computacional. Isso ? feito utilizando metaheur?sticas bioinspiradas com crit?rios de avalia??o baseados em filtro