Spelling suggestions: "subject:"ensemble off classifier"" "subject:"ensemble off elassifier""
1 |
A probabilistic perspective on ensemble diversityZanda, Manuela January 2010 (has links)
We study diversity in classifier ensembles from a broader perspectivethan the 0/1 loss function, the main reason being that the bias-variance decomposition of the 0/1 loss function is not unique, and therefore the relationship between ensemble accuracy and diversity is still unclear. In the parallel field of regression ensembles, where the loss function of interest is the mean squared error, this decomposition not only exists, but it has been shown that diversity can be managed via the Negative Correlation (NC) framework. In the field of probabilistic modelling the expected value of the negative log-likelihood loss function is given by its conditional entropy; this result suggests that interaction information might provide some insight into the trade off between accuracy and diversity. Our objective is to improve our understanding of classifier diversity by focusing on two different loss functions - the mean squared error and the negative log-likelihood. In a study of mean squared error functions, we reformulate the Tumer & Ghosh model for the classification error as a regression problem, and we show how the NC learning framework can be deployed to manage diversity in classification problems. In an empirical study of classifiers that minimise the negative log-likelihood loss function, we discuss model diversity as opposed to error diversity in ensembles of Naive Bayes classifiers. We observe that diversity in low-variance classifiers has to be structurally inferred. We apply interaction information to the problem of monitoring diversity in classifier ensembles. We present empirical evidence that interaction information can capture the trade-off between accuracy and diversity, and that diversity occurs at different levels of interactions between base classifiers. We use interaction information properties to build ensembles of structurally diverse averaged Augmented Naive Bayes classifiers. Our empirical study shows that this novel ensemble approach is computationally more efficient than an accuracy based approach and at the same time it does not negatively affect the ensemble classification performance.
|
2 |
Methods for dynamic selection and fusion of ensemble of classifiersOliveira e Cruz, Rafael Menelau 31 January 2011 (has links)
Made available in DSpace on 2014-06-12T15:58:13Z (GMT). No. of bitstreams: 2
arquivo3310_1.pdf: 8155353 bytes, checksum: 2f4dcd5adb2b0b1a23c40bf343b36b34 (MD5)
license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5)
Previous issue date: 2011 / Faculdade de Amparo à Ciência e Tecnologia do Estado de Pernambuco / Ensemble of Classifiers (EoC) é uma nova alternative para alcançar altas taxas de reconhecimento
em sistemas de reconhecimento de padrões. O uso de ensemble é motivado pelo fato
de que classificadores diferentes conseguem reconhecer padrões diferentes, portanto, eles são
complementares. Neste trabalho, as metodologias de EoC são exploradas com o intuito de
melhorar a taxa de reconhecimento em diferentes problemas. Primeiramente o problema do
reconhecimento de caracteres é abordado. Este trabalho propõe uma nova metodologia que
utiliza múltiplas técnicas de extração de características, cada uma utilizando uma abordagem
diferente (bordas, gradiente, projeções). Cada técnica é vista como um sub-problema possuindo
seu próprio classificador. As saídas deste classificador são utilizadas como entrada para
um novo classificador que é treinado para fazer a combinação (fusão) dos resultados. Experimentos
realizados demonstram que a proposta apresentou o melhor resultado na literatura pra
problemas tanto de reconhecimento de dígitos como para o reconhecimento de letras.
A segunda parte da dissertação trata da seleção dinâmica de classificadores (DCS). Esta
estratégia é motivada pelo fato que nem todo classificador pertencente ao ensemble é um especialista
para todo padrão de teste. A seleção dinâmica tenta selecionar apenas os classificadores
que possuem melhor desempenho em uma dada região próxima ao padrão de entrada para classificar
o padrão de entrada. É feito um estudo sobre o comportamento das técnicas de DCS
demonstrando que elas são limitadas pela qualidade da região em volta do padrão de entrada.
Baseada nesta análise, duas técnicas para seleção dinâmica de classificadores são propostas.
A primeira utiliza filtros para redução de ruídos próximos do padrão de testes. A segunda é
uma nova proposta que visa extrair diferentes tipos de informação, a partir do comportamento
dos classificadores, e utiliza estas informações para decidir se um classificador deve ser selecionado
ou não. Experimentos conduzidos em diversos problemas de reconhecimento de
padrões demonstram que as técnicas propostas apresentam um aumento de performance significante
|
Page generated in 0.0669 seconds