L’objet principale de cette thèse est l’étude théorique et la conception d’algorithmes
d’apprentissage concevant des classificateurs par vote de majorité. En particulier, nous
présentons un théorème PAC-Bayes s’appliquant pour borner, entre autres, la variance
de la perte de Gibbs (en plus de son espérance). Nous déduisons de ce théorème une
borne du risque du vote de majorité plus serrée que la fameuse borne basée sur le risque
de Gibbs. Nous présentons également un théorème permettant de borner le risque associé
à des fonctions de perte générale. À partir de ce théorème, nous concevons des
algorithmes d’apprentissage construisant des classificateurs par vote de majorité pondérés
par une distribution minimisant une borne sur les risques associés aux fonctions de
perte linéaire, quadratique, exponentielle, ainsi qu’à la fonction de perte du classificateur
de Gibbs à piges multiples. Certains de ces algorithmes se comparent favorablement
avec AdaBoost. / The main purpose of this thesis is the theoretical study and the design of learning
algorithms returning majority-vote classifiers. In particular, we present a PAC-Bayes
theorem allowing us to bound the variance of the Gibbs’ loss (not only its expectation).
We deduce from this theorem a bound on the risk of a majority vote tighter than the
famous bound based on the Gibbs’ risk. We also present a theorem that allows to bound
the risk associated with general loss functions. From this theorem, we design learning
algorithms building weighted majority vote classifiers minimizing a bound on the risk
associated with the following loss functions : linear, quadratic and exponential. Also, we
present algorithms based on the randomized majority vote. Some of these algorithms
compare favorably with AdaBoost.
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QQLA.2010/27635 |
| Date | 12 1900 |
| Creators | Lacasse, Alexandre |
| Contributors | Marchand, Mario, Laviolette, François |
| Publisher | Université Laval |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | French |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Rights | © Alexandre Lacasse, 2010 |
Page generated in 0.0117 seconds