Les machines à vecteurs support (SVM) sont des modèles de l'apprentissage automatique qui font actuellement l'objet de nombreux travaux de recherche, ceci pour deux raisons principales : d'une part, <br />leurs performances constituent l'état de l'art dans de multiples domaines<br />de la reconnaissance des formes, d'autre part, elles possèdent des propriétés statistiques remarquables. Le premier modèle de SVM proposé par Vapnik et ses co-auteurs calcule des dichotomies. Il peut être utilisé pour effectuer des tâches de discrimination à catégories multiples, dans le cadre de l'application de méthodes de décomposition. Des SVM multi-classes ont également été proposées dans la littérature, parmi lesquelles nous distinguons celles qui s'appuient sur un modèle affine multivarié, que nous nommons M-SVM. Ce mémoire se présente comme une étude synthétique de la discrimination à catégories multiples au moyen de SVM. Il se concentre plus particulièrement sur l'analyse des M-SVM.<br /><br />Le chapitre deux est consacré à la description des SVM multi-classes,<br />à leur mise en oeuvre et à l'analyse de leurs performances. Nous présentons successivement le cadre théorique de leur étude, les différents modèles, une étude théorique de leurs performances en généralisation, leur programmation ainsi que les différentes méthodes de sélection de modèle qui leur sont dédiées. Le chapitre trois décrit une application de la M-SVM de Weston et Watkins en biologie structurale prédictive. Le problème traité est la prédiction de la structure secondaire des protéines globulaires.

La sélection de modèle est un thème majeur de l'apprentissage statistique. Dans ce manuscrit, nous introduisons des méthodes de sélection de modèle dédiées à des SVM bi-classes et multi-classes. Ces machines ont pour point commun d'être à coût quadratique, c'est-à-dire que le terme empirique de la fonction objectif de leur problème d'apprentissage est une forme quadratique. Pour les SVM, la sélection de modèle consiste à déterminer la valeur optimale du coefficient de régularisation et à choisir un noyau approprié (ou les valeurs de ses paramètres). Les méthodes que nous proposons combinent des techniques de parcours du chemin de régularisation avec de nouveaux critères de sélection. La thèse s'articule autour de trois contributions principales. La première est une méthode de sélection de modèle par parcours du chemin de régularisation dédiée à la l2-SVM. Nous introduisons à cette occasion de nouvelles approximations de l'erreur en généralisation. Notre deuxième contribution principale est une extension de la première au cas multi-classe, plus précisément à la M-SVM². Cette étude nous a conduits à introduire une nouvelle M-SVM, la M-SVM des moindres carrés. Nous présentons également de nouveaux critères de sélection de modèle pour la M-SVM de Lee, Lin et Wahba à marge dure (et donc la M-SVM²) : un majorant de l'erreur de validation croisée leave-one-out et des approximations de cette erreur. La troisième contribution principale porte sur l'optimisation des valeurs des paramètres du noyau. Notre méthode se fonde sur le principe de maximisation de l'alignement noyau/cible, dans sa version centrée. Elle l'étend à travers l'introduction d'un terme de régularisation. Les évaluations expérimentales de l'ensemble des méthodes développées s'appuient sur des benchmarks fréquemment utilisés dans la littérature, des jeux de données jouet et des jeux de données associés à des problèmes du monde réel / Model selection is of major interest in statistical learning. In this document, we introduce model selection methods for bi-class and multi-class support vector machines. We focus on quadratic loss machines, i.e., machines for which the empirical term of the objective function of the learning problem is a quadratic form. For SVMs, model selection consists in finding the optimal value of the regularization coefficient and choosing an appropriate kernel (or the values of its parameters). The proposed methods use path-following techniques in combination with new model selection criteria. This document is structured around three main contributions. The first one is a method performing model selection through the use of the regularization path for the l2-SVM. In this framework, we introduce new approximations of the generalization error. The second main contribution is the extension of the first one to the multi-category setting, more precisely the M-SVM². This study led us to derive a new M-SVM, the least squares M-SVM. Additionally, we present new model selection criteria for the M-SVM introduced by Lee, Lin and Wahba (and thus the M-SVM²). The third main contribution deals with the optimization of the values of the kernel parameters. Our method makes use of the principle of kernel-target alignment with centered kernels. It extends it through the introduction of a regularization term. Experimental validation of these methods was performed on classical benchmark data, toy data and real-world data