Le sujet de cette thèse est la classification semi-supervisée qui est considérée d'un point de vue décisionnel. Nous nous intéressons à la question de choix de modèles dans ce contexte où les modèles sont estimés en utilisant conjointement des données étiquetées et des données non étiquetées plus nombreuses. Nous concentrons notre recherche sur les modèles génératifs où la classification semi-supervisée s'envisage sans difficulté, contrairement au cadre prédictif qui nécessite des hypothèses supplémentaires peu naturelles. Après avoir dressé un état de l'art de la classification semi-supervisée, nous décrivons l'estimation des paramètres d'un modèle de classification à l'aide de données étiquetées et non étiquetées par l'algorithme EM. Nos contributions sur la sélection de modèles font l'objet des deux chapitres suivants. Au chapitre 3, nous présentons un test statistique où les données non étiquetées sont utilisées pour mettre à l'épreuve le modèle utilisé. Au chapitre 4 nous présentons un critère de sélection de modèles AICcond, dérivé du critère AIC d'un point de vue prédictif. Nous prouvons la convergence asymptotique de ce critère particulièrement bien adapté au contexte semi-supervisé et ses bonnes performances pratiques comparé à la validation croisée et à d'autres critères de vraisemblance pénalisée.Une deuxième partie de la thèse, sans rapport direct avec le contexte semi-supervisé, présente des modèles multinomiaux pour la classification sur variables qualitatives. Nous avons conçu ces modèles pour répondre à des limitations des modèles multinomiaux parcimonieux proposés dans le logiciel MIXMOD. À cette occasion, nous proposons un critère type BIC qui prend en compte de manière spécifique la complexité de ces modèles multinomiaux contraints. / The subject of this thesis is the semi-supervised classification which is considered in decision-making perpective. We are interested in model choice issue in when models are estimated using both labeled data and many unlabeled data. We focus our research on generative models for which the semi-supervised classification is considered without difficulty, unlike predictive framework that requires additional unnatural assumptions. Having developed a state of the art of semi-supervised classification, we describe the estimation of parameters of a classification model using labeled data and unlabeled data by the EM algorithm. Our contributions on models selection closely watched in the two following chapters. In Chapter 3, we present a statistical test where unlabeled data are used to test the model. In Chapter 4 we present a model selection criterion, AICcond, derived from the AIC criterion in a predictive point of view. We prove the asymptotic convergence of this test particularly well suited to semi-supervised setting and his good practical performance compared to the cross-validation and other penalized likelihood criteria.A second part of the thesis, not directly connected with the semi-supervised setting, the multinomial models for classification of qualitative variables are considered. We designed these models to address the limitations of parsimonious multinomial models proposed in the program MIXMOD. For this setting, we propose a BIC-type criterion which takes into account specifically the complexity of the constrained multinomial models.

Le thème général de cette thèse est celui de la construction de modèles permettantd'approximer une fonction f lorsque la valeur de f(x) est connue pour un certainnombre de points x. Les modèles considérés ici, souvent appelés modèles de krigeage,peuvent être abordés suivant deux points de vue : celui de l'approximation dans les espacesde Hilbert à noyaux reproduisants ou celui du conditionnement de processus gaussiens.Lorsque l'on souhaite modéliser une fonction dépendant d'une dizaine de variables, lenombre de points nécessaires pour la construction du modèle devient très important etles modèles obtenus sont difficilement interprétables. A partir de ce constat, nous avonscherché à construire des modèles simplifié en travaillant sur un objet clef des modèles dekrigeage : le noyau. Plus précisement, les approches suivantes sont étudiées : l'utilisation denoyaux additifs pour la construction de modèles additifs et la décomposition des noyauxusuels en sous-noyaux pour la construction de modèles parcimonieux. Pour finir, nousproposons une classe de noyaux qui est naturellement adaptée à la représentation ANOVAdes modèles associés et à l'analyse de sensibilité globale.

Le thème général de cette thèse est celui de la construction de modèles permettant d'approximer une fonction f lorsque la valeur de f(x) est connue pour un certain nombre de points x. Les modèles considérés ici, souvent appelés modèles de krigeage, peuvent être abordés suivant deux points de vue : celui de l'approximation dans les espaces de Hilbert à noyaux reproduisants ou celui du conditionnement de processus gaussiens. Lorsque l'on souhaite modéliser une fonction dépendant d'une dizaine de variables, le nombre de points nécessaires pour la construction du modèle devient très important et les modèles obtenus sont difficilement interprétables. A partir de ce constat, nous avons cherché à construire des modèles simplifiés en travaillant sur un objet clef des modèles de krigeage : le noyau. Plus précisement, les approches suivantes sont étudiées : l'utilisation de noyaux additifs pour la construction de modèles additifs et la décomposition des noyaux usuels en sous-noyaux pour la construction de modèles parcimonieux. Pour finir, nous proposons une classe de noyaux qui est naturellement adaptée à la représentation ANOVA des modèles associés et à l'analyse de sensibilité globale.

Le codage parcimonieux permet la reconstruction d'un signal à partir de quelques projections linéaires de celui-ci, sous l'hypothèse que le signal se décompose de manière parcimonieuse, c'est-à-dire avec peu de coefficients, sur un dictionnaire connu. Le codage est simple, et la complexité est déportée sur la reconstruction. Après une explication détaillée du fonctionnement du codage parcimonieux, une présentation de quelques résultats théoriques et quelques simulations pour cerner les performances envisageables, nous nous intéressons à trois problèmes : d'abord, l'étude de conception d'un système permettant le codage d'un signal par une matrice binaire, et des avantages apportés par une telle implémentation. Ensuite, nous nous intéressons à la détermination du dictionnaire de représentation parcimonieuse du signal par des méthodes d'apprentissage. Enfin, nous discutons la possibilité d'effectuer des opérations comme la classification sur le signal sans le reconstruire.

Le codage parcimonieux permet la reconstruction d'un signal à partir de quelques projections linéaires de celui-ci, sous l'hypothèse que le signal se décompose de manière parcimonieuse, c'est-à-dire avec peu de coefficients, sur un dictionnaire connu. Le codage est simple, et la complexité est déportée sur la reconstruction. Après une explication détaillée du fonctionnement du codage parcimonieux, une présentation de quelques résultats théoriques et quelques simulations pour cerner les performances envisageables, nous nous intéressons à trois problèmes : d'abord, l'étude de conception d'un système permettant le codage d'un signal par une matrice binaire, et des avantages apportés par une telle implémentation. Ensuite, nous nous intéressons à la détermination du dictionnaire de représentation parcimonieuse du signal par des méthodes d'apprentissage. Enfin, nous discutons la possibilité d'effectuer des opérations comme la classification sur le signal sans le reconstruire. / Compressed sensing allows to reconstruct a signal from a few linear projections, under the assumption that the signal can be sparsely represented, that is, with only a few coefficients, on a known dictionary. Coding is very simple and all the complexity is gathered on the reconstruction. After more detailed explanations of the principle of compressed sensing, some theoretic resultats from literature and a few simulations allowing to get an idea of expected performances, we focusson three problems: First, the study for the building of a system using compressed sensing with a binary matrix and the obtained benefits. Then, we have a look at the building of a dictionary for sparse representations of the signal. And lastly, we discuss the possibility of processing signal without reconstruction, with an example in classification.

De nos jours, les réseaux de neurones artificiels sont largement utilisés dans de nombreusesapplications telles que le traitement d’image ou du signal. Récemment, un nouveau modèlede réseau de neurones a été proposé pour concevoir des mémoires associatives, le GBNN(Gripon-Berrou Neural Network). Ce modèle offre une capacité de stockage supérieure àcelle des réseaux de Hopfield lorsque les informations à mémoriser ont une distributionuniforme. Des méthodes améliorant leur performance pour des distributions non-uniformesainsi que des architectures matérielles mettant en œuvre les réseaux GBNN ont étéproposés. Cependant, ces solutions restent très coûteuses en ressources matérielles, et lesarchitectures proposées sont restreintes à des réseaux de tailles fixes et sont incapables depasser à l’échelle.Les objectifs de cette thèse sont les suivants : (1) concevoir des modèles inspirés du modèle GBNN et plus performants que l’état de l’art, (2) proposer des architectures moins coûteusesque les solutions existantes et (3) concevoir une architecture générique configurable mettanten œuvre les modèles proposés et capable de manipuler des réseaux de tailles variables.Les résultats des travaux de thèse sont exposés en plusieurs parties. Le concept de réseaux àclones de neurone et ses différentes instanciations sont présentés dans un premier temps. Cesréseaux offrent de meilleures performances que l’état de l’art pour un coût mémoireidentique lorsqu’une distribution non-uniforme des informations à mémoriser estconsidérée. Des optimisations de l’architecture matérielle sont ensuite introduites afin defortement réduire le coût en termes de ressources. Enfin, une architecture générique capablede passer à l’échelle et capable de manipuler des réseaux de tailles variables est proposée. / Nowadays, artificial neural networks are widely used in many applications such as image and signal processing. Recently, a new model of neural network was proposed to design associative memories, the GBNN (Gripon-Berrou Neural Network). This model offers a storage capacity exceeding those of Hopfield networks when the information to be stored has a uniform distribution. Methods improving performance for non-uniform distributions and hardware architectures implementing the GBNN networks were proposed. However, on one hand, these solutions are very expensive in terms of hardware resources and on the other hand, the proposed architectures can only implement fixed size networks and are not scalable. The objectives of this thesis are: (1) to design GBNN inspired models outperforming the state of the art, (2) to propose architectures cheaper than existing solutions and (3) to design a generic architecture implementing the proposed models and able to handle various sizes of networks. The results of these works are exposed in several parts. Initially, the concept of clone based neural networks and its variants are presented. These networks offer better performance than the state of the art for the same memory cost when a non-uniform distribution of the information to be stored is considered. The hardware architecture optimizations are then introduced to significantly reduce the cost in terms of resources. Finally, a generic scalable architecture able to handle various sizes of networks is proposed.

CETTE thèse est consacrée à la conception d'un système d'aide au diagnostic dédiéau muscle squelettique humain. Au cours du premier volet de ce manuscrit nousproposons une nouvelle représentation basée sur les modèles parcimonieux dans le cadrede la segmentation d'Images de Résonances Magnétiques (IRM) T1 du muscle squelettiquedu mollet. Notre méthode Sparse Shape Model/ Modèle de Formes Parcimonieux(MFP), apprend un modèle statistique de formes et de textures locales annoté et réussità en tirer une représentation réduite afin de reconstruire le mécanisme musculaire sur unexemple test. Dans la seconde partie du manuscrit, nous présentons une approche baséesur des ondelettes de diffusion pour la segmentation du muscle squelettique. Contrairementaux méthodes de l'état de l'art, notre approche au cours de la phase d'apprentissagepermet à optimiser les coefficients des ondelettes, ainsi que leur nombres et leur positions.Le modèle prend en charge aussi bien les hiérarchies dans l'espace de recherche,que l'encodage des dépendances géométriques complexes et photométriques de la structured'intérêt. Notre modélisation offre ainsi l'avantage de traiter des topologies arbitraires.L'évaluation expérimentale a été effectué sur un ensemble de mollets acquisespar un scanner IRM, ainsi qu'un ensemble d'images tomodensitométriques du ventriculegauche.

Cette thèse porte sur l’apprentissage statistique et l’analyse de données multi-dimensionnelles. Elle se focalise particulièrement sur l’apprentissage non supervisé de modèles génératifs pour la classification automatique. Nous étudions les modèles de mélanges Gaussians, aussi bien dans le contexte d’estimation par maximum de vraisemblance via l’algorithme EM, que dans le contexte Bayésien d’estimation par Maximum A Posteriori via des techniques d’échantillonnage par Monte Carlo. Nous considérons principalement les modèles de mélange parcimonieux qui reposent sur une décomposition spectrale de la matrice de covariance et qui offre un cadre flexible notamment pour les problèmes de classification en grande dimension. Ensuite, nous investiguons les mélanges Bayésiens non-paramétriques qui se basent sur des processus généraux flexibles comme le processus de Dirichlet et le Processus du Restaurant Chinois. Cette formulation non-paramétrique des modèles est pertinente aussi bien pour l’apprentissage du modèle, que pour la question difficile du choix de modèle. Nous proposons de nouveaux modèles de mélanges Bayésiens non-paramétriques parcimonieux et dérivons une technique d’échantillonnage par Monte Carlo dans laquelle le modèle de mélange et son nombre de composantes sont appris simultanément à partir des données. La sélection de la structure du modèle est effectuée en utilisant le facteur de Bayes. Ces modèles, par leur formulation non-paramétrique et parcimonieuse, sont utiles pour les problèmes d’analyse de masses de données lorsque le nombre de classe est indéterminé et augmente avec les données, et lorsque la dimension est grande. Les modèles proposés validés sur des données simulées et des jeux de données réelles standard. Ensuite, ils sont appliqués sur un problème réel difficile de structuration automatique de données bioacoustiques complexes issues de signaux de chant de baleine. Enfin, nous ouvrons des perspectives Markoviennes via les processus de Dirichlet hiérarchiques pour les modèles Markov cachés. / This thesis focuses on statistical learning and multi-dimensional data analysis. It particularly focuses on unsupervised learning of generative models for model-based clustering. We study the Gaussians mixture models, in the context of maximum likelihood estimation via the EM algorithm, as well as in the Bayesian estimation context by maximum a posteriori via Markov Chain Monte Carlo (MCMC) sampling techniques. We mainly consider the parsimonious mixture models which are based on a spectral decomposition of the covariance matrix and provide a flexible framework particularly for the analysis of high-dimensional data. Then, we investigate non-parametric Bayesian mixtures which are based on general flexible processes such as the Dirichlet process and the Chinese Restaurant Process. This non-parametric model formulation is relevant for both learning the model, as well for dealing with the issue of model selection. We propose new Bayesian non-parametric parsimonious mixtures and derive a MCMC sampling technique where the mixture model and the number of mixture components are simultaneously learned from the data. The selection of the model structure is performed by using Bayes Factors. These models, by their non-parametric and sparse formulation, are useful for the analysis of large data sets when the number of classes is undetermined and increases with the data, and when the dimension is high. The models are validated on simulated data and standard real data sets. Then, they are applied to a real difficult problem of automatic structuring of complex bioacoustic data issued from whale song signals. Finally, we open Markovian perspectives via hierarchical Dirichlet processes hidden Markov models.

Le thème principal d'étude de cette thèse est la modélisation et la classification des données de grande<br />dimension. Partant du postulat que les données de grande dimension vivent dans des sous-espaces de<br />dimensions intrinsèques inférieures à la dimension de l'espace original et que les données de classes<br />différentes vivent dans des sous-espaces différents dont les dimensions intrinsèques peuvent être aussi<br />différentes, nous proposons une re-paramétrisation du modèle de mélange gaussien. En forçant certains<br />paramètres à être communs dans une même classe ou entre les classes, nous exhibons une famille de 28 modèles gaussiens adaptés aux données de grande dimension, allant du modèle le plus général au modèle le plus parcimonieux. Ces modèles gaussiens sont ensuite utilisés pour la discrimination et la classification<br />automatique de données de grande dimension. Les classifieurs associés à ces modèles sont baptisés respectivement High Dimensional Discriminant Analysis (HDDA) et High Dimensional Data Clustering (HDDC) et<br />leur construction se base sur l'estimation par la méthode du maximum de vraisemblance des paramètres du<br />modèle. La nature de notre re-paramétrisation permet aux méthodes HDDA et HDDC de ne pas être perturbées par le mauvais conditionnement ou la singularité des matrices de covariance empiriques des classes et d'être<br />efficaces en terme de temps de calcul. Les méthodes HDDA et HDDC sont ensuite mises en dans le cadre d'une<br />approche probabiliste de la reconnaissance d'objets dans des images. Cette approche, qui peut être<br />supervisée ou faiblement supervisée, permet de localiser de manière probabiliste un objet dans une<br />nouvelle image. Notre approche est validée sur des bases d'images récentes et comparée aux meilleures<br />méthodes actuelles de reconnaissance d'objets.

La localisation active et passive par un réseau de capteurs distribués est un problème rencontré dans différents domaines d’application. En localisation active, telle que la localisation par radar MIMO (Multiple Input Multiple Output), les émetteurs transmettent des signaux qui sont réfléchis par les cibles visées, puis captés par les antennes réceptrices, alors qu’en localisation passive, les capteurs reçoivent des signaux transmis par les cibles elles-mêmes. L’objectif de cette thèse est d’étudier différentes techniques d’optimisation pour la localisation active et passive de haute précision. Dans la première partie de la thèse, on s’intéresse à la localisation active, où de multiples émetteurs illuminent les cibles depuis différentes directions. Les signaux peuvent être émis avec des puissances ou des largeurs de bande différentes. Ces différentes ressources, par nature en général fortement limitées, sont souvent, par défaut, réparties de façon uniforme entre les différents émetteurs. Or, la précision de la localisation dépend de la position des émetteurs, ainsi que des paramètres (les gains notamment) des différents canaux existant entre émetteurs, cibles, et capteurs. En utilisant comme critère d’optimisation la borne de Cramér-Rao sur la précision de la localisation de cibles multiples, nous proposons une méthode fournissant des solutions approchées aux problèmes d’allocation optimale de puissances seules, de largeurs de bande seules, ou au problème d’allocation conjointe de puissances et de largeurs de bande. Ces solutions sont obtenues en minimisant une suite de problèmes convexes. La qualité de ces solutions approchées est évaluée au travers de nombreuses simulations numériques, mais également par la comparaison avec une borne inférieure définie comme la solution d’un problème d’optimisation avec contraintes relaxées, cette borne pouvant être calculée de façon exacte (numériquement). Cette comparaison permet de constater la proximité de la solution approchée fournie par l’algorithme proposé par rapport à la solution théorique. D’autre part, les simulations ont montré que l’allocation de bande joue un rôle plus important dans les performances de localisation que l’allocation de puissance. Dans la seconde partie de la thèse, on considère le cas de la localisation passive de sources multiples dans un environnement multi-trajet. Ce problème se rencontre notamment dans le cadre de la géolocalisation indoor ou outdoor. Dans ce cas de figure, les approches généralement proposées dans la littérature sont basées sur une méthode ad-hoc de réduction d’interférence couplée à une localisation indirecte obtenue par une estimation de paramètres comme les temps d’arrivée des signaux ou les différences de temps d’arrivée, ou la puissance des signaux reçus. Cependant, les performances de ces approches sont limitées, notamment par le fait que la localisation indirecte d’une cible donnée ne prend pas en compte le fait que les signaux reçus par les différents capteurs émanent d’une seule et même source. Dans cette thèse, nous proposons une modélisation parcimonieuse des signaux reçus. Cette modélisation nous permet, en supposant les formes d’onde connues mais les canaux multi-trajets totalement inconnus, de développer une méthode de localisation directe de l’ensemble des cibles. Cette approche exploite certaines propriétés des canaux, qui permettent de séparer les trajets directs des trajets indirects. Un algorithme d’optimisation conique de second ordre est développé afin d’obtenir une décomposition dite atomique optimale, qui permet d’obtenir une localisation de très bonne précision dans des conditions de propagation difficiles, présentant un phénomène de multi-trajet important et/ou une absence de trajets directs. / Active and passive localization employing widely distributed sensors is a problem of interest in various fields. In active localization, such as in MIMO radar, transmitters emit signals that are reflected by the targets and collected by the receive sensors, whereas, in passive localization the sensors collect the signals emitted by the sources themselves. This dissertation studies optimization methods for high precision active and passive localization. In the case of active localization, multiple transmit elements illuminate the targets from different directions. The signals emitted by the transmitters may differ in power and bandwidth. Such resources are often limited and distributed uniformly among the transmitters. However, previous studies based on the well known Crámer-Rao lower bound have shown that the localization accuracy depends on the locations of the transmitters as well as the individual channel gains between different transmitters, targets and receivers. Thus, it is natural to ask whether localization accuracy may be improved by judiciously allocating such limited resources among the transmitters. Using the Crámer-Rao lower bound for target localization of multiple targets as a figure of merit, approximate solutions are proposed to the problems of optimal power, optimal bandwidth and optimal joint power and bandwidth allocation. These solutions are computed by minimizing a sequence of convex problems. The quality of these solutions is assessed through extensive numerical simulations and with the help of a lower-bound that certifies their optimality. Simulation results reveal that bandwidth allocation policies have a stronger impact on performance than power. Passive localization of radio frequency sources over multipath channels is a difficult problem arising in applications such as outdoor or indoor geolocation. Common approaches that combine ad-hoc methods for multipath mitigation with indirect localization relying on intermediary parameters such as time-of-arrivals, time difference of arrivals or received signal strengths, are unsatisfactory. This dissertation models the localization of known waveforms over unknown multipath channels in a sparse framework, and develops a direct approach in which multiple sources are localized jointly, directly from observations obtained at distributed sources. The proposed approach exploits channel properties that enable to distinguish line-of-sight (LOS) from non-LOS signal paths. Theoretical guarantees are established for correct recovery of the sources’ locations by atomic norm minimization. A second-order-cone-based algorithm is developed to produce the optimal atomic decomposition, and it is shown to produce high accuracy location estimates over complex scenes, in which sources are subject to diverse multipath conditions, including lack of LOS.