Dans cette thèse nous étudions les algorithmes d'apprentissage automatique pour la reconnaissance visuelle. Un accent particulier est mis sur l'apprentissage automatique de représentations, c.à.d. l'apprentissage automatique d'extracteurs de caractéristiques; nous insistons également sur l'apprentissage conjoint de ces dernières avec le modèle de prédiction des problèmes traités, tels que la reconnaissance d'objets, la reconnaissance d'activités humaines, ou la segmentation d'objets. Dans ce contexte, nous proposons plusieurs contributions : Une première contribution concerne les modèles de type bags of words (BoW), où le dictionnaire est classiquement appris de manière non supervisée et de manière autonome. Nous proposons d'apprendre le dictionnaire de manière supervisée, c.à.d. en intégrant les étiquettes de classes issues de la base d'apprentissage. Pour cela, l'extraction de caractéristiques et la prédiction de la classe sont formulées en un seul modèle global de type réseau de neurones (end-to-end training). Deux algorithmes d'apprentissage différents sont proposés pour ce modèle : le premier est basé sur la retro-propagation du gradient de l'erreur, et le second procède par des mises à jour dans le diagramme de Voronoi calculé dans l'espace des caractéristiques. Une deuxième contribution concerne l'intégration d'informations géométriques dans l'apprentissage supervisé et non-supervisé. Elle se place dans le cadre d'applications nécessitant une segmentation d'un objet en un ensemble de régions avec des relations de voisinage définies a priori. Un exemple est la segmentation du corps humain en parties ou la segmentation d'objets spécifiques. Nous proposons une nouvelle approche intégrant les relations spatiales dans l'algorithme d'apprentissage du modèle de prédication. Contrairement aux méthodes existantes, les relations spatiales sont uniquement utilisées lors de la phase d'apprentissage. Les algorithmes de classification restent inchangés, ce qui permet d'obtenir une amélioration du taux de classification sans augmentation de la complexité de calcul lors de la phase de test. Nous proposons trois algorithmes différents intégrant ce principe dans trois modèles : - l'apprentissage du modèle de prédiction des forêts aléatoires, - l'apprentissage du modèle de prédiction des réseaux de neurones (et de la régression logistique), - l'apprentissage faiblement supervisé de caractéristiques visuelles à l'aide de réseaux de neurones convolutionnels. / In this thesis, we present our research on visual recognition and machine learning. Two types of visual recognition problems are investigated: action recognition and human body part segmentation problem. Our objective is to combine spatial information such as label configuration in feature space, or spatial layout of labels into an end-to-end framework to improve recognition performance. For human action recognition, we apply the bag-of-words model and reformulate it as a neural network for end-to-end learning. We propose two algorithms to make use of label configuration in feature space to optimize the codebook. One is based on classical error backpropagation. The codewords are adjusted by using gradient descent algorithm. The other is based on cluster reassignments, where the cluster labels are reassigned for all the feature vectors in a Voronoi diagram. As a result, the codebook is learned in a supervised way. We demonstrate the effectiveness of the proposed algorithms on the standard KTH human action dataset. For human body part segmentation, we treat the segmentation problem as classification problem, where a classifier acts on each pixel. Two machine learning frameworks are adopted: randomized decision forests and convolutional neural networks. We integrate a priori information on the spatial part layout in terms of pairs of labels or pairs of pixels into both frameworks in the training procedure to make the classifier more discriminative, but pixelwise classification is still performed in the testing stage. Three algorithms are proposed: (i) Spatial part layout is integrated into randomized decision forest training procedure; (ii) Spatial pre-training is proposed for the feature learning in the ConvNets; (iii) Spatial learning is proposed in the logistical regression (LR) or multilayer perceptron (MLP) for classification.

Des techniques expérimentales récentes ont donné la possibilité d'acquérir un très grand nombre de données concernant des réseaux biologiques complexes, comme des réseaux de neurones, des réseaux de gènes et des réseaux d'interactions de protéines. Ces techniques sont capables d'enregistrer les états des composantes individuelles de ces réseaux (neurones, gènes, protéines) pour un grand nombre de configurations. Cependant, l'information la plus pertinente biologiquement se trouve dans la connectivité de ces systèmes et dans la façon précise avec laquelle ces composantes interagissent, information que les techniques expérimentales ne sont pas au point d'observer directement. Le bût de cette thèse est d'étudier les méthodes statistiques nécessaires pour inférer de l'information sur la connectivité des réseaux complexes en partant des données expérimentales. Ce sujet est traité par le point de vue de la physique statistique, en puisant de l'arsenal de méthodes théoriques qui ont été développées pour l'étude des verres de spins. Les verres de spins sont des exemples de réseaux à variables discrètes qui interagissent de façon complexe et sont souvent utilisés pour modéliser des réseaux biologiques. Après une introduction sur les modèles utilisés ainsi qu'une discussion sur la motivation biologique de cette thèse, toutes les méthodes d'inférence de réseaux connues sont présentées et analysées du point de vue de leur performance. Par la suite, dans la troisième partie de la thèse, un nouvelle méthode est proposée qui s'appuie sur la remarque que les interactions en biologie ne sont pas nécessairement symétriques (c'est-à-dire l'interaction entre les noeuds A et B n'est pas la même dans les deux directions). Il est démontré que cette assomption conduit à des méthodes qui sont capables de prédire les interactions de façon exacte, étant donné un nombre suffisant de données, tout en utilisant un temps de calcul polynomial. Ceci est un résultat original important car toutes les autres méthodes connues sont soit exactes et non-polynomiales soit inexactes et polynomiales. / Recent experimental techniques in biology made possible the acquisition of overwhelming amounts of data concerning complex biological networks, such as neural networks, gene regulation networks and protein-protein interaction networks. These techniques are able to record states of individual components of such networks (neurons, genes, proteins) for a large number of configurations. However, the most biologically relevantinformation lies in their connectivity and in the way their components interact, information that these techniques aren't able to record directly. The aim of this thesis is to study statistical methods for inferring information about the connectivity of complex networks starting from experimental data. The subject is approached from a statistical physics point of view drawing from the arsenal of methods developed in the study of spin glasses. Spin-glasses are prototypes of networks of discrete variables interacting in a complex way and are widely used to model biological networks. After an introduction of the models used and a discussion on the biological motivation of the thesis, all known methods of network inference are introduced and analysed from the point of view of their performance. Then, in the third part of the thesis, a new method is proposed which relies in the remark that the interactions in biology are not necessarily symmetric (i.e. the interaction from node A to node B is not the same as the one from B to A). It is shown that this assumption leads to methods that are both exact and efficient. This means that the interactions can be computed exactly, given a sufficient amount of data, and in a reasonable amount of time. This is an important original contribution since no other method is known to be both exact and efficient.

Cette thèse s'inscrit dans le cadre de l'émergence de l'apprentissage profond et aborde la compréhension de la parole assimilée à l'extraction et à la représentation automatique du sens contenu dans les mots d'une phrase parlée. Nous étudions une tâche d'étiquetage en concepts sémantiques dans un contexte de dialogue oral évaluée sur le corpus français MEDIA. Depuis une dizaine d'années, les modèles neuronaux prennent l'ascendant dans de nombreuses tâches de traitement du langage naturel grâce à des avancées algorithmiques ou à la mise à disposition d'outils de calcul puissants comme les processeurs graphiques. De nombreux obstacles rendent la compréhension complexe, comme l'interprétation difficile des transcriptions automatiques de la parole étant donné que de nombreuses erreurs sont introduites par le processus de reconnaissance automatique en amont du module de compréhension. Nous présentons un état de l'art décrivant la compréhension de la parole puis les méthodes d'apprentissage automatique supervisé pour la résoudre en commençant par des systèmes classiques pour finir avec des techniques d'apprentissage profond. Les contributions sont ensuite exposées suivant trois axes. Premièrement, nous développons une architecture neuronale efficace consistant en un réseau récurent bidirectionnel encodeur-décodeur avec mécanisme d’attention. Puis nous abordons la gestion des erreurs de reconnaissance automatique et des solutions pour limiter leur impact sur nos performances. Enfin, nous envisageons une désambiguïsation de la tâche de compréhension permettant de rendre notre système plus performant. / This thesis is a part of the emergence of deep learning and focuses on spoken language understanding assimilated to the automatic extraction and representation of the meaning supported by the words in a spoken utterance. We study a semantic concept tagging task used in a spoken dialogue system and evaluated with the French corpus MEDIA. For the past decade, neural models have emerged in many natural language processing tasks through algorithmic advances or powerful computing tools such as graphics processors. Many obstacles make the understanding task complex, such as the difficult interpretation of automatic speech transcriptions, as many errors are introduced by the automatic recognition process upstream of the comprehension module. We present a state of the art describing spoken language understanding and then supervised automatic learning methods to solve it, starting with classical systems and finishing with deep learning techniques. The contributions are then presented along three axes. First, we develop an efficient neural architecture consisting of a bidirectional recurrent network encoder-decoder with attention mechanism. Then we study the management of automatic recognition errors and solutions to limit their impact on our performances. Finally, we envisage a disambiguation of the comprehension task making the systems more efficient.

No description available.

Les différences entre conditions d'apprentissage et conditions de test peuvent considérablement dégrader la qualité des transcriptions produites par un système de reconnaissance automatique de la parole (RAP). L'adaptation est un moyen efficace pour réduire l'inadéquation entre les modèles du système et les données liées à un locuteur ou un canal acoustique particulier. Il existe deux types dominants de modèles acoustiques utilisés en RAP : les modèles de mélanges gaussiens (GMM) et les réseaux de neurones profonds (DNN). L'approche par modèles de Markov cachés (HMM) combinés à des GMM (GMM-HMM) a été l'une des techniques les plus utilisées dans les systèmes de RAP pendant de nombreuses décennies. Plusieurs techniques d'adaptation ont été développées pour ce type de modèles. Les modèles acoustiques combinant HMM et DNN (DNN-HMM) ont récemment permis de grandes avancées et surpassé les modèles GMM-HMM pour diverses tâches de RAP, mais l'adaptation au locuteur reste très difficile pour les modèles DNN-HMM. L'objectif principal de cette thèse est de développer une méthode de transfert efficace des algorithmes d'adaptation des modèles GMM aux modèles DNN. Une nouvelle approche pour l'adaptation au locuteur des modèles acoustiques de type DNN est proposée et étudiée : elle s'appuie sur l'utilisation de fonctions dérivées de GMM comme entrée d'un DNN. La technique proposée fournit un cadre général pour le transfert des algorithmes d'adaptation développés pour les GMM à l'adaptation des DNN. Elle est étudiée pour différents systèmes de RAP à l'état de l'art et s'avère efficace par rapport à d'autres techniques d'adaptation au locuteur, ainsi que complémentaire. / Differences between training and testing conditions may significantly degrade recognition accuracy in automatic speech recognition (ASR) systems. Adaptation is an efficient way to reduce the mismatch between models and data from a particular speaker or channel. There are two dominant types of acoustic models (AMs) used in ASR: Gaussian mixture models (GMMs) and deep neural networks (DNNs). The GMM hidden Markov model (GMM-HMM) approach has been one of the most common technique in ASR systems for many decades. Speaker adaptation is very effective for these AMs and various adaptation techniques have been developed for them. On the other hand, DNN-HMM AMs have recently achieved big advances and outperformed GMM-HMM models for various ASR tasks. However, speaker adaptation is still very challenging for these AMs. Many adaptation algorithms that work well for GMMs systems cannot be easily applied to DNNs because of the different nature of these models. The main purpose of this thesis is to develop a method for efficient transfer of adaptation algorithms from the GMM framework to DNN models. A novel approach for speaker adaptation of DNN AMs is proposed and investigated. The idea of this approach is based on using so-called GMM-derived features as input to a DNN. The proposed technique provides a general framework for transferring adaptation algorithms, developed for GMMs, to DNN adaptation. It is explored for various state-of-the-art ASR systems and is shown to be effective in comparison with other speaker adaptation techniques and complementary to them.

No description available.

Cette thèse propose des approches neuromimétiques d'identification et de commande avec des applications directes au Filtre Actif Parallèle (FAP) et au Moteur Synchrone à Aiment Permanent (MSAP). Une structure neuronale complète a été développée pour réaliser toutes les fonctionnalités d'un FAP pour compenser des harmoniques de courant. La phase instantanée et les composantes symétriques d'un système triphasé de tensions ou de courants ont été estimées avec une boucle à verrouillage de phase neuronale. L'identification des harmoniques de courant a été réalisée avec des réseaux de neurones de type Adaline opérant dans les différents repères. Plusieurs schémas de commande ont été développés pour réinjecter les courants de compensation à l'aide d'un onduleur. Ils sont basés sur des techniques neuromimétiques, sur la logique floue, ou sur leur association. Une approche neuronale a été développée pour commander une MSAP à distribution quelconque avec des contraintes prédéterminées réduisant les ondulations du couple. Elle consiste en des schémas de commande directe en couple ou en vitesse pour obtenir les courants statoriques optimaux qui donnent exactement le couple électromagnétique (ou la vitesse) désiré et qui réduisent au maximum les pertes par effet Joule. Ces commandes intègrent deux blocs neuronaux, l'un dédié au calcul des courants optimaux et l'autre pour assurer leur génération à travers un onduleur de tension. Toutes les approches neuromimétiques ont été validées par des tests de simulation et des essais expérimentaux. Des comparaisons avec les méthodes de commande classique démontrent des caractéristiques supérieures en termes de performance et de robustesse. / This thesis proposes Artificial Neural Networks (ANN) approaches for the identification and the control of an Active Power Filter (APF) and a Permanent-Magnet Synchronous Motor (PMSM). A completed neural architecture was developed for an APF for harmonic currents compensation. The instantaneous phase and the symmetrical components of a three-phase voltage or current were estimated with a neural phase Jock loop. The harmonic terms were identified by Adaline neural networks that estimate the instantaneous powers within different reference frames. Several intelligent techniques, based on neural networks, fuzzy logic or their association, were developed to control the inverter used to inject the harmonic currents phase-opposite. An original neural approach was also carried out for reducing the torque ripple of a non-sinusoidal PMSM. It consists in a direct torque or in a speed control schemes that elaborate the optimal stator currents which exactly give a desired electromagnetic torque or speed and which minimize the ohmic losses. The control schemes integrate two neural networks, one to calculate the optimal currents and one to ensure their generation through an inverter. The neural network approaches were all evaluated by simulated and experimental tests. The results confirm their excellent characteristics in terms of both performance and robustness. Comparisons with conventional methods prove their superiority.

Cette thèse est consacrée à l'étude théorique de la transition vers l'état solide amorphe. Les solides amorphes peuvent être séparés en deux catégories : les verres structuraux dont la transition vers l'état amorphe, appellée transition vitreuse, s'effectue en présence de fluctuations thermiques, et les matériaux dont la transition vers l'état solide amorphe, alors dénommée transition de blocage, s'effectue en l'absence de fluctuations thermiques. Nous étudions un système modèle de sphères sans friction interagissant par un potentiel faiblement répulsif et de portée finie : les sphères harmoniques. Ce système, étudié à température finie sert de modèle de verre et présente une transition vers un état amorphe. Etudié à température nulle, il permet aussi d'étudier la transition de blocage. Ces deux phènomènes, a priori distincts, sont parfois supposés reliés, la transition de blocage étant imaginée comme l'équivalent à température nulle de la transition vitreuse. Deux approches théoriques coexistent dans l'étude de la transition vitreuse : la théorie de couplage de modes, qui tente de décrire le ralentissement de la dynamique des verres structuraux à l'approche de leur transition vitreuse, et la théorie de la transition de premier ordre aléatoire, qui se focalise sur la description aux temps longs de ces systèmes, en faisant des hypothèses sur la distribution de leurs états métastables. Pour certains modèles de systèmes désordonnés en champ moyen, ces deux approches peuvent être conciliées de façon exacte, mais la situation en dimension finie, sur laquelle cette thèse se concentre, laisse plusieurs questions en suspens. Nous présentons en premier lieu une approche théorique de la dynamique des verres qui permet de clarifier certaines approximations impliquées dans la théorie de couplage de modes, et qui fournit un point de départ solide pour aller au-delà de cette théorie. En second lieu nous nous intéressons aux liens qui peuvent exister entre les deux approches décrites ci-dessus, et montrons qu'une partie au moins des résultats de la théorie de couplage de modes est contenue dans l'approche statique inhérente à la théorie de transition de premier ordre aléatoire, tout en fournissant un point de départ clair pour améliorer les résultats de cette dernière. Finalement, nous étudions le modèle des sphères harmoniques à très basse température et développons une théorie microscopique de sa transition de blocage qui capture une grande partie des observations expérimentales et numériques. Nous montrons que dans le cadre de nos approximations, la transition vitreuse et la transition de blocage sont deux phènomènes bien distincts.

L'objectif de cette thèse était d'appliquer des méthodes d'analyse multivariées au traitement des données provenant de la spectroscopie de plasma induit par laser (LIBS) et de la spectroscopie térahertz (THz) dans le but d'accroître les performances analytiques de ces techniques.Les spectres LIBS provenaient de campagnes de mesures directes sur différents sites géologiques. Une approche univariée n'a pas été envisageable à cause d'importants effets de matrices et c'est pour cela qu'on a analysé les données provenant des spectres LIBS par réseaux de neurones artificiels (ANN). Cela a permis de quantifier plusieurs éléments mineurs et majeurs dans les échantillons de sol avec un écart relatif de prédiction inférieur à 20% par rapport aux valeurs de référence, jugé acceptable pour des analyses sur site. Dans certains cas, il a cependant été nécessaire de prendre en compte plusieurs modèles ANN, d'une part pour classer les échantillons de sol en fonction d'un seuil de concentration et de la nature de leur matrice, et d'autre part pour prédire la concentration d'un analyte. Cette approche globale a été démontrée avec succès dans le cas particulier de l'analyse du plomb pour un échantillon de sol inconnu. Enfin, le développement d'un outil de traitement par ANN a fait l'objet d'un transfert industriel.Dans un second temps, nous avons traité des spectres d'absorbance terahertz. Ce spectres provenaient de mesures d'absorbance sur des mélanges ternaires de Fructose-Lactose-acide citrique liés par du polyéthylène et préparés sous forme de pastilles. Une analyse semi-quantitative a été réalisée avec succès par analyse en composantes principales (ACP). Puis les méthodes quantitatives de régression par moindres carrés partiels (PLS) et de réseaux de neurons artificiels (ANN) ont permis de prédire les concentrations de chaque constituant de l'échantillon avec une valeur d'erreur quadratique moyenne inférieure à 0.95 %. Pour chaque méthode de traitement, le choix des données d'entrée et la validation de la méthode ont été discutés en détail.

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique. / Despite constant progress in terms of available computational power, memory and amount of data, machine learning algorithms need to be efficient in how they use them. Although minimizing cost is an obvious major concern, another motivation is to attempt to design algorithms that can learn as efficiently as intelligent species. This thesis tackles the problem of efficient learning through various papers dealing with a wide range of machine learning algorithms: this topic is seen both from the point of view of computational efficiency (processing power and memory required by the algorithms) and of statistical efficiency (n umber of samples necessary to solve a given learning task).The first contribution of this thesis is in shedding light on various statistical inefficiencies in existing algorithms. Indeed, we show that decision trees do not generalize well on tasks with some particular properties (chapter 3), and that a similar flaw affects typical graph-based semi-supervised learning algorithms (chapter 5). This flaw is a form of curse of dimensionality that is specific to each of these algorithms. For a subclass of neural networks, called sum-product networks, we prove that using networks with a single hidden layer can be exponentially less efficient than when using deep networks (chapter 4). Our analyses help better understand some inherent flaws found in these algorithms, and steer research towards approaches that may potentially overcome them. We also exhibit computational inefficiencies in popular graph-based semi-supervised learning algorithms (chapter 5) as well as in the learning of mixtures of Gaussians with missing data (chapter 6). In both cases we propose new algorithms that make it possible to scale to much larger datasets. The last two chapters also deal with computational efficiency, but in different ways. Chapter 7 presents a new view on the contrastive divergence algorithm (which has been used for efficient training of restricted Boltzmann machines). It provides additional insight on the reasons why this algorithm has been so successful. Finally, in chapter 8 we describe an application of machine learning to video games, where computational efficiency is tied to software and hardware engineering constraints which, although often ignored in research papers, are ubiquitous in practice.