Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

La prédiction de connexions entre objets, basée soit sur une observation bruitée, soit sur une suite d'observations est un problème d'intérêt pour un nombre d'applications allant de la conception de système de recommandation en commerce électronique et réseaux sociaux jusqu'à l'inférence de réseaux en biologie moléculaire. Ce travail présente des formulations du problème de prédiction de lien, dans les cadres statique et temporel, comme un problème régularisé. Dans le scénario statique c'est la combinaison de deux normes bien connues, la norme L1 et la trace-norme qui permet de prédire les liens, alors que dans le cas dynamique, l'utilisation d'un modèle autoregressif sur des descripteurs linéaires permet d'améliorer la qualité de la prédiction. Nous étudierons la nature des solutions des problèmes d'optimisation à la fois en termes statistique et algorithmique. Des résultats empiriques encourageant mettent en évidence l'apport de la méthodologie adoptée. / Predicting connections among objects, based either on a noisy observation or on a sequence of observations, is a problem of interest for numerous applications such as recommender systems for e-commerce and social networks, and also in system biology, for inferring interaction patterns among proteins. This work presents formulations of the graph prediction problem, in both dynamic and static scenarios, as regularization problems. In the static scenario we encode the mixture of two different kinds of structural assumptions in a convex penalty involving the L1 and the trace norm. In the dynamic setting we assume that certain graph features, such as the node degree, follow a vector autoregressive model and we propose to use this information to improve the accuracy of prediction. The solutions of the optimization problems are studied both from an algorithmic and statistical point of view. Empirical evidences on synthetic and real data are presented showing the benefit of using the suggested methods.

L'Apprentissage Automatique tire ses racines d'un large champ disciplinaire qui inclut l'Intelligence Artificielle, la Reconnaissance de Formes, les Statistiques ou l'Optimisation. Dès les origines de l'Apprentissage, les questions computationelles et les propriétés en généralisation ont toutes deux été identifiées comme centrales pour la discipline. Tandis que les premières concernent les questions de calculabilité ou de complexité (sur un plan fondamental) ou d'efficacité computationelle (d'un point de vue plus pratique) des systèmes d'apprentissage, les secondes visent a comprendre et caractériser comment les solutions qu'elles fournissent vont se comporter sur de nouvelles données non encore vues. Ces dernières années, l'émergence de jeux de données à grande échelle en Apprentissage Automatique a profondément remanié les principes de la Théorie de l'Apprentissage. En prenant en compte de potentielles contraintes sur le temps d'entraînement, il faut faire face à un compromis plus complexe que ceux qui sont classiquement traités par les Statistiques. Une conséquence directe tient en ce que la mise en place d'algorithmes efficaces (autant en théorie qu'en pratique) capables de tourner sur des jeux de données a grande échelle doivent impérativement prendre en compte les aspects statistiques et computationels de l'Apprentissage de façon conjointe. Cette thèse a pour but de mettre à jour, analyser et exploiter certaines des connections qui existent naturellement entre les aspects statistiques et computationels de l'Apprentissage. / Machine Learning is known to have its roots in a broad spectrum of fields including Artificial Intelligence, Pattern Recognition, Statistics or Optimisation. From the earliest stages of Machine Learning, both computational issues and generalisation properties have been identified as central to the field. While the former address the question of computability, complexity (from a fundamental perspective) or computational efficiency (on a more practical standpoint) of learning systems, the latter aim at understanding and characterising how well the solutions they provide perform on new, unseen data. Those last years, the emergence of large-scale datasets in Machine Learning has been deeply reshaping the principles of Learning Theory. Taking into account possible constraints on the training time, one has to deal with more complex trade-offs than the ones classically addressed by Statistics. As a direct consequence, designing new efficient algorithms (both in theory and practice), able to handle large-scale datasets, imposes to jointly deal with the statistical and computational aspects of Learning. The present thesis aims at unravelling, analysing and exploiting some of the connections that naturally exist between the statistical and computational aspects of Learning. More precisely, in a first part, we extend the stability analysis, which relates some algorithmic properties to the generalisation abilities of learning algorithms, to a novel (and fine-grain) performance measure, namely the confusion matrix. In a second part, we present a novel approach to learn a kernel-based regression function, that serves the learning task at hand and exploits the structure of

Le processus de découverte de médicaments a un succès limité malgré tous les progrès réalisés. En effet, on estime actuellement que le développement d'un médicament nécessite environ 1,8 milliard de dollars américains sur environ 13 ans. Nous nous concentrons dans cette thèse sur des approches statistiques qui criblent virtuellement un grand ensemble de composés chimique contre un grand nombre de protéines. Leurs applications sont polyvalentes : elles permettent d’identifier des candidats médicaments pour des cibles thérapeutiques connues, d’anticiper des effets secondaires potentiels, ou de proposer de nouvelles indications thérapeutiques pour des médicaments connus. Cette thèse est conçue selon deux cadres d'approches de criblage virtuel : les approches dans lesquelles les données sont décrites numériquement sur la base des connaissances des experts, et les approches basées sur l'apprentissage automatique de la représentation numérique à partir du graphe moléculaire et de la séquence protéique. Nous discutons ces approches et les appliquons pour guider la découverte de médicaments. / The rational drug discovery process has limited success despite all the advances in understanding diseases, and technological breakthroughs. Indeed, the process of drug development is currently estimated to require about 1.8 billion US dollars over about 13 years on average. Computational approaches are promising ways to facilitate the tedious task of drug discovery. We focus in this thesis on statistical approaches which virtually screen a large set of compounds against a large set of proteins, which can help to identify drug candidates for known therapeutic targets, anticipate potential side effects or to suggest new therapeutic indications of known drugs. This thesis is conceived following two lines of approaches to perform drug virtual screening : data-blinded feature-based approaches (in which molecules and proteins are numerically described based on experts' knowledge), and data-driven feature-based approaches (in which compounds and proteins numerical descriptors are learned automatically from the chemical graph and the protein sequence). We discuss these approaches, and also propose applications of virtual screening to guide the drug discovery process.

A ce jour, seul le cerveau du nourrisson est capable d’appréhender et de maîtriser la complexité du langage humain. La recherche en psychologie du développement a investi beaucoup d’énergie pour tenter de percer le mystère de l’acquisition du langage, révélant d’impressionnantes capacités précoces permettant le traitement et la représentation de la parole. La récente émergence de techniques de neuro-imagerie non-invasives offre aujourd’hui de nouveaux outils et de nouvelles perspectives pour d’étude des mécanismes d’apprentissage du langage. Cette thèse a pour but d’explorer les mécanismes permettant l’acquisition et la représentation de structures linguistiques, grâce à une approche en électrophysiologie. La première partie de ce manuscrit consiste en une contribution méthodologique à la neuro-imagerie du développement. Sur la base de données acquises en imagerie par résonnance magnétique (IRM), nous avons localisé les positions du système international 10/20 pour le placement d’électrodes – utilisé aussi bien en électroencéphalographie (EEG) qu’en spectroscopie proche infra-rouge (NIRS) – par rapport aux structures cérébrales internes. Cette étude a permis de quantifier la variabilité interindividuelle de ces positions, mais également de construire un modèle de cerveau complété d’un atlas anatomique pour le nourrisson. Dans une seconde partie de cette thèse, grâce à l’EEG haute-densité, nous avons pu démontrer que dès 8 mois, les nourrissons étaient capables de mettre en œuvre de puissance mécanismes d’analyse statistique, permettant d’extraire les dépendances entre syllabes non-adjacentes, pour segmenter un flux continu de parole en unités distinctes. L’analyse des réponses neurales a révélé une hiérarchie de processus cérébraux soutenant le traitement des syllabes mais aussi des unités segmentées. Enfin, dans une dernière partie, nous proposons un paradigme expérimental permettant d’étudier non seulement l’extraction mais aussi la représentation de séquences linguistiques sous la forme d’expressions unifiées. Nous avons pu établir grâce à cette étude que dès 5 mois, les nourrissons étaient capables de former de solides représentations de séquences définies par des répétitions, leur permettant de catégoriser et manipuler plusieurs structures. Pour conclure, cette thèse vient compléter les études comportementales sur l’acquisition du langage, grâce à une approche des processus cérébraux soutenant l’apprentissage de séquences. La richesse du signal EEG a permis de mettre en évidence une hiérarchie de traitements complexes. / To this day, the infant brain is the only known learning system able to apprehend and master the complexity of the human language. Developmental psychologists have dedicated a lot of efforts to break down the mystery of language acquisition, revealing precocious and impressive abilities for processing and encoding speech sequences. The recent emergence of non-invasive neuroimaging techniques provides a new tool to explore language learning mechanisms from a different perspective. In the present thesis, we aimed at investigating the encoding mechanisms of the structural properties of a speech sequence from an electrophysiological perspective. In the first part of this thesis, we provided the developmental neuroimaging community with a methodological contribution. Based on magnetic resonance imaging (MRI) data, we virtually localized the standardized sensor placement system for both electroencephalography (EEG) and near infrared spectroscopy (NIRS) relative to the internal brain structures, and assessed their variability. We additionally provided an infant brain template with an anatomical atlas which will be valuable for studies in which individual anatomical information cannot be obtained. In the second part of this thesis, using high-density EEG, we demonstrated that 8 month-old infants could deploy powerful learning mechanisms for capturing the statistical dependencies between non-adjacent syllable units, in order to chunk a continuous speech stream. Interestingly, a hierarchy of neural processes tracked both the syllables and the chunked constituents of the sequence. Finally, in a third cognitive EEG study, we proposed an experimental design to assess infants’ ability to not only extract but also encode the structure of speech sequences into unified mental schemas. The results of this study established that 5 month-old infants could form robust mental representations for repetition-based sequences, allowing them to represent, categorize and operate on multiple structures. Inspection of various neural measurements revealed that several stages of the processing hierarchy were affected by the acquired mental representations. Overall, this thesis complements behavioral research on language acquisition with a window onto the early neural mechanisms allowing sequence encoding, revealing a hierarchy of increasingly complex computations in the encoding of linguistic structures.

Les questions environnementales, en particulier le réchauffement de la planète en raison de l'effet de serre, estdevenu de plus en plus critique au cours des dernières décennies. Candidate potentielle parmi les différentessolutions alternatives d'énergie verte pour le développement durable, la pile à combustible à membrane échangeusede protons (PEMFC en anglais) a fait l'objet de nombreux travaux de recherche, dans les domaines de l'énergie etdes transports. Les PEMFC peuvent produire de l'électricité directement à partir de la réaction électrochimique entrel'hydrogène et l'oxygène de l'air, avec comme seul sous-produits de l'eau et de la chaleur. Si l'hydrogène est produità partir de sources d'énergie renouvelables, cette conversion de l'énergie est complètement écologique.Cependant, la durée de vie relativement courte des PEMFC fonctionnant dans des conditions dynamiques (pour lesvéhicules, par exemple) empêche son utilisation massive. La prévision précise de leurs mécanismes devieillissement peut ainsi aider à concevoir des modèles de maintenance appropriés des PEMFC en fournissant desinformations prévisibles sur la dégradation des performances. De plus, la prédiction pourrait également contribuer àatténuer la dégradation indésirable des systèmes PEMFC en cours d'exploitation. Ces travaux proposent unenouvelle approche guidée par les données pour prédire la dégradation des performances des PEMFC en utilisantune méthode d'apprentissage améliorée (Relevance Vector Machine : RVM).Tout d'abord, la description théorique des PEMFC en fonctionnement est présentée. Ensuite, une illustrationdétaillée de l'impact des conditions opérationnelles sur la performance des PEMFC est exposée, ainsi que desmécanismes de dégradation de chaque composant des PEMFC.Une méthode de prédiction de performance en utilisant la RVM améliorée est ensuite proposée et démontrée. Lesrésultats de prédiction basés sur des zones d'apprentissage différentes à partir des données historiques sontégalement discutés et comparés avec les résultats de prédiction utilisant les machines à vecteurs de support(Support Vector Machine : SVM).En outre, une méthode de prédiction RVM à noyau auto-adaptatif (Self-Adaptive Kernel) est présentée. La matricede conception de la formation du RVM est également modifiée afin d'acquérir une plus grande précision lors de laprédiction. Les résultats de la prévision sont illustrés et discutés en détails.En résumé, ces travaux permettent de discuter principalement de l'analyse de la prédiction de la performance desPEMFC en utilisant des méthodes d'apprentissage statistique. / The environmental issues, especially the global warming due to greenhouse effect, has become more and morecritical in recent decades. As one potential candidate among different alternative "green energy" solutions forsustainable development, the Proton Exchange Membrane Fuel Cell (PEMFC) has been received extensiveresearch attention since many years for energy and transportation applications. The PEMFC stacks, can produceelectricity directly from electrochemical reaction between hydrogen and oxygen in the air, with the only by-productsof water and heat. If the hydrogen is produced from renewable energy sources, this energy conversion is 100% ecofriendly.However, the relatively short lifespan of PEMFCs operating under non-steady-state conditions (for vehicles forexample) impedes its massive use. The accurate prediction of their aging mechanisms can thus help to designproper maintenance patterns of PEMFCs by providing foreseeable performance degradation information. In addition,the prediction could also help to avoid or mitigate the unwanted degradation of PEMFC systems during operation.This thesis proposes a novel data driven approach to predict the performance degradation of the PEMFC using animproved relevance vector machine method.Firstly, the theoretical description of the PEMFC during operation will be presented followed by an extensivelydetailed illustration on impacts of operational conditions on PEMFC performance, along with the degradationmechanisms on each component of PEMFC. Moreover, different approaches of PEMFC performance prediction inthe literature will also be briefly introduced.Further, a performance prediction method using an improved Relevance Vector Machine (RVM) would be proposedand demonstrated. The prediction results based on different training zones from historical data will also bediscussed and compared with the prediction results using conventional Support Vector Machine (SVM).Moreover, a self-adaptive kernel RVM prediction method will be introduced. At the meantime, the design matrix ofthe RVM training will also be modified in order to acquire higher precision during prediction. The prediction resultswill be illustrated and discussed thoroughly in the end.In summary, this dissertation mainly discusses the analysis of the PEMFC performance prediction using advancedmachine learning methods.

Nous étudions le problème fondamental de la sélection de variables descriptives d'un signal, sélection dédiée à divers traitements comme la classification d'objets dans une image. Nous définissons dans un premier temps une loi de probabilités sur les variables descriptives du signal et utilisons un algorithme de descente de gradient, exact puis stochastique pour identifier la bonne distribution de probabilités sur ces variables. Nous donnons alors diverses applications à la classification d'objets (chiffres manuscrits, détection de visages, de spam, ...).<br /> Dans un second temps, nous implémentons un algorithme de diffusion réfléchie sur l'espace des probabilités puis de diffusion réfléchie avec sauts pour permettre plus facilement de faire évoluer l'espace des variables, ainsi que la probabilité apprise. Cette seconde approche nécessite un effort particulier au niveau des simulations stochastiques, qui sont alors étudiées le plus clairement possible.<br />Nous concluons par quelques expériences dans les mêmes domaines que précédemment.