Titre de l'écran-titre (visionné le 29 novembre 2023) / L'apprentissage automatique a considérablement progressé dans le domaine de la recherche en neurosciences, mais son application pose des défis en raison des différences entre les principes biologiques du cerveau et les méthodes traditionnelles d'apprentissage automatique. Dans ce contexte, le projet présenté propose NeuroTorch, un pipeline convivial d'apprentissage automatique spécialement conçu pour les neuroscientifiques, afin de relever ces défis. Les objectifs clés de ce projet sont de fournir une librairie d'apprentissage profond adaptée aux neurosciences computationnelles, d'implémenter l'algorithme eligibility trace forward propagation (e-prop) pour sa plausibilité biologique, de comparer les réseaux de neurones continus et à impulsions en termes de résilience, et d'intégrer un pipeline d'apprentissage par renforcement. Le projet se divise en plusieurs parties. Tout d'abord, la théorie des dynamiques neuronales, des algorithmes d'optimisation et des fonctions de transformation d'espaces sera développée. Ensuite, l'attention sera portée sur la conception du pipeline NeuroTorch, incluant l'implémentation de l'algorithme e-prop. Les résultats de la prédiction de séries temporelles d'activité neuronale chez le poisson-zèbre seront présentés, ainsi que des observations sur la résilience à l'ablation des réseaux obtenus. Enfin, une section sera consacrée à l'exploration du pipeline d'apprentissage par renforcement de NeuroTorch et à la validation de son architecture dans l'environnement LunarLander de Gym. En résumé, les modèles à impulsions de NeuroTorch ont atteint des précisions de 96,37%, 85,58% et 74,16% respectivement sur les ensembles de validation MNIST, Fashion-MNIST et Heidelberg. De plus, les dynamiques leaky-integrate-and-fire with explicit synaptic current - low pass filter (SpyLIF-LPF) et Wilson-Cowan ont été entraînées avec succès à l'aide de l'algorithme e-prop sur des données neuronales expérimentales du ventral habenula du poisson-zèbre, obtenant respectivement des valeurs de pVar de 0,97 et 0,96. Les résultats concernant la résilience indiquent que l'application de la loi de Dale améliore la robustesse des modèles en termes d'ablation hiérarchique. Enfin, grâce au pipeline d'apprentissage par renforcement de NeuroTorch, différents types d'agents inspirés des neurosciences ont atteint le critère de réussite dans l'environnement LunarLander de Gym. Ces résultats soulignent la pertinence et l'efficacité de NeuroTorch pour les applications en neurosciences computationnelles. / Machine learning has made significant advancements in neuroscience research, but its application presents challenges due to the differences between the biological principles of the brain and traditional machine learning methods. In this context, the presented project proposes NeuroTorch, a comprehensive machine learning pipeline specifically designed for neuroscientists to address these challenges. The key objectives of this project are to provide a deep learning library tailored to computational neuroscience, implement the eligibility trace forward propagation (e-prop) algorithm for biological plausibility, compare continuous and spiking neural networks in terms of resilience, and integrate a reinforcement learning pipeline. The project is divided into several parts. Firstly, the theory of neural dynamics, optimization algorithms, and space transformation functions will be developed. Next focus will be on the design of the NeuroTorch pipeline, including the implementation of the e-prop algorithm. Results of predicting a time series of neuronal activity in zebrafish will be presented, along with observations on the resilience to network ablations obtained. Finally, a section will be dedicated to exploring the NeuroTorch reinforcement learning pipeline and validating its architecture in the LunarLander environment of Gym. In summary, NeuroTorch spiking models achieved accuracies of 96.37%, 85.58%, and 74.16% on the MNIST, Fashion-MNIST, and Heidelberg validation sets, respectively. Furthermore, the leaky-integrate-and-fire with explicit synaptic current - low pass filter (SpyLIF-LPF) and Wilson-Cowan dynamics were successfully trained using the e-prop algorithm on experimental neuronal data from the ventral habenula of zebrafish, achieving pVar values of 0.97 and 0.96, respectively. Results regarding resilience indicate that the application of the Dale law improves the robustness of models in terms of hierarchical ablation. Lastly, through the NeuroTorch reinforcement learning pipeline, different types of neuroscience-inspired agents successfully met the success criterion in the Gym's LunarLander environment. These results highlight the relevance and effectiveness of NeuroTorch for applications in computational neuroscience.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2018-2019 / La compréhension du lien entre les caractéristiques génomiques d’un individu, le génotype, et son état biologique, le phénotype, est un élément essentiel au développement d’une médecine personnalisée où les traitements sont adaptés à chacun. Elle permet notamment d’anticiper des maladies, d’estimer la réponse à des traitements et même d’identifier de nouvelles cibles pharmaceutiques. L’apprentissage automatique est une science visant à développer des algorithmes capables d’apprendre à partir d’exemples. Ces algorithmes peuvent être utilisés pour produire des modèles qui estiment des phénotypes à partir de génotypes, lesquels peuvent ensuite être étudiés pour élucider les mécanismes biologiques sous-jacents aux phénotypes. Toutefois, l’utilisation d’algorithmes d’apprentissage dans ce contexte pose d’importants défis algorithmiques et théoriques. La haute dimensionnalité des données génomiques et la petite taille des échantillons de données peuvent mener au surapprentissage; le volume des données requiert des algorithmes adaptés qui limitent leur utilisation des ressources computationnelles; et finalement, les modèles obtenus doivent pouvoir être interprétés par des experts du domaine, ce qui n’est pas toujours possible. Cette thèse présente des algorithmes d’apprentissage produisant des modèles interprétables pour la prédiction de phénotypes à partir de génotypes. En premier lieu, nous explorons la prédiction de phénotypes discrets à l’aide d’algorithmes à base de règles. Nous proposons de nouvelles implémentations hautement optimisées et des garanties de généralisation adaptées aux données génomiques. En second lieu, nous nous intéressons à un problème plus théorique, soit la régression par intervalles, et nous proposons deux nouveaux algorithmes d’apprentissage, dont un à base de règles. Finalement, nous montrons que ce type de régression peut être utilisé pour prédire des phénotypes continus et que ceci mène à des modèles plus précis que ceux des méthodes conventionnelles en présence de données censurées ou bruitées. Le thème applicatif de cette thèse est la prédiction de la résistance aux antibiotiques, un problème de santé publique d’envergure mondiale. Nous démontrons que nos algorithmes peuvent servir à prédire, de façon très précise, des phénotypes de résistance, tout en contribuant à en améliorer la compréhension. Ultimement, nos algorithmes pourront servir au développement d’outils permettant une meilleure utilisation des antibiotiques et un meilleur suivi épidémiologique, un élément clé de la solution à ce problème. / A thorough understanding of the relationship between the genomic characteristics of an individual (the genotype) and its biological state (the phenotype) is essential to personalized medicine, where treatments are tailored to each individual. This notably allows to anticipate diseases, estimate response to treatments, and even identify new pharmaceutical targets. Machine learning is a science that aims to develop algorithms that learn from examples. Such algorithms can be used to learn models that estimate phenotypes based on genotypes, which can then be studied to elucidate the biological mechanisms that underlie the phenotypes. Nonetheless, the application of machine learning in this context poses significant algorithmic and theoretical challenges. The high dimensionality of genomic data and the small size of data samples can lead to overfitting; the large volume of genomic data requires adapted algorithms that limit their use of computational resources; and importantly, the learned models must be interpretable by domain experts, which is not always possible. This thesis presents learning algorithms that produce interpretable models for the prediction of phenotypes based on genotypes. Firstly, we explore the prediction of discrete phenotypes using rule-based learning algorithms. We propose new implementations that are highly optimized and generalization guarantees that are adapted to genomic data. Secondly, we study a more theoretical problem, namely interval regression. We propose two new learning algorithms, one which is rule-based. Finally, we show that this type of regression can be used to predict continuous phenotypes and that this leads to models that are more accurate than those of conventional approaches in the presence of censored or noisy data. The overarching theme of this thesis is an application to the prediction of antibiotic resistance, a global public health problem of high significance. We demonstrate that our algorithms can be used to accurately predict resistance phenotypes and contribute to the improvement of their understanding. Ultimately, we expect that our algorithms will take part in the development of tools that will allow a better use of antibiotics and improved epidemiological surveillance, a key component of the solution to this problem.

Ces dernières décennies, l'intégration aux réseaux électriques de capteurs intelligents incorporant la mesure synchronisée des phaseurs a contribué à enrichir considérablement les bases de données de surveillance en temps réel de la stabilité des réseaux électriques. En parallèle, la lutte aux changements climatiques s'est accompagnée d'un déploiement généralisé des sources d'énergies renouvelables dont l'intermittence de la production et le déficit d'inertie dû à l'interface de celle-ci par l'électronique de puissance, contribuent à augmenter les risques d'instabilité à la suite de contingences de réseau. Dans ce contexte, nous proposons d'appliquer aux données de synchrophaseurs de nouvelles approches d'intelligence de données inspirées par l'analyse massive des séries chronologiques et l'apprentissage sur des dictionnaires supervisés, permettant d'extraire des centaines d'attributs décrivant concisément les estimations d'état dynamique des générateurs de réseaux électriques. La mise en évidence d'une signification physique de ces attributs permet ensuite une classification de la stabilité dynamique qui s'éloigne de ce fait des boîtes noires produites par un apprentissage en profondeur « à l'aveugle » des séries chronologiques, pour évoluer vers une approche transparente plus adaptée à la salle de conduite des réseaux et acceptable pour les ingénieurs d'exploitation. Cette approche d'apprentissage machine « interprétable » par les humains, débouche de surcroît sur une détection fiable, utilisant de courtes fenêtres de données de vitesses d'alternateurs directement mesurées ou reconstituées par estimation d'état dynamique à partir de l'instant d'élimination du défaut, pour détecter toute instabilité subséquente, avec un temps de préemption suffisant pour activer des contremesures permettant de sauvegarder la stabilité du réseau et ainsi prévenir les pannes majeures. Notre travail aborde l'exploitation de cette nouvelle niche d'information par deux approches complémentaires d'intelligence des données : 1) une analyse non parcimonieuse d'une base d'attributs se chiffrant par centaines, calculés automatiquement par l'analyse numérique massive des séries chronologiques de signaux de réponses post-contingence des générateurs; et 2) une analyse parcimonieuse exploitant l'apprentissage supervisée de grands dictionnaires surcomplets pour habiliter une prédiction de l'instabilité sur de courtes fenêtres de données avec une représentation vectorielle creuse (contenant un grand nombre de zéros) et donc numériquement très efficiente en plus de l'interprétabilité inhérente des atomes constituant les dictionnaires. Au niveau méthodologique, l'approche non parcimonieuse vise à implémenter plusieurs méthodes analytiques combinées (notamment la transformée de Fourier, la transformée en ondelette, la méthode de Welch, la méthode de périodogramme et les exposants de Lyapunov) pour extraire du signal de réponse de chaque générateur des centaines d'attributs labellisés et servant à construire un espace physique d'indicateurs de stabilité à haute dimension (HDSI). Ceux-ci sont ensuite utilisés pour développer les prédicteurs de stabilité sur la base d'algorithmes standard de machine learning, par exemple le convolutional neural network (CNN), long short-term memory (LSTM), support vector machine (SVM), AdaBoost ou les forêts aléatoires. L'approche parcimonieuse implémentée consiste à développer deux techniques complémentaires : 1) un dictionnaire d'apprentissage supervisé joint (SLOD) au classificateur et 2) vingt dictionnaires d'apprentissage séparés des signaux associés aux cas stable/instable. Alors que le SLOD utilise des dictionnaires adaptatifs inspirés des données mesurées et apprises hors-ligne, la deuxième approche utilise des dictionnaires fixes pour reconstruire séparément les signaux des classes stables et instables. Dans les deux cas, l'étape finale consiste à identifier automatiquement en temps réel, la classe d'appartenance d'une réponse par reconstruction des signaux associés à partir des dictionnaires appris hors-ligne. L'analyse parcimonieuse des réponses des générateurs sur un dictionnaire d'apprentissage adaptatif joint au classificateur a été implémenté à partir de l'algorithme K-singular value de composition (KSVD) couplé à l'orthogonal matching pursuit (OMP), afin de reconstruire et prédire la stabilité dynamique des réseaux électriques. De plus, vingt décompositions parcimonieuses des signaux sur des dictionnaires fixes (simples et hybrides) ont permis de développer des classificateurs prédisant chaque classe séparément sur la base de la transformée en cosinus discrète (DCT), en sinus discrète (DST), en ondelette (DWT), de la transformée de Haar (DHT), et le dictionnaire de Dirac (DI) couplés à l'orthogonal matching pursuit (OMP). Cette étude démontre que la décomposition parcimonieuse sur un dictionnaire adaptatif joint au classificateur offre une performance proche de l'idéal (c'est-à-dire : 99,99 % précision, 99,99 % sécurité et 99,99 % fiabilité) de loin supérieure à celle d'un classificateur à reconstruction de signaux basée sur les vingt dictionnaires fixes ou adaptatifs séparés, et les classificateurs basés sur les moteurs de machine learning (SVM, ANN, DT, RF, AdaBoost, CNN et LSTM) implémentés à partir des indices HDSI extraits de la base de données des vitesses des rotors des réseaux IEEE 2 area 4 machines, IEEE 39 -bus et IEEE 68 -bus. Toutefois, le temps de resimulation (replay) en temps réel des dictionnaires fixes/adaptatifs séparés est nettement inférieur (de 30-40%) à celui observé pour le dictionnaire adaptatif à classificateur joint / SLOD, et les algorithmes modernes de machine learning utilisant les attributs de type HDSI comme intrants. / In recent decades, the integration of smart sensors incorporating synchronized phasor measurements units (PMU) into power grids has contributed to a significant improvement of the databases for real-time monitoring of power grid stability. In parallel, the fight against climate change has been accompanied by a widespread deployment of renewable energy sources whose intermittency of production and the lack of inertia due to the interface of the latter by power electronics; contribute to increase the risks of instability following network contingencies. In this context, we propose to apply new data intelligence approaches inspired by massive time series analysis and supervised dictionary learning to synchrophasor data, allowing the extraction of hundreds of attributes concisely describing the dynamic state estimates of power system generators. The physical meaning identification of these attributes then allows for an online classification of dynamic stability, thus moving away from the black boxes produced by «blind» deep learning of time series to a transparent approach more suitable for the network control room and acceptable to operating engineers. This human-interpretable machine learning approach also leads to reliable detection, using short windows of generator speed data directly measured or reconstructed by dynamic state estimation from the instant of fault elimination, to detect any subsequent instability, with sufficient preemption time to activate false measures to safeguard the network stability and thus prevent major outages. Our work addresses the exploitation of this new information through two complementary data intelligence approaches : 1) a non-sparse analysis of an attribute base numbering in the hundreds, computed automatically by massive numerical analysis of post-contingency response signal time series from generators; and 2) a sparse analysis exploiting supervised learning of large overcomplete dictionaries to enable instability prediction over short windows of data with a hollow vector representation (containing a large number of zeros) and thus numerically very efficient in addition to the inherent interpretability of the atoms constituting the dictionaries. Methodologically, the non-sparse approach aims to implement several combined analytical methods (including Fourier transform, wavelet transform, Welch's method, periodogram method and Lyapunov exponents) to extract hundreds of labeled attributes from the response signal of each generator and used to construct a physical space of high-dimensional stability indicators (HDSI). These are used to develop stability predictors based on standard machine learning algorithms, e.g., CNN, LSTM, SVM, AdaBoost or random forests. The implemented sparse approach consists in developing two complementary techniques: 1) a supervised learning dictionary attached (SLOD) to the classifier and 2) twenty separate dictionaries learning of the signals associated with the stable/instable cases. While the SLOD uses adaptive dictionaries inspired by the measured and learned offline data, the second approach uses fixed dictionaries to reconstruct the stable and unstable signals classes separately. In both cases, the final step is automatically identified in real time the status to which a response belongs by reconstructing the associated signals from the off-line learned dictionaries. The sparse analysis of generator responses on an adaptive learning dictionary attached to the classifier was implemented using the K-singular value decomposition (KSVD) algorithm coupled with orthogonal matching pursuit (OMP), to reconstruct and predict online the dynamic stability of power systems. In addition, twenty sparse signal decompositions on fixed dictionaries (simple and hybrid) were used to develop classifiers predicting each class separately based on the discrete cosine transform (DCT), discrete sine transform (DST), wavelet transform (DWT), Haar transform (DHT), and Dirac dictionary (DI) coupled with the orthogonal matching pursuit (OMP). This study demonstrates that sparse decomposition on joined adaptive dictionary to the classifier provides near ideal performance (i.e.: 99.99% accuracy, 99.99% security, and 99.99% reliability) far superior to that of a classifier has signal reconstruction based on the twenty separate fixed or adaptive dictionaries and classifiers based on machine learning engines (SVM, ANN, DT, RF, AdaBoost, CNN, and LSTM) implemented from HDSI indices extracted from the rotor speed database of the IEEE 2 area 4 machines, IEEE 39 -bus, and IEEE 68 -bus test systems. However, the real-time replay time of the separate fixed/adaptive dictionaries is significantly lower (by 30-40%) than that observed for the adaptive dictionary with joint classifier/SLOD, and modern machine learning algorithms using HDSI-like attributes as inputs.

Le cancer du sein est l'une des principales causes de décès par cancer chez les Canadiennes (1 sur 8 le développera au cours de sa vie et 1 sur 31 en décédera). Les études suggèrent que la majorité des cancers du sein se développent dans une faible portion de femmes ayant une susceptibilité génétique à la maladie. L'évaluation personnalisée de ce risque étant basée sur la conviction que la population peut se diviser en plusieurs groupes selon le risque génétique individuel inhérent, il est indispensable d'identier les acteurs responsables de cette susceptibilit é génétique pour pouvoir offrir, à ces femmes à risque, des mesures préventives adaptées à leur risque. Ainsi, depuis la découverte des gènes associés au cancer du sein, BRCA1 en 1994 et BRCA2 en 1995, d'énormes efforts ont été fournis an d'identier les éléments génétiques sous-jacents au risque du cancer du sein et de nombreuses autres mutations délétères ont été découvertes dans des gènes de susceptibilité tels que PTEN, PALB2 ou CHEK2. Malheureusement, malgr é les efforts engagés dans cette recherche, les gènes/loci de susceptibilité connus à ce jour n'expliquent qu'environ la moitié du risque génétique liée à cette maladie. Conscients des enjeux, de nombreux groupes d'études internationaux se sont associés en consortiums tels que le Breast Cancer Association Consortium (BCAC) ou le Consortium of Investigators of Modi ers of BRCA1/2 (CIMBA), an d'unir leur ressources pour l'identication de ce qu'on a appelé "l'héritabilité manquante" du cancer du sein. Plusieurs hypothèses ont été formulées quant aux sources de cette héritabilité manquante et, parmi ces hypothèses, nous en avons exploré deux. Dans un premier temps, nous avons testé l'hypothèse selon laquelle il resterait de nombreux variants génétiques communs de faible pénétrance à découvrir à travers une vaste étude d'association pangénomique réalisée dans le cadre de l'OncoArray Network. Dans un second temps, nous avons testé l'hypothèse selon laquelle des variants, plus rares mais de pénétrance plus forte, seraient à découvrir dans les régions codantes du génome, à travers l'évaluation du potentiel prédictif de ces variants via une approche innovante d'analyse de données d'exomes. Ainsi, nous avons pu démontrer la véracité de la première hypothèse par la découverte de 65 nouveaux locus associés à la susceptibilité au cancer du sein global. De plus, ces travaux ayant mis en lumière des besoins en terme d'assistance à l'analyse des signaux d'association, nous avons développé deux outils d'aide à la priorisation des variants génétiques humains. Enn, la seconde hypothèse a été testée à travers le développement d'une nouvelle méthodologie multi-étapes, combinant l'analyse de génotypes et d'haplotypes. Cette approche, mettant à prot la puissance de l'apprentissage machine, a permis d'identier des nouveaux marqueurs (variants individuels ou combinés dans des haplotypes) codants potentiellement associés au phénotype. Pour les locus de susceptibilité comme pour les gènes candidats identiés lors de l'analyse des données d'exomes, il sera indispensable de conrmer leur implication ainsi que l'ampleur de leurs effets sur des cohortes externes de grande taille et puis procéder à leur caractérisation fonctionnelle. Si ces derniers sont validés, ils pourront alors être intégrés aux outils actuels de prédiction du risque du cancer du sein et favoriser ainsi une prise en charge précoce et la prescription d'interventions thérapeutiques mieux adaptées pour les femmes à risque. / Breast cancer is one of the leading causes of death from cancer among Canadian women (about 1 in 8 Canadian women will develop breast cancer during her lifetime and 1 in 31 will die from the disease). Evidence suggests that most breast cancer cases develop in a small proportion of women with a genetic susceptibility to the disease. Since the personalized assessment of this risk is based on the certainty that women can be divided into several groups according to their inherent genetic risk, it is essential to identify the actors responsible for this genetic susceptibility to breast cancer in order to offer these at-risk women, personalized preventive measures. Thus, since the discovery of the associated genes BRCA1 in 1994 and BRCA2 in 1995, tremendous efforts have been made to identify the genetic components underlying breast cancer risk and many other deleterious mutations have been uncovered in susceptibility genes such as PTEN, PALB2 or CHEK2. Unfortunately, despite these efforts, the susceptibility genes/loci known to date only explain about half of the genetic risk associated with this disease. Acknowledging the challenges, many international groups have partnered in consortia such as the Breast Cancer Consortium (BCAC) or the Consortium of Investigators of Modiers of BRCA1/2 (CIMBA) to join their resources for the identication of what has been called breast cancer "missing heritability". Several hypotheses have been formulated as to the sources of this missing heritability and, among these hypotheses, we have explored two. First, we tested the hypothesis of many common low penetrance genetic variants still to be discovered through a large genome-wide association study conducted within the OncoArray Network. In a second step, we tested the hypothesis according to which rarer variants of higher penetrance, could be discovered in the coding regions of the genome, through the evaluation of the predictive power of these variants by an innovative approach of exomes data analysis. Thus, we were able to demonstrate the veracity of the rst hypothesis by the discovery of 65 new loci associated with overall breast cancer susceptibility. In addition, these studies having highlighted the need for assistance tools for prioritization analysis, we developed two softwares to help prioritize human genetic variants. Finally, we developed a new multi-step methodology, combining the analysis of genotypes and haplotypes in order to assess the predictive power of coding variants. This approach, taking advantage of the power of machine learning, enabled the identication of new credible coding markers (variants alone or combined into haplotypes), signicantly associated with the phenotype. For susceptibility loci as well as for candidate genes identied during the analysis of exome data, it will be essential to conrm their involvement and effect size on large external sample sets and then perform their functional characterization. If they are validated, their integration into current risk prediction tools could help promote early management and well-calibrated therapeutic interventions for at-risk women.

Une des objectifs poursuivis par la recherche en apprentissage automatique est la construction de bons classificateurs à partir d'un ensemble d'exemples étiquetés. Certains problèmes nécessitent de réunir un grand ensemble d'exemples étiquetés, ce qui peut s'avérer long et coûteux. Afin de réduire ces efforts, il est possible d'utiliser les algorithmes d'apprentissage actif. Ces algorithmes tirent profit de la possibilité de faire quelques demandes d'étiquetage parmi un grand ensemble d'exemples non-étiquetés pour construire un classificateur précis. Il est cependant important de préciser que les algorithmes d'apprentissage actif actuels possèdent eux-mêmes quelques points faibles connus qui peuvent les mener à performer inadéquatement dans certaines situations. Dans cette thèse, nous proposons un nouvel algorithme d'apprentissage actif. Notre algorithme atténue certains points faibles des précédents algorithmes d'apprentissage actif, et il se révèle trés compétitif aux algorithmes d'apprentissage actif bien-connus. De plus, notre algorithme est facile à implémenter. / One of the goals of machine learning researches is to build accurate classifiers form an amount of labeled examples. In some problems, it is necessary to gather a large set of labeled examples which can be costly and time-consuming. To reduce these expenses, one can use active learning algorithms. These algorithms benefit from the possibility of performing a small number of label-queries from a large set of unlabeled examples to build an accurate classifier. It should be mentioned that actual active learning algorithms, themselves, have some known weak points which may lead them to perform unsuccessfully in certain situations. In this thesis, we propose a novel active learning algorithm. Our proposed algorithm not only fades the weak points of the previous active learning algorithms, but also performs competitively among the widely known active learning algorithms while it is easy to implement.

L’un des problèmes importants en apprentissage automatique est de déterminer la complexité du modèle à apprendre. Une trop grande complexité mène au surapprentissage, ce qui correspond à trouver des structures qui n’existent pas réellement dans les données, tandis qu’une trop faible complexité mène au sous-apprentissage, c’est-à-dire que l’expressivité du modèle est insuffisante pour capturer l’ensemble des structures présentes dans les données. Pour certains modèles probabilistes, la complexité du modèle se traduit par l’introduction d’une ou plusieurs variables cachées dont le rôle est d’expliquer le processus génératif des données. Il existe diverses approches permettant d’identifier le nombre approprié de variables cachées d’un modèle. Cette thèse s’intéresse aux méthodes Bayésiennes nonparamétriques permettant de déterminer le nombre de variables cachées à utiliser ainsi que leur dimensionnalité. La popularisation des statistiques Bayésiennes nonparamétriques au sein de la communauté de l’apprentissage automatique est assez récente. Leur principal attrait vient du fait qu’elles offrent des modèles hautement flexibles et dont la complexité s’ajuste proportionnellement à la quantité de données disponibles. Au cours des dernières années, la recherche sur les méthodes d’apprentissage Bayésiennes nonparamétriques a porté sur trois aspects principaux : la construction de nouveaux modèles, le développement d’algorithmes d’inférence et les applications. Cette thèse présente nos contributions à ces trois sujets de recherches dans le contexte d’apprentissage de modèles à variables cachées. Dans un premier temps, nous introduisons le Pitman-Yor process mixture of Gaussians, un modèle permettant l’apprentissage de mélanges infinis de Gaussiennes. Nous présentons aussi un algorithme d’inférence permettant de découvrir les composantes cachées du modèle que nous évaluons sur deux applications concrètes de robotique. Nos résultats démontrent que l’approche proposée surpasse en performance et en flexibilité les approches classiques d’apprentissage. Dans un deuxième temps, nous proposons l’extended cascading Indian buffet process, un modèle servant de distribution de probabilité a priori sur l’espace des graphes dirigés acycliques. Dans le contexte de réseaux Bayésien, ce prior permet d’identifier à la fois la présence de variables cachées et la structure du réseau parmi celles-ci. Un algorithme d’inférence Monte Carlo par chaîne de Markov est utilisé pour l’évaluation sur des problèmes d’identification de structures et d’estimation de densités. Dans un dernier temps, nous proposons le Indian chefs process, un modèle plus général que l’extended cascading Indian buffet process servant à l’apprentissage de graphes et d’ordres. L’avantage du nouveau modèle est qu’il admet les connections entres les variables observables et qu’il prend en compte l’ordre des variables. Nous présentons un algorithme d’inférence Monte Carlo par chaîne de Markov avec saut réversible permettant l’apprentissage conjoint de graphes et d’ordres. L’évaluation est faite sur des problèmes d’estimations de densité et de test d’indépendance. Ce modèle est le premier modèle Bayésien nonparamétrique permettant d’apprendre des réseaux Bayésiens disposant d’une structure complètement arbitraire. / One of the important problems in machine learning is determining the complexity of the model to learn. Too much complexity leads to overfitting, which finds structures that do not actually exist in the data, while too low complexity leads to underfitting, which means that the expressiveness of the model is insufficient to capture all the structures present in the data. For some probabilistic models, the complexity depends on the introduction of one or more latent variables whose role is to explain the generative process of the data. There are various approaches to identify the appropriate number of latent variables of a model. This thesis covers various Bayesian nonparametric methods capable of determining the number of latent variables to be used and their dimensionality. The popularization of Bayesian nonparametric statistics in the machine learning community is fairly recent. Their main attraction is the fact that they offer highly flexible models and their complexity scales appropriately with the amount of available data. In recent years, research on Bayesian nonparametric learning methods have focused on three main aspects: the construction of new models, the development of inference algorithms and new applications. This thesis presents our contributions to these three topics of research in the context of learning latent variables models. Firstly, we introduce the Pitman-Yor process mixture of Gaussians, a model for learning infinite mixtures of Gaussians. We also present an inference algorithm to discover the latent components of the model and we evaluate it on two practical robotics applications. Our results demonstrate that the proposed approach outperforms, both in performance and flexibility, the traditional learning approaches. Secondly, we propose the extended cascading Indian buffet process, a Bayesian nonparametric probability distribution on the space of directed acyclic graphs. In the context of Bayesian networks, this prior is used to identify the presence of latent variables and the network structure among them. A Markov Chain Monte Carlo inference algorithm is presented and evaluated on structure identification problems and as well as density estimation problems. Lastly, we propose the Indian chefs process, a model more general than the extended cascading Indian buffet process for learning graphs and orders. The advantage of the new model is that it accepts connections among observable variables and it takes into account the order of the variables. We also present a reversible jump Markov Chain Monte Carlo inference algorithm which jointly learns graphs and orders. Experiments are conducted on density estimation problems and testing independence hypotheses. This model is the first Bayesian nonparametric model capable of learning Bayesian learning networks with completely arbitrary graph structures.

Tableau d'honneur de la Faculté des études supérieures et postdorales, 2014-2015 / L’apprentissage automatique correspond à la science de l’apprentissage à partir d’exemples. Des algorithmes basés sur cette approche sont aujourd’hui omniprésents. Bien qu’il y ait eu un progrès significatif, ce domaine présente des défis importants. Par exemple, simplement sélectionner la fonction qui correspond le mieux aux données observées n’offre aucune garantie statistiques sur les exemples qui n’ont pas encore été observées. Quelques théories sur l’apprentissage automatique offrent des façons d’aborder ce problème. Parmi ceux-ci, nous présentons la modélisation bayésienne de l’apprentissage automatique et l’approche PACbayésienne pour l’apprentissage automatique dans une vue unifiée pour mettre en évidence d’importantes similarités. Le résultat de cette analyse suggère que de considérer les réponses de l’ensemble des modèles plutôt qu’un seul correspond à un des éléments-clés pour obtenir une bonne performance de généralisation. Malheureusement, cette approche vient avec un coût de calcul élevé, et trouver de bonnes approximations est un sujet de recherche actif. Dans cette thèse, nous présentons une approche novatrice qui peut être appliquée avec un faible coût de calcul sur un large éventail de configurations d’apprentissage automatique. Pour atteindre cet objectif, nous appliquons la théorie de Bayes d’une manière différente de ce qui est conventionnellement fait pour l’apprentissage automatique. Spécifiquement, au lieu de chercher le vrai modèle à l’origine des données observées, nous cherchons le meilleur modèle selon une métrique donnée. Même si cette différence semble subtile, dans cette approche, nous ne faisons pas la supposition que le vrai modèle appartient à l’ensemble de modèles explorés. Par conséquent, nous disons que nous sommes agnostiques. Plusieurs expérimentations montrent un gain de généralisation significatif en utilisant cette approche d’ensemble de modèles durant la phase de validation croisée. De plus, cet algorithme est simple à programmer et n’ajoute pas un coût de calcul significatif à la recherche d’hyperparamètres conventionnels. Finalement, cet outil probabiliste peut également être utilisé comme un test statistique pour évaluer la qualité des algorithmes sur plusieurs ensembles de données d’apprentissage. / Machine learning is the science of learning from examples. Algorithms based on this approach are now ubiquitous. While there has been significant progress, this field presents important challenges. Namely, simply selecting the function that best fits the observed data was shown to have no statistical guarantee on the examples that have not yet been observed. There are a few learning theories that suggest how to address this problem. Among these, we present the Bayesian modeling of machine learning and the PAC-Bayesian approach to machine learning in a unified view to highlight important similarities. The outcome of this analysis suggests that model averaging is one of the key elements to obtain a good generalization performance. Specifically, one should perform predictions based on the outcome of every model instead of simply the one that best fits the observed data. Unfortunately, this approach comes with a high computational cost problem, and finding good approximations is the subject of active research. In this thesis, we present an innovative approach that can be applied with a low computational cost on a wide range of machine learning setups. In order to achieve this, we apply the Bayes’ theory in a different way than what is conventionally done for machine learning. Specifically, instead of searching for the true model at the origin of the observed data, we search for the best model according to a given metric. While the difference seems subtle, in this approach, we do not assume that the true model belongs to the set of explored model. Hence, we say that we are agnostic. An extensive experimental setup shows a significant generalization performance gain when using this model averaging approach during the cross-validation phase. Moreover, this simple algorithm does not add a significant computational cost to the conventional search of hyperparameters. Finally, this probabilistic tool can also be used as a statistical significance test to evaluate the quality of learning algorithms on multiple datasets.

Dans le cadre de l'apprentissage automatique supervisé, un des outils disponibles pour la classification binaire est la Set Covering Machine (SCM). Rapidement construite et en général très performante, elle n'est cependant pas systématiquement infaillible. Il existe encore, à ce jour, une marge pour une amélioration. Ce mémoire présente deux nouvelles façons de construire des SCM. Ces algorithmes sont décrits, expliqués et leur performance est analysée. La première façon est de minimiser une approximation d'une borne sur le risque à l'aide d'un branch-and-bound. La deuxième est d'utiliser le bagging. Lors des tests, les nouveaux classificateurs se sont montrés aussi performants que les SCM originales. Nous avons découvert que celles-ci sont soit déjà optimales au sens du critère utilisé pour le branch-and-bound, soit aussi performantes que les SCM optimales. / In the supervised machine learning field, one of the available tools for binary classification is the Set Covering Machine (SCM). Quickly built and generally having high performance, it's however not proven that they always give optimal results. There is still, to date, a margin for improvement. This study presents two new ways of building SCM. Theses algorithms are described, explained and their performance is analyzed. The first way is to minimize an approximated bound on the risk with a branch-and-bound. The second is using bagging. The new classifiers had the same test-set performance than the original SCM. We discovered that the latter are either already optimal according to the branch-and-bound criterion or having the same performance as the optimal SCM.

Ce mémoire décrit plusieurs travaux concernant le traitement de données et l’analyse de spectres de masse à haut débit. La spectrométrie de masse est une méthode connue de mesure chimique. Appliquée à des échantillons biologiques, la spectrométrie de masse devient alors une technique de mesure métabolomique, c’est-à-dire mesurant l’ensemble des métabolites de l’échantillon, soit les petites molécules composant le fluide biologique et qui interagissent avec le métabolisme. Le projet présenté ici est effectué en partenariat avec Héma-Québec afin de concevoir de nouveaux tests de contrôle de qualité à partir de spectrométrie de masse. L’application de la technologie de la source LDTD à la spectrométrie de masse permet d’acquérir des spectres à haut-débit. Cela représente un bénéfice au coût de l’acquisition des spectres ainsi qu’à la rapidité du processus. On peut ainsi obtenir de grandes quantités de spectres afin de construire des ensembles de données. On peut ensuite appliquer le domaine informatique de l’apprentissage automatique à ces données. On peut utiliser ce domaine afin de classifier les spectres d’échantillons de produits sanguins et fournir des garanties statistiques sur cette classification. L’utilisation d’algorithmes parcimonieux et interprétables peut aussi mener à la découverte de biomarqueurs. Les travaux présentés ici concernent la conception de deux méthodes de traitement des spectres de masse. La première méthode est la correction par masses de verrouillage virtuelles, utilisée pour corriger les biais de mesure uniformes. La seconde est une méthode d’alignement, qui est un outil de correction d’erreurs de lecture. De plus, une nouvelle méthode à noyau, soit une méthode mathématique de comparaison entre des exemples, fut mise au point spécifiquement pour le travail avec des spectres de masse. Finalement, des résultats de classification sur spectres de masse acquis par LDTD et par spectrométrie de masse avec chromatographie liquide sont présentés. / This memoir describes work concerning the treatment and analysis of high-throughput mass spectrometry. Mass spectrometry is a tried and tested method of chemical measurement in a sample. Applied to biological samples, mass spectrometry becomes a metabolomic measurement technique, meaning that it measures the metabolites contained in a sample, which are small molecules present in the biological fluid that interact with the individual’s metabolism. The project that is presented here is a partnership with Hema-Québec in order to conceive new quality control tests from mass spectrometry measurements. The application of the LDTD ionisation source in mass spectrometry makes the acquisition of spectra in high-throughput possible. This represents a large benefit in terms of experimental costs and in time. Large datasets of mass spectra can then be obtained in a short period of time. The computer science domain of machine learning can then be applied to this data. Statistical machine learning can then be used to classify the spectra of blood product samples and provide statistical guarantees on this classification. The use of sparse and interpretable machine learning algorithms can also lead to the discovery of biomarkers. The work presented in this memoir concerns the design of two methods of treatment of mass spectra. The first of these methods is the correction by virtual lock masses, used to correct any uniform shift in the masses in a spectra. The second is a new method of peak alignment used to correct slight measuring errors. In addition, a new kernel method, a method to mathematically compare examples, was designed specifically for application on mass spectra data. Finally, results of classification on mass spectra acquired with an LDTD ionisation source and by liquid chromatography mass spectrometry will be presented.

Dans le domaine de la classification, les algorithmes d'apprentissage par compression d'échantillons sont des algorithmes qui utilisent les données d'apprentissage disponibles pour construire l'ensemble de classificateurs possibles. Si les données appartiennent seulement à un petit sous-espace de l'espace de toutes les données «possibles», ces algorithmes possédent l'intéressante capacité de ne considérer que les classificateurs qui permettent de distinguer les exemples qui appartiennent à notre domaine d'intérêt. Ceci contraste avec d'autres algorithmes qui doivent considérer l'ensemble des classificateurs avant d'examiner les données d'entraînement. La machine à vecteurs de support (le SVM) est un algorithme d'apprentissage très performant qui peut être considéré comme un algorithme d'apprentissage par compression d'échantillons. Malgré son succès, le SVM est actuellement limité par le fait que sa fonction de similarité doit être un noyau symétrique semi-défini positif. Cette limitation rend le SVM difficilement applicable au cas où on désire utiliser une mesure de similarité quelconque. / In classification, sample compression algorithms are the algorithms that make use of the available training data to construct the set of possible predictors. If the data belongs to only a small subspace of the space of all "possible" data, such algorithms have the interesting ability of considering only the predictors that distinguish examples in our areas of interest. This is in contrast with non sample compressed algorithms which have to consider the set of predictors before seeing the training data. The Support Vector Machine (SVM) is a very successful learning algorithm that can be considered as a sample-compression learning algorithm. Despite its success, the SVM is currently limited by the fact that its similarity function must be a symmetric positive semi-definite kernel. This limitation by design makes SVM hardly applicable for the cases where one would like to be able to use any similarity measure of input example. PAC-Bayesian theory has been shown to be a good starting point for designing learning algorithms. In this thesis, we propose a PAC-Bayes sample-compression approach to kernel methods that can accommodate any bounded similarity function. We show that the support vector classifier is actually a particular case of sample-compressed classifiers known as majority votes of sample-compressed classifiers. We propose two different groups of PAC-Bayesian risk bounds for majority votes of sample-compressed classifiers. The first group of proposed bounds depends on the KL divergence between the prior and the posterior over the set of sample-compressed classifiers. The second group of proposed bounds has the unusual property of having no KL divergence when the posterior is aligned with the prior in some precise way that we define later in this thesis. Finally, for each bound, we provide a new learning algorithm that consists of finding the predictor that minimizes the bound. The computation times of these algorithms are comparable with algorithms like the SVM. We also empirically show that the proposed algorithms are very competitive with the SVM.