Comprendre les images est d’une importance cruciale pour une pléthore de tâches, de la composition numérique au ré-éclairage d’une image, en passant par la reconstruction 3D d’objets. Ces tâches permettent aux artistes visuels de réaliser des chef-d’oeuvres ou d’aider des opérateurs à prendre des décisions de façon sécuritaire en fonction de stimulis visuels. Pour beaucoup de ces tâches, les modèles physiques et géométriques que la communauté scientifique a développés donnent lieu à des problèmes mal posés possédant plusieurs solutions, dont généralement une seule est raisonnable. Pour résoudre ces indéterminations, le raisonnement sur le contexte visuel et sémantique d’une scène est habituellement relayé à un artiste ou un expert qui emploie son expérience pour réaliser son travail. Ceci est dû au fait qu’il est généralement nécessaire de raisonner sur la scène de façon globale afin d’obtenir des résultats plausibles et appréciables. Serait-il possible de modéliser l’expérience à partir de données visuelles et d’automatiser en partie ou en totalité ces tâches ? Le sujet de cette thèse est celui-ci : la modélisation d’a priori par apprentissage automatique profond pour permettre la résolution de problèmes typiquement mal posés. Plus spécifiquement, nous couvrirons trois axes de recherche, soient : 1) la reconstruction de surface par photométrie, 2) l’estimation d’illumination extérieure à partir d’une seule image et 3) l’estimation de calibration de caméra à partir d’une seule image avec un contenu générique. Ces trois sujets seront abordés avec une perspective axée sur les données. Chacun de ces axes comporte des analyses de performance approfondies et, malgré la réputation d’opacité des algorithmes d’apprentissage machine profonds, nous proposons des études sur les indices visuels captés par nos méthodes. / Understanding images is needed for a plethora of tasks, from compositing to image relighting, including 3D object reconstruction. These tasks allow artists to realize masterpieces or help operators to safely make decisions based on visual stimuli. For many of these tasks, the physical and geometric models that the scientific community has developed give rise to ill-posed problems with several solutions, only one of which is generally reasonable. To resolve these indeterminations, the reasoning about the visual and semantic context of a scene is usually relayed to an artist or an expert who uses his experience to carry out his work. This is because humans are able to reason globally on the scene in order to obtain plausible and appreciable results. Would it be possible to model this experience from visual data and partly or totally automate tasks? This is the topic of this thesis: modeling priors using deep machine learning to solve typically ill-posed problems. More specifically, we will cover three research axes: 1) surface reconstruction using photometric cues, 2) outdoor illumination estimation from a single image and 3) camera calibration estimation from a single image with generic content. These three topics will be addressed from a data-driven perspective. Each of these axes includes in-depth performance analyses and, despite the reputation of opacity of deep machine learning algorithms, we offer studies on the visual cues captured by our methods.

Nous nous intéressons au domaine de l’apprentissage automatique, une branche de l’intelligence artificielle. Pour résoudre une tâche de classification, un algorithme d’apprentissage observe des données étiquetées et a comme objectif d’apprendre une fonction qui sera en mesure de classifier automatiquement les données qui lui seront présentées dans le futur. Plusieurs algorithmes classiques d’apprentissage cherchent à combiner des classificateurs simples en construisant avec ceux-ci un classificateur par vote de majorité. Dans cette thèse, nous explorons l’utilisation d’une borne sur le risque du classificateur par vote de majorité, nommée la C-borne. Celle-ci est définie en fonction de deux quantités : la performance individuelle des votants, et la corrélation de leurs erreurs (leur désaccord). Nous explorons d’une part son utilisation dans des bornes de généralisation des classificateurs par vote de majorité. D’autre part, nous l’étendons de la classification binaire vers un cadre généralisé de votes de majorité. Nous nous en inspirons finalement pour développer de nouveaux algorithmes d’apprentissage automatique, qui offrent des performances comparables aux algorithmes de l’état de l’art, en retournant des votes de majorité qui maximisent le désaccord entre les votants, tout en contrôlant la performance individuelle de ceux-ci. Les garanties de généralisation que nous développons dans cette thèse sont de la famille des bornes PAC-bayésiennes. Nous généralisons celles-ci en introduisant une borne générale, à partir de laquelle peuvent être retrouvées les bornes de la littérature. De cette même borne générale, nous introduisons des bornes de généralisation basées sur la C-borne. Nous simplifions également le processus de preuve des théorèmes PAC-bayésiens, nous permettant d’obtenir deux nouvelles familles de bornes. L’une est basée sur une différente notion de complexité, la divergence de Rényi plutôt que la divergence Kullback-Leibler classique, et l’autre est spécialisée au cadre de l’apprentissage transductif plutôt que l’apprentissage inductif. Les deux algorithmes d’apprentissage que nous introduisons, MinCq et CqBoost, retournent un classificateur par vote de majorité maximisant le désaccord des votants. Un hyperparamètre permet de directement contrôler leur performance individuelle. Ces deux algorithmes étant construits pour minimiser une borne PAC-bayésienne, ils sont rigoureusement justifiés théoriquement. À l’aide d’une évaluation empirique, nous montrons que MinCq et CqBoost ont une performance comparable aux algorithmes classiques de l’état de l’art. / We focus on machine learning, a branch of artificial intelligence. When solving a classification problem, a learning algorithm is provided labelled data and has the task of learning a function that will be able to automatically classify future, unseen data. Many classical learning algorithms are designed to combine simple classifiers by building a weighted majority vote classifier out of them. In this thesis, we extend the usage of the C-bound, bound on the risk of the majority vote classifier. This bound is defined using two quantities : the individual performance of the voters, and the correlation of their errors (their disagreement). First, we design majority vote generalization bounds based on the C-bound. Then, we extend this bound from binary classification to generalized majority votes. Finally, we develop new learning algorithms with state-of-the-art performance, by constructing majority votes that maximize the voters’ disagreement, while controlling their individual performance. The generalization guarantees that we develop in this thesis are in the family of PAC-Bayesian bounds. We generalize the PAC-Bayesian theory by introducing a general theorem, from which the classical bounds from the literature can be recovered. Using this same theorem, we introduce generalization bounds based on the C-bound. We also simplify the proof process of PAC-Bayesian theorems, easing the development of new families of bounds. We introduce two new families of PAC-Bayesian bounds. One is based on a different notion of complexity than usual bounds, the Rényi divergence, instead of the classical Kullback-Leibler divergence. The second family is specialized to transductive learning, instead of inductive learning. The two learning algorithms that we introduce, MinCq and CqBoost, output a majority vote classifier that maximizes the disagreement between voters. An hyperparameter of the algorithms gives a direct control over the individual performance of the voters. These two algorithms being designed to minimize PAC-Bayesian generalization bounds on the risk of the majority vote classifier, they come with rigorous theoretical guarantees. By performing an empirical evaluation, we show that MinCq and CqBoost perform as well as classical stateof- the-art algorithms.

Savoir lire est une compétence qui va de la capacité à décoder des caractères à la compréhension profonde du sens de textes. Avec l'émergence de l'intelligence artificielle, deux questions se posent : Comment peut-on apprendre à une intelligence artificielle à lire? Qu'est-ce que cela implique? En essayant de répondre à ces questions, une première évidence nous est rappelée : savoir lire ne peut pas se réduire à savoir répondre à des questions sur des textes. Étant donné que les modèles d'apprentissage machine apprennent avec des exemples d'essai erreur, ils vont apprendre à lire en apprenant à répondre correctement à des questions sur des textes. Cependant, il ne faut pas perdre de vue que savoir lire, c'est comprendre différents types de textes et c'est cette compréhension qui permet de répondre à des questions sur un texte. En d'autres termes, répondre à des questions sur des textes est un des moyens d'évaluation de la compétence de lecture plus qu'une fin en soi. Aujourd'hui, il existe différents types de jeux de données qui sont utilisées pour apprendre à des intelligences artificielles à apprendre à lire. Celles ci proposent des textes avec des questions associées qui requièrent différents types de raisonnement : associations lexicales, déductions à partir d'indices disséminés dans le texte, paraphrase, etc. Le problème est que lorsqu'une intelligence artificielle apprend à partir d'un seul de ces jeux de données, elle n'apprend pas à lire mais est plutôt formée à répondre à un type de question, sur un certain type de texte et avec un certain style d'écriture. Outre la problématique de la généralisation des compétences de lecture, les modèles d'intelligence artificielle qui apprennent à lire en apprenant à répondre à des questions retournent des réponses sans systématiquement indiquer sur quelles phrases du texte sources ils se basent. Cela pose un problème d'explicabilité et peut entrainer une mécompréhension des capacités de ces modèles. Dans ce mémoire, nous proposons de résoudre le problème de généralisation de l'apprentissage en proposant une méthodologie générale adaptée à n'importe quel jeu de données. Ainsi, en ayant une méthodologie commune à tous les types de jeux de données pour apprendre à répondre à tout type de question, sur tout type de texte, nous pourrions apprendre aux modèles d'intelligence artificielle à se concentrer sur les compétences générales de lecture plutôt que sur la capacité spécifique à répondre aux questions. Afin de résoudre également le problème de l'explicabilité, la méthodologie que nous proposons impose à tout modèle de compréhension de lecture automatique de renvoyer les extraits du texte source sur lequel ces réponses sont basées. / Reading is a skill that ranges from the ability to decode characters to a deep understanding of the meaning of a text. With the emergence of artificial intelligence, two questions arise: How can an artificial intelligence be taught to read? What does this imply? In trying to answer these questions, we are reminded of the obvious: knowing how to read cannot be reduced to knowing how to answer questions about texts. Since machine learning models learn with trial-and-error examples, they will learn to read by learning to answer correctly questions about the text they read. However, one should not forget the fact that knowing how to read means understanding different types of texts sufficiently well, and it is this that enables answering questions about a text. In other words, answering questions about texts is one of the means of assessing reading skills rather than an end in itself. Today, there are different types of datasets that are used to teach artificial intelligences to learn to read. These provide texts with associated questions that require different types of reasoning: lexical associations, deductions from discrete clues in the text, paraphrasing, etc. The problem is that when an artificial intelligence learns from only one of these datasets, it does not learn to read but is instead trained to answer a certain type of question, on a certain type of text and with a certain writing style. In addition to the problem of generalizing reading skills, artificial intelligence models that learn to read by learning to answer questions return answers without systematically indicating which sentences in the source text they are based on. This poses a problem of explicability and can lead to a misunderstanding of the capabilities of these models. In this thesis, we propose to solve the generalization issue of learning from one dataset by proposing a general methodology suiting to any machine reading comprehension dataset. Thus, by having a methodology common to all types of datasets to learn how to answer any type of question, on any type of text, we could teach artificial intelligence models to focus on general reading skills rather than on the specific ability to answer questions. In order to also solve the issue of explanability, the methodology we propose impose any machine reading comprehension model to return the span of the source text its answers are based on.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2010-2011 / L’objet principale de cette thèse est l’étude théorique et la conception d’algorithmes d’apprentissage concevant des classificateurs par vote de majorité. En particulier, nous présentons un théorème PAC-Bayes s’appliquant pour borner, entre autres, la variance de la perte de Gibbs (en plus de son espérance). Nous déduisons de ce théorème une borne du risque du vote de majorité plus serrée que la fameuse borne basée sur le risque de Gibbs. Nous présentons également un théorème permettant de borner le risque associé à des fonctions de perte générale. À partir de ce théorème, nous concevons des algorithmes d’apprentissage construisant des classificateurs par vote de majorité pondérés par une distribution minimisant une borne sur les risques associés aux fonctions de perte linéaire, quadratique, exponentielle, ainsi qu’à la fonction de perte du classificateur de Gibbs à piges multiples. Certains de ces algorithmes se comparent favorablement avec AdaBoost. / The main purpose of this thesis is the theoretical study and the design of learning algorithms returning majority-vote classifiers. In particular, we present a PAC-Bayes theorem allowing us to bound the variance of the Gibbs’ loss (not only its expectation). We deduce from this theorem a bound on the risk of a majority vote tighter than the famous bound based on the Gibbs’ risk. We also present a theorem that allows to bound the risk associated with general loss functions. From this theorem, we design learning algorithms building weighted majority vote classifiers minimizing a bound on the risk associated with the following loss functions : linear, quadratic and exponential. Also, we present algorithms based on the randomized majority vote. Some of these algorithms compare favorably with AdaBoost.

Titre de l'écran-titre (visionné le 29 novembre 2023) / L'apprentissage automatique a considérablement progressé dans le domaine de la recherche en neurosciences, mais son application pose des défis en raison des différences entre les principes biologiques du cerveau et les méthodes traditionnelles d'apprentissage automatique. Dans ce contexte, le projet présenté propose NeuroTorch, un pipeline convivial d'apprentissage automatique spécialement conçu pour les neuroscientifiques, afin de relever ces défis. Les objectifs clés de ce projet sont de fournir une librairie d'apprentissage profond adaptée aux neurosciences computationnelles, d'implémenter l'algorithme eligibility trace forward propagation (e-prop) pour sa plausibilité biologique, de comparer les réseaux de neurones continus et à impulsions en termes de résilience, et d'intégrer un pipeline d'apprentissage par renforcement. Le projet se divise en plusieurs parties. Tout d'abord, la théorie des dynamiques neuronales, des algorithmes d'optimisation et des fonctions de transformation d'espaces sera développée. Ensuite, l'attention sera portée sur la conception du pipeline NeuroTorch, incluant l'implémentation de l'algorithme e-prop. Les résultats de la prédiction de séries temporelles d'activité neuronale chez le poisson-zèbre seront présentés, ainsi que des observations sur la résilience à l'ablation des réseaux obtenus. Enfin, une section sera consacrée à l'exploration du pipeline d'apprentissage par renforcement de NeuroTorch et à la validation de son architecture dans l'environnement LunarLander de Gym. En résumé, les modèles à impulsions de NeuroTorch ont atteint des précisions de 96,37%, 85,58% et 74,16% respectivement sur les ensembles de validation MNIST, Fashion-MNIST et Heidelberg. De plus, les dynamiques leaky-integrate-and-fire with explicit synaptic current - low pass filter (SpyLIF-LPF) et Wilson-Cowan ont été entraînées avec succès à l'aide de l'algorithme e-prop sur des données neuronales expérimentales du ventral habenula du poisson-zèbre, obtenant respectivement des valeurs de pVar de 0,97 et 0,96. Les résultats concernant la résilience indiquent que l'application de la loi de Dale améliore la robustesse des modèles en termes d'ablation hiérarchique. Enfin, grâce au pipeline d'apprentissage par renforcement de NeuroTorch, différents types d'agents inspirés des neurosciences ont atteint le critère de réussite dans l'environnement LunarLander de Gym. Ces résultats soulignent la pertinence et l'efficacité de NeuroTorch pour les applications en neurosciences computationnelles. / Machine learning has made significant advancements in neuroscience research, but its application presents challenges due to the differences between the biological principles of the brain and traditional machine learning methods. In this context, the presented project proposes NeuroTorch, a comprehensive machine learning pipeline specifically designed for neuroscientists to address these challenges. The key objectives of this project are to provide a deep learning library tailored to computational neuroscience, implement the eligibility trace forward propagation (e-prop) algorithm for biological plausibility, compare continuous and spiking neural networks in terms of resilience, and integrate a reinforcement learning pipeline. The project is divided into several parts. Firstly, the theory of neural dynamics, optimization algorithms, and space transformation functions will be developed. Next focus will be on the design of the NeuroTorch pipeline, including the implementation of the e-prop algorithm. Results of predicting a time series of neuronal activity in zebrafish will be presented, along with observations on the resilience to network ablations obtained. Finally, a section will be dedicated to exploring the NeuroTorch reinforcement learning pipeline and validating its architecture in the LunarLander environment of Gym. In summary, NeuroTorch spiking models achieved accuracies of 96.37%, 85.58%, and 74.16% on the MNIST, Fashion-MNIST, and Heidelberg validation sets, respectively. Furthermore, the leaky-integrate-and-fire with explicit synaptic current - low pass filter (SpyLIF-LPF) and Wilson-Cowan dynamics were successfully trained using the e-prop algorithm on experimental neuronal data from the ventral habenula of zebrafish, achieving pVar values of 0.97 and 0.96, respectively. Results regarding resilience indicate that the application of the Dale law improves the robustness of models in terms of hierarchical ablation. Lastly, through the NeuroTorch reinforcement learning pipeline, different types of neuroscience-inspired agents successfully met the success criterion in the Gym's LunarLander environment. These results highlight the relevance and effectiveness of NeuroTorch for applications in computational neuroscience.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2018-2019 / La compréhension du lien entre les caractéristiques génomiques d’un individu, le génotype, et son état biologique, le phénotype, est un élément essentiel au développement d’une médecine personnalisée où les traitements sont adaptés à chacun. Elle permet notamment d’anticiper des maladies, d’estimer la réponse à des traitements et même d’identifier de nouvelles cibles pharmaceutiques. L’apprentissage automatique est une science visant à développer des algorithmes capables d’apprendre à partir d’exemples. Ces algorithmes peuvent être utilisés pour produire des modèles qui estiment des phénotypes à partir de génotypes, lesquels peuvent ensuite être étudiés pour élucider les mécanismes biologiques sous-jacents aux phénotypes. Toutefois, l’utilisation d’algorithmes d’apprentissage dans ce contexte pose d’importants défis algorithmiques et théoriques. La haute dimensionnalité des données génomiques et la petite taille des échantillons de données peuvent mener au surapprentissage; le volume des données requiert des algorithmes adaptés qui limitent leur utilisation des ressources computationnelles; et finalement, les modèles obtenus doivent pouvoir être interprétés par des experts du domaine, ce qui n’est pas toujours possible. Cette thèse présente des algorithmes d’apprentissage produisant des modèles interprétables pour la prédiction de phénotypes à partir de génotypes. En premier lieu, nous explorons la prédiction de phénotypes discrets à l’aide d’algorithmes à base de règles. Nous proposons de nouvelles implémentations hautement optimisées et des garanties de généralisation adaptées aux données génomiques. En second lieu, nous nous intéressons à un problème plus théorique, soit la régression par intervalles, et nous proposons deux nouveaux algorithmes d’apprentissage, dont un à base de règles. Finalement, nous montrons que ce type de régression peut être utilisé pour prédire des phénotypes continus et que ceci mène à des modèles plus précis que ceux des méthodes conventionnelles en présence de données censurées ou bruitées. Le thème applicatif de cette thèse est la prédiction de la résistance aux antibiotiques, un problème de santé publique d’envergure mondiale. Nous démontrons que nos algorithmes peuvent servir à prédire, de façon très précise, des phénotypes de résistance, tout en contribuant à en améliorer la compréhension. Ultimement, nos algorithmes pourront servir au développement d’outils permettant une meilleure utilisation des antibiotiques et un meilleur suivi épidémiologique, un élément clé de la solution à ce problème. / A thorough understanding of the relationship between the genomic characteristics of an individual (the genotype) and its biological state (the phenotype) is essential to personalized medicine, where treatments are tailored to each individual. This notably allows to anticipate diseases, estimate response to treatments, and even identify new pharmaceutical targets. Machine learning is a science that aims to develop algorithms that learn from examples. Such algorithms can be used to learn models that estimate phenotypes based on genotypes, which can then be studied to elucidate the biological mechanisms that underlie the phenotypes. Nonetheless, the application of machine learning in this context poses significant algorithmic and theoretical challenges. The high dimensionality of genomic data and the small size of data samples can lead to overfitting; the large volume of genomic data requires adapted algorithms that limit their use of computational resources; and importantly, the learned models must be interpretable by domain experts, which is not always possible. This thesis presents learning algorithms that produce interpretable models for the prediction of phenotypes based on genotypes. Firstly, we explore the prediction of discrete phenotypes using rule-based learning algorithms. We propose new implementations that are highly optimized and generalization guarantees that are adapted to genomic data. Secondly, we study a more theoretical problem, namely interval regression. We propose two new learning algorithms, one which is rule-based. Finally, we show that this type of regression can be used to predict continuous phenotypes and that this leads to models that are more accurate than those of conventional approaches in the presence of censored or noisy data. The overarching theme of this thesis is an application to the prediction of antibiotic resistance, a global public health problem of high significance. We demonstrate that our algorithms can be used to accurately predict resistance phenotypes and contribute to the improvement of their understanding. Ultimately, we expect that our algorithms will take part in the development of tools that will allow a better use of antibiotics and improved epidemiological surveillance, a key component of the solution to this problem.

Ces dernières décennies, l'intégration aux réseaux électriques de capteurs intelligents incorporant la mesure synchronisée des phaseurs a contribué à enrichir considérablement les bases de données de surveillance en temps réel de la stabilité des réseaux électriques. En parallèle, la lutte aux changements climatiques s'est accompagnée d'un déploiement généralisé des sources d'énergies renouvelables dont l'intermittence de la production et le déficit d'inertie dû à l'interface de celle-ci par l'électronique de puissance, contribuent à augmenter les risques d'instabilité à la suite de contingences de réseau. Dans ce contexte, nous proposons d'appliquer aux données de synchrophaseurs de nouvelles approches d'intelligence de données inspirées par l'analyse massive des séries chronologiques et l'apprentissage sur des dictionnaires supervisés, permettant d'extraire des centaines d'attributs décrivant concisément les estimations d'état dynamique des générateurs de réseaux électriques. La mise en évidence d'une signification physique de ces attributs permet ensuite une classification de la stabilité dynamique qui s'éloigne de ce fait des boîtes noires produites par un apprentissage en profondeur « à l'aveugle » des séries chronologiques, pour évoluer vers une approche transparente plus adaptée à la salle de conduite des réseaux et acceptable pour les ingénieurs d'exploitation. Cette approche d'apprentissage machine « interprétable » par les humains, débouche de surcroît sur une détection fiable, utilisant de courtes fenêtres de données de vitesses d'alternateurs directement mesurées ou reconstituées par estimation d'état dynamique à partir de l'instant d'élimination du défaut, pour détecter toute instabilité subséquente, avec un temps de préemption suffisant pour activer des contremesures permettant de sauvegarder la stabilité du réseau et ainsi prévenir les pannes majeures. Notre travail aborde l'exploitation de cette nouvelle niche d'information par deux approches complémentaires d'intelligence des données : 1) une analyse non parcimonieuse d'une base d'attributs se chiffrant par centaines, calculés automatiquement par l'analyse numérique massive des séries chronologiques de signaux de réponses post-contingence des générateurs; et 2) une analyse parcimonieuse exploitant l'apprentissage supervisée de grands dictionnaires surcomplets pour habiliter une prédiction de l'instabilité sur de courtes fenêtres de données avec une représentation vectorielle creuse (contenant un grand nombre de zéros) et donc numériquement très efficiente en plus de l'interprétabilité inhérente des atomes constituant les dictionnaires. Au niveau méthodologique, l'approche non parcimonieuse vise à implémenter plusieurs méthodes analytiques combinées (notamment la transformée de Fourier, la transformée en ondelette, la méthode de Welch, la méthode de périodogramme et les exposants de Lyapunov) pour extraire du signal de réponse de chaque générateur des centaines d'attributs labellisés et servant à construire un espace physique d'indicateurs de stabilité à haute dimension (HDSI). Ceux-ci sont ensuite utilisés pour développer les prédicteurs de stabilité sur la base d'algorithmes standard de machine learning, par exemple le convolutional neural network (CNN), long short-term memory (LSTM), support vector machine (SVM), AdaBoost ou les forêts aléatoires. L'approche parcimonieuse implémentée consiste à développer deux techniques complémentaires : 1) un dictionnaire d'apprentissage supervisé joint (SLOD) au classificateur et 2) vingt dictionnaires d'apprentissage séparés des signaux associés aux cas stable/instable. Alors que le SLOD utilise des dictionnaires adaptatifs inspirés des données mesurées et apprises hors-ligne, la deuxième approche utilise des dictionnaires fixes pour reconstruire séparément les signaux des classes stables et instables. Dans les deux cas, l'étape finale consiste à identifier automatiquement en temps réel, la classe d'appartenance d'une réponse par reconstruction des signaux associés à partir des dictionnaires appris hors-ligne. L'analyse parcimonieuse des réponses des générateurs sur un dictionnaire d'apprentissage adaptatif joint au classificateur a été implémenté à partir de l'algorithme K-singular value de composition (KSVD) couplé à l'orthogonal matching pursuit (OMP), afin de reconstruire et prédire la stabilité dynamique des réseaux électriques. De plus, vingt décompositions parcimonieuses des signaux sur des dictionnaires fixes (simples et hybrides) ont permis de développer des classificateurs prédisant chaque classe séparément sur la base de la transformée en cosinus discrète (DCT), en sinus discrète (DST), en ondelette (DWT), de la transformée de Haar (DHT), et le dictionnaire de Dirac (DI) couplés à l'orthogonal matching pursuit (OMP). Cette étude démontre que la décomposition parcimonieuse sur un dictionnaire adaptatif joint au classificateur offre une performance proche de l'idéal (c'est-à-dire : 99,99 % précision, 99,99 % sécurité et 99,99 % fiabilité) de loin supérieure à celle d'un classificateur à reconstruction de signaux basée sur les vingt dictionnaires fixes ou adaptatifs séparés, et les classificateurs basés sur les moteurs de machine learning (SVM, ANN, DT, RF, AdaBoost, CNN et LSTM) implémentés à partir des indices HDSI extraits de la base de données des vitesses des rotors des réseaux IEEE 2 area 4 machines, IEEE 39 -bus et IEEE 68 -bus. Toutefois, le temps de resimulation (replay) en temps réel des dictionnaires fixes/adaptatifs séparés est nettement inférieur (de 30-40%) à celui observé pour le dictionnaire adaptatif à classificateur joint / SLOD, et les algorithmes modernes de machine learning utilisant les attributs de type HDSI comme intrants. / In recent decades, the integration of smart sensors incorporating synchronized phasor measurements units (PMU) into power grids has contributed to a significant improvement of the databases for real-time monitoring of power grid stability. In parallel, the fight against climate change has been accompanied by a widespread deployment of renewable energy sources whose intermittency of production and the lack of inertia due to the interface of the latter by power electronics; contribute to increase the risks of instability following network contingencies. In this context, we propose to apply new data intelligence approaches inspired by massive time series analysis and supervised dictionary learning to synchrophasor data, allowing the extraction of hundreds of attributes concisely describing the dynamic state estimates of power system generators. The physical meaning identification of these attributes then allows for an online classification of dynamic stability, thus moving away from the black boxes produced by «blind» deep learning of time series to a transparent approach more suitable for the network control room and acceptable to operating engineers. This human-interpretable machine learning approach also leads to reliable detection, using short windows of generator speed data directly measured or reconstructed by dynamic state estimation from the instant of fault elimination, to detect any subsequent instability, with sufficient preemption time to activate false measures to safeguard the network stability and thus prevent major outages. Our work addresses the exploitation of this new information through two complementary data intelligence approaches : 1) a non-sparse analysis of an attribute base numbering in the hundreds, computed automatically by massive numerical analysis of post-contingency response signal time series from generators; and 2) a sparse analysis exploiting supervised learning of large overcomplete dictionaries to enable instability prediction over short windows of data with a hollow vector representation (containing a large number of zeros) and thus numerically very efficient in addition to the inherent interpretability of the atoms constituting the dictionaries. Methodologically, the non-sparse approach aims to implement several combined analytical methods (including Fourier transform, wavelet transform, Welch's method, periodogram method and Lyapunov exponents) to extract hundreds of labeled attributes from the response signal of each generator and used to construct a physical space of high-dimensional stability indicators (HDSI). These are used to develop stability predictors based on standard machine learning algorithms, e.g., CNN, LSTM, SVM, AdaBoost or random forests. The implemented sparse approach consists in developing two complementary techniques: 1) a supervised learning dictionary attached (SLOD) to the classifier and 2) twenty separate dictionaries learning of the signals associated with the stable/instable cases. While the SLOD uses adaptive dictionaries inspired by the measured and learned offline data, the second approach uses fixed dictionaries to reconstruct the stable and unstable signals classes separately. In both cases, the final step is automatically identified in real time the status to which a response belongs by reconstructing the associated signals from the off-line learned dictionaries. The sparse analysis of generator responses on an adaptive learning dictionary attached to the classifier was implemented using the K-singular value decomposition (KSVD) algorithm coupled with orthogonal matching pursuit (OMP), to reconstruct and predict online the dynamic stability of power systems. In addition, twenty sparse signal decompositions on fixed dictionaries (simple and hybrid) were used to develop classifiers predicting each class separately based on the discrete cosine transform (DCT), discrete sine transform (DST), wavelet transform (DWT), Haar transform (DHT), and Dirac dictionary (DI) coupled with the orthogonal matching pursuit (OMP). This study demonstrates that sparse decomposition on joined adaptive dictionary to the classifier provides near ideal performance (i.e.: 99.99% accuracy, 99.99% security, and 99.99% reliability) far superior to that of a classifier has signal reconstruction based on the twenty separate fixed or adaptive dictionaries and classifiers based on machine learning engines (SVM, ANN, DT, RF, AdaBoost, CNN, and LSTM) implemented from HDSI indices extracted from the rotor speed database of the IEEE 2 area 4 machines, IEEE 39 -bus, and IEEE 68 -bus test systems. However, the real-time replay time of the separate fixed/adaptive dictionaries is significantly lower (by 30-40%) than that observed for the adaptive dictionary with joint classifier/SLOD, and modern machine learning algorithms using HDSI-like attributes as inputs.

Le cancer du sein est l'une des principales causes de décès par cancer chez les Canadiennes (1 sur 8 le développera au cours de sa vie et 1 sur 31 en décédera). Les études suggèrent que la majorité des cancers du sein se développent dans une faible portion de femmes ayant une susceptibilité génétique à la maladie. L'évaluation personnalisée de ce risque étant basée sur la conviction que la population peut se diviser en plusieurs groupes selon le risque génétique individuel inhérent, il est indispensable d'identier les acteurs responsables de cette susceptibilit é génétique pour pouvoir offrir, à ces femmes à risque, des mesures préventives adaptées à leur risque. Ainsi, depuis la découverte des gènes associés au cancer du sein, BRCA1 en 1994 et BRCA2 en 1995, d'énormes efforts ont été fournis an d'identier les éléments génétiques sous-jacents au risque du cancer du sein et de nombreuses autres mutations délétères ont été découvertes dans des gènes de susceptibilité tels que PTEN, PALB2 ou CHEK2. Malheureusement, malgr é les efforts engagés dans cette recherche, les gènes/loci de susceptibilité connus à ce jour n'expliquent qu'environ la moitié du risque génétique liée à cette maladie. Conscients des enjeux, de nombreux groupes d'études internationaux se sont associés en consortiums tels que le Breast Cancer Association Consortium (BCAC) ou le Consortium of Investigators of Modi ers of BRCA1/2 (CIMBA), an d'unir leur ressources pour l'identication de ce qu'on a appelé "l'héritabilité manquante" du cancer du sein. Plusieurs hypothèses ont été formulées quant aux sources de cette héritabilité manquante et, parmi ces hypothèses, nous en avons exploré deux. Dans un premier temps, nous avons testé l'hypothèse selon laquelle il resterait de nombreux variants génétiques communs de faible pénétrance à découvrir à travers une vaste étude d'association pangénomique réalisée dans le cadre de l'OncoArray Network. Dans un second temps, nous avons testé l'hypothèse selon laquelle des variants, plus rares mais de pénétrance plus forte, seraient à découvrir dans les régions codantes du génome, à travers l'évaluation du potentiel prédictif de ces variants via une approche innovante d'analyse de données d'exomes. Ainsi, nous avons pu démontrer la véracité de la première hypothèse par la découverte de 65 nouveaux locus associés à la susceptibilité au cancer du sein global. De plus, ces travaux ayant mis en lumière des besoins en terme d'assistance à l'analyse des signaux d'association, nous avons développé deux outils d'aide à la priorisation des variants génétiques humains. Enn, la seconde hypothèse a été testée à travers le développement d'une nouvelle méthodologie multi-étapes, combinant l'analyse de génotypes et d'haplotypes. Cette approche, mettant à prot la puissance de l'apprentissage machine, a permis d'identier des nouveaux marqueurs (variants individuels ou combinés dans des haplotypes) codants potentiellement associés au phénotype. Pour les locus de susceptibilité comme pour les gènes candidats identiés lors de l'analyse des données d'exomes, il sera indispensable de conrmer leur implication ainsi que l'ampleur de leurs effets sur des cohortes externes de grande taille et puis procéder à leur caractérisation fonctionnelle. Si ces derniers sont validés, ils pourront alors être intégrés aux outils actuels de prédiction du risque du cancer du sein et favoriser ainsi une prise en charge précoce et la prescription d'interventions thérapeutiques mieux adaptées pour les femmes à risque. / Breast cancer is one of the leading causes of death from cancer among Canadian women (about 1 in 8 Canadian women will develop breast cancer during her lifetime and 1 in 31 will die from the disease). Evidence suggests that most breast cancer cases develop in a small proportion of women with a genetic susceptibility to the disease. Since the personalized assessment of this risk is based on the certainty that women can be divided into several groups according to their inherent genetic risk, it is essential to identify the actors responsible for this genetic susceptibility to breast cancer in order to offer these at-risk women, personalized preventive measures. Thus, since the discovery of the associated genes BRCA1 in 1994 and BRCA2 in 1995, tremendous efforts have been made to identify the genetic components underlying breast cancer risk and many other deleterious mutations have been uncovered in susceptibility genes such as PTEN, PALB2 or CHEK2. Unfortunately, despite these efforts, the susceptibility genes/loci known to date only explain about half of the genetic risk associated with this disease. Acknowledging the challenges, many international groups have partnered in consortia such as the Breast Cancer Consortium (BCAC) or the Consortium of Investigators of Modiers of BRCA1/2 (CIMBA) to join their resources for the identication of what has been called breast cancer "missing heritability". Several hypotheses have been formulated as to the sources of this missing heritability and, among these hypotheses, we have explored two. First, we tested the hypothesis of many common low penetrance genetic variants still to be discovered through a large genome-wide association study conducted within the OncoArray Network. In a second step, we tested the hypothesis according to which rarer variants of higher penetrance, could be discovered in the coding regions of the genome, through the evaluation of the predictive power of these variants by an innovative approach of exomes data analysis. Thus, we were able to demonstrate the veracity of the rst hypothesis by the discovery of 65 new loci associated with overall breast cancer susceptibility. In addition, these studies having highlighted the need for assistance tools for prioritization analysis, we developed two softwares to help prioritize human genetic variants. Finally, we developed a new multi-step methodology, combining the analysis of genotypes and haplotypes in order to assess the predictive power of coding variants. This approach, taking advantage of the power of machine learning, enabled the identication of new credible coding markers (variants alone or combined into haplotypes), signicantly associated with the phenotype. For susceptibility loci as well as for candidate genes identied during the analysis of exome data, it will be essential to conrm their involvement and effect size on large external sample sets and then perform their functional characterization. If they are validated, their integration into current risk prediction tools could help promote early management and well-calibrated therapeutic interventions for at-risk women.

Une des objectifs poursuivis par la recherche en apprentissage automatique est la construction de bons classificateurs à partir d'un ensemble d'exemples étiquetés. Certains problèmes nécessitent de réunir un grand ensemble d'exemples étiquetés, ce qui peut s'avérer long et coûteux. Afin de réduire ces efforts, il est possible d'utiliser les algorithmes d'apprentissage actif. Ces algorithmes tirent profit de la possibilité de faire quelques demandes d'étiquetage parmi un grand ensemble d'exemples non-étiquetés pour construire un classificateur précis. Il est cependant important de préciser que les algorithmes d'apprentissage actif actuels possèdent eux-mêmes quelques points faibles connus qui peuvent les mener à performer inadéquatement dans certaines situations. Dans cette thèse, nous proposons un nouvel algorithme d'apprentissage actif. Notre algorithme atténue certains points faibles des précédents algorithmes d'apprentissage actif, et il se révèle trés compétitif aux algorithmes d'apprentissage actif bien-connus. De plus, notre algorithme est facile à implémenter. / One of the goals of machine learning researches is to build accurate classifiers form an amount of labeled examples. In some problems, it is necessary to gather a large set of labeled examples which can be costly and time-consuming. To reduce these expenses, one can use active learning algorithms. These algorithms benefit from the possibility of performing a small number of label-queries from a large set of unlabeled examples to build an accurate classifier. It should be mentioned that actual active learning algorithms, themselves, have some known weak points which may lead them to perform unsuccessfully in certain situations. In this thesis, we propose a novel active learning algorithm. Our proposed algorithm not only fades the weak points of the previous active learning algorithms, but also performs competitively among the widely known active learning algorithms while it is easy to implement.

L’un des problèmes importants en apprentissage automatique est de déterminer la complexité du modèle à apprendre. Une trop grande complexité mène au surapprentissage, ce qui correspond à trouver des structures qui n’existent pas réellement dans les données, tandis qu’une trop faible complexité mène au sous-apprentissage, c’est-à-dire que l’expressivité du modèle est insuffisante pour capturer l’ensemble des structures présentes dans les données. Pour certains modèles probabilistes, la complexité du modèle se traduit par l’introduction d’une ou plusieurs variables cachées dont le rôle est d’expliquer le processus génératif des données. Il existe diverses approches permettant d’identifier le nombre approprié de variables cachées d’un modèle. Cette thèse s’intéresse aux méthodes Bayésiennes nonparamétriques permettant de déterminer le nombre de variables cachées à utiliser ainsi que leur dimensionnalité. La popularisation des statistiques Bayésiennes nonparamétriques au sein de la communauté de l’apprentissage automatique est assez récente. Leur principal attrait vient du fait qu’elles offrent des modèles hautement flexibles et dont la complexité s’ajuste proportionnellement à la quantité de données disponibles. Au cours des dernières années, la recherche sur les méthodes d’apprentissage Bayésiennes nonparamétriques a porté sur trois aspects principaux : la construction de nouveaux modèles, le développement d’algorithmes d’inférence et les applications. Cette thèse présente nos contributions à ces trois sujets de recherches dans le contexte d’apprentissage de modèles à variables cachées. Dans un premier temps, nous introduisons le Pitman-Yor process mixture of Gaussians, un modèle permettant l’apprentissage de mélanges infinis de Gaussiennes. Nous présentons aussi un algorithme d’inférence permettant de découvrir les composantes cachées du modèle que nous évaluons sur deux applications concrètes de robotique. Nos résultats démontrent que l’approche proposée surpasse en performance et en flexibilité les approches classiques d’apprentissage. Dans un deuxième temps, nous proposons l’extended cascading Indian buffet process, un modèle servant de distribution de probabilité a priori sur l’espace des graphes dirigés acycliques. Dans le contexte de réseaux Bayésien, ce prior permet d’identifier à la fois la présence de variables cachées et la structure du réseau parmi celles-ci. Un algorithme d’inférence Monte Carlo par chaîne de Markov est utilisé pour l’évaluation sur des problèmes d’identification de structures et d’estimation de densités. Dans un dernier temps, nous proposons le Indian chefs process, un modèle plus général que l’extended cascading Indian buffet process servant à l’apprentissage de graphes et d’ordres. L’avantage du nouveau modèle est qu’il admet les connections entres les variables observables et qu’il prend en compte l’ordre des variables. Nous présentons un algorithme d’inférence Monte Carlo par chaîne de Markov avec saut réversible permettant l’apprentissage conjoint de graphes et d’ordres. L’évaluation est faite sur des problèmes d’estimations de densité et de test d’indépendance. Ce modèle est le premier modèle Bayésien nonparamétrique permettant d’apprendre des réseaux Bayésiens disposant d’une structure complètement arbitraire. / One of the important problems in machine learning is determining the complexity of the model to learn. Too much complexity leads to overfitting, which finds structures that do not actually exist in the data, while too low complexity leads to underfitting, which means that the expressiveness of the model is insufficient to capture all the structures present in the data. For some probabilistic models, the complexity depends on the introduction of one or more latent variables whose role is to explain the generative process of the data. There are various approaches to identify the appropriate number of latent variables of a model. This thesis covers various Bayesian nonparametric methods capable of determining the number of latent variables to be used and their dimensionality. The popularization of Bayesian nonparametric statistics in the machine learning community is fairly recent. Their main attraction is the fact that they offer highly flexible models and their complexity scales appropriately with the amount of available data. In recent years, research on Bayesian nonparametric learning methods have focused on three main aspects: the construction of new models, the development of inference algorithms and new applications. This thesis presents our contributions to these three topics of research in the context of learning latent variables models. Firstly, we introduce the Pitman-Yor process mixture of Gaussians, a model for learning infinite mixtures of Gaussians. We also present an inference algorithm to discover the latent components of the model and we evaluate it on two practical robotics applications. Our results demonstrate that the proposed approach outperforms, both in performance and flexibility, the traditional learning approaches. Secondly, we propose the extended cascading Indian buffet process, a Bayesian nonparametric probability distribution on the space of directed acyclic graphs. In the context of Bayesian networks, this prior is used to identify the presence of latent variables and the network structure among them. A Markov Chain Monte Carlo inference algorithm is presented and evaluated on structure identification problems and as well as density estimation problems. Lastly, we propose the Indian chefs process, a model more general than the extended cascading Indian buffet process for learning graphs and orders. The advantage of the new model is that it accepts connections among observable variables and it takes into account the order of the variables. We also present a reversible jump Markov Chain Monte Carlo inference algorithm which jointly learns graphs and orders. Experiments are conducted on density estimation problems and testing independence hypotheses. This model is the first Bayesian nonparametric model capable of learning Bayesian learning networks with completely arbitrary graph structures.