Thèse de doctorat : Bioinformatique : Evry-Val d'Essonne : 2008. / Titre provenant de l'écran-titre.

Le Web est devenu riche en informations circulant à travers le monde entier via le réseau Internet. Cela a provoqué l'expansion de grandes quantités de données. De plus, ces données sont souvent non structurées et difficiles à être utilisées dans des applications Web. D'une part, l'intérêt des utilisateurs pour l'exploitation de ces données a augmenté d'une façon concurrentielle. D'autre part, les données ne sont pas faciles à être consultées par l'humain. Cet intérêt a motivé les chercheurs à penser à des approches d'extraction des données à partir du Web, d'où l'apparition des adaptateurs. Un adaptateur est basé sur un ensemble des règles d'extraction définissant l'emplacement des données dans le document à extraire. Plusieurs outils existent pour la construction de ces règles. Notre travail s'intéresse au problème de l'extraction de données à partir du Web. Dans ce document, nous proposons une méthode d'extraction des données à partir du Web basée sur l'apprentissage machine pour la construction des règles d'extraction. Les résultats de l'extraction de notre approche démontrent une importance en matière de précision d'extraction et une meilleure performance dans le processus d'apprentissage. L'utilisation de notre outil dans une application d'interrogation de sources de données a permis de répondre aux besoins des utilisateurs d'une manière très simple et automatique. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : extraction, adaptateurs, règles d'extraction, apprentissage machine, Web, applications Web.

Thèse (M.Sc.)--Université Laval, 2006. / Titre de l'écran-titre (visionné le 14 mai 2007). Bibliogr.

Les problèmes d’optimisation apparaissent dans presque tous les domaines scientifiques. Cependant, le processus laborieux de conception d’un optimiseur approprié peut demeurer infructueux. La question la plus ambitieuse de l’optimisation est peut-être de savoir comment concevoir des optimiseurs suffisamment flexibles pour s’adapter à un grand nombre de scénarios, tout en atteignant des performances de pointe. Dans ce travail, nous visons donner une réponse potentielle à cette question en étudiant comment faire un méta-apprentissage d’optimiseurs à base de population. Nous motivons et décrivons une modélisation commune pour la plupart des algorithmes basés sur la population, qui présentent des principes d’adaptation générale. Cette structure permet de dériver un cadre de méta-apprentissage basé sur un processus de décision de Markov partiellement observable (POMDP). Notre formulation conceptuelle fournit une méthodologie générale pour apprendre l’algorithme d’optimisation lui-même, présenté comme un problème de méta-apprentissage ou d’apprentissage pour optimiser à l’aide d’ensembles de données d’analyse comparative en boîte noire, pour former des optimiseurs polyvalents efficaces. Nous estimons une fonction d’apprentissage de méta-perte basée sur les performances d’algorithmes stochastiques. Notre analyse expérimentale indique que cette nouvelle fonction de méta-perte encourage l’algorithme appris à être efficace et robuste à une convergence prématurée. En outre, nous montrons que notre approche peut modifier le comportement de recherche d’un algorithme pour s’adapter facilement à un nouveau contexte et être efficace par rapport aux algorithmes de pointe, tels que CMA-ES. / Optimization problems appear in almost any scientific field. However, the laborious process to design a suitable optimizer may lead to an unsuccessful outcome. Perhaps the most ambitious question in optimization is how we can design optimizers that can be flexible enough to adapt to a vast number of scenarios while at the same time reaching state-of-the-art performance. In this work, we aim to give a potential answer to this question by investigating how to metalearn population-based optimizers. We motivate and describe a common structure for most population-based algorithms, which present principles for general adaptation. This structure can derive a meta-learning framework based on a Partially observable Markov decision process (POMDP). Our conceptual formulation provides a general methodology to learn the optimizer algorithm itself, framed as a meta-learning or learning-to-optimize problem using black-box benchmarking datasets to train efficient general-purpose optimizers. We estimate a meta-loss training function based on stochastic algorithms’ performance. Our experimental analysis indicates that this new meta-loss function encourages the learned algorithm to be sample efficient and robust to premature convergence. Besides, we show that our approach can alter an algorithm’s search behavior to fit easily in a new context and be sample efficient compared to state-of-the-art algorithms, such as CMA-ES.

L'apprentissage et la mémoire aux niveaux cellulaire et moléculaire se caractérisent par la modulation de la force synaptique en recrutant et relocalisant des protéines synaptiques à l'échelle nanométrique. La plupart des études portant sur les mécanismes de la plasticité synaptique se sont concentrées sur des synapses spécifiques, manquant ainsi d'une vue d'ensemble de la diversité des changements de force synaptique et de la réorganisation des protéines dans les circuits neuronaux. Nous utilisons une combinaison d'imagerie fonctionnelle et à super résolution dans des cultures dissociées d'hippocampe et des outils d'intelligence artificielle pour classifier la diversité de synapses en fonction de leurs caractéristiques fonctionnelles et organisationnelles. Nous avons mesuré l'activité synaptique en utilisant la microscopie à grand champ pour enregistrer des événements calciques dans des neurones exprimant le senseur calcique fluorescent GCaMP6f. Nous avons développé une approche d'apprentissage profond pour détecter et segmenter ces événements calciques. Nous montrons la modulation de l'amplitude et de la fréquence des événements calciques en fonction de l'activité neuronale. En outre, nous avons classifié les synapses actives et nous avons identifié un recrutement différentiel de certains types de synapses en fonction du paradigme de plasticité utilisé. Comme l'organisation des protéines synaptiques à l'intérieur de domaines nanométriques des synapses joue un rôle central dans la force et la plasticité synaptiques, nous résolvons l'organisation des protéines d'échafaudage présynaptiques (Bassoon, RIM1/2) et postsynaptiques (PSD95, Homer1c) en utilisant la nanoscopie STED (Déplétion par émission stimulée). Nous avons quantifié l'organisation synaptique à l'aide d'une analyse statistique de la distance entre objets basée sur Python (pySODA). Nous montrons que les stimuli induisant la plasticité modifient de manière différentielle l'organisation de ces protéines. En particulier, les protéines PSD95 et Bassoon présentent un changement d'organisation dépendant d'un traitement induisant une potentiation synaptique ou une dépression synaptique. De plus, à l'aide d'approches d'apprentissage automatique non supervisées, nous révélons la riche diversité des sous-types de protéines synaptiques présentant un remodelage différentiel. Pour étudier le lien entre l'architecture des protéines synaptiques et la force synaptique, nous avons combiné l'imagerie fonctionnelle et l'imagerie à super-résolution. Nous avons donc utilisé une approche d'apprentissage automatique pour optimiser les paramètres d'imagerie des cellules vivantes pour l'imagerie à haute résolution et nous avons combiné cela avec l'optimisation des paramètres de déblocage du glutamate pour sonder les signaux calciques correspondants. Notre approche permet de caractériser la population de synapses en fonction de leur taux d'activité et de leur organisation de protéines synaptiques et devrait fournir une base pour explorer davantage les divers mécanismes moléculaires de la plasticité synaptique. / Learning and memory at the cellular and molecular levels are characterized by modulation of synaptic strength, involving the recruitment and re-localization of proteins within specific nanoscale synaptic domains. Most studies investigating the mechanisms of synaptic plasticity have been focussed on specific synapses, lacking a broad view of the diversity of synaptic changes in strength and protein re-organization across neural circuits. We use a combination of functional and super-resolution optical imaging in dissociated hippocampal cultures and artificial intelligence tools to classify the diversity of synapses, based on their functional and organizational characteristics. We measured synaptic activity using wide field microscopy to record miniature synaptic calcium transients (MSCTs) in neurons expressing the fluorescent calcium sensor GCaMP6f. We developed a deep learning approach to detect and segment these calcium events. Our results show that the amplitude and frequency of miniature calcium events are modulated by prior levels of circuit activity. In addition, we classified active synapses and identify differential recruitment of certain calcium dynamics depending on the plasticity paradigm used. To link the nanoscale organization of synaptic proteins with synaptic strength and plasticity, we optically resolved the organization of presynaptic (Bassoon, RIM1/2) and postsynaptic (PSD95, Homer1c) scaffolding proteins using STED (Stimulated Emission Depletion) nanoscopy. Using Python-based statistical object distance analysis (pySODA), we show that plasticity-inducing stimuli differentially alter the spatial organization of these proteins. In particular, PSD95 and Bassoon proteins show a treatment-dependent change in organization, associated either with synaptic potentiation or depression. Furthermore, using unsupervised machine learning approaches, we reveal the rich diversity of synaptic protein subtypes exhibiting differential remodeling. To investigate further the link between synaptic protein architecture and synaptic function, we aimed to combine functional and super-resolution imaging. We therefore used a machine learning approach to optimize live-cell imaging parameters for time-lapse imaging and combined this with the optimization of glutamate uncaging parameters to probe corresponding calcium signals. Our approach allows to characterize the population of synapses in terms of their activity rate and synaptic protein organization, providing a basis for further exploring the diverse molecular mechanisms of synaptic plasticity.

Thèse ou mémoire avec insertion d’articles / La restauration d'image est un problème mal posé. Des images pourtant différentes peuvent devenir identiques une fois dégradées. Pour cette raison, les approches établies exploitent des connaissances préalables sur le processus de dégradation en question ou sur la distribution des données. Alors que les techniques traditionnelles de restauration d'image sont basées sur la compréhension mathématique de dégradations spécifiques, les méthodes de pointe basées sur l'apprentissage profond supervisé exploitent de grands ensembles de données d'images dégradées pour apprendre automatiquement la restauration nécessaire. À ce titre, ces méthodes offrent une grande flexibilité, au prix d'un long processus d'entraînement. Bien que ces méthodes aient une grande efficacité dans le cas général, elles ne peuvent pas incorporer d'a priori supplémentaire sans réentraînement. Par exemple, modifier la distribution des images pour un ensemble plus restreint, ou encore modifier les niveaux de dégradations acceptés nécessite le réentraînement. En particulier, il est impossible combiner des modèles adaptés et entraînés pour des dégradations distinctes sans réentrainer. Dans ce travail, nous développons une nouvelle technique de restauration d'image non-supervisée basée sur l'inversion StyleGAN. StyleGAN est un modèle génératif très populaire qui génère des images aléatoires réalistes à partir de codes latents ; son utilisation pour la restauration d'images nécessite d'inverser ce processus. Notre première contribution consiste en une nouvelle méthode qui améliore l'inversion StyleGAN en introduisant des paramètres libres supplémentaires. Dans un second temps, nous adaptons cette technique à la restauration d'image non supervisée. Cette technique utilise une approximation différentiable à la dégradation appliquée pour trouver, dans la distribution d'un StyleGAN pré-entraîné, une image nettoyée qui correspond bien à l'image dégradée. Contrairement aux travaux précédents et concurrents, notre méthode est robuste, en ce sens qu'elle utilise les mêmes hyperparamètres pour toutes les tâches et tous les niveaux de dégradations. Grâce à cette robustesse, il devient possible de combiner facilement différents modèles de dégradation, de façon à restaurer des dégradations combinées. / Image restoration is an ill-posed problem, where multiple solutions exists. Because of this, effective approches exploit prior knowledge of the image degradation process or the data distribution. While traditional image restoration techniques are based on mathematical understanding of specific image degradations, state of the art methods based on supervised deep learning leverage large datasets of degraded images to learn restoration automatically. As such, they offer great flexibility, at the cost of a lengthy training processes. While these methods have great efficacy in the general case, they cannot incorporate additional priors without retraining. For instance, specializing the dataset to a different domain requires retraining, modifying the levels of degradation requires retraining, and methods which are designed for specific degrdations cannot be combined together. In this work, we develop a novel technique for unsupervised image restoration based on StyleGAN inversion. StyleGAN is a very popular generative model which generates realistic random images from latent codes; its use in image restoration requires inverting this process. Our first contribution consists of a new method that improves StyleGAN inversion by introducing additional free parameters. As a second contribution, we adapt this technique to unsupervised image restoration. This technique uses a differentiable approximation of the image degradation to search the distribution of a pretrained StyleGAN. In contrast to previous and concurrent works, our method is robust, in that it uses the same hyperparameters for all tasks and all levels of degradations. As such, it can effectively handle new combinations of tasks, and restore multiple different degradations, without any training.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2008-2009 / Dans un premier temps, ce mémoire présente un théorème PAC-Bayes général, duquel il est possible d'obtenir simplement plusieurs bornes PAC-Bayes connues. Ces bornes permettent de calculer une garantie sur le risque d'un classificateur à partir de ses performances sur l'ensemble de données d'entraînement. Par l'interprétation du comportement de deux bornes PAC-Bayes, nous énonçons les caractéristiques propres aux classificateurs qu'elles favorisent. Enfin, une spécialisation de ces bornes à la famille des classificateurs linéaires est détaillée. Dans un deuxième temps, nous concevons trois nouveaux algorithmes d'apprentissage automatique basés sur la minimisation, par la méthode de descente de gradient conjugué, de l'expression mathématique de diverses formulations des bornes PAC-Bayes. Le dernier algorithme présenté utilise une fraction de l'ensemble d'entraînement pour l'acquisition de connaissances a priori. Ces algorithmes sont aptes à construire des classificateurs exprimés par vote de majorité ainsi que des classificateurs linéaires exprimés implicitement à l'aide de la stratégie du noyau. Finalement, une étude empirique élaborée compare les trois algorithmes entre eux et révèle que certaines versions de ces algorithmes construisent des classificateurs compétitifs avec ceux obtenus par AdaBoost et les SVM. / At first, this master thesis presents a general PAC-Bayes theorem, from which we can easily obtain some well-known PAC-Bayes bounds. Those bounds allow us to compute a guarantee on the risk of a classifier from its achievements on the training set. We analyze the behavior of two PAC-Bayes bounds and we determine peculiar characteristics of classifiers favoured by those bounds. Then, we present a specialization of those bounds to the linear classifiers family. Secondly, we conceive three new machine learning algorithms based on the minimization, by conjugate gradient descent, of various mathematical expressions of the PAC-Bayes bounds. The last algorithm uses a part of the training set to capture a priori knowledges. One can use those algorithms to construct majority vote classifiers as well as linear classifiers implicitly represented by the kernel trick. Finally, an elaborated empirical study compares the three algorithms and shows that some versions of those algorithms are competitive with both AdaBoost and SVM.

Au Canada, les abeilles sont un élément essentiel au secteur de l'agriculture en participant, en plus de leur production annuelle de miel à la pollinisation de nombreux fruits, noix et légumes. Malheureusement, le nombre des abeilles est dangereusement en baisse depuis la dernière décennie. L'intérêt du sujet et la multiplication d'initiatives de recherche dans le domaine ont fait de l'abeille un organisme modèle, notamment dans la recherche sur la dynamique hôte-microbiote. Apis mellifera possède un microbiote très spécialisé qui confère à l'abeille un large éventail de fonctions bénéfiques, allant de l'immunité à la transformation du pollen et la digestion des carbohydrates. Ce projet avait donc pour objectif de trouver des biomarqueurs prédictifs de différents traits de performance zootechniques (e.g. prévalence d'agents pathogènes et parasites, productivité) des colonies d'abeilles à partir de la composition taxonomique du microbiote intestinal. Une approche par apprentissage machine a été privilégiée afin de contourner les limitations des méthodes classiques de traiter un grand nombre de variables. Les modèles de prédiction obtenus ont permis de prédire la majorité des variables à l'étude avec succès, soulignant le potentiel de cette méthodologie dans le domaine du suivi et de la prédiction de l'état de santé des colonies d'abeilles au Canada. / The European honey bee, Apis mellifera, is an essential contributor to agriculture in Canada through the economic value of the production of honey to the extensive pollination services of numerous fruits, nuts and vegetables. Unfortunately, yearly colony losses of honey bees have seen a sharp increase during the last decade. The increasing interest and research initiatives in understanding the source of this problem have turned Apis mellifera into a model organism for research, notably in the field of host-microbiome dynamics. A. mellifera possesses a highly specialized microbiota that provides a wide array of beneficial functions to its host, from immunity to pollen processing and transformation to the metabolism of carbohydrates. This work's goal is to use the intestinal microbiome in honey bee colonies in order to discover relevant bio-markers with the capability to predict key host health and productivity metrics by using a machine learning approach in order to bypass the traditional bottleneck that is posed by classical analysis methods when dealing with high multi-dimensional problems. The models obtained in this study have successfully allowed the prediction of most variables studied (notably honey production, weight loss and gain, varroa loads, etc..), thus demonstrating the potential of this methodology as a tool to track and predict the health and performance of honey bee colonies in Canada.

Dans le domaine de l’usinage de pièces métalliques, l’usure des outils de coupe est un phénomène inévitable.Cette usure, bien qu’elle ne soit pas le seul facteur, se répercute dans la qualité des pièces fabriquées. Il est alors nécessaire de compenser cette usure en altérant la trajectoire des outils de coupe dans une machine à commande numérique. Nous évaluons différentes techniques d’apprentissage automatique afin d’estimer et de prévoir les dimensions des futures pièces usinées (et donc indirectement la compensation à apporter). Nous établissons une relation mathématique qui lie une variable de sortie, soit l’ensemble des mesures de la pièce produite, à un vecteur de variables d’entrées (historique des outils et des mesures). Nous proposons une démarche systématique pour évaluer la performance de différents modèles en contexte d’ajustement,d’interpolation et d’extrapolation. Les forêts aléatoires d’arbres décisionnels ont donné les meilleurs résultats. / Tool wear is an inevitable phenomenon in CNC manufacturing. This has a negative effect on the quality of the manufactured parts. Therefore, it is necessary to compensate the tool wear by altering the tool path in the CNC machines. We evaluate different machine learning techniques to estimate and predict the measurement / qualityof future workpieces. We establish the mathematical relation that links the output variable, corresponding to the workpiece measurements, to a vector of inputs variables (history of tools and measurements). We propose a systematic approach to evaluate the performance of different models regarding fitting, interpolation and extrapolation. Best results are obtained with random forests of decision trees.

La représentation en caractéristiques est une préoccupation centrale des systèmes d’apprentissage automatique d’aujourd’hui. Une représentation adéquate peut faciliter une tâche d’apprentissage complexe. C’est le cas lorsque par exemple cette représentation est de faible dimensionnalité et est constituée de caractéristiques de haut niveau. Mais comment déterminer si une représentation est adéquate pour une tâche d’apprentissage ? Les récents travaux suggèrent qu’il est préférable de voir le choix de la représentation comme un problème d’apprentissage en soi. C’est ce que l’on nomme l’apprentissage de représentation. Cette thèse présente une série de contributions visant à améliorer la qualité des représentations apprises. La première contribution élabore une étude comparative des approches par dictionnaire parcimonieux sur le problème de la localisation de points de prises (pour la saisie robotisée) et fournit une analyse empirique de leurs avantages et leurs inconvénients. La deuxième contribution propose une architecture réseau de neurones à convolution (CNN) pour la détection de points de prise et la compare aux approches d’apprentissage par dictionnaire. Ensuite, la troisième contribution élabore une nouvelle fonction d’activation paramétrique et la valide expérimentalement. Finalement, la quatrième contribution détaille un nouveau mécanisme de partage souple de paramètres dans un cadre d’apprentissage multitâche. / Feature representation is a central concern of today’s machine learning systems. A proper representation can facilitate a complex learning task. This is the case when for instance the representation has low dimensionality and consists of high-level characteristics. But how can we determine if a representation is adequate for a learning task? Recent work suggests that it is better to see the choice of representation as a learning problem in itself. This is called Representation Learning. This thesis presents a series of contributions aimed at improving the quality of the learned representations. The first contribution elaborates a comparative study of Sparse Dictionary Learning (SDL) approaches on the problem of grasp detection (for robotic grasping) and provides an empirical analysis of their advantages and disadvantages. The second contribution proposes a Convolutional Neural Network (CNN) architecture for grasp detection and compares it to SDL. Then, the third contribution elaborates a new parametric activation function and validates it experimentally. Finally, the fourth contribution details a new soft parameter sharing mechanism for multitasking learning.