Thèse de doctorat : Informatique : Nancy 1 : 2009. / Titre provenant de l'écran-titre.

Thèse de doctorat : Bioinformatique : Evry-Val d'Essonne : 2008. / Titre provenant de l'écran-titre.

Le Web est devenu riche en informations circulant à travers le monde entier via le réseau Internet. Cela a provoqué l'expansion de grandes quantités de données. De plus, ces données sont souvent non structurées et difficiles à être utilisées dans des applications Web. D'une part, l'intérêt des utilisateurs pour l'exploitation de ces données a augmenté d'une façon concurrentielle. D'autre part, les données ne sont pas faciles à être consultées par l'humain. Cet intérêt a motivé les chercheurs à penser à des approches d'extraction des données à partir du Web, d'où l'apparition des adaptateurs. Un adaptateur est basé sur un ensemble des règles d'extraction définissant l'emplacement des données dans le document à extraire. Plusieurs outils existent pour la construction de ces règles. Notre travail s'intéresse au problème de l'extraction de données à partir du Web. Dans ce document, nous proposons une méthode d'extraction des données à partir du Web basée sur l'apprentissage machine pour la construction des règles d'extraction. Les résultats de l'extraction de notre approche démontrent une importance en matière de précision d'extraction et une meilleure performance dans le processus d'apprentissage. L'utilisation de notre outil dans une application d'interrogation de sources de données a permis de répondre aux besoins des utilisateurs d'une manière très simple et automatique. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : extraction, adaptateurs, règles d'extraction, apprentissage machine, Web, applications Web.

Thèse (M.Sc.)--Université Laval, 2006. / Titre de l'écran-titre (visionné le 14 mai 2007). Bibliogr.

La représentation en caractéristiques est une préoccupation centrale des systèmes d’apprentissage automatique d’aujourd’hui. Une représentation adéquate peut faciliter une tâche d’apprentissage complexe. C’est le cas lorsque par exemple cette représentation est de faible dimensionnalité et est constituée de caractéristiques de haut niveau. Mais comment déterminer si une représentation est adéquate pour une tâche d’apprentissage ? Les récents travaux suggèrent qu’il est préférable de voir le choix de la représentation comme un problème d’apprentissage en soi. C’est ce que l’on nomme l’apprentissage de représentation. Cette thèse présente une série de contributions visant à améliorer la qualité des représentations apprises. La première contribution élabore une étude comparative des approches par dictionnaire parcimonieux sur le problème de la localisation de points de prises (pour la saisie robotisée) et fournit une analyse empirique de leurs avantages et leurs inconvénients. La deuxième contribution propose une architecture réseau de neurones à convolution (CNN) pour la détection de points de prise et la compare aux approches d’apprentissage par dictionnaire. Ensuite, la troisième contribution élabore une nouvelle fonction d’activation paramétrique et la valide expérimentalement. Finalement, la quatrième contribution détaille un nouveau mécanisme de partage souple de paramètres dans un cadre d’apprentissage multitâche. / Feature representation is a central concern of today’s machine learning systems. A proper representation can facilitate a complex learning task. This is the case when for instance the representation has low dimensionality and consists of high-level characteristics. But how can we determine if a representation is adequate for a learning task? Recent work suggests that it is better to see the choice of representation as a learning problem in itself. This is called Representation Learning. This thesis presents a series of contributions aimed at improving the quality of the learned representations. The first contribution elaborates a comparative study of Sparse Dictionary Learning (SDL) approaches on the problem of grasp detection (for robotic grasping) and provides an empirical analysis of their advantages and disadvantages. The second contribution proposes a Convolutional Neural Network (CNN) architecture for grasp detection and compares it to SDL. Then, the third contribution elaborates a new parametric activation function and validates it experimentally. Finally, the fourth contribution details a new soft parameter sharing mechanism for multitasking learning.

Au Canada, les abeilles sont un élément essentiel au secteur de l'agriculture en participant, en plus de leur production annuelle de miel à la pollinisation de nombreux fruits, noix et légumes. Malheureusement, le nombre des abeilles est dangereusement en baisse depuis la dernière décennie. L'intérêt du sujet et la multiplication d'initiatives de recherche dans le domaine ont fait de l'abeille un organisme modèle, notamment dans la recherche sur la dynamique hôte-microbiote. Apis mellifera possède un microbiote très spécialisé qui confère à l'abeille un large éventail de fonctions bénéfiques, allant de l'immunité à la transformation du pollen et la digestion des carbohydrates. Ce projet avait donc pour objectif de trouver des biomarqueurs prédictifs de différents traits de performance zootechniques (e.g. prévalence d'agents pathogènes et parasites, productivité) des colonies d'abeilles à partir de la composition taxonomique du microbiote intestinal. Une approche par apprentissage machine a été privilégiée afin de contourner les limitations des méthodes classiques de traiter un grand nombre de variables. Les modèles de prédiction obtenus ont permis de prédire la majorité des variables à l'étude avec succès, soulignant le potentiel de cette méthodologie dans le domaine du suivi et de la prédiction de l'état de santé des colonies d'abeilles au Canada. / The European honey bee, Apis mellifera, is an essential contributor to agriculture in Canada through the economic value of the production of honey to the extensive pollination services of numerous fruits, nuts and vegetables. Unfortunately, yearly colony losses of honey bees have seen a sharp increase during the last decade. The increasing interest and research initiatives in understanding the source of this problem have turned Apis mellifera into a model organism for research, notably in the field of host-microbiome dynamics. A. mellifera possesses a highly specialized microbiota that provides a wide array of beneficial functions to its host, from immunity to pollen processing and transformation to the metabolism of carbohydrates. This work's goal is to use the intestinal microbiome in honey bee colonies in order to discover relevant bio-markers with the capability to predict key host health and productivity metrics by using a machine learning approach in order to bypass the traditional bottleneck that is posed by classical analysis methods when dealing with high multi-dimensional problems. The models obtained in this study have successfully allowed the prediction of most variables studied (notably honey production, weight loss and gain, varroa loads, etc..), thus demonstrating the potential of this methodology as a tool to track and predict the health and performance of honey bee colonies in Canada.

Dans le domaine de l’usinage de pièces métalliques, l’usure des outils de coupe est un phénomène inévitable.Cette usure, bien qu’elle ne soit pas le seul facteur, se répercute dans la qualité des pièces fabriquées. Il est alors nécessaire de compenser cette usure en altérant la trajectoire des outils de coupe dans une machine à commande numérique. Nous évaluons différentes techniques d’apprentissage automatique afin d’estimer et de prévoir les dimensions des futures pièces usinées (et donc indirectement la compensation à apporter). Nous établissons une relation mathématique qui lie une variable de sortie, soit l’ensemble des mesures de la pièce produite, à un vecteur de variables d’entrées (historique des outils et des mesures). Nous proposons une démarche systématique pour évaluer la performance de différents modèles en contexte d’ajustement,d’interpolation et d’extrapolation. Les forêts aléatoires d’arbres décisionnels ont donné les meilleurs résultats. / Tool wear is an inevitable phenomenon in CNC manufacturing. This has a negative effect on the quality of the manufactured parts. Therefore, it is necessary to compensate the tool wear by altering the tool path in the CNC machines. We evaluate different machine learning techniques to estimate and predict the measurement / qualityof future workpieces. We establish the mathematical relation that links the output variable, corresponding to the workpiece measurements, to a vector of inputs variables (history of tools and measurements). We propose a systematic approach to evaluate the performance of different models regarding fitting, interpolation and extrapolation. Best results are obtained with random forests of decision trees.

Thèse ou mémoire avec insertion d’articles. / Les maladies cardiométaboliques affectent de nombreuses populations à l'échelle mondiale, notamment les populations autochtones qui résident dans le nord du Canada. Des travaux scientifiques récents suggèrent que ces maladies peuvent avoir été causées en partie par des perturbations du microbiote intestinal. Le profilage métabolique d'acides biliaires (AB) est un moyen reconnu pour analyser le microbiote. Cependant, ces analyses sont principalement effectuées a posteriori sur des échantillons fécaux et ne fournissent aucune information spatiale ou temporelle sur les variations métaboliques au sein du tractus gastro-intestinal. Le présent projet vise à développer une méthode de détection sélective aux AB basée sur la spectroscopie Raman exaltée en surface (SERS), une technique d'identification moléculaire. Les capteurs développés à partir de cette méthode permettront une étude en temps réel du microbiote avec une résolution spatiale et temporelle inégalée. La spectroscopie Raman est une technique d'identification moléculaire non invasive et non destructive qui produit un spectre hautement spécifique avec diverses bandes corrélées à la structure moléculaire de l'échantillon. Il est possible d'améliorer sa sensibilité de détection en utilisant une surface métallique nanostructurée amplificatrice de signal, ce qui permet de mesurer différentes espèces moléculaires dans des concentrations réduites et un temps de mesure relativement court. La combinaison du SERS avec des méthodes d'apprentissage machine permet dans certains cas d'augmenter davantage les capacités de détection et de classification. Afin de détecter les AB, un microscope confocal Raman à balayage laser a été construit en laboratoire. Des substrats actifs en SERS et sélectifs aux AB ont par la suite été développés en immobilisant des nanoétoiles d'or sur des lamelles de verre. Afin de réaliser une analyse approfondie avec des algorithmes d'apprentissage machine, une base de données spectrales a été conçue en mesurant plusieurs spectres SERS provenant d'AB individuelles ou de mélanges d'AB, et ce dans diverses matrices moléculaires. Un modèle du type « réseau de neurones convolutif » a été entraîné et jumelé à plusieurs techniques de traitement spectral et d'augmentation des données afin d'effectuer la classification de différentes espèces d'AB à partir de leur spectre. Le modèle résultant a été appliqué avec succès sur cinq espèces d'AB et validé à différentes concentrations. / Cardiometabolic diseases are affecting many populations worldwide, including indigenous populations residing in northern Canada. Recent scientific evidence suggests that these diseases may be caused in part by disorders of the gut microbiota. Bile acid (BA) metabolic profiling is a recognized method for analyzing the gut microbiota. However, these analyses are mostly performed on fecal samples and do not provide any spatial or temporal information on metabolic variations in the gastrointestinal tract. The present project aims to develop an AB-selective sensing method based on Surface Enhanced Raman Spectroscopy (SERS), a molecular identification technique. The resulting sensors will allow a real time study of the microbiota with an unmatched spatial and temporal resolution. Raman spectroscopy is a non-invasive and non-destructive molecular identification technique that produces a highly specific spectrum with various bands correlated to the molecular structure of the sample. Its detection sensitivity can be improved using a signal enhancing nanostructured metal surface, which allows the measurement of various chemical species at lower concentrations and/or shorter measurement times. Combining SERS with machine learning methods can, in some cases, increase even further detection and classification capabilities. In order to detect ABs, a confocal laser scanning Raman microscope was built in the laboratory. AB-selective SERS active substrates were developed by immobilizing gold nanostars on glass coverslips. In order to perform an extensive analysis with machine learning algorithms, a database of spectra was developed by measuring several SERS spectra from individual ABs or mixtures of ABs in various molecular matrices. A convolutional neural network model was trained and combined with several spectral processing and data augmentation techniques to perform classification of different BA species based on their spectra. The resulting model was successfully applied to five species of BA and validated at different concentrations.

Les problèmes d’optimisation apparaissent dans presque tous les domaines scientifiques. Cependant, le processus laborieux de conception d’un optimiseur approprié peut demeurer infructueux. La question la plus ambitieuse de l’optimisation est peut-être de savoir comment concevoir des optimiseurs suffisamment flexibles pour s’adapter à un grand nombre de scénarios, tout en atteignant des performances de pointe. Dans ce travail, nous visons donner une réponse potentielle à cette question en étudiant comment faire un méta-apprentissage d’optimiseurs à base de population. Nous motivons et décrivons une modélisation commune pour la plupart des algorithmes basés sur la population, qui présentent des principes d’adaptation générale. Cette structure permet de dériver un cadre de méta-apprentissage basé sur un processus de décision de Markov partiellement observable (POMDP). Notre formulation conceptuelle fournit une méthodologie générale pour apprendre l’algorithme d’optimisation lui-même, présenté comme un problème de méta-apprentissage ou d’apprentissage pour optimiser à l’aide d’ensembles de données d’analyse comparative en boîte noire, pour former des optimiseurs polyvalents efficaces. Nous estimons une fonction d’apprentissage de méta-perte basée sur les performances d’algorithmes stochastiques. Notre analyse expérimentale indique que cette nouvelle fonction de méta-perte encourage l’algorithme appris à être efficace et robuste à une convergence prématurée. En outre, nous montrons que notre approche peut modifier le comportement de recherche d’un algorithme pour s’adapter facilement à un nouveau contexte et être efficace par rapport aux algorithmes de pointe, tels que CMA-ES. / Optimization problems appear in almost any scientific field. However, the laborious process to design a suitable optimizer may lead to an unsuccessful outcome. Perhaps the most ambitious question in optimization is how we can design optimizers that can be flexible enough to adapt to a vast number of scenarios while at the same time reaching state-of-the-art performance. In this work, we aim to give a potential answer to this question by investigating how to metalearn population-based optimizers. We motivate and describe a common structure for most population-based algorithms, which present principles for general adaptation. This structure can derive a meta-learning framework based on a Partially observable Markov decision process (POMDP). Our conceptual formulation provides a general methodology to learn the optimizer algorithm itself, framed as a meta-learning or learning-to-optimize problem using black-box benchmarking datasets to train efficient general-purpose optimizers. We estimate a meta-loss training function based on stochastic algorithms’ performance. Our experimental analysis indicates that this new meta-loss function encourages the learned algorithm to be sample efficient and robust to premature convergence. Besides, we show that our approach can alter an algorithm’s search behavior to fit easily in a new context and be sample efficient compared to state-of-the-art algorithms, such as CMA-ES.

Thèse ou mémoire avec insertion d’articles / La restauration d'image est un problème mal posé. Des images pourtant différentes peuvent devenir identiques une fois dégradées. Pour cette raison, les approches établies exploitent des connaissances préalables sur le processus de dégradation en question ou sur la distribution des données. Alors que les techniques traditionnelles de restauration d'image sont basées sur la compréhension mathématique de dégradations spécifiques, les méthodes de pointe basées sur l'apprentissage profond supervisé exploitent de grands ensembles de données d'images dégradées pour apprendre automatiquement la restauration nécessaire. À ce titre, ces méthodes offrent une grande flexibilité, au prix d'un long processus d'entraînement. Bien que ces méthodes aient une grande efficacité dans le cas général, elles ne peuvent pas incorporer d'a priori supplémentaire sans réentraînement. Par exemple, modifier la distribution des images pour un ensemble plus restreint, ou encore modifier les niveaux de dégradations acceptés nécessite le réentraînement. En particulier, il est impossible combiner des modèles adaptés et entraînés pour des dégradations distinctes sans réentrainer. Dans ce travail, nous développons une nouvelle technique de restauration d'image non-supervisée basée sur l'inversion StyleGAN. StyleGAN est un modèle génératif très populaire qui génère des images aléatoires réalistes à partir de codes latents ; son utilisation pour la restauration d'images nécessite d'inverser ce processus. Notre première contribution consiste en une nouvelle méthode qui améliore l'inversion StyleGAN en introduisant des paramètres libres supplémentaires. Dans un second temps, nous adaptons cette technique à la restauration d'image non supervisée. Cette technique utilise une approximation différentiable à la dégradation appliquée pour trouver, dans la distribution d'un StyleGAN pré-entraîné, une image nettoyée qui correspond bien à l'image dégradée. Contrairement aux travaux précédents et concurrents, notre méthode est robuste, en ce sens qu'elle utilise les mêmes hyperparamètres pour toutes les tâches et tous les niveaux de dégradations. Grâce à cette robustesse, il devient possible de combiner facilement différents modèles de dégradation, de façon à restaurer des dégradations combinées. / Image restoration is an ill-posed problem, where multiple solutions exists. Because of this, effective approches exploit prior knowledge of the image degradation process or the data distribution. While traditional image restoration techniques are based on mathematical understanding of specific image degradations, state of the art methods based on supervised deep learning leverage large datasets of degraded images to learn restoration automatically. As such, they offer great flexibility, at the cost of a lengthy training processes. While these methods have great efficacy in the general case, they cannot incorporate additional priors without retraining. For instance, specializing the dataset to a different domain requires retraining, modifying the levels of degradation requires retraining, and methods which are designed for specific degrdations cannot be combined together. In this work, we develop a novel technique for unsupervised image restoration based on StyleGAN inversion. StyleGAN is a very popular generative model which generates realistic random images from latent codes; its use in image restoration requires inverting this process. Our first contribution consists of a new method that improves StyleGAN inversion by introducing additional free parameters. As a second contribution, we adapt this technique to unsupervised image restoration. This technique uses a differentiable approximation of the image degradation to search the distribution of a pretrained StyleGAN. In contrast to previous and concurrent works, our method is robust, in that it uses the same hyperparameters for all tasks and all levels of degradations. As such, it can effectively handle new combinations of tasks, and restore multiple different degradations, without any training.