Thèse de doctorat : Bioinformatique : Evry-Val d'Essonne : 2008. / Titre provenant de l'écran-titre.

Le Web est devenu riche en informations circulant à travers le monde entier via le réseau Internet. Cela a provoqué l'expansion de grandes quantités de données. De plus, ces données sont souvent non structurées et difficiles à être utilisées dans des applications Web. D'une part, l'intérêt des utilisateurs pour l'exploitation de ces données a augmenté d'une façon concurrentielle. D'autre part, les données ne sont pas faciles à être consultées par l'humain. Cet intérêt a motivé les chercheurs à penser à des approches d'extraction des données à partir du Web, d'où l'apparition des adaptateurs. Un adaptateur est basé sur un ensemble des règles d'extraction définissant l'emplacement des données dans le document à extraire. Plusieurs outils existent pour la construction de ces règles. Notre travail s'intéresse au problème de l'extraction de données à partir du Web. Dans ce document, nous proposons une méthode d'extraction des données à partir du Web basée sur l'apprentissage machine pour la construction des règles d'extraction. Les résultats de l'extraction de notre approche démontrent une importance en matière de précision d'extraction et une meilleure performance dans le processus d'apprentissage. L'utilisation de notre outil dans une application d'interrogation de sources de données a permis de répondre aux besoins des utilisateurs d'une manière très simple et automatique. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : extraction, adaptateurs, règles d'extraction, apprentissage machine, Web, applications Web.

Thèse (M.Sc.)--Université Laval, 2006. / Titre de l'écran-titre (visionné le 14 mai 2007). Bibliogr.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2008-2009 / Dans un premier temps, ce mémoire présente un théorème PAC-Bayes général, duquel il est possible d'obtenir simplement plusieurs bornes PAC-Bayes connues. Ces bornes permettent de calculer une garantie sur le risque d'un classificateur à partir de ses performances sur l'ensemble de données d'entraînement. Par l'interprétation du comportement de deux bornes PAC-Bayes, nous énonçons les caractéristiques propres aux classificateurs qu'elles favorisent. Enfin, une spécialisation de ces bornes à la famille des classificateurs linéaires est détaillée. Dans un deuxième temps, nous concevons trois nouveaux algorithmes d'apprentissage automatique basés sur la minimisation, par la méthode de descente de gradient conjugué, de l'expression mathématique de diverses formulations des bornes PAC-Bayes. Le dernier algorithme présenté utilise une fraction de l'ensemble d'entraînement pour l'acquisition de connaissances a priori. Ces algorithmes sont aptes à construire des classificateurs exprimés par vote de majorité ainsi que des classificateurs linéaires exprimés implicitement à l'aide de la stratégie du noyau. Finalement, une étude empirique élaborée compare les trois algorithmes entre eux et révèle que certaines versions de ces algorithmes construisent des classificateurs compétitifs avec ceux obtenus par AdaBoost et les SVM. / At first, this master thesis presents a general PAC-Bayes theorem, from which we can easily obtain some well-known PAC-Bayes bounds. Those bounds allow us to compute a guarantee on the risk of a classifier from its achievements on the training set. We analyze the behavior of two PAC-Bayes bounds and we determine peculiar characteristics of classifiers favoured by those bounds. Then, we present a specialization of those bounds to the linear classifiers family. Secondly, we conceive three new machine learning algorithms based on the minimization, by conjugate gradient descent, of various mathematical expressions of the PAC-Bayes bounds. The last algorithm uses a part of the training set to capture a priori knowledges. One can use those algorithms to construct majority vote classifiers as well as linear classifiers implicitly represented by the kernel trick. Finally, an elaborated empirical study compares the three algorithms and shows that some versions of those algorithms are competitive with both AdaBoost and SVM.

La prévision de la profitabilité du client, ainsi que la tarification, sont des pièces centrales dans le monde des sciences actuarielles. En utilisant des données sur les historiques des clients et en optimisant des modèles statistiques, les actuaires peuvent prévoir, dans une certaine mesure, le montant qu’un client réclamera durant une certaine période. Cependant, ces modèles utilisent souvent des données sensibles reliées au client qui sont considérées comme étant des facteurs de risque très importants dans la prédiction de pertes futures. Ceci est considéré comme étant légal dans plusieurs jurisdictions tant que leur utilisation est supportée par des données actuarielles, car ces attributs permettent aux clients d’obtenir une prime plus précise. Toutefois, comme soulevé dans la littérature récente en apprentissage machine, ces modèles peuvent cacher des biais qui les rendent discriminants envers certains groupes. Dans ce mémoire, nous proposons un modèle de prévision de la profitabilité du client utilisant des avancées récentes provenant du domaine de l’apprentissage machine pour assurer que ces algorithmes ne discriminent pas disproportionnellement envers certains sous-groupes faisant partie de l’intersection de plusieurs attributs protégés, tel que l’âge, la race, la religion et l’état civil. En d’autres mots, nous prédisons équitablement la prime théorique de n’importe quel client en combinant l’état de l’art en prédiction de pertes en assurance et appliquant certaines contraintes d’équité sur des modèles de régression. Suite à l’exécution de l’estimation de la profitabilité du client sur plusieurs jeux de données réels, les résultats obtenus de l’approche proposée sont plus précis que les modèles utilisés traditionnellement pour cette tâche, tout en satisfaisant des contraintes d’équité. Ceci montre que cette méthode est viable et peut être utilisée dans des scénarios concrets pour offrir des primes précises et équitables aux clients. Additionnellement, notre modèle, ainsi que notre application de contraintes d’équité, s’adapte facilement à l’utilisation d’un grand jeu de données qui contiennent plusieurs sous-groupes. Ceci peut être considérable dans le cas où un critère d’équité intersectionnel doit être respecté. Finalement, nous notons les différences entre l’équité actuarielle et les définitions d’équité provenant du monde de l’apprentissage machine, ainsi que les compromis reliés à ceux-ci. / Customer profitability forecasting, along with ratemaking, are central pieces in the world of actuarial science. By using historical data and by optimising statistical models, actuaries can predict whether a client with certain liabilities will claim any loss and what amount will be claimed inside a defined policy period. However, these models often use sensitive attributesrelated to the customer that are considered to be crucial risk factors to consider in predicting future losses. This is considered legal in many jurisdictions, as long as their use is backedby actuarial data, as these attributes give a more accurate premium to clients. Nonetheless,as it has been noted in recent machine learning literature, models can hide biases that makethem discriminate against certain groups. In this thesis, we propose a customer profitability forecasting model that uses recent advancements in the domain of machine learning to ensurethat these algorithms do not discriminate disproportionately on a subgroup of any intersectionof protected attributes, such as age, gender, race, religion and marital status. In other words,we fairly predict the theoretical premium of any client by combining state-of-the-art methodsin insurance loss prediction and the application of fairness constraints on regression models. After performing customer profitability estimation on multiple real world datasets, it is shownthat the proposed approach outperforms traditional models usually used for this task, whilealso satisfying fairness constraints. This shows that this method is viable and can be used inreal world scenarios to offer fair and accurate premiums to clients. Additionally, our model andour application of fairness constraints scale easily when using large datasets that contain many subgroups. This can be substantial in the case of satisfying an intersectional fairness criterion.Finally, we highlight the differences between actuarial fairness and fairness definitions in theworld of machine learning, along with its related trade offs.

Les problèmes d’optimisation apparaissent dans presque tous les domaines scientifiques. Cependant, le processus laborieux de conception d’un optimiseur approprié peut demeurer infructueux. La question la plus ambitieuse de l’optimisation est peut-être de savoir comment concevoir des optimiseurs suffisamment flexibles pour s’adapter à un grand nombre de scénarios, tout en atteignant des performances de pointe. Dans ce travail, nous visons donner une réponse potentielle à cette question en étudiant comment faire un méta-apprentissage d’optimiseurs à base de population. Nous motivons et décrivons une modélisation commune pour la plupart des algorithmes basés sur la population, qui présentent des principes d’adaptation générale. Cette structure permet de dériver un cadre de méta-apprentissage basé sur un processus de décision de Markov partiellement observable (POMDP). Notre formulation conceptuelle fournit une méthodologie générale pour apprendre l’algorithme d’optimisation lui-même, présenté comme un problème de méta-apprentissage ou d’apprentissage pour optimiser à l’aide d’ensembles de données d’analyse comparative en boîte noire, pour former des optimiseurs polyvalents efficaces. Nous estimons une fonction d’apprentissage de méta-perte basée sur les performances d’algorithmes stochastiques. Notre analyse expérimentale indique que cette nouvelle fonction de méta-perte encourage l’algorithme appris à être efficace et robuste à une convergence prématurée. En outre, nous montrons que notre approche peut modifier le comportement de recherche d’un algorithme pour s’adapter facilement à un nouveau contexte et être efficace par rapport aux algorithmes de pointe, tels que CMA-ES. / Optimization problems appear in almost any scientific field. However, the laborious process to design a suitable optimizer may lead to an unsuccessful outcome. Perhaps the most ambitious question in optimization is how we can design optimizers that can be flexible enough to adapt to a vast number of scenarios while at the same time reaching state-of-the-art performance. In this work, we aim to give a potential answer to this question by investigating how to metalearn population-based optimizers. We motivate and describe a common structure for most population-based algorithms, which present principles for general adaptation. This structure can derive a meta-learning framework based on a Partially observable Markov decision process (POMDP). Our conceptual formulation provides a general methodology to learn the optimizer algorithm itself, framed as a meta-learning or learning-to-optimize problem using black-box benchmarking datasets to train efficient general-purpose optimizers. We estimate a meta-loss training function based on stochastic algorithms’ performance. Our experimental analysis indicates that this new meta-loss function encourages the learned algorithm to be sample efficient and robust to premature convergence. Besides, we show that our approach can alter an algorithm’s search behavior to fit easily in a new context and be sample efficient compared to state-of-the-art algorithms, such as CMA-ES.

L'apprentissage et la mémoire aux niveaux cellulaire et moléculaire se caractérisent par la modulation de la force synaptique en recrutant et relocalisant des protéines synaptiques à l'échelle nanométrique. La plupart des études portant sur les mécanismes de la plasticité synaptique se sont concentrées sur des synapses spécifiques, manquant ainsi d'une vue d'ensemble de la diversité des changements de force synaptique et de la réorganisation des protéines dans les circuits neuronaux. Nous utilisons une combinaison d'imagerie fonctionnelle et à super résolution dans des cultures dissociées d'hippocampe et des outils d'intelligence artificielle pour classifier la diversité de synapses en fonction de leurs caractéristiques fonctionnelles et organisationnelles. Nous avons mesuré l'activité synaptique en utilisant la microscopie à grand champ pour enregistrer des événements calciques dans des neurones exprimant le senseur calcique fluorescent GCaMP6f. Nous avons développé une approche d'apprentissage profond pour détecter et segmenter ces événements calciques. Nous montrons la modulation de l'amplitude et de la fréquence des événements calciques en fonction de l'activité neuronale. En outre, nous avons classifié les synapses actives et nous avons identifié un recrutement différentiel de certains types de synapses en fonction du paradigme de plasticité utilisé. Comme l'organisation des protéines synaptiques à l'intérieur de domaines nanométriques des synapses joue un rôle central dans la force et la plasticité synaptiques, nous résolvons l'organisation des protéines d'échafaudage présynaptiques (Bassoon, RIM1/2) et postsynaptiques (PSD95, Homer1c) en utilisant la nanoscopie STED (Déplétion par émission stimulée). Nous avons quantifié l'organisation synaptique à l'aide d'une analyse statistique de la distance entre objets basée sur Python (pySODA). Nous montrons que les stimuli induisant la plasticité modifient de manière différentielle l'organisation de ces protéines. En particulier, les protéines PSD95 et Bassoon présentent un changement d'organisation dépendant d'un traitement induisant une potentiation synaptique ou une dépression synaptique. De plus, à l'aide d'approches d'apprentissage automatique non supervisées, nous révélons la riche diversité des sous-types de protéines synaptiques présentant un remodelage différentiel. Pour étudier le lien entre l'architecture des protéines synaptiques et la force synaptique, nous avons combiné l'imagerie fonctionnelle et l'imagerie à super-résolution. Nous avons donc utilisé une approche d'apprentissage automatique pour optimiser les paramètres d'imagerie des cellules vivantes pour l'imagerie à haute résolution et nous avons combiné cela avec l'optimisation des paramètres de déblocage du glutamate pour sonder les signaux calciques correspondants. Notre approche permet de caractériser la population de synapses en fonction de leur taux d'activité et de leur organisation de protéines synaptiques et devrait fournir une base pour explorer davantage les divers mécanismes moléculaires de la plasticité synaptique. / Learning and memory at the cellular and molecular levels are characterized by modulation of synaptic strength, involving the recruitment and re-localization of proteins within specific nanoscale synaptic domains. Most studies investigating the mechanisms of synaptic plasticity have been focussed on specific synapses, lacking a broad view of the diversity of synaptic changes in strength and protein re-organization across neural circuits. We use a combination of functional and super-resolution optical imaging in dissociated hippocampal cultures and artificial intelligence tools to classify the diversity of synapses, based on their functional and organizational characteristics. We measured synaptic activity using wide field microscopy to record miniature synaptic calcium transients (MSCTs) in neurons expressing the fluorescent calcium sensor GCaMP6f. We developed a deep learning approach to detect and segment these calcium events. Our results show that the amplitude and frequency of miniature calcium events are modulated by prior levels of circuit activity. In addition, we classified active synapses and identify differential recruitment of certain calcium dynamics depending on the plasticity paradigm used. To link the nanoscale organization of synaptic proteins with synaptic strength and plasticity, we optically resolved the organization of presynaptic (Bassoon, RIM1/2) and postsynaptic (PSD95, Homer1c) scaffolding proteins using STED (Stimulated Emission Depletion) nanoscopy. Using Python-based statistical object distance analysis (pySODA), we show that plasticity-inducing stimuli differentially alter the spatial organization of these proteins. In particular, PSD95 and Bassoon proteins show a treatment-dependent change in organization, associated either with synaptic potentiation or depression. Furthermore, using unsupervised machine learning approaches, we reveal the rich diversity of synaptic protein subtypes exhibiting differential remodeling. To investigate further the link between synaptic protein architecture and synaptic function, we aimed to combine functional and super-resolution imaging. We therefore used a machine learning approach to optimize live-cell imaging parameters for time-lapse imaging and combined this with the optimization of glutamate uncaging parameters to probe corresponding calcium signals. Our approach allows to characterize the population of synapses in terms of their activity rate and synaptic protein organization, providing a basis for further exploring the diverse molecular mechanisms of synaptic plasticity.

Thèse ou mémoire avec insertion d’articles. / Les maladies cardiométaboliques affectent de nombreuses populations à l'échelle mondiale, notamment les populations autochtones qui résident dans le nord du Canada. Des travaux scientifiques récents suggèrent que ces maladies peuvent avoir été causées en partie par des perturbations du microbiote intestinal. Le profilage métabolique d'acides biliaires (AB) est un moyen reconnu pour analyser le microbiote. Cependant, ces analyses sont principalement effectuées a posteriori sur des échantillons fécaux et ne fournissent aucune information spatiale ou temporelle sur les variations métaboliques au sein du tractus gastro-intestinal. Le présent projet vise à développer une méthode de détection sélective aux AB basée sur la spectroscopie Raman exaltée en surface (SERS), une technique d'identification moléculaire. Les capteurs développés à partir de cette méthode permettront une étude en temps réel du microbiote avec une résolution spatiale et temporelle inégalée. La spectroscopie Raman est une technique d'identification moléculaire non invasive et non destructive qui produit un spectre hautement spécifique avec diverses bandes corrélées à la structure moléculaire de l'échantillon. Il est possible d'améliorer sa sensibilité de détection en utilisant une surface métallique nanostructurée amplificatrice de signal, ce qui permet de mesurer différentes espèces moléculaires dans des concentrations réduites et un temps de mesure relativement court. La combinaison du SERS avec des méthodes d'apprentissage machine permet dans certains cas d'augmenter davantage les capacités de détection et de classification. Afin de détecter les AB, un microscope confocal Raman à balayage laser a été construit en laboratoire. Des substrats actifs en SERS et sélectifs aux AB ont par la suite été développés en immobilisant des nanoétoiles d'or sur des lamelles de verre. Afin de réaliser une analyse approfondie avec des algorithmes d'apprentissage machine, une base de données spectrales a été conçue en mesurant plusieurs spectres SERS provenant d'AB individuelles ou de mélanges d'AB, et ce dans diverses matrices moléculaires. Un modèle du type « réseau de neurones convolutif » a été entraîné et jumelé à plusieurs techniques de traitement spectral et d'augmentation des données afin d'effectuer la classification de différentes espèces d'AB à partir de leur spectre. Le modèle résultant a été appliqué avec succès sur cinq espèces d'AB et validé à différentes concentrations. / Cardiometabolic diseases are affecting many populations worldwide, including indigenous populations residing in northern Canada. Recent scientific evidence suggests that these diseases may be caused in part by disorders of the gut microbiota. Bile acid (BA) metabolic profiling is a recognized method for analyzing the gut microbiota. However, these analyses are mostly performed on fecal samples and do not provide any spatial or temporal information on metabolic variations in the gastrointestinal tract. The present project aims to develop an AB-selective sensing method based on Surface Enhanced Raman Spectroscopy (SERS), a molecular identification technique. The resulting sensors will allow a real time study of the microbiota with an unmatched spatial and temporal resolution. Raman spectroscopy is a non-invasive and non-destructive molecular identification technique that produces a highly specific spectrum with various bands correlated to the molecular structure of the sample. Its detection sensitivity can be improved using a signal enhancing nanostructured metal surface, which allows the measurement of various chemical species at lower concentrations and/or shorter measurement times. Combining SERS with machine learning methods can, in some cases, increase even further detection and classification capabilities. In order to detect ABs, a confocal laser scanning Raman microscope was built in the laboratory. AB-selective SERS active substrates were developed by immobilizing gold nanostars on glass coverslips. In order to perform an extensive analysis with machine learning algorithms, a database of spectra was developed by measuring several SERS spectra from individual ABs or mixtures of ABs in various molecular matrices. A convolutional neural network model was trained and combined with several spectral processing and data augmentation techniques to perform classification of different BA species based on their spectra. The resulting model was successfully applied to five species of BA and validated at different concentrations.

Thèse ou mémoire avec insertion d’articles / La restauration d'image est un problème mal posé. Des images pourtant différentes peuvent devenir identiques une fois dégradées. Pour cette raison, les approches établies exploitent des connaissances préalables sur le processus de dégradation en question ou sur la distribution des données. Alors que les techniques traditionnelles de restauration d'image sont basées sur la compréhension mathématique de dégradations spécifiques, les méthodes de pointe basées sur l'apprentissage profond supervisé exploitent de grands ensembles de données d'images dégradées pour apprendre automatiquement la restauration nécessaire. À ce titre, ces méthodes offrent une grande flexibilité, au prix d'un long processus d'entraînement. Bien que ces méthodes aient une grande efficacité dans le cas général, elles ne peuvent pas incorporer d'a priori supplémentaire sans réentraînement. Par exemple, modifier la distribution des images pour un ensemble plus restreint, ou encore modifier les niveaux de dégradations acceptés nécessite le réentraînement. En particulier, il est impossible combiner des modèles adaptés et entraînés pour des dégradations distinctes sans réentrainer. Dans ce travail, nous développons une nouvelle technique de restauration d'image non-supervisée basée sur l'inversion StyleGAN. StyleGAN est un modèle génératif très populaire qui génère des images aléatoires réalistes à partir de codes latents ; son utilisation pour la restauration d'images nécessite d'inverser ce processus. Notre première contribution consiste en une nouvelle méthode qui améliore l'inversion StyleGAN en introduisant des paramètres libres supplémentaires. Dans un second temps, nous adaptons cette technique à la restauration d'image non supervisée. Cette technique utilise une approximation différentiable à la dégradation appliquée pour trouver, dans la distribution d'un StyleGAN pré-entraîné, une image nettoyée qui correspond bien à l'image dégradée. Contrairement aux travaux précédents et concurrents, notre méthode est robuste, en ce sens qu'elle utilise les mêmes hyperparamètres pour toutes les tâches et tous les niveaux de dégradations. Grâce à cette robustesse, il devient possible de combiner facilement différents modèles de dégradation, de façon à restaurer des dégradations combinées. / Image restoration is an ill-posed problem, where multiple solutions exists. Because of this, effective approches exploit prior knowledge of the image degradation process or the data distribution. While traditional image restoration techniques are based on mathematical understanding of specific image degradations, state of the art methods based on supervised deep learning leverage large datasets of degraded images to learn restoration automatically. As such, they offer great flexibility, at the cost of a lengthy training processes. While these methods have great efficacy in the general case, they cannot incorporate additional priors without retraining. For instance, specializing the dataset to a different domain requires retraining, modifying the levels of degradation requires retraining, and methods which are designed for specific degrdations cannot be combined together. In this work, we develop a novel technique for unsupervised image restoration based on StyleGAN inversion. StyleGAN is a very popular generative model which generates realistic random images from latent codes; its use in image restoration requires inverting this process. Our first contribution consists of a new method that improves StyleGAN inversion by introducing additional free parameters. As a second contribution, we adapt this technique to unsupervised image restoration. This technique uses a differentiable approximation of the image degradation to search the distribution of a pretrained StyleGAN. In contrast to previous and concurrent works, our method is robust, in that it uses the same hyperparameters for all tasks and all levels of degradations. As such, it can effectively handle new combinations of tasks, and restore multiple different degradations, without any training.

No description available.