Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

L’analyse syntaxique consiste à prédire la représentation syntaxique de phrases en langue naturelle sous la forme d’arbres syntaxiques. Cette tâche pose des problèmes particuliers pour les langues non-configurationnelles ou qui ont une morphologie flexionnelle plus riche que celle de l’anglais. En particulier, ces langues manifestent une dispersion lexicale problématique, des variations d’ordre des mots plus fréquentes et nécessitent de prendre en compte la structure interne des mots-formes pour permettre une analyse syntaxique de qualité satisfaisante. Dans cette thèse, nous nous plaçons dans le cadre de l’analyse syntaxique robuste en constituants par transitions. Dans un premier temps, nous étudions comment intégrer l’analyse morphologique à l’analyse syntaxique, à l’aide d’une architecture de réseaux de neurones basée sur l’apprentissage multitâches. Dans un second temps, nous proposons un système de transitions qui permet de prédire des structures générées par des grammaires légèrement sensibles au contexte telles que les LCFRS. Enfin, nous étudions la question de la lexicalisation de l’analyse syntaxique. Les analyseurs syntaxiques en constituants lexicalisés font l’hypothèse que les constituants s’organisent autour d’une tête lexicale et que la modélisation des relations bilexicales est cruciale pour désambiguïser. Nous proposons un système de transition non lexicalisé pour l’analyse en constituants discontinus et un modèle de scorage basé sur les frontières de constituants et montrons que ce système, plus simple que des systèmes lexicalisés, obtient de meilleurs résultats que ces derniers. / Syntactic parsing consists in assigning syntactic trees to sentences in natural language. Syntactic parsing of non-configurational languages, or languages with a rich inflectional morphology, raises specific problems. These languages suffer more from lexical data sparsity and exhibit word order variation phenomena more frequently. For these languages, exploiting information about the internal structure of word forms is crucial for accurate parsing. This dissertation investigates transition-based methods for robust discontinuous constituency parsing. First of all, we propose a multitask learning neural architecture that performs joint parsing and morphological analysis. Then, we introduce a new transition system that is able to predict discontinuous constituency trees, i.e.\ syntactic structures that can be seen as derivations of mildly context-sensitive grammars, such as LCFRS. Finally, we investigate the question of lexicalization in syntactic parsing. Some syntactic parsers are based on the hypothesis that constituent are organized around a lexical head and that modelling bilexical dependencies is essential to solve ambiguities. We introduce an unlexicalized transition system for discontinuous constituency parsing and a scoring model based on constituent boundaries. The resulting parser is simpler than lexicalized parser and achieves better results in both discontinuous and projective constituency parsing.

L'imagerie par résonance magnétique fonctionnelle à l'état de repos (IRMf-R) s'est imposée comme une technologie diagnostique prometteuse. Toutefois, l'application dans la pratique clinique des biomarqueurs de l'IRMf-R visant à capturer les mécanismes biologiques sous-jacents aux troubles psychiatriques a été entravée par le manque de généralisation. Le diagnostic de ces troubles repose entièrement sur des évaluations comportementales et les taux élevés de comorbidités et de chevauchement génétique et symptomatique confirment l'existence de facteurs latents communs à toutes les pathologies. De grandes mutations génétiques rares, appelées variants du nombre de copies (CNV), ont été associées à une série de troubles psychiatriques et ont des effets beaucoup plus importants sur la structure et la fonction du cerveau, ce qui en fait une voie prometteuse pour démêler la génétique des catégories diagnostiques actuelles. L'apprentissage multitâche est une approche prometteuse pour extraire des représentations communes à des tâches connexes, qui permet de mieux utiliser les données en tirant parti des informations partagées et en améliorant la généralisabilité. Nous avons recueilli un ensemble de données sans précédent composé de 19 CNV et de troubles psychiatriques et nous avons cherché à évaluer systématiquement les avantages potentiels de l'apprentissage multitâche pour la précision de la prédiction, afin d'effectuer un diagnostic conjoint de ces conditions interdépendantes. Nous avons estimé les tailles d'effet pour chaque condition, comparé la précision du diagnostic en utilisant des méthodes courantes d'apprentissage automatique, puis en utilisant l'apprentissage multitâches. Nous avons tenté de contrôler les multiples facteurs confondants tout au long des analyses et discutons des différentes approches permettant de le faire dans le contexte de la modélisation prédictive. L'hypothèse selon laquelle les facteurs latents partagés entre les CNV et les troubles psychiatriques les rendraient suffisamment liés en tant que tâches de prédiction pour bénéficier d'un apprentissage conjoint n'a pas été confirmée. Cependant, nous avons également appliqué l'apprentissage multitâche entre les sites pour prédire une cible commune et nous avons montré que la prédiction peut être améliorée lorsque les tâches sont très étroitement liées. Nous avons mis en œuvre un modèle léger de partage des paramètres durs, mais nos résultats et la littérature montrent que ce cadre n'est pas bien adapté aux tâches hétérogènes ou, de manière contre-intuitive, aux échantillons de petite taille. Nous pensons qu'il est possible d'exploiter les similitudes entre les CNV et les troubles psychiatriques en utilisant des méthodes qui modélisent les relations entre les tâches, mais la petite taille des échantillons pour les CNV rares constitue une limitation majeure pour l'application de l'apprentissage multitâche. / Resting state functional magnetic resonance imaging (rs-fMRI) has emerged as a promising diagnostic technology, however translation into clinical practice of rs-fMRI biomarkers that aim to capture the biological mechanisms underlying psychiatric disorders has been hindered by lack of generalizability. The diagnosis of these disorders is completely based on behavioural assessments and high rates of comorbidities and genetic and symptom overlap supports the existence of latent factors shared across conditions. Rare large genetic mutations, called copy number variants (CNVs), have been associated with a range of psychiatric conditions and have much larger effect sizes on brain structure and function, which makes them a promising avenue for untangling the genetics of the current diagnostic categories. Multi-task learning is a promising approach to extract common representations across related tasks that makes better use of data by leveraging shared information and improves generalizability. We collected an unprecedented dataset consisting of 19 CNVs and psychiatric disorders and aimed to systematically assess the potential benefits for prediction accuracy of using multi-task learning to perform joint diagnosis of these interlinked conditions. We estimated effect sizes for each condition, benchmarked diagnostic accuracy using common machine learning methods, and then using multi-task learning. We attempted to control for multiple confounding factors throughout the analyses, and discuss different approaches to do so in the predictive modelling context. The hypothesis that latent factors shared between CNVs and psychiatric conditions would make them sufficiently related as prediction tasks to benefit from being learned jointly was not supported. However, we also applied multi-task learning across sites to predict a common target and showed that prediction can be improved when tasks are very tightly related. We implemented a lightweight hard parameter sharing model, but evidence from our results and the literature shows this framework is not well suited to heterogeneous tasks or, counterintuitively, to small sample sizes. While we believe there is potential to exploit the similarities between CNVs and psychiatric conditions using methods that model relationships between tasks, small sample sizes for rare CNVs are a major limitation for the application of multi-task learning.

Les effets indésirables médicamenteux (EIM) ont des répercussions considérables tant sur la santé que sur l'économie. De 1,9% à 2,3% des patients hospitalisés en sont victimes, et leur coût a récemment été estimé aux alentours de 400 millions d'euros pour la seule Allemagne. De plus, les EIM sont fréquemment la cause du retrait d'un médicament du marché, conduisant à des pertes pour l'industrie pharmaceutique se chiffrant parfois en millions d'euros.De multiples études suggèrent que des facteurs génétiques jouent un rôle non négligeable dans la réponse des patients à leur traitement. Cette réponse comprend non seulement les effets thérapeutiques attendus, mais aussi les effets secondaires potentiels. C'est un phénomène complexe, et nous nous tournons vers l'apprentissage statistique pour proposer de nouveaux outils permettant de mieux le comprendre.Nous étudions différents problèmes liés à la prédiction de la réponse d'un patient à son traitement à partir de son profil génétique. Pour ce faire, nous nous plaçons dans le cadre de l'apprentissage statistique multitâche, qui consiste à combiner les données disponibles pour plusieurs problèmes liés afin de les résoudre simultanément.Nous proposons un nouveau modèle linéaire de prédiction multitâche qui s'appuie sur des descripteurs des tâches pour sélectionner les variables pertinentes et améliorer les prédictions obtenues par les algorithmes de l'état de l'art. Enfin, nous étudions comment améliorer la stabilité des variables sélectionnées, afin d'obtenir des modèles interprétables. / Adverse drug reaction (ADR) is a serious concern that has important health and economical repercussions. Between 1.9%-2.3% of the hospitalized patients suffer from ADR, and the annual cost of ADR have been estimated to be of 400 million euros in Germany alone. Furthermore, ADRs can cause the withdrawal of a drug from the market, which can cause up to millions of dollars of losses to the pharmaceutical industry.Multiple studies suggest that genetic factors may play a role in the response of the patients to their treatment. This covers not only the response in terms of the intended main effect, but also % according toin terms of potential side effects. The complexity of predicting drug response suggests that machine learning could bring new tools and techniques for understanding ADR.In this doctoral thesis, we study different problems related to drug response prediction, based on the genetic characteristics of patients.We frame them through multitask machine learning frameworks, which combine all data available for related problems in order to solve them at the same time.We propose a novel model for multitask linear prediction that uses task descriptors to select relevant features and make predictions with better performance as state-of-the-art algorithms. Finally, we study strategies for increasing the stability of the selected features, in order to improve interpretability for biological applications.

Nous évaluons des méthodes de traitement automatique du langage naturel (TALN) pour la détection d’idées suicidaires, de la dépression et de l’anxiété à partir de publications sur les médias sociaux. Comme les ensembles de données relatifs à la santé mentale sont rares et généralement de petite taille, les méthodes classiques d’apprentissage automatique ont traditionnellement été utilisées dans ce domaine. Nous évaluons l’effet de l’apprentissage multi-tâche sur la détection d’idées suicidaires en utilisant comme tâches auxiliaires des ensembles de données disponibles publiquement pour la détection de la dépression et de l’anxiété, ainsi que la classification d’émotions et du stress. Nous constatons une hausse de la performance de classification pour les tâches de détection d’idées suicidaires, de la dépression et de l’anxiété lorsqu’elles sont entraînées ensemble en raison de similitudes entre les troubles de santé mentale à l’étude. Nous observons que l’utilisation d’ensembles de données publiquement accessibles pour des tâches connexes peut bénéficier à la détection de problèmes de santé mentale. Nous évaluons enfin la performance des modèles ChatGPT et GPT-4 dans des scénarios d’apprentissage zero-shot et few-shot. GPT-4 surpasse toutes les autres méthodes testées pour la détection d’idées suicidaires. De plus, nous observons que ChatGPT bénéficie davantage de l’apprentissage few-shot, car le modèle fournit un haut taux de réponses non concluantes si aucun exemple n’est présenté. Enfin, une analyse des faux négatifs produits par GPT-4 pour la détection d’idées suicidaires conclut qu’ils sont dus à des erreurs d’étiquetage plutôt qu’à des lacunes du modèle. / In this work we explore natural language processing (NLP) methods to suicide ideation, depression, and anxiety detection in social media posts. Since annotated mental health data is scarce and difficult to come by, classical machine learning methods have traditionally been employed on this type of task due to the small size of the datasets. We evaluate the effect of multi-task learning on suicide ideation detection using publicly-available datasets for depression, anxiety, emotion and stress classification as auxiliary tasks. We find that classification performance of suicide ideation, depression, and anxiety is improved when trained together because of the proximity between the mental disorders. We observe that publicly-available datasets for closely-related tasks can benefit the detection of certain mental health conditions. We then perform classification experiments using ChatGPT and GPT-4 using zero-shot and few-shot learning, and find that GPT-4 obtains the best performance of all methods tested for suicide ideation detection. We further observe that ChatGPT benefits the most from few-shot learning as it struggles to give conclusive answers when no examples are provided. Finally, an analysis of false negative results for suicide ideation output by GPT-4 concludes that they are due to labeling errors rather than mistakes from the model.

As machine learning models grow in size and complexity, their maintainability becomes a critical concern, especially when they are increasingly deployed in dynamic, real-world environments. This thesis addresses the challenges of efficient knowledge retention, integration, and transfer in multitask learning and continuous multitask learning, focusing on improving the maintainability of machine learning systems. At the core of this work is the exploration of modular methods and the strategic use of foundation models (FMs) to facilitate continuous learning (CL) and efficient model management. This thesis first examines how modularity can be exploited to enable continuous learning. The first paper “Continuous Learning via Local Module Composition” introduces the Local Modular Components (LMC) approach, which innovatively uses module-specific local routing to achieve automatic task inference, mitigate forgetting, and enable the fusion of independently trained LMCs. The principle of the local routing component has been extended and refined in subsequent research. The second paper, “Continuous Learning with Foundation Models: An Empirical Study of Latent Replay,” questions the need for complicated continuous learning methods in the era of foundation models. It explores the potential of realizing continuous learning using the encoded features of pre-trained foundation models. This latent continuous learning approach demonstrates that, depending on the characteristics of the tasks and data, latent replay can effectively and efficiently match the performance of traditional end-to-end continuous learning, especially when the alignment between the pre-training and downstream data distributions improves. The third paper, “Towards Modular LLMs by Building and Reusing a Library of LoRAs,” delves into the practical implementation of a hybrid approach combining modularity and foundation models. This work proposes the creation of a library of LoRA adapters, allowing the reuse and combination of these experts in different tasks, facilitated by novel routing techniques called Arrow. This thesis contributes to the field by demonstrating how modularity and foundation models can work together to create adaptive, efficient, and maintainable machine learning systems. It also outlines future directions, emphasizing the need to minimize model retraining through modular architectures and addressing open challenges in managing modular systems. / As machine learning models continue to grow in size and complexity, their maintainability has become a critical concern, especially as they are increasingly deployed in dynamic and real-world environments. This thesis addresses the challenges of efficient knowledge retention, integration, and transfer in multitask and continual multitask learning, focusing on improving the maintainability of machine learning systems. Central to this work is the exploration of modular methods and the strategic use of foundation models (FMs) to facilitate continual learning (CL) and efficient model management. This thesis first investigates how modularity can be leveraged to enable continual learning. The first article “Continual Learning via Local Module Composition” introduces the Local Modular Components (LMC) approach, which innovatively uses module-specific local routing to achieve automatic task inference, mitigate forgetting, and allow the merging of independently trained LMCs. The principle of the local routing component has been extended and refined in subsequent research. The second article, “Continual Learning with Foundation Models: An Empirical Study of Latent Replay”, questions the necessity of complicated continual learning methods in the era of foundation models. It explores the potential of performing CL using the encoded features from pre-trained foundation models. This latent CL approach demonstrates that, depending on the task and data characteristics, latent replay can effectively and efficiently match the performance of traditional end-to-end CL, especially as the alignment between pre-training and downstream data distributions improves. The third article, “Towards Modular LLMs by Building and Reusing a Library of LoRAs”, dives into the practical implementation of a hybrid approach combining modularity and foundation models. This work proposes creating a library of LoRA adapters, enabling the reuse and combination of these experts across different tasks, facilitated by novel routing techniques called Arrow. This thesis contributes to the field by demonstrating how modularity and foundation models can work in tandem to create adaptive, efficient, and maintainable machine learning systems. It also outlines future directions, emphasizing the need for minimizing model retraining through modular architectures and addressing open challenges in modular system management.