Life long learning is a machine learning technique that deals with learning sequential tasks over time. It seeks to transfer knowledge from previous learning tasks to new learning tasks in order to increase generalization performance and learning speed. Real-time learning environments in which many agents are participating may provide learning opportunities but they are spread out in time and space outside of the geographical scope of a single learning agent. This research seeks to provide an algorithm and framework for life long learning among a network of agents in a sparse real-time learning environment. This work will utilize the robust knowledge representation of neural networks, and make use of both functional and representational knowledge transfer to accomplish this task. A new generative life long learning algorithm utilizing cascade correlation and reverberating pseudo-rehearsal and incorporating a method for merging divergent life long learning paths will be implemented.

L'imagerie par résonance magnétique fonctionnelle à l'état de repos (IRMf-R) s'est imposée comme une technologie diagnostique prometteuse. Toutefois, l'application dans la pratique clinique des biomarqueurs de l'IRMf-R visant à capturer les mécanismes biologiques sous-jacents aux troubles psychiatriques a été entravée par le manque de généralisation. Le diagnostic de ces troubles repose entièrement sur des évaluations comportementales et les taux élevés de comorbidités et de chevauchement génétique et symptomatique confirment l'existence de facteurs latents communs à toutes les pathologies. De grandes mutations génétiques rares, appelées variants du nombre de copies (CNV), ont été associées à une série de troubles psychiatriques et ont des effets beaucoup plus importants sur la structure et la fonction du cerveau, ce qui en fait une voie prometteuse pour démêler la génétique des catégories diagnostiques actuelles. L'apprentissage multitâche est une approche prometteuse pour extraire des représentations communes à des tâches connexes, qui permet de mieux utiliser les données en tirant parti des informations partagées et en améliorant la généralisabilité. Nous avons recueilli un ensemble de données sans précédent composé de 19 CNV et de troubles psychiatriques et nous avons cherché à évaluer systématiquement les avantages potentiels de l'apprentissage multitâche pour la précision de la prédiction, afin d'effectuer un diagnostic conjoint de ces conditions interdépendantes. Nous avons estimé les tailles d'effet pour chaque condition, comparé la précision du diagnostic en utilisant des méthodes courantes d'apprentissage automatique, puis en utilisant l'apprentissage multitâches. Nous avons tenté de contrôler les multiples facteurs confondants tout au long des analyses et discutons des différentes approches permettant de le faire dans le contexte de la modélisation prédictive. L'hypothèse selon laquelle les facteurs latents partagés entre les CNV et les troubles psychiatriques les rendraient suffisamment liés en tant que tâches de prédiction pour bénéficier d'un apprentissage conjoint n'a pas été confirmée. Cependant, nous avons également appliqué l'apprentissage multitâche entre les sites pour prédire une cible commune et nous avons montré que la prédiction peut être améliorée lorsque les tâches sont très étroitement liées. Nous avons mis en œuvre un modèle léger de partage des paramètres durs, mais nos résultats et la littérature montrent que ce cadre n'est pas bien adapté aux tâches hétérogènes ou, de manière contre-intuitive, aux échantillons de petite taille. Nous pensons qu'il est possible d'exploiter les similitudes entre les CNV et les troubles psychiatriques en utilisant des méthodes qui modélisent les relations entre les tâches, mais la petite taille des échantillons pour les CNV rares constitue une limitation majeure pour l'application de l'apprentissage multitâche. / Resting state functional magnetic resonance imaging (rs-fMRI) has emerged as a promising diagnostic technology, however translation into clinical practice of rs-fMRI biomarkers that aim to capture the biological mechanisms underlying psychiatric disorders has been hindered by lack of generalizability. The diagnosis of these disorders is completely based on behavioural assessments and high rates of comorbidities and genetic and symptom overlap supports the existence of latent factors shared across conditions. Rare large genetic mutations, called copy number variants (CNVs), have been associated with a range of psychiatric conditions and have much larger effect sizes on brain structure and function, which makes them a promising avenue for untangling the genetics of the current diagnostic categories. Multi-task learning is a promising approach to extract common representations across related tasks that makes better use of data by leveraging shared information and improves generalizability. We collected an unprecedented dataset consisting of 19 CNVs and psychiatric disorders and aimed to systematically assess the potential benefits for prediction accuracy of using multi-task learning to perform joint diagnosis of these interlinked conditions. We estimated effect sizes for each condition, benchmarked diagnostic accuracy using common machine learning methods, and then using multi-task learning. We attempted to control for multiple confounding factors throughout the analyses, and discuss different approaches to do so in the predictive modelling context. The hypothesis that latent factors shared between CNVs and psychiatric conditions would make them sufficiently related as prediction tasks to benefit from being learned jointly was not supported. However, we also applied multi-task learning across sites to predict a common target and showed that prediction can be improved when tasks are very tightly related. We implemented a lightweight hard parameter sharing model, but evidence from our results and the literature shows this framework is not well suited to heterogeneous tasks or, counterintuitively, to small sample sizes. While we believe there is potential to exploit the similarities between CNVs and psychiatric conditions using methods that model relationships between tasks, small sample sizes for rare CNVs are a major limitation for the application of multi-task learning.

In my dissertation, I will present my research which contributes to solve the following three open problems from biomedical informatics: (1) Multi-task approaches for microarray classification; (2) Multi-label classification of gene and protein prediction from multi-source biological data; (3) Spatial scan for movement data. In microarray classification, samples belong to several predefined categories (e.g., cancer vs. control tissues) and the goal is to build a predictor that classifies a new tissue sample based on its microarray measurements. When faced with the small-sample high-dimensional microarray data, most machine learning algorithm would produce an overly complicated model that performs well on training data but poorly on new data. To reduce the risk of over-fitting, feature selection becomes an essential technique in microarray classification. However, standard feature selection algorithms are bound to underperform when the size of the microarray data is particularly small. The best remedy is to borrow strength from external microarray datasets. In this dissertation, I will present two new multi-task feature filter methods which can improve the classification performance by utilizing the external microarray data. The first method is to aggregate the feature selection results from multiple microarray classification tasks. The resulting multi-task feature selection can be shown to improve quality of the selected features and lead to higher classification accuracy. The second method jointly selects a small gene set with maximal discriminative power and minimal redundancy across multiple classification tasks by solving an objective function with integer constraints. In protein function prediction problem, gene functions are predicted from a predefined set of possible functions (e.g., the functions defined in the Gene Ontology). Gene function prediction is a complex classification problem characterized by the following aspects: (1) a single gene may have multiple functions; (2) the functions are organized in hierarchy; (3) unbalanced training data for each function (much less positive than negative examples); (4) missing class labels; (5) availability of multiple biological data sources, such as microarray data, genome sequence and protein-protein interactions. As participants in the 2011 Critical Assessment of Function Annotation (CAFA) challenge, our team achieved the highest AUC accuracy among 45 groups. In the competition, we gained by focusing on the 5-th aspect of the problem. Thus, in this dissertation, I will discuss several schemes to integrate the prediction scores from multiple data sources and show their results. Interestingly, the experimental results show that a simple averaging integration method is competitive with other state-of-the-art data integration methods. Original spatial scan algorithm is used for detection of spatial overdensities: discovery of spatial subregions with significantly higher scores according to some density measure. This algorithm is widely used in identifying cluster of disease cases (e.g., identifying environmental risk factors for child leukemia). However, the original spatial scan algorithm only works on static spatial data. In this dissertation, I will propose one possible solution for spatial scan on movement data. / Computer and Information Science

Event extraction is a type of information extraction(IE) that works on extracting the specific knowledge of certain incidents from texts. Nowadays the amount of available information (such as news, blogs, and social media) grows in exponential order. Therefore, it becomes imperative to develop algorithms that automatically extract the machine-readable information from large volumes of text data. In this dissertation, we focus on three problems in obtaining event-related information from news articles. (1) The first effort is to comprehensively analyze the performance and challenges in current large-scale event encoding systems. (2) The second problem involves event detection and critical information extractions from news articles. (3) Third, the efforts concentrate on event-encoding which aims to extract event extent and arguments from texts. We start by investigating the two large-scale event extraction systems (ICEWS and GDELT) in the political science domain. We design a set of experiments to evaluate the quality of the extracted events from the two target systems, in terms of reliability and correctness. The results show that there exist significant discrepancies between the outputs of automated systems and hand-coded system and the accuracy of both systems are far away from satisfying. These findings provide preliminary background and set the foundation for using advanced machine learning algorithms for event related information extraction. Inspired by the successful application of deep learning in Natural Language Processing (NLP), we propose a Multi-Instance Convolutional Neural Network (MI-CNN) model for event detection and critical sentences extraction without sentence level labels. To evaluate the model, we run a set of experiments on a real-world protest event dataset. The result shows that our model could be able to outperform the strong baseline models and extract the meaningful key sentences without domain knowledge and manually designed features. We also extend the MI-CNN model and propose an MIMTRNN model for event extraction with distant supervision to overcome the problem of lacking fine level labels and small size training data. The proposed MIMTRNN model systematically integrates the RNN, Multi-Instance Learning, and Multi-Task Learning into a unified framework. The RNN module aims to encode into the representation of entity mentions the sequential information as well as the dependencies between event arguments, which are very useful in the event extraction task. The Multi-Instance Learning paradigm makes the system does not require the precise labels in entity mention level and make it perfect to work together with distant supervision for event extraction. And the Multi-Task Learning module in our approach is designed to alleviate the potential overfitting problem caused by the relatively small size of training data. The results of the experiments on two real-world datasets(Cyber-Attack and Civil Unrest) show that our model could be able to benefit from the advantage of each component and outperform other baseline methods significantly. / Ph. D.

Il y a actuellement des efforts pour faire opérer des robots dans des environnements complexes, non bornés, évoluant en permanence, au milieu ou même en coopération avec des humains. Leurs tâches peuvent être de types variés, hiérarchiques, et peuvent subir des changements radicaux ou même être créées après le déploiement du robot. Ainsi, ces robots doivent être capable d'apprendre en continu de nouvelles compétences, dans un espace non-borné, stochastique et à haute dimensionnalité. Ce type d'environnement ne peut pas être exploré en totalité, le robot va devoir organiser son exploration et décider ce qui est le plus important à apprendre ainsi que la méthode d'apprentissage. Ceci devient encore plus difficile lorsque le robot est face à des tâches à complexités variables, demandant soit une action simple ou une séquence d'actions pour être réalisées. Nous avons développé une infrastructure algorithmique d'apprentissage stratégique intrinsèquement motivé, appelée Socially Guided Intrinsic Motivation for Sequences of Actions through Hierarchical Tasks (SGIM-SAHT), apprenant la relation entre ses actions et leurs conséquences sur l'environnement. Elle organise son apprentissage, en décidant activement sur quelle tâche se concentrer, et quelle stratégie employer entre autonomes et interactives. Afin d'apprendre des tâches hiérarchiques, une architecture algorithmique appelée procédures fut développée pour découvrir et exploiter la hiérarchie des tâches, afin de combiner des compétences en fonction des tâches. L'utilisation de séquences d'actions a permis à cette architecture d'apprentissage d'adapter la complexité de ses actions à celle de la tâche étudiée. / Efforts are made to make robots operate more and more in complex unbounded ever-changing environments, alongside or even in cooperation with humans. Their tasks can be of various kinds, can be hierarchically organized, and can also change dramatically or be created, after the robot deployment. Therefore, those robots must be able to continuously learn new skills, in an unbounded, stochastic and high-dimensional space. Such environment is impossible to be completely explored during the robot's lifetime, therefore it must be able to organize its exploration and decide what is more important to learn and how to learn it, using metrics such as intrinsic motivation guiding it towards the most interesting tasks and strategies. This becomes an even bigger challenge, when the robot is faced with tasks of various complexity, some requiring a simple action to be achieved, other needing a sequence of actions to be performed. We developed a strategic intrinsically motivated learning architecture, called Socially Guided Intrinsic Motivation for Sequences of Actions through Hierarchical Tasks (SGIM-SAHT), able to learn the mapping between its actions and their outcomes on the environment. This architecture, is capable to organize its learning process, by deciding which outcome to focus on, and which strategy to use among autonomous and interactive ones. For learning hierarchical set of tasks, the architecture was provided with a framework, called procedure framework, to discover and exploit the task hierarchy and combine skills together in a task-oriented way. The use of sequences of actions enabled such a learner to adapt the complexity of its actions to that of the task at hand.

Die Dissertation enthält drei Aufsätze, welche sich mit Prinzipal-Agenten Beziehungen in Verbindung mit moralischem Risiko beschäftigen. Dabei ist der Agent für die Ausführung von multiplen Aufgaben (Multitasking) verantwortlich. In dem ersten Aufsatz wird ein Prinzipal-Agenten Modell analysiert, wobei angenommen wird, dass der Agent unterschiedliche Fähigkeiten für die Ausführung der einzelnen Aufgaben aufweist. Dabei werden die durch die Anwendung von inkongruenten Leistungsmaßen in Anreizverträgen resultierenden Ineffizienzen in Abhängigkeit von den aufgabenspezifischen Fähigkeiten des Agenten identifiziert und analysiert. Zusätzlich wird auf die optimale Aggregation von multiplen Leistungsmaßen sowie auf die adverse Selektion von heterogenen Agenten eingegangen. Der zweite Aufsatz betrachtet ein Prinzipal-Agenten Modell mit einem risikoneutralen und haftungsbeschränkten Agenten. Dieser Aufsatz analysiert die Generierung von zusätzlichen Leistungsmaßen mit dem Ziel, die Effizienz der multidimensionalen Arbeitsanstrengung des Agenten zu erhöhen. Es werden dabei zwei Alternativen für den Prinzipal verglichen: (i) zentral in die Leistungsmessung des Agenten zu investieren, oder (ii), diese Aufgabe an einem Vorgesetzten (Supervisor) des Agenten zu delegieren. Der dritte Aufsatz analysiert inkongruente Präferenzen zwischen verschiedenen Unternehmen bezüglich der Eigenschaften der zwischen ihnen ausgetauschten Güter als mögliche Ineffizienz von Markttransaktionen. Der Aufsatz berücksichtigt darüber hinaus die Möglichkeit von kollusivem Verhalten innerhalb von Unternehmen als mögliche Ineffizienz von integrierten Produktionen. Dabei erfolgt eine Untersuchung der Auswirkungen dieser Ineffizienzen hinsichtlich (i) der Entscheidung von Unternehmen, erforderliche Transaktionen intern zu organisieren, oder hierfür den Markt in Anspruch zu nehmen, und (ii), der sich daraus ergebenden Eigenschaften der vertraglichen Vereinbarungen innerhalb und zwischen Unternehmen. / This thesis comprises three self-contained essays that deal with inefficient effort allocations in multi-task agency relations with moral hazard. The first essay analyzes a multi-task agency framework where the agent exhibits task-specific abilities. It investigates the appendant inefficiencies of applying incongruent performance measures in incentive contracts. Additionally, this essay elaborates on the optimal aggregation of multiple performance measures, and on the optimal selection of heterogeneous agents. The second essay considers a multi-task agency model with a risk-neutral and financially constrained agent. It investigates the costly acquisition of information aimed at improving the agent''s performance evaluation, and therefore, the efficiency of her effort allocation. This essay contrasts two alternatives for the principal: (i) to centrally invest in the information acquisition; or (ii), to delegate this task to a supervisor. The third essay analyzes incongruent preferences between firms for the characteristics of exchanged goods as an inefficiency of mutual market transactions, and collusive behavior within firms as an inefficiency of integrated productions. This essay investigates the consequences of both inefficiencies on (i) firms'' decision on whether to integrate transactions or to utilize the market; and (ii), the properties of contractual arrangements within and between firms.

This thesis develops flexible and principled nonparametric learning algorithms to explore, understand, and predict high dimensional and complex datasets. Such data appear frequently in modern scientific domains and lead to numerous important applications. For example, exploring high dimensional functional magnetic resonance imaging data helps us to better understand brain functionalities; inferring large-scale gene regulatory network is crucial for new drug design and development; detecting anomalies in high dimensional transaction databases is vital for corporate and government security. Our main results include a rigorous theoretical framework and efficient nonparametric learning algorithms that exploit hidden structures to overcome the curse of dimensionality when analyzing massive high dimensional datasets. These algorithms have strong theoretical guarantees and provide high dimensional nonparametric recipes for many important learning tasks, ranging from unsupervised exploratory data analysis to supervised predictive modeling. In this thesis, we address three aspects: 1 Understanding the statistical theories of high dimensional nonparametric inference, including risk, estimation, and model selection consistency; 2 Designing new methods for different data-analysis tasks, including regression, classification, density estimation, graphical model learning, multi-task learning, spatial-temporal adaptive learning; 3 Demonstrating the usefulness of these methods in scientific applications, including functional genomics, cognitive neuroscience, and meteorology. In the last part of this thesis, we also present the future vision of high dimensional and large-scale nonparametric inference.

Avec ce travail, nous avons voulu mettre l'accent sur la validité externe des expérimentations et nous focaliser sur des situations dynamiques naturelles. Or dans ce type de situation, les traitements top-down, découlant des connaissances préalables et de l'objectif, guident préférentiellement l'allocation de l'attention, tandis que les traitements bottom-up (caractéristiques des entrées perceptives) ont une influence mineure. Ce travail est donc centré sur l'attention top-down. La situation choisie est une approche de carrefour en conduite automobile, les sous-tâches étudiées sont le contrôle du véhicule (la trajectoire) et la décision de s'arrêter ou non au carrefour. Deux objectifs opérationnels sont investigués à travers l'analyse des mouvements oculaires : 1/ distinguer les sous-tâches de contrôle du véhicule et de prise de décision, 2/ distinguer les processus de la sous-tâche de prise de décision. Pour chaque objectif, une approche qualitative puis quantitative sont explorées. Des techniques de classification supervisées ont notamment été utilisées pour distinguer les différents processus. Deux études ont été conduites afin de répondre à ces objectifs, une en simulateur de conduite et une en situation réelle de conduite, mettant toutes deux en scène des approches de carrefours. / In this work, we focus on the external validity of experiments and on natural dynamic situations. In this type of situation, the top-down treatments resulting from prior knowledge and goal preferably guide the allocation of attention, while the bottom-up treatments (characteristics of perceptual input) play a minor role. This work is then focused on top-down attention. The chosen situation is an approach of driving crossroads, the studied subtasks are the control of vehicle (trajectory) and the decision to stop or not at the crossroads. Two operational objectives are investigated by analyzing eye movements: 1/ discriminating the vehicle's control and decision making subtasks, 2/ discriminating the process of the decision making subtask. For each objective, we explore a qualitative and quantitative approach. In particular, supervised techniques of classification have been used to distinguish the different processes. Two studies were conducted in order to meet these objectives, one with a driving simulator and one in a real situation of driving, both involving approaches to crossroads.

July 19, 2018 In this thesis we present an investigation of multi-task and transfer learning using the recently introduced task of semantic tagging. First we employ a number of natural language processing tasks as auxiliaries for semantic tag- ging. Secondly, going in the other direction, we employ seman- tic tagging as an auxiliary task for three di erent NLP tasks: Part-of-Speech Tagging, Universal Dependency parsing, and Natural Language Inference. We compare full neural network sharing, partial neural network sharing, and what we term the learning what to share setting where neg- ative transfer between tasks is less likely. Fi- nally, we investigate multi-lingual learning framed as a special case of multi-task learning. Our ndings show considerable improvements for most experiments, demonstrating a variety of cases where multi-task and transfer learning methods are bene cial. 1 References 2

Cette thèse s'est intéressée à l'intégration des Systèmes d'Information Géographique, dans les domaines de la formation en géosciences appliquées et sciences de l'environnement. L'étude de cette intégration et des difficultés qui l'accompagnent, s'est articulée autour de trois dimensions : 1. une dimension cognitive, pour explorer les approches et les méthodes qui permettent d'étudier la façon de raisonner d'utilisateurs expérimentés ou novices, face à la résolution de problèmes spatiaux avec les SIG ; 2. une dimension didactique pour, à partir des différences entre les raisonnements des experts et des novices, identifier et intégrer les démarches expertes utilisables dans les stratégies de résolution des apprenants ; 3. une dimension pédagogique, pour concevoir, en s'appuyant sur les acquis cognitifs et didactiques, des dispositifs de formation innovateurs, en adéquation avec les demandes du monde professionnel. Afin de limiter notre champ d'étude, il a été nécessaire d'effectuer une analyse des pratiques de cartographie et SIG dans les domaines des Géosciences et de l'Ingénierie de l'Environnement et effecteur des choix pertinentes dans une perspective pédagogique, professionnelle et sociétale. Nous nous sommes intéressés à une activité de cartographie particulière : la cartographie d'aptitude réalisée avec des méthodes d'analyses spatiales multicritères pour la localisation de site(s) apte(s) à répondre à une problématique environnementale. En effet, cette méthode implique, d'un point de vue pédagogique, une approche progressive et complète à l'usage des SIG. Elle a un caractère professionnalisant, car elle est d'usage dans les projets environnementaux et, enfin, elle appuie le débat sur les choix territoriaux qui impliquent des prises de décisions. C'est lors de la réalisation de cette activité de cartographie d'aptitude que différents types d'utilisateurs ont été observés : des experts et des étudiants issus de notre entourage académique et professionnel. Nous avons élaboré un protocole expérimental exploratoire qui a permis de recueillir des données écrites et orales. Les analyses des données issues de la phase expérimentale ont été guidées par les cadres qui relèvent des sciences cognitives : sur le plan théorique, pour la définition des mécanismes visuo-cognitifs impliqués dans les raisonnements, et sur le plan méthodologique pour l'approche qualitative et quantitative d'analyse de données verbales. En termes de résultats, des composants des processus de raisonnement qui interviennent dans la réalisation et perception de la carte d'aptitude, ont été identifiés. De plus, les différences d'occurrences d'actions, d'opérations et de concepts mobilisés par les experts et les novices dans le même contexte, ont pu être mesurées. La comparaison des différentes stratégies adoptées par les expertes et par les étudiants a permis ensuite de ré-penser les dispositifs de formation, avec des aides didactiques qui ciblent les lacunes des étudiants. Le vrai défi de cette thèse a été l'apport pluridisciplinaire à la cartographie et aux SIG dans les Sciences de l'Information Géographique. En apportant des connaissances de la psychologie cognitive, de la didactique des sciences et des sciences de l'éducation, cette thèse a contribué à une meilleure compréhension de certains processus de représentations et d'appropriation des SIG, lors de la production cartographique et de son interprétation. Cette compréhension peut contribuer à améliorer les représentations ou à en proposer de nouvelles, favorisant ainsi la construction de la connaissance spatiale. / This thesis concerns the integration of GIS mapping tools and analysis in training curricula of applied geosciences and environmental sciences. This study focuses on three dimensions: 1. a cognitive dimension, in order to explore the way of thinking of experienced and novice users when solving spatial problems with GIS; 2. an instructional dimension, in order to identify and integrate the expert methods in the resolution strategies of learners; 3. an educational dimension in order to design, based on cognitive achievement, innovative training tools in line with the demands of the working world. To limit the scope of our study, it was necessary to perform an analysis of the practices of mapping and GIS in the areas of Geosciences and Environmental Engineering. It was also necessary to make relevant choices in a professional, educational and societal perspective. We were interested in a particular kind of mapping: GIS-bases land-use suitability mapping, with multi criteria spatial analysis methods. Indeed, this method involves, from a pedagogical point of view, a progressive and comprehensive approach to the use of GIS. It has a professionalizing nature, as it is common practice in environmental projects. Finally, it supports the debate on territorial choices that involve decision making. Different types of users have been observed: experts and students from our academic and professional environment. We performed an exploratory experimental protocol that allowed collecting written and verbal data. Data analyses were supported by theoretical frameworks that fall within the cognitive sciences, especially on visual-cognitive processes involved in reasoning. In terms of methodology, we used the quantitative-based qualitative approach for verbal data analysis. Regarding the results, some components of reasoning involved in the production and perception of the suitability map have been identified. Moreover, differences of instances of actions, operations and concepts used by experts and novices could be measured. Comparing the different strategies adopted by the expert and the students enabled us to re-think the training tools, with instructional aids that target gaps in students' abilities. The real challenge of this thesis was the multidisciplinary contribution to mapping and GIS in Geographic Information Science. Providing knowledge of cognitive psychology and science education, this thesis has contributed to a better understanding of some processes in GIS representation and appropriation. This understanding can improve performances on representations, or propose new ones, thus fostering spatial knowledge.