1 |
Learning representations for reasoning : generalizing across diverse structuresZhu, Zhaocheng 08 1900 (has links)
Le raisonnement, la capacité de tirer des conclusions logiques à partir de connaissances existantes, est une caractéristique marquante de l’être humain. Avec la perception, ils constituent les deux thèmes majeurs de l’intelligence artificielle. Alors que l’apprentissage profond a repoussé les limites de la perception au-delà des performances humaines en vision par ordinateur et en traitement du langage naturel, les progrès dans les domaines du raisonnement sont loin derrière. L’une des raisons fondamentales est que les problèmes de raisonnement ont généralement des structures flexibles à la fois pour les connaissances (par exemple, les graphes de connaissances) et les requêtes (par exemple, les requêtes en plusieurs étapes), et de nombreux modèles existants ne fonctionnent bien que sur les structures vues pendant l’entraînement.
Dans cette thèse, nous visons à repousser les limites des modèles de raisonnement en concevant des algorithmes qui généralisent à travers les structures de connaissances et de requêtes, ainsi que des systèmes qui accélèrent le développement sur des données structurées. Cette thèse est composée de trois parties. Dans la partie I, nous étudions des modèles qui peuvent généraliser de manière inductive à des graphes de connaissances invisibles, qui impliquent de nouveaux vocabulaires d’entités et de relations. Pour les nouvelles entités, nous proposons un nouveau cadre qui apprend les opérateurs neuronaux dans un algorithme de programmation dynamique calculant des représentations de chemin. Ce cadre peut être étendu à des graphes de connaissances à l’échelle d’un million en apprenant une fonction de priorité. Pour les relations, nous construisons un graphe de relations pour capturer les interactions entre les relations, convertissant ainsi les nouvelles relations en nouvelles entités. Cela nous permet de développer un modèle pré-entraîné unique pour des graphes de connaissances arbitraires. Dans la partie II, nous proposons deux solutions pour généraliser les requêtes en plusieurs étapes sur les graphes de connaissances et sur le texte respectivement. Pour les graphes de connaissances, nous montrons que les requêtes en plusieurs étapes peuvent être résolues par plusieurs appels de réseaux neuronaux graphes et d’opérations de logique floue. Cette conception permet la généralisation à de nouvelles entités, et peut être intégrée à notre modèle pré-entraîné pour prendre en charge des graphes de connaissances arbitraires. Pour le texte, nous concevons un nouvel algorithme pour apprendre des connaissances explicites sous forme de règles textuelles afin d’améliorer les grands modèles de langage sur les requêtes en plusieurs étapes. Dans la partie III, nous proposons deux systèmes pour faciliter le développement de l’apprentissage automatique sur des données structurées. Notre bibliothèque open source traite les données structurées comme des citoyens de première classe et supprime la barrière au développement d’algorithmes d’apprentissage automatique sur des données structurées, y compris des graphes, des molécules et des protéines. Notre système d’intégration de noeuds résout le goulot d’étranglement de la mémoire GPU des matrices d’intégration et s’adapte aux graphes avec des milliards de noeuds. / Reasoning, the ability to logically draw conclusions from existing knowledge, is a hallmark of human. Together with perception, they constitute the two major themes of artificial intelligence. While deep learning has pushed the limit of perception beyond human-level performance in computer vision and natural language processing, the progress in reasoning domains is way behind. One fundamental reason is that reasoning problems usually have flexible structures for both knowledge (e.g. knowledge graphs) and queries (e.g. multi-step queries), and many existing models only perform well on structures seen during training.
In this thesis, we aim to push the boundary of reasoning models by devising algorithms that generalize across knowledge and query structures, as well as systems that accelerate development on structured data. This thesis is composed of three parts. In Part I, we study models that can inductively generalize to unseen knowledge graphs, which involve new entity and relation vocabularies. For new entities, we propose a novel framework that learns neural operators in a dynamic programming algorithm computing path representations. This framework can be further scaled to million-scale knowledge graphs by learning a priority function. For relations, we construct a relation graph to capture the interactions between relations, thereby converting new relations into new entities. This enables us to develop a single pre-trained model for arbitrary knowledge graphs. In Part II, we propose two solutions for generalizing across multi-step queries on knowledge graphs and text respectively. For knowledge graphs, we show multi-step queries can be solved by multiple calls of graph neural networks and fuzzy logic operations. This design enables generalization to new entities, and can be integrated with our pre-trained model to accommodate arbitrary knowledge graphs. For text, we devise a new algorithm to learn explicit knowledge as textual rules to improve large language models on multi-step queries. In Part III, we propose two systems to facilitate machine learning development on structured data. Our open-source library treats structured data as first-class citizens and removes the barrier for developing machine learning algorithms on structured data, including graphs, molecules and proteins. Our node embedding system solves the GPU memory bottleneck of embedding matrices and scales to graphs with billion nodes.
|
2 |
L’analyse appliquée du comportement en autisme et ses enjeux : une évaluation du potentiel de la technologie pour améliorer la pratique et la rechercheTurgeon, Stéphanie 05 1900 (has links)
Le trouble du spectre de l’autisme (TSA) est un trouble neurodéveloppemental caractérisé par des déficits importants de la communication sociale et des interactions sociales ainsi que par la présence de comportements ou d'intérêts restreints et répétitifs. Les données empiriques suggèrent que les interventions découlant de l’analyse appliquée du comportement (AAC) sont les plus efficaces pour intervenir auprès des personnes ayant un TSA. Néanmoins, certaines lacunes en lien avec les interventions découlant de l’analyse du comportement existent. Notamment, le manque d’accessibilité aux services, le manque de connaissances quant aux facteurs sous-jacents à l’efficacité des interventions et les perceptions divergentes de l’AAC freinent son adoption à plus grande échelle. Cette thèse comprend trois études qui mettent à profit la technologie pour mieux comprendre ou améliorer ces enjeux entourant l’AAC.
Dans le cadre ma première étude, les effets d’une formation interactive en ligne qui vise à enseigner aux parents des stratégies découlant de l’AAC pour réduire les comportements problématiques de leur enfant ont été évalués à l’aide d’un devis randomisé contrôlé avec liste d’attente. Les résultats de cette étude soutiennent le potentiel et l’efficacité de la formation pour augmenter la fréquence d’utilisation de stratégies d’intervention découlant de l’AAC par les parents ainsi que pour réduire l’occurrence et la sévérité des comportements problématiques de leur enfant. En revanche, aucune différence significative n’a été observée pour la mesure des pratiques parentales. Certains enjeux éthiques et pratiques entourant la dissémination de la formation en ligne complètement auto-guidées sont discutés.
La deuxième étude de ma thèse doctorale visait donc à montrer comment utiliser des algorithmes d’apprentissage automatique pour identifier les personnes qui sont plus enclines à observer des améliorations suivant une intervention. Plus spécifiquement, l’utilisation de quatre algorithmes d’apprentissage automatique pour prédire les participants ayant pris part à la première étude de cette thèse qui étaient les plus propices à rapporter une diminution des comportements problématiques de leur enfant est démontrée. Cette étude soutient que des algorithmes d’apprentissage automatique peuvent être utilisés avec de petits échantillons pour soutenir la prise de décision des cliniciens et des chercheurs.
La troisième étude cette thèse visait à quantifier l’information sur l’AAC publiée dans quatre sous-forums d’un forum internet, une ressource en ligne souvent utilisée par les familles pour identifier des interventions à utiliser après de leur enfant. Pour atteindre cet objectif, une procédure de forage de données a été réalisée. Les analyses de cette étude appuient que les parents qui fréquentent le forum sont exposés à une proportion importante de messages présentant une désapprobation de l’AAC pour intervenir auprès des personnes ayant un TSA ou bien une description inexacte des principes, méthodes, procédures ou interventions qui en découlent.
Ensemble, les études effectuées dans le cadre de ma thèse doctorale mettent en évidence les bienfaits de la technologie pour l’intervention psychosociale, tant au niveau de l’évaluation que de l’intervention et du transfert de connaissances. Comme souligné dans les trois études de cette thèse, chacun des outils utilisés présente des limites et doit donc être utilisé pour soutenir les cliniciens et les chercheurs, et non pour remplacer leurs interventions et leur jugement clinique. Les études futures doivent continuer à s’intéresser à l’efficacité des outils technologiques, mais également aux facteurs sous-jacents qui favoriseront leur utilisation et aux considérations éthiques liées à leur emploi. / Autism Spectrum Disorder (ASD) is a neurodevelopmental disorder characterized by
significant deficits in social communication and social interactions and by the presence of
restricted and repetitive behaviors or interests. Empirical evidence suggests that interventions
based on applied behavior analysis (ABA) are the most effective for treating individuals with
ASD. Nevertheless, interventions based on behavior analysis present some issues. In particular,
intervention services are hard to access, knowledge about the underlying factors of the
effectiveness of interventions is lacking and divergent perceptions about of ABA hamper the
adoption of the science. This dissertation includes three studies in which technology is used to
better understand or improve these issues regarding ABA.
As part of my first study, the effects of a fully self-guided interactive web training (IWT)
developed for teaching parents of children with ASD ABA-derived strategies to reduce their
child's challenging behaviors were evaluated using a randomized waitlist trial. The results of this
study support the effectiveness of the IWT for increasing the frequency of parents’ use of
behavioral interventions as well as for reducing the frequency and severity of their child’s
challenging behaviors. In contrast, no significant difference was observed for the measurement
of parenting practices. Ethical and practical consideration regarding the dissemination of fully
self-guided online trainings are discussed.
The second study of my doctoral thesis aimed to show how to use machine learning
algorithms to predict individuals who were most likely to improve following an intervention.
Specifically, a demonstration of how to implement four machine learning algorithms to predict
the participants from my first study who were the most likely to report a decrease in their child's
iv
challenging behaviors. This study argues that machine learning algorithms can be used with
small samples to support clinicians’ and researchers’ decision making.
The third study of my dissertation aimed to quantify the information about ABA
published on four subforums of an internet forum; an online resource often used by families to
identify potential interventions for their child. This goal was achieved through the use of a data
mining procedure. The analyses showed that parents who visited the forum were exposed to a
significant proportion of messages that disapproved of ABA for individuals with ASD or that
inaccurately described its underlying principles, methods, procedures, or interventions.
Together, the studies carried out as part of my doctoral dissertation highlight the benefits
of technology to support assessments, interventions, and knowledge gains or transfer within
psychosocial practices. As highlighted in the three studies of this dissertation, each of the tools
used presents limitations and should therefore be used to support clinicians and researchers, and
should not replace their interventions and clinical judgment. Future studies should continue to
focus on the effectiveness of technological tools and on the underlying factors that will promote
their use. Finally, researchers must reflect on the ethical considerations related to use of
technology when working with humans.
|
Page generated in 0.1229 seconds