Le raisonnement, la capacité de tirer des conclusions logiques à partir de connaissances existantes, est une caractéristique marquante de l’être humain. Avec la perception, ils constituent les deux thèmes majeurs de l’intelligence artificielle. Alors que l’apprentissage profond a repoussé les limites de la perception au-delà des performances humaines en vision par ordinateur et en traitement du langage naturel, les progrès dans les domaines du raisonnement sont loin derrière. L’une des raisons fondamentales est que les problèmes de raisonnement ont généralement des structures flexibles à la fois pour les connaissances (par exemple, les graphes de connaissances) et les requêtes (par exemple, les requêtes en plusieurs étapes), et de nombreux modèles existants ne fonctionnent bien que sur les structures vues pendant l’entraînement. Dans cette thèse, nous visons à repousser les limites des modèles de raisonnement en concevant des algorithmes qui généralisent à travers les structures de connaissances et de requêtes, ainsi que des systèmes qui accélèrent le développement sur des données structurées. Cette thèse est composée de trois parties. Dans la partie I, nous étudions des modèles qui peuvent généraliser de manière inductive à des graphes de connaissances invisibles, qui impliquent de nouveaux vocabulaires d’entités et de relations. Pour les nouvelles entités, nous proposons un nouveau cadre qui apprend les opérateurs neuronaux dans un algorithme de programmation dynamique calculant des représentations de chemin. Ce cadre peut être étendu à des graphes de connaissances à l’échelle d’un million en apprenant une fonction de priorité. Pour les relations, nous construisons un graphe de relations pour capturer les interactions entre les relations, convertissant ainsi les nouvelles relations en nouvelles entités. Cela nous permet de développer un modèle pré-entraîné unique pour des graphes de connaissances arbitraires. Dans la partie II, nous proposons deux solutions pour généraliser les requêtes en plusieurs étapes sur les graphes de connaissances et sur le texte respectivement. Pour les graphes de connaissances, nous montrons que les requêtes en plusieurs étapes peuvent être résolues par plusieurs appels de réseaux neuronaux graphes et d’opérations de logique floue. Cette conception permet la généralisation à de nouvelles entités, et peut être intégrée à notre modèle pré-entraîné pour prendre en charge des graphes de connaissances arbitraires. Pour le texte, nous concevons un nouvel algorithme pour apprendre des connaissances explicites sous forme de règles textuelles afin d’améliorer les grands modèles de langage sur les requêtes en plusieurs étapes. Dans la partie III, nous proposons deux systèmes pour faciliter le développement de l’apprentissage automatique sur des données structurées. Notre bibliothèque open source traite les données structurées comme des citoyens de première classe et supprime la barrière au développement d’algorithmes d’apprentissage automatique sur des données structurées, y compris des graphes, des molécules et des protéines. Notre système d’intégration de noeuds résout le goulot d’étranglement de la mémoire GPU des matrices d’intégration et s’adapte aux graphes avec des milliards de noeuds. / Reasoning, the ability to logically draw conclusions from existing knowledge, is a hallmark of human. Together with perception, they constitute the two major themes of artificial intelligence. While deep learning has pushed the limit of perception beyond human-level performance in computer vision and natural language processing, the progress in reasoning domains is way behind. One fundamental reason is that reasoning problems usually have flexible structures for both knowledge (e.g. knowledge graphs) and queries (e.g. multi-step queries), and many existing models only perform well on structures seen during training. In this thesis, we aim to push the boundary of reasoning models by devising algorithms that generalize across knowledge and query structures, as well as systems that accelerate development on structured data. This thesis is composed of three parts. In Part I, we study models that can inductively generalize to unseen knowledge graphs, which involve new entity and relation vocabularies. For new entities, we propose a novel framework that learns neural operators in a dynamic programming algorithm computing path representations. This framework can be further scaled to million-scale knowledge graphs by learning a priority function. For relations, we construct a relation graph to capture the interactions between relations, thereby converting new relations into new entities. This enables us to develop a single pre-trained model for arbitrary knowledge graphs. In Part II, we propose two solutions for generalizing across multi-step queries on knowledge graphs and text respectively. For knowledge graphs, we show multi-step queries can be solved by multiple calls of graph neural networks and fuzzy logic operations. This design enables generalization to new entities, and can be integrated with our pre-trained model to accommodate arbitrary knowledge graphs. For text, we devise a new algorithm to learn explicit knowledge as textual rules to improve large language models on multi-step queries. In Part III, we propose two systems to facilitate machine learning development on structured data. Our open-source library treats structured data as first-class citizens and removes the barrier for developing machine learning algorithms on structured data, including graphs, molecules and proteins. Our node embedding system solves the GPU memory bottleneck of embedding matrices and scales to graphs with billion nodes.

The area of Knowledge Graphs has grown significantly during recent time and has found many different applications both in industrial and academic settings. Despite this, many large Knowledge Graphs are in fact incomplete, which leads to the problem of finding the missing facts in the graphs using Link Prediction. There are several ways of performing Link prediction, the most common one that has emerged recently being using Machine learning techniques to learn low-dimensional representations of the Knowledge Graph called Knowledge Graph embeddings. This project attempts to explore whether or not this is a viable method to use in order to give suggestions for companies that want to expand their businesses. In order to test this hypothesis, a Knowledge Graph was built using real company data from open sources. Then different Knowledge Graph embedding models were trained on the data in order to predict missing elements in the Knowledge Graph. The models were then compared to see which one is most suitable for this task and data set. The geometric based models were found to perform the best for the specific data set used in this project. In this category there are models such as TransE, TransR and RotatE. The results point to the method being a valid option for giving expansion suggestions to companies using a Knowledge Graph of other companies and their products. However, to be certain of this, further research needs to be done where the method needs to be implemented on a larger scale using more diverse data. / Området kunskapsgrafer har växt mycket under de senaste åren och har många olika tillämpningar både inom akademiska och industriella områden. Trots denna tillväxt så är många kunskapsgrafer ofullständiga, vilket leder till problemet att hitta den faktan i kunskapsgraferna som saknas genom något som kallas länkförutsägelser. Det finns många olika metoder för att göra länkförutägelser, men den populäraste metoden som uppkommit de senaste åren är att använda maskininlärning för att lära in lågdimensionerade representationer av kunskapsgrafen i något som kallas kunskapsgrafsinbäddningar. I det här projektet försöker vi ta reda på om den här metoden går att använda för att ge förslag för företag som vill expandera och etablera sig på nya marknader. För att testa om detta är möjligt byggdes en kunskapsgraf med hjälp av data från öppna källor. Sedan fick olika kunskapsgrafsinbäddningsmodeller träna på data från kunskapsgrafen för att sedan kunna hitta fakta i grafen som saknades. De olika modellerna jämfördes sedan för att se vilken som var mest lämplig för att klara av uppgiften på vår kunskapsgraf. De modeller som är geometribaserade visade sig prestera bäst, bland dom fanns modeller som TransE, TransR och RotatE. Resultaten från projektet visar på att metoden är användbar för uppgiften att ge förslag om områden som ett företag kan expandera till. Dock skulle detta behöva undersökas mer med en större mer mångfaldig mängd data för att vara säker på att detta går att använda i fler marknadsområden än dem som ingick i projektet.

Tesis por compendio / Natural Language Processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the interactions between computers and human languages. One of its most challenging aspects involves enabling computers to derive meaning from human natural language. To do so, several meaning or context representations have been proposed with competitive performance. However, these representations still have room for improvement when working in a cross-domain or cross-language scenario. In this thesis we study the use of knowledge graphs as a cross-domain and cross-language representation of text and its meaning. A knowledge graph is a graph that expands and relates the original concepts belonging to a set of words. We obtain its characteristics using a wide-coverage multilingual semantic network as knowledge base. This allows to have a language coverage of hundreds of languages and millions human-general and -specific concepts. As starting point of our research we employ knowledge graph-based features - along with other traditional ones and meta-learning - for the NLP task of single- and cross-domain polarity classification. The analysis and conclusions of that work provide evidence that knowledge graphs capture meaning in a domain-independent way. The next part of our research takes advantage of the multilingual semantic network and focuses on cross-language Information Retrieval (IR) tasks. First, we propose a fully knowledge graph-based model of similarity analysis for cross-language plagiarism detection. Next, we improve that model to cover out-of-vocabulary words and verbal tenses and apply it to cross-language document retrieval, categorisation, and plagiarism detection. Finally, we study the use of knowledge graphs for the NLP tasks of community questions answering, native language identification, and language variety identification. The contributions of this thesis manifest the potential of knowledge graphs as a cross-domain and cross-language representation of text and its meaning for NLP and IR tasks. These contributions have been published in several international conferences and journals. / El Procesamiento del Lenguaje Natural (PLN) es un campo de la informática, la inteligencia artificial y la lingüística computacional centrado en las interacciones entre las máquinas y el lenguaje de los humanos. Uno de sus mayores desafíos implica capacitar a las máquinas para inferir el significado del lenguaje natural humano. Con este propósito, diversas representaciones del significado y el contexto han sido propuestas obteniendo un rendimiento competitivo. Sin embargo, estas representaciones todavía tienen un margen de mejora en escenarios transdominios y translingües. En esta tesis estudiamos el uso de grafos de conocimiento como una representación transdominio y translingüe del texto y su significado. Un grafo de conocimiento es un grafo que expande y relaciona los conceptos originales pertenecientes a un conjunto de palabras. Sus propiedades se consiguen gracias al uso como base de conocimiento de una red semántica multilingüe de amplia cobertura. Esto permite tener una cobertura de cientos de lenguajes y millones de conceptos generales y específicos del ser humano. Como punto de partida de nuestra investigación empleamos características basadas en grafos de conocimiento - junto con otras tradicionales y meta-aprendizaje - para la tarea de PLN de clasificación de la polaridad mono- y transdominio. El análisis y conclusiones de ese trabajo muestra evidencias de que los grafos de conocimiento capturan el significado de una forma independiente del dominio. La siguiente parte de nuestra investigación aprovecha la capacidad de la red semántica multilingüe y se centra en tareas de Recuperación de Información (RI). Primero proponemos un modelo de análisis de similitud completamente basado en grafos de conocimiento para detección de plagio translingüe. A continuación, mejoramos ese modelo para cubrir palabras fuera de vocabulario y tiempos verbales, y lo aplicamos a las tareas translingües de recuperación de documentos, clasificación, y detección de plagio. Por último, estudiamos el uso de grafos de conocimiento para las tareas de PLN de respuesta de preguntas en comunidades, identificación del lenguaje nativo, y identificación de la variedad del lenguaje. Las contribuciones de esta tesis ponen de manifiesto el potencial de los grafos de conocimiento como representación transdominio y translingüe del texto y su significado en tareas de PLN y RI. Estas contribuciones han sido publicadas en diversas revistas y conferencias internacionales. / El Processament del Llenguatge Natural (PLN) és un camp de la informàtica, la intel·ligència artificial i la lingüística computacional centrat en les interaccions entre les màquines i el llenguatge dels humans. Un dels seus majors reptes implica capacitar les màquines per inferir el significat del llenguatge natural humà. Amb aquest propòsit, diverses representacions del significat i el context han estat proposades obtenint un rendiment competitiu. No obstant això, aquestes representacions encara tenen un marge de millora en escenaris trans-dominis i trans-llenguatges. En aquesta tesi estudiem l'ús de grafs de coneixement com una representació trans-domini i trans-llenguatge del text i el seu significat. Un graf de coneixement és un graf que expandeix i relaciona els conceptes originals pertanyents a un conjunt de paraules. Les seves propietats s'aconsegueixen gràcies a l'ús com a base de coneixement d'una xarxa semàntica multilingüe d'àmplia cobertura. Això permet tenir una cobertura de centenars de llenguatges i milions de conceptes generals i específics de l'ésser humà. Com a punt de partida de la nostra investigació emprem característiques basades en grafs de coneixement - juntament amb altres tradicionals i meta-aprenentatge - per a la tasca de PLN de classificació de la polaritat mono- i trans-domini. L'anàlisi i conclusions d'aquest treball mostra evidències que els grafs de coneixement capturen el significat d'una forma independent del domini. La següent part de la nostra investigació aprofita la capacitat\hyphenation{ca-pa-ci-tat} de la xarxa semàntica multilingüe i se centra en tasques de recuperació d'informació (RI). Primer proposem un model d'anàlisi de similitud completament basat en grafs de coneixement per a detecció de plagi trans-llenguatge. A continuació, vam millorar aquest model per cobrir paraules fora de vocabulari i temps verbals, i ho apliquem a les tasques trans-llenguatges de recuperació de documents, classificació, i detecció de plagi. Finalment, estudiem l'ús de grafs de coneixement per a les tasques de PLN de resposta de preguntes en comunitats, identificació del llenguatge natiu, i identificació de la varietat del llenguatge. Les contribucions d'aquesta tesi posen de manifest el potencial dels grafs de coneixement com a representació trans-domini i trans-llenguatge del text i el seu significat en tasques de PLN i RI. Aquestes contribucions han estat publicades en diverses revistes i conferències internacionals. / Franco Salvador, M. (2017). A Cross-domain and Cross-language Knowledge-based Representation of Text and its Meaning [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/84285 / Compendio

Die Untersuchung von Beziehungen zwischen biomedizinischen Entitäten bildet einen Eckpfeiler der modernen Medizin. Angesichts der rasanten Zunahme der Forschungsliteratur wird es jedoch zunehmend schwieriger, durch bloßes Lesen umfassende Informationen über bestimmte Entitäten und deren Beziehungen zu gewinnen. Text-Mining Ansätze versuchen, die Verarbeitung dieser riesigen Datenmengen mit Hilfe von Maschinellen Lernen zu erleichtern. Wir tragen zu dieser Forschung bei indem wir Methoden zum Erlernen von Entitäts- und Textrepräsentationen auf Basis großer Publikations- und Wissensdatenbanken entwickeln. Als erstes schlagen wir zwei neuartige Ansätze zur Relationsextraktion vor, die Techniken des Representation Learnings nutzen, um umfassende Modelle biomedizinischer Entitäten und Entitätspaaren zu lernen. Diese Modelle lernen Vektorrepräsentationen, indem sie alle PubMed-Artikel berücksichtigen, die eine bestimmte Entität oder ein Entitätspaar erwähnen. Wir verwenden diese Vektoren als Eingabe für ein neuronales Netzwerk, um Relationen global zu klassifizieren, d. h. die Vorhersagen basieren auf dem gesamten Korpus und nicht auf einzelnen Sätzen oder Artikeln wie in konventionellen Ansätzen. In unserem zweiten Beitrag untersuchen wir die Auswirkungen multimodaler Entitätsinformationen auf die Vorhersage von Relationen mithilfe von Knowledge Graph Embedding Methoden. In unserer Studie erweitern wir bestehende Modelle, indem wir Wissensgraphen mit multimodalen Informationen anreichern. Ferner schlagen wir ein allgemeines Framework für die Integration dieser Informationen in den Lernprozess für Entitätsrepräsentationen vor. In unserem dritten Beitrag erweitern wir Sprachmodelle mit zusätzlichen Entitätsinformationen für die Identifikation von Relationen in Texten. Wir führen eine umfangreiche Evaluation durch, welche die Leistung solcher Modelle in mehreren Szenarien erfasst und damit eine umfassende, jedoch bisher fehlende, Bewertung solcher Modelle liefert. / With the rapid growth of biomedical literature, obtaining comprehensive information regarding particular biomedical entities and relations by only reading is becoming increasingly difficult. Text mining approaches seek to facilitate processing these vast amounts of text using machine learning. This renders effective and efficient encoding of all relevant information regarding specific entities as one central challenge in these approaches. In this thesis, we contribute to this research by developing machine learning methods for learning entity and text representations based on large-scale publication repositories and diverse information from in-domain knowledge bases. First, we propose two novel relation extraction approaches that use representation learning techniques to create comprehensive models of entities or entity pairs. These models learn low-dimensional embeddings by considering all publications from PubMed mentioning a specific entity or pair of entities. We use these embeddings as input for a neural network to classify relations globally, i.e., predictions are based on the entire corpus, not on single sentences or articles as in prior art. In our second contribution, we investigate the impact of multi-modal entity information for biomedical link prediction using knowledge graph embedding methods (KGEM). Our study enhances existing KGEMs by augmenting biomedical knowledge graphs with multi-modal entity information from in-domain databases. We propose a general framework for integrating this information into the KGEM entity representation learning process. In our third contribution, we augment pre-trained language models (PLM) with additional context information to identify interactions described in scientific texts. We perform an extensive benchmark that assesses the performance of such models across a wide range of biomedical relation scenarios, providing a comprehensive, but so far missing, evaluation of knowledge-augmented PLM-based extraction models.