Ce projet se décline en deux parties. Dans un premier temps, il s’agit de développer une méthode de conversion automatique des textes annotés selon la sémantique des cadres dans FrameNet en représentations sémantiques de la Théorie Sens-Texte, afin de développer davantage de ressources informatiques pour assurer le développement de différents projets, notamment le réalisateur de textes GenDR. Dans un second temps, cette conversion sera mise à profit pour effectuer une analyse comparative entre les deux formalismes. Nous retiendrons que ces formalismes ne sont pas incompatibles, mais diffèrent par leurs niveaux de granularité et leurs objectifs propres. Nous tracerons quelques parallèles entre les fonctions lexicales et les relations entre cadres, et proposerons une mise en commun des formalismes afin de les enrichir. / This project is divided in two main parts. Firstly, a method allowing for an automatic conversion of FrameNet's Semantics-based text annotations into semantic representations, according to the Meaning-Text Theory framework, will be presented. This method will lead to an increased set of data usable to develop and improve various Meaning-Text Theory-based projects, including GenDR, a text realizer. Secondly, the conversion task will be used to do a comparative analysis of the two frameworks. We will conclude that the two frameworks are not incompatible, but differ in their granularity and goals. We will also draw parallels between the lexical functions and frame- to-frame relationships, and make some suggestions regarding changes to the frameworks in order to enrich them.

An important challenge in natural language surface realization is the generation of grammatical sentences from incomplete sentence plans. Realization can be broken into a two-stage process consisting of an over-generating rule-based module followed by a ranker that outputs the most probable candidate sentence based on a statistical language model. Thus far, an n-gram language model has been evaluated in this context. More sophisticated syntactic knowledge is expected to improve such a ranker. In this thesis, a new language model based on featurized functional dependency syntax was developed and evaluated. Generation accuracies and cross-entropy for the new language model did not beat the comparison bigram language model.

<p dir="ltr">This thesis involves three topics related to forensic analysis of media data. The first topic is the analysis of images and documents that have been created with a scanner. The goal is to detect and identify scanner model from the scanned images/documents. We propose a deep learning system that can automatically learn the inherent features of the scanned images. This system will produce a scanner model identification and a reliability map for a scanned image. The proposed system has shown promising results in the forensic analysis of scanned images. The second topic is related to forensic integrity of scientific papers. The project is divided into multiple tasks, data collection, image extraction, and manipulation detection. We have constructed a dataset of retracted scientific papers that have been verified to have issues with integrity. We design and maintain a web-based Scientific Integrity System for forensic analysis of the images within scientific publications. The third topic is related to media document analysis. Our goal is to identify the publication style for media document, aiding in the potential document manipulation. We are mainly focusing on image-text consistency check, and synthetic tweets analysis. For image-text inconsistency check, we describe a system that can examine an image in document and the corresponding text caption (or other associated text with the image) to check the image/text consistency. For synthetic tweets analysis, we propose a system to detect and identify the text generation models and paraphrase attack models.</p>

Diabetiker entwickeln nach durchschnittlich 10 Jahren Folgeschäden. Die Polyneuropathie mit nachfolgender Osteoarthropathie des Fußes ist eine meist zu spät erkannte und suboptimal versorgte Komplikation. Nicht rechtzeitig erkannte Schäden führen zu Ulcera, sekundären Infektionen, Osteomyelitiden und Amputationen. Fragestellung: Ist eine Ganganalyse incl. Posturographie in der Lage, eine evtl. bestehende Polyneuropathie zu verifizieren, um eine frühzeitige orthopädische Schuhversorgung vornehmen zu können? Material und Methoden: Es wurden Diabetiker (n = 73) mit (mittels Messung der Nervenleitgeschwindigkeit NLG) nachgewiesener Neuropathie und eine gesunde Vergleichsgruppe (n = 38) ohne Neuropathie am Ganganalysesystem GANGAS untersucht. Ergebnisse: Die Allgemeinparameter relative Geschwindigkeit, Schrittlänge und Kadenz, sowie die Belastungsparameter Fersen-, Mittelfuß-, Vorfußbelastung und Belastung beim Auftritt und Abstoß zeigten keine wesentlich signifikanten Unterschiede im Gruppenvergleich. Dagegen zeigte die Posturographie (apparative Untersuchung der Schwankung des Druckschwerpunktes beim Romberg-Test, welche durch die Länge und Geschwindigkeit beschrieben wurde) signifikante Unterschiede zwischen beiden Patientengruppen. So lag z.B. der Median der Weglänge des Druckschwerpunktes beim Test mit geschlossenen Augen bei den Diabetikern bei 21,27 cm und in der Vergleichsgruppe bei 15,4 cm (p = 0,007). Die Bewegungsgeschwindigkeit des Druckschwerpunktes beim Test mit geschlossenen Augen betrug im Median 1,33 cm/sec bei den Diabetikern und 0,96 cm/sec in der gesunden Vergleichsgruppe (p = 0,006). Beim Test mit offenen Augen ergab sich kein signifikanter Unterschied im Gruppenvergleich. Klinische Relevanz: Eine Instabilität des Ganges der Patienten mit diabetischer Neuropathie und entsprechenden Folgeschäden des Fußes läßt sich durch die Ganganalyse mit Standardparametern nach vorliegendem Datenmaterial nicht nachweisen. Die Posturographie ist eine einfache, zeitlich mit geringem Aufwand verbundene Methode, die mit statistischer Signifikanz die subjektiven Kriterien der klinisch-orthopädischen Frühdiagnostik sinnvoll ergänzen und damit die Verdachtsdiagnose eine diabetischen Fußes objektiv nachweisen kann, bevor bleibende Schäden am Fuß entstanden sind. / Every diabetic patient after about ten years develops secondary changes in different tissues. Polyneuropathy with consecutive osteoarthropathy of the foot often is recognized too late and suboptimal treated. Diabetic disorders recognized too late may lead to ulcera, secondery infections and even amputations. Question: Is standard gait analysis including posturography able to verify diabetic neuropathy in order to supply the patient with adapted orthopadic shoeware in time? Materials and methods: A group of diabetics (n=73) with proved neuropathy by measuring nerve conduction velocity and a healthy control group (n=38) without neuropathy were examined by the gait-analysis-system GANGAS. Results: The general parameters: relative speed, length of step and cadence as well as the loading parameters of the heel, middle foot and forefoot during treading and repulsion show no significant differences between both groups. Posturography however (apparative examination of the elongation of focal point of pressure (FPP) according to the Romberg test, described by length and speed) shows significant differences between both groups. For diabetics making the test with closed eyes the mean value of walking length of the FPP was 21,27 cm, for the healthy control persons it was only 15,4 cm (p = 0,007). Asimulary results were found for the speed of movement of FPP during the test with closed eyes: mean value in diabetics 1,33 cm/s and for the healthy control persons 0,96 cm/s (p = 0,006). During this test with open eyes there was no significant difference between both groups. Clinical Relevance: Walking instability of patients with diabetic neuropathy and corresponding sequential damage of the foot could not be proved by the current data with standard parameters. Posturography however is able to give additional information with statistical significance to the subjective criteria of the clinical-orthopedic early diagnosis and verify the diagnosis of a beginning diabetic foot before severe disorders have occured.

Dans ces travaux, nous explorons comment les techniques de Générations Automatiques de Langue Naturelle (GLN) peuvent être utilisées pour aborder la tâche de génération (semi-)automatique de matériel et d'activités dans le contexte de l'apprentissage de langues assisté par ordinateur. En particulier, nous montrons comment un Réalisateur de Surface (RS) basé sur une grammaire peut être exploité pour la création automatique d'exercices de grammaire. Notre réalisateur de surface utilise une grammaire réversible étendue, à savoir SemTAG, qui est une Grammaire d'Arbre Adjoints à Structure de Traits (FB-TAG) couplée avec une sémantique compositionnelle basée sur l'unification. Plus précisément, la grammaire FB-TAG intègre une représentation plate et sous-spécifiée des formules de Logique de Premier Ordre (FOL). Dans la première partie de la thèse, nous étudions la tâche de réalisation de surface à partir de formules sémantiques plates et nous proposons un algorithme de réalisation de surface basé sur la grammaire FB-TAG optimisé, qui supporte la génération de phrases longues étant donné une grammaire et un lexique à large couverture. L'approche suivie pour l'optimisation de la réalisation de surface basée sur FB-TAG à partir de sémantiques plates repose sur le fait qu'une grammaire FB-TAG peut être traduite en une Grammaire d'Arbres Réguliers à Structure de Traits (FB-RTG) décrivant ses arbres de dérivation. Le langage d'arbres de dérivation de la grammaire TAG constitue un langage plus simple que le langage d'arbres dérivés, c'est pourquoi des approches de génération basées sur les arbres de dérivation ont déjà été proposées. Notre approche se distingue des précédentes par le fait que notre encodage FB-RTG prend en compte les structures de traits présentes dans la grammaire FB-TAG originelle, ayant de ce fait des conséquences importantes par rapport à la sur-génération et la préservation de l'interface syntaxe-sémantique. L'algorithme de génération d'arbres de dérivation que nous proposons est un algorithme de type Earley intégrant un ensemble de techniques d'optimisation bien connues: tabulation, partage-compression (sharing-packing) et indexation basée sur la sémantique. Dans la seconde partie de la thèse, nous explorons comment notre réalisateur de surface basé sur SemTAG peut être utilisé pour la génération (semi-)automatique d'exercices de grammaire. Habituellement, les enseignants éditent manuellement les exercices et leurs solutions et les classent au regard de leur degré de difficulté ou du niveau attendu de l'apprenant. Un courant de recherche dans le Traitement Automatique des Langues (TAL) pour l'apprentissage des langues assisté par ordinateur traite de la génération (semi-)automatique d'exercices. Principalement, ces travaux s'appuient sur des textes extraits du Web, utilisent des techniques d'apprentissage automatique et des techniques d'analyse de textes (par exemple, analyse de phrases, POS tagging, etc.). Ces approches confrontent l'apprenant à des phrases qui ont des syntaxes potentiellement complexes et du vocabulaire varié. En revanche, l'approche que nous proposons dans cette thèse aborde la génération (semi-)automatique d'exercices du type rencontré dans les manuels pour l'apprentissage des langues. Il s'agit, en d'autres termes, d'exercices dont la syntaxe et le vocabulaire sont faits sur mesure pour des objectifs pédagogiques et des sujets donnés. Les approches de génération basées sur des grammaires associent les phrases du langage naturel avec une représentation linguistique fine de leur propriété morpho-syntaxiques et de leur sémantique grâce à quoi il est possible de définir un langage de contraintes syntaxiques et morpho-syntaxiques permettant la sélection de phrases souches en accord avec un objectif pédagogique donné. Cette représentation permet en outre d'opérer un post-traitement des phrases sélectionées pour construire des exercices de grammaire / In this work, we explore how Natural Language Generation (NLG) techniques can be used to address the task of (semi-)automatically generating language learning material and activities in Camputer-Assisted Language Learning (CALL). In particular, we show how a grammar-based Surface Realiser (SR) can be usefully exploited for the automatic creation of grammar exercises. Our surface realiser uses a wide-coverage reversible grammar namely SemTAG, which is a Feature-Based Tree Adjoining Grammar (FB-TAG) equipped with a unification-based compositional semantics. More precisely, the FB-TAG grammar integrates a flat and underspecified representation of First Order Logic (FOL) formulae. In the first part of the thesis, we study the task of surface realisation from flat semantic formulae and we propose an optimised FB-TAG-based realisation algorithm that supports the generation of longer sentences given a large scale grammar and lexicon. The approach followed to optimise TAG-based surface realisation from flat semantics draws on the fact that an FB-TAG can be translated into a Feature-Based Regular Tree Grammar (FB-RTG) describing its derivation trees. The derivation tree language of TAG constitutes a simpler language than the derived tree language, and thus, generation approaches based on derivation trees have been already proposed. Our approach departs from previous ones in that our FB-RTG encoding accounts for feature structures present in the original FB-TAG having thus important consequences regarding over-generation and preservation of the syntax-semantics interface. The concrete derivation tree generation algorithm that we propose is an Earley-style algorithm integrating a set of well-known optimisation techniques: tabulation, sharing-packing, and semantic-based indexing. In the second part of the thesis, we explore how our SemTAG-based surface realiser can be put to work for the (semi-)automatic generation of grammar exercises. Usually, teachers manually edit exercises and their solutions, and classify them according to the degree of dificulty or expected learner level. A strand of research in (Natural Language Processing (NLP) for CALL addresses the (semi-)automatic generation of exercises. Mostly, this work draws on texts extracted from the Web, use machine learning and text analysis techniques (e.g. parsing, POS tagging, etc.). These approaches expose the learner to sentences that have a potentially complex syntax and diverse vocabulary. In contrast, the approach we propose in this thesis addresses the (semi-)automatic generation of grammar exercises of the type found in grammar textbooks. In other words, it deals with the generation of exercises whose syntax and vocabulary are tailored to specific pedagogical goals and topics. Because the grammar-based generation approach associates natural language sentences with a rich linguistic description, it permits defining a syntactic and morpho-syntactic constraints specification language for the selection of stem sentences in compliance with a given pedagogical goal. Further, it allows for the post processing of the generated stem sentences to build grammar exercise items. We show how Fill-in-the-blank, Shuffle and Reformulation grammar exercises can be automatically produced. The approach has been integrated in the Interactive French Learning Game (I-FLEG) serious game for learning French and has been evaluated both based in the interactions with online players and in collaboration with a language teacher