Rev. version of the author's Thesis (Ph. D.)--University of California, Berkeley, 1984. / Includes bibliographical references (p. [215]-223).

Nous proposons un modèle de vérification grammaticale automatique gauche-droite issu de l'analyse d'un corpus d'erreurs tapuscrites. Les travaux menés en psychologie cognitive ont montré que le processus de révision procède au travers de la confrontation d'une attente à un résultat. Ainsi, la détection d'une erreur grammaticale reposerait, chez l'humain, sur une attente du réviseur non comblée. Ce principe est à la base du modèle que nous avons élaboré. Pour faciliter la gestion des attentes du point de vue traitement numérique, nous convions deux concepts courants en TAL : le principe d'unification et la segmentation en chunks. Le premier est particulièrement adapté à la vérification des accords et le second constitue une unité de calcul intermédiaire permettant de définir des bornes simplifiant la recherche d'incohérences grammaticales. Enfin, l'originalité de ce modèle réside dans une analyse gauche-droite construite au fur et à mesure de la lecture/écriture. / This thesis presents a model for automated left-right grammar checking based on analysis of a corpus of typescript errors. Studies in cognitive psychology have shown that the revision process works by confronting expectations with results. For humans, detecting a grammatical error therefore relies on an unfulfilled expectation on the part of the revisor. The model presented here is based on this principle. In order to deal with expectations from the point of view of computational processing, two common concepts in NLP are called upon: the unification principle and chunk segmentation. The former is particularly adapted to checking agreements, while the latter provides an intermediate computational unit to delimit, and therefore simplify, detection of grammatical inconsistencies. Finally, the model?s originality lies in the left-right analysis it provides, which is constructed as the text is produced/read.

À la différence de "Philosophie, mythologie et pseudo-science. Wittgenstein lecteur de Freud", l'influent essai de Jacques Bouveresse (1991), cette étude vise à établir qu'aussi critique qu'il se soit effectivement montré à l'égard de la psychanalyse, Wittgenstein n'en a pas moins beaucoup appris et retenu de Freud. Au plan de sa conception de l'élucidation philosophique, principalement. Composée de trois parties, ladite étude consiste d'abord à mettre en évidence les fragilités de l'argumentation présentée au premier chapitre de J'ouvrage classique de Jacques Bouveresse ; puis à rendre compte de la place centrale du motif psychologico-clinique dans la définition et la mise en œuvre de la méthode grammaticale de Wittgenstein ; pour mieux isoler ensuite les six aspects plus proprement freudiens de la clinique philosophique wittgensteinienne. La conclusion de ce travail étant finalement réservée à l'interprétation des résultats acquis au cours de cet itinéraire. / Unlike « Philosophie, mythologie et pseudo-science. Wittgenstein lecteur de Freud”, the influential essay of Jacques Bouveresse (1991), this study aims to establish that even though he was critical towards psychoanalysis, Wittgenstein also leamed a lot from Freud. Mainly on the plan of his conception of philosophical elucidation. This study is divided in three parts : the first highlights the weaknesses of the argumentation introduced in the first chapter of the classical work of Jacques Bouveresse; then the second one reflects the core of the psychologic-clinical pattern in the definition and the implementation of the grammatical method of Wittgenstein; finally, to better isolate the six aspects of the wittgensteinian philosophicaI clinic that are the most strictly freudian. The conclusion of this work is, in the end, dedicated to the interpretation of the results acquired in the course of this path.

Le présent travail est fondationnel, c'est-à-dire qu'il consiste en une recherche de fondements sur lesquels bâtir de façon nécessaire nos analyses. Cette thèse explore les conséquences de ce que j'appelle le lexico-morphologicocentrisme. Ce terme désigne une position où la morphologie (et donc le lexique) est le centre de l'entreprise linguistique. Par contre, pour être en mesure d'arriver à une telle position, il faut renoncer à certaines idées que l'on a sur les unités de base de l'analyse. La première partie, sur l'interface phonologie-morphologie, montre la nécessité de prendre le mot complet, qu'il soit morphologiquement simple ou complexe, comme unité de base de l'analyse. Ceci a des conséquences sur nos théories phonologiques. La conclusion est que l'on peut adopter un modèle phonologique qu'on pourrait appeler 'Supplétisme Radical'. La deuxième partie, sur l'interface morphologie-syntaxe, montre que, parce que les constructions sont de toute manière présentes comme unités de base des analyses soi-disant transformationnelles-dérivationnelles, on peut adopter des modèles constructionnistes qui ont certaines implications différentes sur l'architecture du langage. Le morphologisme peut dans ce sens devenir le centre du débat syntactique. Pour ce faire, la structure informationnelle est appelée pour rendre compte des 'résidus'.La troisième partie, sur l'interface 'sémantique', montre qu'à partir des conclusions des deux premières parties, une autre perspective peut apparaitre, que j'appelle le 'Portemantalisme'. Cette perspective est ce qui me mène à développer les prolégomènes à un modèle polyphonique-harmonique du sémantique-pragmatique-discursif. / The present work is foundational, that is to say it consists of a search for foundations on which to build our analyses in a necessary way. This thesis explores the consequences of what I call lexico-morphologicocentrism. This term designates a position where morphology (and therefore the lexicon) is the center of the linguistic enterprise. On the other hand, to be able to arrive at such a position, it is necessary to give up certain ideas we hold on the basic units of analysis. The first part, on the phonology-morphology interface, shows the need to take the complete word, whether morphologically simple or complex, as the basic unit of analysis. This has consequences for our phonological theories. The conclusion is that we can adopt a phonological model that we could call 'Radical Suppletionism'. The second part, on the morphology-syntax interface, shows that, because the constructions are anyway present as the basic units of the so-called transformational-derivational analyses, one can therefore adopt constructionist models, which have certain different implications for what we propose for the architecture of language. In this sense, morphologism can become the center of the syntactic debate. To do this, the information structure is called to account for the 'residues'. The third part, on the 'semantic' interface, shows that from the conclusions of the first two parts, another perspective can appear, which I call 'Portemantalism'. This perspective is what leads me to develop the prolegomena to a polyphonic-harmonic model of semantics-pragmatics-discursive.

Ce mémoire porte sur l'étiquetage automatique de texte français, c'est-à-dire l'attribution, par un programme informatique appelé étiqueteur, de la nature grammaticale des mots d'un texte français. En particulier, ce mémoire explore les forces et les faiblesses de l'utilisation du modèle mathématique des trigrams pour cette tâche. L'efficacité du modèle des trigrams est évaluée à l'aide d'observations sur la désambiguïsation des homographes de type verbe/substantif en français, c'est-à-dire, des mots dont la graphie est la même selon qu'ils soient verbe ou substantif (ex. : ferme). Ce mémoire tente de répondre à trois questions : 1. Pourquoi les étiqueteurs à modèle mathématique comme les trigrams réussissent-ils à 95%? 2. Qu'est-ce qui empêche d'améliorer ces performances? 3. Comment des connaissances linguistiques peuvent-elles permettre d'améliorer ces performances? / En rapport à ces questions, les résultats obtenus lors de ces travaux montrent que : 1. les structures syntaxiques sont suffisamment récurrentes pour permettre aux trigrams de saisir en grande partie les règles syntaxiques nécessaires à la désambiguïsation; 2. le calcul d'un taux de succès général dissimule, d'un point de vue linguistique, des décisions incohérentes du modèle des trigrams qu'ils seraient difficile de rectifier simplement en modifiant les trigrams; 3. la connaissance de contraintes syntaxiques permet d'analyser plus en détail le comportement du modèle des trigrams et de suggérer, en conséquence, des solutions pour améliorer le taux de succès d'un étiqueteur.

De nos jours, il n’est pas rare d’utiliser des logiciels capables d’avoir une conversation, d’interagir avec nous (systèmes questions/réponses pour les SAV, gestion d’interface ou simplement Intelligence Artificielle - IA - de discussion). Ceux-ci doivent comprendre le contexte ou réagir par mot-clefs, mais générer ensuite des réponses cohérentes, aussi bien au niveau du sens de la phrase (sémantique) que de la forme (syntaxe). Si les premières IA se contentaient de phrases toutes faites et réagissaient en fonction de mots-clefs, le processus s’est complexifié avec le temps. Pour améliorer celui-ci, il faut comprendre et étudier la construction des phrases. Nous nous focalisons sur la syntaxe et sa modélisation avec des grammaires catégorielles. L’idée est de pouvoir aussi bien générer des squelettes de phrases syntaxiquement correctes que vérifier l’appartenance d’une phrase à un langage, ici le français (il manque l’aspect sémantique). On note que les grammaires AB peuvent, à l’exception de certains phénomènes comme la quantification et l’extraction, servir de base pour la sémantique en extrayant des λ-termes. Nous couvrons aussi bien l’aspect d’extraction de grammaire à partir de corpus arborés que l’analyse de phrases. Pour ce faire, nous présentons deux méthodes d’extraction et une méthode d’analyse de phrases permettant de tester nos grammaires. La première méthode consiste en la création d’un transducteur d’arbres généralisé, qui transforme les arbres syntaxiques en arbres de dérivation d’une grammaire AB. Appliqué sur les corpus français que nous avons à notre disposition, il permet d’avoir une grammaire assez complète de la langue française, ainsi qu’un vaste lexique. Le transducteur, même s’il s’éloigne peu de la définition usuelle d’un transducteur descendant, a pour particularité d’offrir une nouvelle méthode d’écriture des règles de transduction, permettant une définition compacte de celles-ci. Nous transformons actuellement 92,5% des corpus en arbres de dérivation. Pour notre seconde méthode, nous utilisons un algorithme d’unification en guidant celui-ci avec une étape préliminaire de clustering, qui rassemble les mots en fonction de leur contexte dans la phrase. La comparaison avec les arbres extraits du transducteur donne des résultats encourageants avec 91,3% de similarité. Enfin, nous mettons en place une version probabiliste de l’algorithme CYK pour tester l’efficacité de nos grammaires en analyse de phrases. La couverture obtenue est entre 84,6% et 92,6%, en fonction de l’ensemble de phrases pris en entrée. Les probabilités, appliquées aussi bien sur le type des mots lorsque ceux-ci en ont plusieurs que sur les règles, permettent de sélectionner uniquement le “meilleur” arbre de dérivation.Tous nos logiciels sont disponibles au téléchargement sous licence GNU GPL. / Nowadays, we have become familiar with software interacting with us using natural language (for example in question-answering systems for after-sale services, human-computer interaction or simple discussion bots). These tools have to either react by keyword extraction or, more ambitiously, try to understand the sentence in its context. Though the simplest of these programs only have a set of pre-programmed sentences to react to recognized keywords (these systems include Eliza but also more modern systems like Siri), more sophisticated systems make an effort to understand the structure and the meaning of sentences (these include systems like Watson), allowing them to generate consistent answers, both with respect to the meaning of the sentence (semantics) and with respect to its form (syntax). In this thesis, we focus on syntax and on how to model syntax using categorial grammars. Our goal is to generate syntactically accurate sentences (without the semantic aspect) and to verify that a given sentence belongs to a language - the French language. We note that AB grammars, with the exception of some phenomena like quantification or extraction, are also a good basis for semantic purposes. We cover both grammar extraction from treebanks and parsing using the extracted grammars. On this purpose, we present two extraction methods and test the resulting grammars using standard parsing algorithms. The first method focuses on creating a generalized tree transducer, which transforms syntactic trees into derivation trees corresponding to an AB grammar. Applied on the various French treebanks, the transducer’s output gives us a wide-coverage lexicon and a grammar suitable for parsing. The transducer, even if it differs only slightly from the usual definition of a top-down transducer, offers several new, compact ways to express transduction rules. We currently transduce 92.5% of all sen- tences in the treebanks into derivation trees.For our second method, we use a unification algorithm, guiding it with a preliminary clustering step, which gathers the words according to their context in the sentence. The comparision between the transduced trees and this method gives the promising result of 91.3% of similarity.Finally, we have tested our grammars on sentence analysis with a probabilistic CYK algorithm and a formula assignment step done with a supertagger. The obtained coverage lies between 84.6% and 92.6%, depending on the input corpus. The probabilities, estimated for the type of words and for the rules, enable us to select only the “best” derivation tree. All our software is available for download under GNU GPL licence.

Quand on cherche à situer l'Inférence Grammaticale dans le paysage de la Recherche, on la place volontiers au sein de l'Apprentissage Automatique, qu'on place lui-même volontiers dans le champ de l'Intelligence Artificielle. Ainsi, dans leur livre de référence, Laurent Miclet et Antoine Cornuéjols préfèrent-ils parler d'Apprentissage Artificiel plutôt que d'Apprentissage Automatique, et consacrent-ils un chapitre complet à l'Inférence Grammaticale. C'est l'histoire du Machine Learning qui explique cette hiérarchie. Pourtant, en 2010, elle n'est pas toujours facile à justifier : combien de chercheurs dans le domaine du Machine Learning connaissent-ils le paradigme d'identification à la limite ? Et combien de chercheurs en Inférence Grammaticale maîtrisent-ils la théorie de la régularisation utilisée en optimisation ? Il suffit de suivre des conférences comme ICGI ou ECML pour constater que les communautés sont différentes, tant sur le plan de leurs motivations que sur celui de leurs cultures scientifiques. En outre, lorsqu'on étudie l'histoire des deux domaines, on observe des points de divergence depuis longtemps déjà. D'un autre côté, plusieurs éléments consolident cette hiérarchie. En effet, tous les algorithmes d'identification fournissent in fine des grammaires qui acceptent les données positives et rejettent les données négatives. Donc les grammaires peuvent être vues comme des sortes de classifieurs, et un algorithme d'Inférence Grammaticale comme un apprenant visant à résoudre un problème de classification. De même, le but de l'Inférence Grammaticale Stochastique est d'identifier des distributions de probabilité, et c'est une thématique qu'on retrouve également en Machine Learning. Ainsi, dans ce manuscrit, nous avons choisi d'étudier, à la lumière de nos travaux, les relations entre Inférence Grammaticale et Classification Supervisée.

L'inférence grammaticale désigne le problème qui consiste à découvrir les règles de formation des phrases d'un langage, c'est-à-dire une grammaire de celui-ci. Dans le modèle d'apprentissage de Gold, les exemples fournis sont constitués uniquement des phrases appartenant au langage. L'algorithme doit fournir une grammaire qui représente le langage énuméré. Les grammaires catégorielles sont l'un des nombreux formalismes existants pour représenter des langages. Kanazawa a montré que certaines sous-classes de ces grammaires sont apprenables, mais ses résultats ne sont pas applicables directement aux langues naturelles. Sur le plan théorique, nous proposons de généraliser les résultats de Kanazawa à différents types de grammaires. Les grammaires combinatoires générales sont un modèle flexible permettant de définir des systèmes grammaticaux à base de règles de réécriture. Nous démontrons dans ce cadre que certaines classes de langages sont apprenables. Dans un souci de généralité maximale, nos résultats sont exprimés sous forme de critères sur les règles des systèmes grammaticaux considérés. Ces résultats sont appliqués à plusieurs formalismes relativement adaptés à la représentation des langues naturelles. Nous abordons également le problème de la mise en œuvre de l'apprentissage sur des données réelles. En effet, les algorithmes existants capables d'apprendre des classes de langages intéressantes sont NP-complets. Afin de contourner cet obstacle, nous proposons un cadre d'apprentissage plus souple, l'apprentissage partiel : le contexte d'utilisation est modifié dans le but d'obtenir une complexité algorithmique plus réaliste. Nous testons cette approche sur des données de taille moyenne, et obtenons des résultats relativement encourageants.

L'ouvrage unifie les paradigmes du darwinisme universel, de la psycholinguistique développementale et de la linguistique computationnelle afin de fournir un récit nouveau d'ontogénie de structures linguistiques chez les agents humains ou bien artificiels. La thèse est précédée d'un volume supplémentaire intitulé «Fondements conceptuels» qui présente une théorie de l'évolution intra-mentale qui pose l'hypothèse que l'ontogénie d'un esprit individuel peut être interprétée et même simulée comme un processus impliquant la réplication, la variation et la sélection des structures qui encodent de l'information. La dissertation elle-même présente quatre simulations distinctes abordant quatre problèmes distincts. La 0ème simulation illustre comment l'optimisation évolutionnist pourrait conduire à la découverte d'idées utiles concernant l'énigme cryptologique connue sous le nom de Voynich Manuscript. La première simulation montre comment la théorie des prototypes, les architectures symboliques vectorielles et l'optimisation évolutionniste peuvent être mutuellement combinées afin de produire une nouvelle méthode d'apprentissage automatique supervisée. La deuxième simulation utilise une approche similaire pour démontrer que l'optimisation évolutive peut découvrir des constellations minimalistes et légères de marqueurs de partie de discours. La dernière simulation vise le «saint graal» de la linguistique computationnelle, c'est-à-dire le problème de «l'induction grammaticale» et montre que le problème peut être potentiellement résolu en utilisant une stratégie évolutive capable de combler l'écart entre le domaine subsymbolique et le domaine symbolique. / Our thesis unifes paradigms of universal darwinism, developmental psycholinguistics and computational linguistics in order to furnish a novel account of language development in human as well as artificial language-acquiring agents. Thesis is preceded by a supplementary volume called "Conceptual Foundations" which presents a so-called "Theory of Intramental Evolution" which postulates that ontogeny of an individual mind can be interpreted and even simulated as a process involving replication, variation and selection of information-encoding cognitive structures. The dissertation itself presents four distinct simulations addressing four distinct problems. Zeroth simulation illustrates how evolutionary optimization could lead to discovery of useful insights concerning the cryptological riddle known as Voynich Manuscript. The first simulation shows how theory of prototypes, vector symbolic architectures and evolutionary optimization can be mutually combined in order to yield a novel supervised machine-learning method. Second simulation uses a similiar approach in order to indicate that evolutionary optimization can discover minimalist and lightweight constellations of part-of-speech taggers. The last simulation targets the "holy grail" of computational linguistics, i.e. the problem of "grammar induction" and shows that the problem can be potentially solved by using an evolutionary strategy able to bridge the gap between subsymbolic realm of vector spaces and symbolic realm of grammar-representing regular expressions.

Cette thèse propose une approche pratique pour la rétro-conception automatisée de protocoles de communication non-documentés. Les travaux existants dans ce domaine ne permettent qu'un apprentissage incomplet des spécifications ou exigent trop de stimulation de l'implémentation du protocol cible avec le risque d'être vaincu par des techniques de contre-inférence. Cette thèse adresse ces problématiques en s'appuyant sur la sémantique du protocole cible pour améliorer la qualité, la rapidité et la furtivité du processus d'inférence. Nous appliquons cette approche à la rétro-conception des deux principaux aspects de la définition d'un protocole à savoir l'inférence de sa syntaxe et de sa grammaire. Nous proposons un outil open-source, appelé Netzob, qui implémente nos contributions pour aider les experts en sécurité dans leur lutte contre les dernières menaces informatiques. Selons nos recherches, Netzob apparait comme l'outil publié le plus avancé pour la rétro-conception et la simulation de protocoles de communications non-documentés. / This thesis exposes a practical approach for the automatic reverse engineering of undocumented communication protocols. Current work in the field of automated protocol reverse engineering either infer incomplete protocol specifications or require too many stimulation of the targeted implementation with the risk of being defeated by counter-inference techniques. We propose to tackle these issues by leveraging the semantic of the protocol to improve the quality, the speed and the stealthiness of the inference process. This work covers the two main aspects of the protocol reverse engineering, the inference of its syntactical definition and of its grammatical definition. We propose an open-source tool, called Netzob, that implements our work to help security experts in their work against latest cyber-threats. We claim Netzob is the most advanced published tool that tackles issues related to the reverse engineering and the simulation of undocumented protocols.