L’apprentissage structuré est devenu omniprésent dans le traitement automatique des langues naturelles. De nombreuses applications qui font maintenant partie de notre vie telles que des assistants personnels, la traduction automatique, ou encore la reconnaissance vocale, reposent sur ces techniques. Les problèmes d'apprentissage structuré qu’il est nécessaire de résoudre sont de plus en plus complexes et demandent de prendre en compte de plus en plus d’informations à des niveaux linguistiques variés (morphologique, syntaxique, etc.) et reposent la question du meilleurs compromis entre la finesse de la modélisation et l’exactitude des algorithmes d’apprentissage et d’inférence. L’apprentissage par imitation propose de réaliser les procédures d’apprentissage et d’inférence de manière approchée afin de pouvoir exploiter pleinement des structures de dépendance plus riches. Cette thèse explore ce cadre d’apprentissage, en particulier l’algorithme SEARN, à la fois sur le plan théorique ainsi que ses possibilités d’application aux tâches de traitement automatique des langues, notamment aux plus complexes telles que la traduction. Concernant les aspects théoriques, nous présentons un cadre unifié pour les différentes familles d’apprentissage par imitation, qui permet de redériver de manière simple les propriétés de convergence de ces algorithmes; concernant les aspects plus appliqués, nous utilisons l’apprentissage par imitation d’une part pour explorer l’étiquetage de séquences en ordre libre; d’autre part pour étudier des stratégies de décodage en deux étapes pour la traduction automatique. / Structured learning has become ubiquitousin Natural Language Processing; a multitude ofapplications, such as personal assistants, machinetranslation and speech recognition, to name just afew, rely on such techniques. The structured learningproblems that must now be solved are becomingincreasingly more complex and require an increasingamount of information at different linguisticlevels (morphological, syntactic, etc.). It is thereforecrucial to find the best trade-off between the degreeof modelling detail and the exactitude of the inferencealgorithm. Imitation learning aims to perform approximatelearning and inference in order to better exploitricher dependency structures. In this thesis, we explorethe use of this specific learning setting, in particularusing the SEARN algorithm, both from a theoreticalperspective and in terms of the practical applicationsto Natural Language Processing tasks, especiallyto complex tasks such as machine translation.Concerning the theoretical aspects, we introduce aunified framework for different imitation learning algorithmfamilies, allowing us to review and simplifythe convergence properties of the algorithms. With regardsto the more practical application of our work, weuse imitation learning first to experiment with free ordersequence labelling and secondly to explore twostepdecoding strategies for machine translation.

Dans ce mémoire par articles, nous nous intéressons à l’apprentissage de modèles causaux à partir de données. L’intérêt de cette entreprise est d’obtenir une meilleure compréhension des données et de pouvoir prédire l’effet qu’aura un changement sur certaines variables d’un système étudié. Comme la découverte de liens causaux est fondamentale en sciences, les méthodes permettant l’apprentissage de modèles causaux peuvent avoir des applications dans une pléthore de domaines scientifiques, dont la génomique, la biologie et l’économie. Nous présentons deux nouvelles méthodes qui ont la particularité d’être des méthodes non-linéaires d’apprentissage de modèles causaux qui sont posées sous forme d’un problème d’optimisation continue sous contrainte. Auparavant, les méthodes d’apprentissage de mo- dèles causaux abordaient le problème de recherche de graphes en utilisant des stratégies de recherche voraces. Récemment, l’introduction d’une contrainte d’acyclicité a permis d’abor- der le problème différemment. Dans un premier article, nous présentons une de ces méthodes: GraN-DAG. Sous cer- taines hypothèses, GraN-DAG permet d’apprendre des graphes causaux à partir de données observationnelles. Depuis la publication du premier article, plusieurs méthodes alternatives ont été proposées par la communauté pour apprendre des graphes causaux en posant aussi le problème sous forme d’optimisation continue avec contrainte. Cependant, aucune de ces méthodes ne supportent les données interventionnelles. Pourtant, les interventions réduisent le problème d’identifiabilité et permettent donc l’utilisation d’architectures neuronales plus expressives. Dans le second article, nous présentons une autre méthode, DCDI, qui a la particularité de pouvoir utiliser des données avec différents types d’interventions. Comme le problème d’identifiabilité est moins important, une des deux instanciations de DCDI est un approximateur de densité universel. Pour les deux méthodes proposées, nous montrons que ces méthodes ont de très bonnes performances sur des données synthétiques et réelles comparativement aux méthodes traditionelles. / In this thesis by articles, we study the learning of causal models from data. The goal of this entreprise is to gain a better understanding of data and to be able to predict the effect of a change on some variables of a given system. Since discovering causal relationships is fundamental in science, causal structure learning methods have applications in many fields that range from genomics, biology, and economy. We present two new methods that have the particularity of being non-linear methods learning causal models casted as a continuous optimization problem subject to a constraint. Previously, causal strutural methods addressed this search problem by using greedy search heuristics. Recently, a new continuous acyclity constraint has allowed to address the problem differently. In the first article, we present one of these non-linear method: GraN-DAG. Under some assumptions, GraN-DAG can learn a causal graph from observational data. Since the publi- cation of this first article, several alternatives methods have been proposed by the community by using the same continuous-constrained optimization formulation. However, none of these methods support interventional data. Nevertheless, interventions reduce the identifiability problem and allow the use of more expressive neural architectures. In the second article, we present another method, DCDI, that has the particularity to leverage data with several kinds of interventions. Since the identifiabiliy issue is less severe, one of the two instantia- tions of DCDI is a universal density approximator. For both methods, we show that these methods have really good performances on synthetic and real-world tasks comparatively to other classical methods.