Cette thèse est centrée sur deux principaux objectifs : l'adaptation de techniques de traduction neuronale à de nouvelles tâches, et la reproduction de travaux de recherche existants. Nos efforts pour la reproductibilité ont résulté en la création de deux ressources : MultiVec, un outil permettant l'utilisation de plusieurs techniques liées au word embeddings; ainsi qu'un outil proposant plusieurs modèles pour la traduction automatique et d’autres tâches similaires (par ex. post-édition automatique). Nous travaillons ensuite sur plusieurs tâches liées à la traduction : la Traduction Automatique (TA), Traduction Automatique de la Parole, et la Post-Édition Automatique. Pour la tâche de TA, nous répliquons des travaux fondateurs basés sur les réseaux de neurones, et effectuons une étude sur des TED Talks, où nous avançons l'état de l'art. La tâche suivante consiste à traduire la parole dans une langue vers le texte dans une autre langue. Dans cette thèse, nous nous concentrons sur le problème inexploré de traduction dite « end-to-end », qui ne passe pas par une transcription intermédiaire dans la langue source. Nous proposons le premier modèle end-to-end, et l'évaluons sur deux problèmes : la traduction de livres audio, et d'expressions de voyage. Notre tâche finale est la post-édition automatique, qui consiste à corriger les sorties d'un système de traduction dans un scénario « boîte noire », en apprenant à partir de données produites par des post-éditeurs humains. Nous étendons des résultats publiés dans le cadre des tâches de WMT 2016 et 2017, et proposons de nouveaux modèles pour la post-édition automatique dans un scénario avec peu de données. / This thesis is centered on two main objectives: adaptation of Neural Machine Translation techniques to new tasks and research replication. Our efforts towards research replication have led to the production of two resources: MultiVec, a framework that facilitates the use of several techniques related to word embeddings (Word2vec, Bivec and Paragraph Vector); and a framework for Neural Machine Translation that implements several architectures and can be used for regular MT, Automatic Post-Editing, and Speech Recognition or Translation. These two resources are publicly available and now extensively used by the research community. We extend our NMT framework to work on three related tasks: Machine Translation (MT), Automatic Speech Translation (AST) and Automatic Post-Editing (APE). For the machine translation task, we replicate pioneer neural-based work, and do a case study on TED talks where we advance the state-of-the-art. Automatic speech translation consists in translating speech from one language to text in another language. In this thesis, we focus on the unexplored problem of end-to-end speech translation, which does not use an intermediate source-language text transcription. We propose the first model for end-to-end AST and apply it on two benchmarks: translation of audiobooks and of basic travel expressions. Our final task is automatic post-editing, which consists in automatically correcting the outputs of an MT system in a black-box scenario, by training on data that was produced by human post-editors. We replicate and extend published results on the WMT 2016 and 2017 tasks, and propose new neural architectures for low-resource automatic post-editing.

Si l’étiologie de l’autisme reste mal identifiée, ce trouble est caractérisé par des déficits de la communication sociale, notamment de l’attention conjointe, une importante difficulté à comprendre autrui comme agent intentionnel, un manque d’empathie et des déficits d’imitation. Cette recherche a pour objectifs d’étudier d’une part le lien entre la dysrégulation d’attention conjointe et le développement ultérieur de la communication sociale et d’autre part l’impact d’un programme d’intervention individuelle centrée sur l’hétérorégulation de l’attention conjointe chez de jeunes enfants avec autisme. Il s’agit d’une étude à la fois longitudinale (12 mois) et transversale qui porte sur 10 jeunes enfants avec autisme appariés par âge de développement à 10 jeunes enfants avec trisomie 21 et 10 enfants tout-venants. Le développement psychologique des enfants de ces trois groupes est évalué à l’aide de tests psychométriques validés et étalonnés (Brunet-Lézine, BECS, EDEI-R). L’évaluation de la dysrégulation de l’activité d’attention conjointe et de la communication sociale est réalisée au cours de séances d’activités ludiques au moyen d’outils cliniques originaux. L’analyse comparative des résultats met en évidence une dysrégulation dans les processus d’attention conjointe (désynchronisation, persévérations, ruptures, variabilité, lenteur) contribuant au développement atypique de la communication sociale dans l’autisme notamment pour ce qui concerne la fonction directive et la production de gestes conventionnels et pourrait expliquer les difficultés des enfants avec autisme à s’adapter dans une situation sociale. Par ailleurs, l’évolution différentielle des enfants avec autisme bénéficiant de l’intervention montre que les variabilités interindividuelles dans les profils développementaux cognitifs et socio-communicatifs des enfants de notre étude correspondent aux variabilités interindividuelles de dysrégulation d’attention conjointe. Notre modèle de recherche est donc bien confirmé, et met en évidence l’intérêt de l’évaluation de la dysrégulation d’attention conjointe comme pronostic du développement de la communication sociale. Ces résultats nous incitent à proposer des interventions centrées sur l’hétérorégulation d’attention conjointe et de la communication sociale chez de jeunes enfants avec autisme. / The etiology of autism remains poorly identified, however it has been established that this disorder is characterized by deficits in social communication, in particular in joint attention, which involves major difficulties in understanding others as intentional agents, a lack of empathy and deficits in imitation. The objectives of this research are to study, on one hand, the link between joint attention dysregulation and later social communication development, and on the other hand, the impact of an intervention program based on the hetero-regulation of joint attention for young children with autism. It is both a longitudinal (12 months) and transversal study concerning 10 young children with autism, matched by developmental age to 10 young children with Down’s syndrome and to 10 young typically developing children. The development of the children comprising these three groups is assessed with appropriate clinical tools (Brunet-Lézine, BECS, EDEI-R). The assessment of dysregulation (in the domains of activity, joint attention and social communication skills) is realized during play sessions using original clinical tools. The results show dysregulation in processes of joint attention (desynchronization, perseverations, breaking off, instability, slowness) contributing to atypical development of social communication in autism, in particular with regard to producing imperative function and conventional gestures, which could explain the difficulties that children with autism exhibit when learning to socialize. However, differential evolution in children with autism benefiting from intervention shows that inter- individual instabilities in cognitive profiles and in the development of social communication skills correspond to interindividual instabilities in the dysregulation of joint attention. Our model is thus supported by the data, underlining therefore the interest of using joint attention dysregulation as a predictor of social communication development. These results also emphasize the value of therapies based on the hetero-regulation of joint attention and of social communication for young children with autism.

No description available.

La thèse porte sur le statut sémantico-pragmatique des propositions relatives appositives (PRA), étudié à travers l’examen du fonctionnement discursif des phrases complexes de la forme ‘Matrice, qui PRA’ du français. Dans beaucoup de langues, les PRA n’interagissent pas sémantiquement avec les opérateurs présents dans leurs propositions enchâssantes et tendent à s’interpréter pragmatiquement comme porteuses d’informations non-centrales ou secondaires pour la question en discussion (QUD) du discours en cours. Plusieurs analyses (Holler 2005, Arnold 2007, Koev 2012) dissocient ces deux propriétés en dérivant la projection des PRA de leur statut d’assertions indépendantes et en expliquant leur lecture pragmatique à l’aide de principes généraux de gestion du flot discursif. En effet, lorsque les PRA apparaissent en fin de phrase, elles sont susceptibles d’interagir avec la QUD tout en ayant une portée large vis-à-vis du reste de la phrase. Certains phénomènes discursifs semblent néanmoins contredire l’idée que les PRA constituent des assertions indépendantes. D’abord, les PRA peuvent interagir avec la QUD seulement si leurs matrices véhiculent également des informations pertinentes pour le sujet en discussion. Ensuite, contrairement à ce que l’on peut observer dans une séquence de deux propositions indépendantes, dans une séquence formée d’une proposition matrice et d’une PRA, quel que soit l’ordre de leur linéarisation, la matrice s’interprète toujours comme centrale pour le discours, alors que le statut pragmatique de la PRA dépend fortement du degré d’informativité du reste de la phrase vis-à-vis de la QUD. Enfin, les résultats de deux études comportementales conduites pour la thèse montrent que, suite au traitement de phrases complexes comme ‘Matrice, qui PRA’, les référents du type ‘individu’ mentionnés par la matrice restent hautement saillants pour le discours subséquent contrairement à ceux dont il est question dans la PRA, qui jouissent d’un degré d’accessibilité assez faible. Partant de ces données, nous concluons que la lecture pragmatique centrale des PRA n’est pas une conséquence de leur statut d’assertions indépendantes mais résulte de l’intégration de leur contenu dans le domaine focal de leurs matrices. Plus généralement, en nous appuyant sur les travaux d’Ander Bois & al. (2010) et Schlenker (2013, ms), nous défendons l’idée que le manque d’interaction entre les PRA et le reste de leurs phrases d’accueil ainsi que leur prédisposition à une interprétation non-centrale pour le discours proviennent du fait, qu’à la différence de leurs matrices, dont l’énonciation s’accompagne de l’introduction d’un référent propositionnel nouveau, les PRA sont des anaphores propositionnelles, dont la portée sémantique et l’interprétation pragmatique dépendent de la position discursive de l’expression important dans l’univers du discours le référent auquel s’applique le contenu qu’elles expriment. / The thesis focuses on the semantic-pragmatic status of appositive relative clauses (ARC). We address this question by examining discourse functioning of complex sentences of the form ‘Matrix, qui ARC’ in French. Crosslinguistically, ARC fail to interact semantically with scope taking operators contained in their embedding clauses and tend to be interpreted pragmatically as carrying non-central or secondary information for the question under discussion (QUD) in the ongoing discourse. Several analysis (Holler 2005, Arnold 2007, Koev 2012) dissociate these two properties, deriving the ARC projection from their status of independent assertions and explaining their pragmatic reading with independent principles of the discourse flow management. Indeed, when an ARC follows linearly its embedding clause, it can interact with the QUD while still receiving a wide scope relatively to the rest of the host sentence. Some discursive phenomena seem nevertheless contradict the idea that ARC constitute independent assertions. First, an ARC can interact with a QUD only if its matrix clause also conveys information relevant to the subject under discussion. Second, contrary to what we observe examining sequences of two independent clauses, in sequences formed of a matrix clause and an ARC, regardless of the order of their linearization, the matrix clause is always interpreted as being at-issue for the discourse, while the pragmatic status of the ARC depends to a great extent on the degree of informativeness of the rest of the sentence relatively to the QUD. And, third, the results of two psycholinguistic experiments conducted as part of this study show that after processing a sentence such as ‘Matrix, qui ARC’, the entity-type referents realized by the matrix clause are highly salient for the subsequent discourse unlike those realized by the ARC, which have a rather low accessibility degree. Based on these data, we conclude that at-issue pragmatic reading of ARC is not a consequence of their functioning as independent assertions but results from integration of their content into the focal domain of the embedding clause. More generally, building on the works of AnderBois & al. (2010) and Schlenker (2013, ms), we defend the idea that the lack of interaction between ARC and the host sentences as well as their tendency to receive a not at-issue reading in discourse arise from the fact that unlike their matrix clauses, whose utterance has the effect of introducing a new propositional referent, ARC are propositional anaphora, the semantic and pragmatic interpretation of which depends thus on the discourse position of their antecedent expression, importing into the discourse the propositional referent the ARC’s content applies to.

Ces dernières années, l'intelligence artificielle a été considérablement avancée et l'apprentissage en profondeur, où des réseaux de neurones profonds sont utilisés pour tenter d'imiter vaguement le cerveau humain, y a contribué de manière significative. Les réseaux de neurones profonds sont désormais capables d'obtenir un grand succès sur la base d'une grande quantité de données et de ressources de calcul suffisantes. Malgré leur succès, leur capacité à s'adapter rapidement à de nouveaux concepts, tâches et environnements est assez limitée voire inexistante. Dans cette thèse, nous nous intéressons à la façon dont les réseaux de neurones profonds peuvent s'adapter à des circonstances en constante évolution ou totalement nouvelles, de la même manière que l'intelligence humaine, et introduisons en outre des modules architecturaux adaptatifs et dynamiques ou des cadres de méta-apprentissage pour que cela se produise de manière efficace sur le plan informatique. Cette thèse consiste en une série d'études proposant des méthodes pour utiliser des calculs adaptatifs et dynamiques pour aborder les problèmes d'adaptation qui sont étudiés sous différentes perspectives telles que les adaptations au niveau de la tâche, au niveau temporel et au niveau du contexte. Dans le premier article, nous nous concentrons sur l'adaptation rapide des tâches basée sur un cadre de méta-apprentissage. Plus précisément, nous étudions l'incertitude du modèle induite par l'adaptation rapide à une nouvelle tâche avec quelques exemples. Ce problème est atténué en combinant un méta-apprentissage efficace basé sur des gradients avec une inférence variationnelle non paramétrique dans un cadre probabiliste fondé sur des principes. C'est une étape importante vers un méta-apprentissage robuste que nous développons une méthode d'apprentissage bayésienne à quelques exemples pour éviter le surapprentissage au niveau des tâches. Dans le deuxième article, nous essayons d'améliorer les performances de la prédiction de la séquence (c'est-à-dire du futur) en introduisant une prédiction du futur sauteur basée sur la taille du pas adaptatif. C'est une capacité critique pour un agent intelligent d'explorer un environnement qui permet un apprentissage efficace avec une imagination sauteur futur. Nous rendons cela possible en introduisant le modèle hiérarchique d'espace d'état récurrent (HRSSM) qui peut découvrir la structure temporelle latente (par exemple, les sous-séquences) tout en modélisant ses transitions d'état stochastiques de manière hiérarchique. Enfin, dans le dernier article, nous étudions un cadre qui peut capturer le contexte global dans les données d'image de manière adaptative et traiter davantage les données en fonction de ces informations. Nous implémentons ce cadre en extrayant des concepts visuels de haut niveau à travers des modules d'attention et en utilisant un raisonnement basé sur des graphes pour en saisir le contexte global. De plus, des transformations au niveau des caractéristiques sont utilisées pour propager le contexte global à tous les descripteurs locaux de manière adaptative. / Over the past few years, artificial intelligence has been greatly advanced, and deep learning, where deep neural networks are used to attempt to loosely emulate the human brain, has significantly contributed to it. Deep neural networks are now able to achieve great success based on a large amount of data and sufficient computational resources. Despite their success, their ability to quickly adapt to new concepts, tasks, and environments is quite limited or even non-existent. In this thesis, we are interested in how deep neural networks can become adaptive to continually changing or totally new circumstances, similarly to human intelligence, and further introduce adaptive and dynamic architectural modules or meta-learning frameworks to make it happen in computationally efficient ways. This thesis consists of a series of studies proposing methods to utilize adaptive and dynamic computations to tackle adaptation problems that are investigated from different perspectives such as task-level, temporal-level, and context-level adaptations. In the first article, we focus on task-level fast adaptation based on a meta-learning framework. More specifically, we investigate the inherent model uncertainty that is induced from quickly adapting to a new task with a few examples. This problem is alleviated by combining the efficient gradient-based meta-learning with nonparametric variational inference in a principled probabilistic framework. It is an important step towards robust meta-learning that we develop a Bayesian few-shot learning method to prevent task-level overfitting. In the second article, we attempt to improve the performance of sequence (i.e. future) prediction by introducing a jumpy future prediction that is based on the adaptive step size. It is a critical ability for an intelligent agent to explore an environment that enables efficient option-learning and jumpy future imagination. We make this possible by introducing the Hierarchical Recurrent State Space Model (HRSSM) that can discover the latent temporal structure (e.g. subsequences) while also modeling its stochastic state transitions hierarchically. Finally, in the last article, we investigate a framework that can capture the global context in image data in an adaptive way and further process the data based on that information. We implement this framework by extracting high-level visual concepts through attention modules and using graph-based reasoning to capture the global context from them. In addition, feature-wise transformations are used to propagate the global context to all local descriptors in an adaptive way.