La communication multimodale, qui est primordiale dans les relations interpersonnelles, reste encore très limitée dans les interfaces homme-machine actuelles. Parmi les différentes modalités qui ont été adoptées par les recherches en interaction homme-machine, la modalité posturale a été moins explorée que d’autres modalités comme la parole ou les expressions faciales. Les postures corporelles sont pourtant indispensables pour interpréter et situer l’interaction entre deux personnes, que ce soit en termes de contexte spatial ou de contexte social. Les briques de base que sont les dispositifs et les modalités d’interaction (par exemple la kinect ou les avatars) sont pourtant disponibles. Il manque cependant des modèles informatiques reliant ces médias et modalités aux fonctions de communication pertinentes dans les interactions interpersonnelles comme celles liées à l’espace ou aux émotions.L’objectif de cette thèse est de concevoir un premier modèle informatique permettant d’exploiter les postures dans les interactions homme-machine. Cela soulève plusieurs questions de recherche : comment représenter symboliquement des postures exprimées durant des interactions interpersonnelles ? Comment spécifier les comportements posturaux de personnages virtuels ? Quelles doivent être les caractéristiques d’un modèle d’interaction corporel permettant des interactions entre un personnage virtuel et un utilisateur dans différents contextes physiques ou sociaux ?L’approche proposée consiste dans un premier temps à prendre comme point de départ des corpus vidéo filmés dans différentes situations. Nous avons défini un schéma de codage pour annoter manuellement les informations posturales à différents niveaux d’abstraction et pour les différentes parties du corps. Ces représentations symboliques ont été exploitées pour effectuer des analyses des relations spatiales et temporelles entre les postures exprimées par deux interlocuteurs.Ces représentations symboliques de postures ont été utilisées dans un deuxième temps pour simuler des expressions corporelles de personnages virtuels. Nous nous sommes intéressés à un composant des émotions particulièrement pertinent pour les études sur les postures : les tendances à l’action. Des animations impliquant deux personnages virtuels ont été ainsi conçues puis évaluées perceptivement.Enfin, dans un troisième temps, les expressions corporelles d’un personnage virtuel ont été conçues dans une application mixte faisant intervenir un personnage virtuel et un utilisateur dans un cadre d’interaction ambiante. Les postures et gestes du personnage virtuel ont été utilisées pour aider l’utilisateur à localiser des objets du monde réel.Cette thèse ouvre des perspectives sur des études plus spécifiques de l’interaction corporelle nécessitant par exemple des annotations automatiques via des dispositifs de capture de mouvement ou la prise en compte des différences individuelles dans l’expression posturale. / Multimodal communication is key to smooth interactions between people. However, multimodality remains limited in current human-computer interfaces. For example, posture is less explored than other modalities, such as speech and facial expressions. The postural expressions of others have a huge impact on how we situate and interpret an interaction. Devices and interfaces for representing full-body interaction are available (e.g., Kinect and full-body avatars), but systems still lack computational models relating these modalities to spatial and emotional communicative functions.The goal of this thesis is to lay the foundation for computational models that enable better use of posture in human-computer interaction. This necessitates addressing several research questions: How can we symbolically represent postures used in interpersonal communication? How can these representations inform the design of virtual characters' postural expressions? What are the requirements of a model of postural interaction for application to interactive virtual characters? How can this model be applied in different spatial and social contexts?In our approach, we start with the manual annotation of video corpora featuring postural expressions. We define a coding scheme for the manual annotation of posture at several levels of abstraction and for different body parts. These representations were used for analyzing the spatial and temporal relations between postures displayed by two human interlocutors during spontaneous conversations.Next, representations were used to inform the design of postural expressions displayed by virtual characters. For studying postural expressions, we selected one promising, relevant component of emotions: the action tendency. Animations were designed featuring action tendencies in a female character. These animations were used as a social context in perception tests.Finally, postural expressions were designed for a virtual character used in an ambient interaction system. These postural and spatial behaviors were used to help users locate real objects in an intelligent room (iRoom). The impact of these bodily expressions on the user¡¯s performance, subjective perception and behavior was evaluated in a user studyFurther studies of bodily interaction are called for involving, for example, motion-capture techniques, integration with other spatial modalities such as gaze, and consideration of individual differences in bodily interaction.

El objetivo principal de esta tesis doctoral es contribuir a caracterizar el género “telediario” como género polifónico mediante un continuum de procedimientos de cita. Con este objetivo, la investigación se suma a los estudios sobre el español que analizan la cita expresa en una perspectiva discursiva, y subrayan cómo cada género discursivo selecciona una tipología de formas de referir el discurso ajeno. Cada una de estas formas responde a un determinado comportamiento funcional según la naturaleza funcional del género en el que se ordena. La investigación se fundamenta en el análisis empírico de un corpus de telediarios emitidos en España por Televisión Española (TVE 1 y La 2) y Antena 3 en 2002, que contribuye a llenar el vacío de corpus de géneros informativos audiovisuales en español. El corpus se presenta con una propuesta de sistema de transcripción y etiquetado que tiene en cuenta las características internas de estos discursos, su superestructura y su contexto extralingüístico. El sistema está ideado para recoger la dimensión audiovisual de los telediarios, observar la interrelación de los códigos verbal, sonoro y visual, y reflejar variedades lingüísticas. Permite, asimismo, alcanzar el objetivo de analizar las formas y estrategias con que los periodistas reproducen las voces ajenas. El análisis de los datos lleva, primero, a ahondar en la superestructura y en la macroestructura de los telediarios transcritos, así como en aspectos pragmáticos de cada informativo que atañen a su intención comunicativa predominante y a su contexto extralingüístico. Concretamente, en el esquema semántico-sintáctico que subyace a la organización discursiva de los telediarios se observan constituyentes comunes y divergentes que diferencian estilos dentro del género: estos estilos determinan, a su vez, estilos en la selección de las formas de citar. El análisis de los datos lleva, asimismo, a validar la hipótesis de investigación de la tesis doctoral: la naturaleza audiovisual y funcional del género telediario determina una selección de formas de discurso referido que lo caracterizan como género polifónico y lo distinguen de otros géneros periodísticos informativos. Así, criterios enunciativos y sintácticos, además del de la literalidad de la cita, distinguen un continuum de formas de citar, organizado sobre las invariantes de Discurso Directo y Discurso Indirecto: discurso directo subordinado, canónico, libre –con o sin imágenes–, y cita audiovisual (canónica y libre); discurso narrado, discurso indirecto en completiva de objeto directo (discurso indirecto canónico, discurso indirecto mimético), discurso indirecto con verbo “dicendi” en inciso, discurso indirecto libre; con o sin imágenes. Las citas directas e indirectas con imágenes y sonidos de la escena enunciativa originaria, así como las citas audiovisuales, individualizan el discurso de los telediarios. Las funciones de las citas dependen de si el nivel de análisis es el del relato (funciones referencial y textual) o el del discurso en situación (funciones persuasiva, explicativa, argumentativa y retórica). La función argumentativa se asocia a las citas indirectas; el resto, a las citas directas. El uso de las citas directas sobrepasa ligeramente el uso de las citas indirectas en los telediarios del corpus: hay, pues, equilibrio en los telediarios españoles entre la interpretación (cita indirecta) y la recreación (cita directa) de los actos de habla reproducidos. El análisis de los datos también ofrece una respuesta a dos preguntas de investigación. Así, la literalidad “ad pedem literae” (citas audiovisuales) individualiza el género telediario. Más allá de las citas audiovisuales, la literalidad ha de seguir entendiéndose como ficción discursiva de literalidad. Por otro lado, existe también un continuum en el comportamiento discursivo y sintáctico de los verbos de comunicación: las necesidades discursivas de objetivación llevan a seleccionar un verbo dicendi objetivador; las necesidades discursivas de subjetivación, un verbo dicendi subjetivador. / This Doctoral Thesis aims to contribute to classify Television News as a polyphonic genre thanks to a continuum of ways of quoting. Research focuses on the empirical analysis of a corpus formed by television news broadcasted in Televisión Española (Spanish channels TVE 1 and La 2) and Antena 3 in 2002. The transcription and labelling system of this corpus reflexes the interrelation of image-sound-text which represents multimodal discourses, such as television news. The analysis of results leads us to look in depth at the superstructure and macrostructure of transcribed television news, as well as its pragmatic aspects related to the predominant communication purpose and the extralinguistic context. in the semantic syntactic schema underlying in the discourse organisation of television news, we can observe common and differing elements which distinguish styles within this genre: these styles also establish styles of quote selection at the same time. The analysis of results also leads us to reaffirm the hypothesis of the doctoral thesis research: the audiovisual and functional nature of the television news genre establishes the selection of ways of quoting that characterises it as polyphonic genre and distinguishes it from other journalistic genres. Syntactic and enunciative criteria, besides literacy in the quote, differentiate a large continuum of ways of quoting, organised upon the poles of direct and indirect discourse. Direct and indirect quotes with pictures and sounds of the source scene and the audiovisual quotes characterize the television news discourse. Quote functions depend on the analysis level, whether it regards the text (referential and textual functions) or the situation (persuasive, explicative, argumentative and rhetoric functions). The argumentative function is associated to indirect quotes, the rest of functions refer to direct quotes. The use of direct quotes is slightly superior to the indirect ones in the television news of the corpus: therefore there exists a balance between interpretation (indirect quote) and recreation (direct quote) in the reproduced speech of the Spanish television news.

Les performances des systèmes de traduction automatique statistique dépendent de la disponibilité de textes parallèles bilingues, appelés aussi bitextes. Cependant, les textes parallèles librement disponibles sont aussi des ressources rares : la taille est souvent limitée, la couverture linguistique insuffisante ou le domaine des textes n’est pas approprié. Il y a relativement peu de paires de langues pour lesquelles des corpus parallèles de tailles raisonnables sont disponibles pour certains domaines. L’une des façons pour pallier au manque de données parallèles est d’exploiter les corpus comparables qui sont plus abondants. Les travaux précédents dans ce domaine n’ont été appliqués que pour la modalité texte. La question que nous nous sommes posée durant cette thèse est de savoir si un corpus comparable multimodal permet d’apporter des solutions au manque de données parallèles dans le domaine de la traduction automatique.Dans cette thèse, nous avons étudié comment utiliser des ressources provenant de différentes modalités (texte ou parole) pour le développement d’un système de traduction automatique statistique. Une première partie des contributions consisteà proposer une technique pour l’extraction des données parallèles à partir d’un corpus comparable multimodal (audio et texte). Les enregistrements sont transcrits avec un système de reconnaissance automatique de la parole et traduits avec unsystème de traduction automatique. Ces traductions sont ensuite utilisées comme requêtes d’un système de recherche d’information pour sélectionner des phrases parallèles sans erreur et générer un bitexte. Dans la deuxième partie des contributions, nous visons l’amélioration de notre méthode en exploitant les entités sous-phrastiques créant ainsi une extension à notre système en vue de générer des segments parallèles. Nous améliorons aussi le module de filtrage. Enfin, nous présentons plusieurs manières d’aborder l’adaptation des systèmes de traduction avec les données extraites.Nos expériences ont été menées sur les données des sites web TED et Euronews qui montrent la faisabilité de nos approches. / The performance of Statistical Machine Translation Systems statistics depends on the availability of bilingual parallel texts, also known as bitexts. However, freely available parallel texts are also a sparse resource : the size is often limited, languistic coverage insufficient or the domain of texts is not appropriate. There are relatively few pairs of languages for which parallel corpora sizes are available for some domains. One way to overcome the lack of parallel data is to exploit comparable corpus that are more abundant. Previous work in this area have been applied for the text modality. The question we asked in this thesis is : can comparable multimodal corpus allows us to make solutions to the lack of parallel data in machine translation? In this thesis, we studied how to use resources from different modalities (text or speech) for the development of a Statistical machine translation System. The first part of the contributions is to provide a method for extracting parallel data from a comparable multimodal corpus (text and audio). The audio data are transcribed with an automatic speech recognition system and translated with a machine translation system. These translations are then used as queries to select parallel sentences and generate a bitext. In the second part of the contribution, we aim to improve our method to exploit the sub-sentential entities creating an extension of our system to generate parallel segments. We also improve the filtering module. Finally, we présent several approaches to adapt translation systems with the extracted data. Our experiments were conducted on data from the TED and Euronews web sites which show the feasibility of our approaches.