Les affects sociaux (ou attitudes) exprimés lors des interactions orales sont intimement liées à ce que le locuteur veut exprimer et sont influencées par sa langue et sa culture. Aubergé (2002) défend un contrôle volontaire de ces expressions. À la suite des travaux sur les attitudes du français et de l'anglais britannique menées au GIPSAlab, cette thèse analyse 12 attitudes prosodique japonaises. Elle décrit leur réalisation et perception par des japonais. L'influence de l'information visuelle est mesurée au moyen d'un corpus multimodal. La localisation des informations acoustiques critiques est évaluée grâce à paradigme de gating. Pour certaines attitudes, les informations sont réparties entre le début et la fin de la phrase, tandis que d'autres sont reconnues immédiatement, et que certaines sont reconnues à un point clés au milieu ou à la fin des énoncés. La perception interculturelle des attitudes est analysée pour trois langues (japonais, français, anglais britannique) afin de mieux comprendre l'importance de la culture sur chacune des attitudes. Les résultats montrent que deux expressions (exclamation de surprise et déclaration) sont reconnues interculturellement, tandis que d'autres se comportent comme des faux amis - en particulier l'expression de politesse japonaise de « kyoshuku ». Finalement, l'effet d'apprentissage des langues est mesuré sur des apprenants français de japonais. Ils augmentent progressivement performances, malgré le problème récurrent de l'expression de « kyoshuku ».

Mes travaux sont résolument ancrés dans l'ingénierie de l'Interaction Homme-Machine. Ce faisant, les deux facettes, conception ergonomique et conception logicielle, sont apparentes dans mes contributions. Mon étude s'articule autour des termes de modalité d'interaction et de multimodalité. Je me suis appuyée sur des résultats généraux incluant la définition d'une modalité et d'un espace de composition de modalités et je les ai infléchis à deux axes de recherche, l'exploration visuelle d'espaces informationnels et la réalité augmentée. Pour chacun de ces axes, des propriétés ergonomiques, des règles et patrons de conception, des solutions architecturales et logicielles, ainsi que des techniques d'interaction comme la réalité cliquable et la ballade augmentée ont été conçus.

Dans le domaine de l'Interaction Homme-Machine, nos travaux concernent l'interaction multiutilisateur et multimodale. Exploitant les avancées importantes en terme de modalités d'interaction, de nombreux collecticiels reposent sur une combinaison de modalités, comme les systèmes multiutilisateurs autour d'une table augmentée. Néanmoins ces systèmes constituent des réalisations ad-hoc en l'absence d'outils de conception. Face à constat, nos contributions conceptuelles et logicielles concernent la phase de spécification de l'interaction multiutilisateur et multimodale. Nous présentons une notation de spécification notée COMM (COllaborative et MultiModale) qui est une extension de CTT par l'introduction de deux concepts, le rôle interactif et la tâche modale, et par la spécialisation des opérateurs temporels, en s'appuyant sur les relations de Allen. La notation COMM est instrumentée par un éditeur logiciel de spécifications COMM, nommé e-COMM ((http://iihm.imag.fr/demo/editeur/). COMM et e-COMM ont été utilisés dans un projet DGA de taille conséquente pour spécifier l'interaction au sein d'un poste de commande de drones militaires.

Ce travail de recherche en sciences du langage s'intéresse, d'un point de vue didactique principalement, au rôle et aux éventuels apports de la multimodalité en matière d'aide à l'apprentissage d'une langue, en vue de la conception d'aides multimodales dans un environnement multimédia d'apprentissage du français langue étrangère (FLE). Le cadre théorique définit les notions d'apprentissage, d'aide et de multimodalité. Notre réflexion se fonde sur des théories et des concepts émanant de différents domaines : la zone proximale de développement empruntée à Vygotski et au socio-constructivisme, le concept d'étayage de Bruner, les modèles de compréhension issus de la psychologie cognitive, la théorie de la charge mentale selon Sweller et le modèle d'apprentissage multimédia assorti de ses différents principes énoncés par Mayer. Partant d'un inventaire et d'une typologie des aides présentes dans un corpus d'environnements multimédias d'apprentissage du français langue étrangère, nous avons élaboré un document vidéo accompagné de sept aides multimodales. Cet ensemble intègre l'environnement Amalia (Aide Multimédia à l'Apprentissage des Langues Interactif et Autonomisant), qui s'adresse aux adultes de niveau A1 à B2 et qui est destiné à la compréhension et à l'apprentissage du FLE en autonomie. Enfin, nous présentons une expérimentation, de type recherche qualitative, dont l'objectif est de connaître, par l'observation et le questionnement, sur quelles aides précises les sujets portent leur choix, avec quelles intentions et quelles attentes, avec quelle satisfaction et quel jugement. De plus, nous leur avons demandé de classer les aides multimodales (de la plus utile à la moins utile). Ceci afin d'établir à terme une gradation des aides proposées à l'apprenant c'est-à-dire une intégration progressive des aides à des tâches de compréhension.

Au vu des nuisances de plus en plus visibles que provoque la voiture sur le plan social, sanitaire, environnemental et urbanistique, le changement de comportements vers une réduction de l'usage de la voiture en milieu urbain semble difficile à concrétiser. L'objectif est d'identifier les freins et les leviers du changement pour créer des conditions favorables à l'adoption de pratiques de mobilité plus durables. Ce travail sociologique s'intéresse au processus de « multimodalisation » des comportements : passage de l'automobilité à la multimobilité. Trois thématiques habituellement traitées séparément sont intégrées : les pratiques de mobilité, la sensibilité environnementale et l'impact des politiques publiques. Les analyses se fondent sur trois enquêtes qualitatives menées en Île-de-France, à Londres et à Nagoya. Des personnes en processus de changement ont été interrogées à plusieurs reprises afin de saisir les facteurs de changement dans leur dynamique temporelle et contextuelle.

Notre travail de recherche a consisté à étudier deux types de description : les descriptions<br />verbales et les descriptions graphiques d'itinéraires. Il s'agissait de définir des caractéristiques et des<br />contraintes liées aux modes d'expression verbal et graphique. L'étude des modes d'expression a<br />concerné également les relations entre ces deux modes. L'objectif était de répondre à la question de<br />l'utilisation alternative ou conjointe de représentations graphiques et linguistiques pour la description<br />d'itinéraires. Enfin, il s'agissait de définir une représentation formelle constituant un niveau<br />intermédiaire qui permettrait de générer les éléments de base des deux types d'expression de la<br />description d'itinéraire.<br />Afin d'atteindre cet objectif, nous avons mené une série d'études expérimentales basées sur le<br />principe de traduction. Les participants de nos trois études devaient traduire une représentation sous la<br />forme d'une autre représentation possédant des propriétés structurales et fonctionnelles différentes.<br />Lors de l'exécution de la tâche, ils avaient à leur disposition uniquement la représentation à partir de<br />laquelle la traduction devait être effectuée. La méthode de traduction a permis de confirmer la<br />possibilité du passage d'un mode vers un autre. D'autre part, elle a permis de détecter, par<br />l'intermédiaire des erreurs et des différences relevées dans les représentations issues de la traduction,<br />l'existence des contraintes propres à chaque mode de représentation.

Cette thèse vise à réaliser un asservissement sensori-moteur, en vue<br />de l'employer dans le domaine de la robotique, en utilisant des<br />algorithmes s'inspirant de la biologie corticale. Nous espérons, en<br />agissant ainsi, reproduire au mieux les qualités de robustesse,<br />d'uniformité de structure et d'adaptabilité dont le cortex est<br />pourvu. Nous avons basé notre modèle, au niveau computationnel, sur le<br />principe des automates cellulaires étendus, ce qui nous amène à<br />programmer des unités au sein de cartes, qui représentent chacune<br />l'équivalent, en biologie, d'une carte corticale. Nous orientons<br />l'évolution de ces unités afin d'obtenir des effets émergents, au<br />niveau des cartes, qui les amènent à former une boucle<br />perceptivo-motrice.<br /><br />Par ailleurs, nous considérons que percevoir, c'est se préparer à<br />agir. Cela nous conduit à devoir concilier notre conception holistique<br />de la perception avec le fait que les multiples modalités de la<br />perception sont chacune représentées par une carte séparée dans notre<br />modèle, comme dans le cortex. Le c{\oe}ur de cette thèse est ainsi<br />consacré à la réalisation d'une liaison entre modalités, qui doit<br />\^{e}tre limitée afin de préserver la faisabilité computationnelle de<br />notre modèle, ce qui nous amène à contraindre fortement l'organisation<br />et l'apprentissage dans nos modules modaux. Tout en employant des<br />calculs locaux, nous nous sommes attachés à ce que chaque unité, dans<br />chaque carte de notre modèle, réalise un compromis entre les<br />influences propres à la modalité à laquelle elle appartient et les<br />influences des autres cartes permettant de maintenir la cohérence<br />multimodale de notre modèle.

S'il est aujourd'hui communément admis que la perception de la parole s'effectue d'une manière plus optimale en mode audiovisuel qu'en mode auditif seul (Benoît, Mohamadi et Kandel, 1994, Schwartz, Berthommier et Savariaux, 2004), la nature des informations visuelles dont il est le plus souvent question est la mimo-gestuelle articulatoire fournie par le locuteur en face à face. Cependant, dans une situation d'enseignement d'une langue étrangère, un autre type d'aide visuelle intervient généralement : la forme écrite des éléments oraux. Pourtant en didactique des langues étrangères, la question du passage à l'écrit est loin d'être consensuelle et certains didacticiens se prononcent en faveur d'un entraînement intensif de la prononciation au tout début de l'apprentissage, avant que l'apprenant ne soit confronté au code écrit (Lauret, 2007). Notre hypothèse est que la dimension facilitante de la forme écrite pour certains publics ne doit pas être négligée, même en début d'apprentissage. Notre recherche se fonde sur des expérimentations menées auprès d'apprenants hindiphones. Tenant compte des spécificités de ce public, nous pensons que l'écrit peut, dans certains cas, faciliter sa réception orale des sons du français en début d'apprentissage, condition nécessaire et préalable à leur production (Renard, 1979). Les tests que nous avons conçus obligent les apprenants à recentrer leur attention sur la graphie de sons (les voyelles nasales [ɑ̃] et [ɔ̃]) dès le début de leur apprentissage au moyen de diverses focalisations visuelles écrites (Fort, Spinelli, Savariaux et Kandel, 2010). Les propositions didactiques que nous formulons à la suite reposent sur la suite logique perception - (transcription graphique) -- production même si cette présente étude se centre sur l'évaluation de la perception des sons.

Cette thèse vise à étudier l’interaction pédagogique par visioconférence entre sept futurs professeurs de français langue étrangère en formation professionnelle à l’Université de Lyon et douze apprenants de français langue étrangère inscrits dans une école de commerce à Dublin City University. A partir de données écologiques, nous avons construit un corpus audiovisuel de vingt-huit séances et de quinze heures et demie d’interactions. Par une démarche inductive, en nous appuyant sur des méthodes développées dans le cadre de l’analyse conversationnelle, nous avons identifié 295 séquences d’explication lexicale. Nous avons analysé celles-ci par une approche multimodale qui adopte une vue holistique de la communication et prend en compte l’utilisation de l’ensemble des ressources sémiotiques sans privilégier par défaut le langage oral. Nos analyses multimodales montrent de quelles façons les enseignants utilisent les ressources à leur disposition pour se focaliser sur la forme des items lexicaux, pour se focaliser sur leur sens et pour impliquer les apprenants dans les séquences d’explication. Nos données permettent également de mener des comparaisons interindividuelles grâce au fait que plusieurs enseignants, ayant reçu les mêmes consignes et se trouvant dans des situations similaires, expliquent les mêmes items lexicaux. / This thesis aims to study videoconferenced pedagogical interaction between seven future teachers of French who are undergoing professional development at the University of Lyon and twelve learners of French who are enrolled in a business school at Dublin City University. From naturally occurring interaction, we have constructed an audiovisual corpus comprised of twenty-eight sessions and fifteen and a half hours of interaction. Through an inductive approach, and relying on methods developed in the field of conversation analysis, we have identified 295 lexical explanation sequences. We have analyzed them using a multimodal approach which adopts a holistic view of communication and takes into consideration the entire palette of semiotic resources used without automatically prioritizing spoken language. Our multimodal analyses show the ways in which the teacher trainees use the resources at their disposal to focus on the form and meaning of lexical items as well as how they involve their learners in the explanation sequences. Our corpus also allows us to conduct an interindividual comparison due to the fact that several teacher trainees, having received the same instructions and being put in similar situations, explain the same lexical items.

Désigner un objet à l’attention d’un interlocuteur est l’un des processus fondamentaux de la communication langagière. Ce processus est généralement réalisé à travers l’usage combiné de productions vocales et manuelles. Le but de ce travail est de comprendre et de caractériser les interactions entre la parole et le geste manuel dans des tâches de deixis spatiale, afin de déterminerde quelle façon l’information communicative est portée par chacun de ces deux systèmes,et de tester les principaux modèles de traitement du geste et de la parole.La première partie de l’étude concerne la production du pointage vocal et manuel. L’originalité de ce travail consiste à rechercher des paramètres d’encodage de la distance dans les propriétés acoustiques, articulatoires et cinématiques du pointage multimodal, et à montrer que ces différentes caractéristiques sont corrélées les unes aux autres, et sous-tendues par un même comportement moteur de base : désigner un objet distant implique de produire des gestes plus larges, qu’ils soient vocaux ou manuels. Ce patron moteur peut alors être rapporté à l’encodage phonologique de la distance dans les langues du monde. Le paradigme expérimental utilisé dans cette étude contraste des pointages bimodaux vs unimodaux vocaux vs unimodaux manuels, et la comparaison de ces différentes conditions révèle par ailleurs une coopération bi directionnelle entre les modalités vocales et manuelles, qui se répartissent la charge informative lorsqu’elles sont utilisées ensemble.La deuxième partie de l’étude explore le développement du pointage multimodal. Les propriétés du pointage multimodal sont analysées chez des enfants de 6 à 12 ans, dans une tâche expérimentale comparable à celle des adultes. Cette deuxième expérience atteste d’un développement progressif du couplage geste/parole pour la deixis spatiale. Elle révèle que la distance est encodée préférentiellement dans les gestes manuels des enfants, par rapport à leurs gestes vocaux(surtout chez les jeunes enfants). Elle montre également que l’usage coopératif des gestes manuels et de la parole est déjà à l’oeuvre chez les enfants, avec cependant plus d’influence du geste sur la parole que le patron inverse.Le troisième volet de ce travail considère les interactions sensorimotrices dans la perception de la deixis spatiale. Une étude expérimentale basée sur un principe d’amorçage intermodal montre que le geste manuel joue un rôle dans le mécanisme de perception/production des unités sémantiques du langage. Ces données sont mises en parallèle avec les études sur la naturesensorimotrice des représentations dans le traitement des unités sonores du langage.L’ensemble de ces résultats plaide pour une représentation fortement intégrée des gestes manuels et de la parole dans le cerveau langagier humain, et ce même à un stade relativement précoce du développement. Ils montrent également que l’encodage de la distance est un indice robuste,présent dans tous les aspects du pointage multimodal. / Designating an object for the benefit of another person is one of the most basic processes inlinguistic communication. It is most of the time performed through the combined use of vocaland manual productions. The goal of this work is to understand and characterize the interactionsbetween speech and manual gesture during pointing tasks, in order to determine howmuch linguistic information is carried by each of these two systems, and eventually to test themain models of speech and gesture production.The first part of the study is about the production of vocal and manual pointing. The originalaspect of this work is to look for distance encoding parameters in the lexical, acoustic,articulatory and kinematic properties of multimodal pointing, and to show that these differentcharacteristics can be related with each other, and underlain by a similar basic motor behaviour: designating a distant object induces larger gestures, be they vocal or manual. This motorpattern can be related with the phonological pattern that is used for distance encoding in theworld’s languages. The experimental design that is used in this study contrasts bimodal vs. vocalmonomodal vs. monomodal manual pointings, and a comparison between these conditionsreveals that the vocal and manual modalities act in bidirectional cooperation for deixis, sharingthe informational load when used together.The second part of the study explores the development of multimodal pointing. The propertiesof multimodal pointing are assessed in 6-12 year-old children, in an experimental task similarto that of the adults. This second experiment attests a progressive evolution of speech/gestureinteractions in the development of spatial deixis. It reveals that distance is preferentially encodedin manual gestures in children, rather than in vocal gestures (and especially so in youngerchildren). It also shows that the cooperative use of speech and manual gesture in deixis is alreadyat play in children, though with more influence of gesture on speech than the reversedpattern.The third part of the study looks at sensorimotor interactions in the perception of spatial deixis.This experimental study, based on an intermodal priming paradigm, reveals that manual gestureplays a role in the production/perception mechanism associated with the semantic processingof language. These results can be related with those of studies on the sensorimotor nature ofrepresentations in the processing of linguistic sound units.Altogether, these studies provide strong evidence for an integrated representation of speech andmanual gestures in the human linguistic brain, even at a relatively early age in its development.They also show that distance encoding is a robust feature, which is also present in all aspectsof multimodal pointing.