La majorité des interfaces reposent essentiellement sur la vision pour transmettre des informations aux utilisateurs. Cependant certaines situations requièrent des techniques d'interactions permettant d'afficher des informations de manière non-visuelle. Nous avons donc étudié des solutions apportées par le sens du toucher. Après un aperçu sur le domaine de la conception d'interfaces, en particulier sur la notion de multimodalité, nous nous sommes intéressés à une modalité en particulier : l'haptique, qui utilise le sens du toucher. Notre contribution à ce domaine commence par la conception et l'évaluation d'icônes tactiles permettant de coder des informations à l'aide d'une matrice de picots. Elles ont été utilisées dans un système de guidage pour aider des utilisateurs à explorer des formes géométriques grâce au sens du toucher. Nous avons aussi conçu et évalué des icônes utilisant le retour de force d'un bras articulé. Ces deux systèmes d'icônes ont été utilisés dans une application d'exploration de schémas de circuits électriques. Cette application multimodale permet à plusieurs enfants déficients visuels ou voyants d'explorer des schémas de circuits électriques en collaboration. Ils disposent d'informations visuelles et haptiques pour comprendre la forme du circuits, ainsi que les composants présents. Cette application utilise une architecture logicielle multimodale, que nous avons conçue et détaillée. L'architecture en question propose des briques de base permettant de faciliter la conception et le développement d'application multimodales, et en particulier celles utilisant le retour haptique / Most of cumputer interfaces mostly rely on vision to transmit information to users. However some situations require interaction techniques allowing to display information in a non visual manner. We studied solutions using the sense of touch. After an overview of the interface design domain, in particular the notion of multimodality, we focussed on a particular modality: haptics, that uses the sense of touch. Our contribution to this domain begins with the design and the evaluation of tactile icons that allows to encode information with pin matrices. They have been used in a guidance system to help users to explore geometric shapes thanks to the sense of touch. We also designed and evaluated force feedback icons that use a robot arm. These two icon systems have been used in an electric circuits exploration application. This application allows visually impaired users and sighted users to explore electric schematics together in collaboration. They are provided visual and haptic information to understand circuits' shapes and components. This application uses a software architecture we design and detailed. This architecture provides building blocks to ease the design and development of multimodal applications, and especially applications using haptic feedback.

L'objectif de cette thèse est la description de l'oralité de l'enfant sourd et de son développement à travers le prisme d'une double perspective : celle du bilinguisme et de la multimodalité. Cette double perspective permet d'envisager l'oralité dans toutes ses dimensions – vocales et gestuelles d'une part, verbales et non-verbales d'autre part – afin de rendre compte de la spécificité des dynamiques langagières intra- et inter-modalités impliquées dans le développement des compétences de symbolisations orales chez l'enfant sourd, locuteur bilingue bimodal (français/LSF) en devenir. L'étude s'appuie sur les productions langagières de 30 enfants scolarisés dans des structures différentes (oraliste, bilingue, « mixte »). Les réflexions sur les outils d'analyse développés pour appréhender, décrire et transcrire les pratiques des locuteurs sourds dans leurs aspects bilingues et multimodaux constituent le premier volet de notre travail. Le second volet s'attache à rendre compte de la place des langues et des modalités dans les parcours de socialisation langagière des enfants sourds en analysant les stratégies adaptatives mises en œuvre dans la diversité des interactions quotidiennes auxquelles ils sont confrontés dans l'espace scolaire, avec les enseignants ainsi qu'avec leurs pairs sourds ou entendants. Le troisième volet se centre plus particulièrement sur la manière dont les dimensions langagières et linguistiques de la bimodalité sont impliquées dans le développement des compétences orales – lexicales et narratives – des enfants sourds. / This thesis aims to describe deaf children orality and its development through a dual perspective: bilingualism and multimodality. This dual perspective enables us to consider orality in all its dimensions – vocal and gestural on one side, verbal and non-verbal on the other – in order to account for the specificities of the linguistic intra- and inter-modality dynamics which are involved in the development of orality of deaf children, bimodal bilingual (French/LSF) speakers in the making. This study is based on a corpus of narratives from 30 deaf children in various types of schooling (oralist, bilingual, “mixed”). Theoretical aspects of the tools we developed to comprehend, describe and transcribe the deaf speakers practices in their bilingual and multimodal aspects will be presented in the first part. The second part will seek to underline the place of languages and modalities in the socialisation process of deaf children by analysing adaptive strategies used in the diverse daily interactions they are dealing with inside the school environment, both with teachers and their deaf or hearing peers. The third part will focus primarily on the way the linguistic and non-linguistic dimensions of bimodality are involved in the development of oral skills – lexical and narrative – of deaf children.

La thèse vise à évaluer de nouvelles formes d'interaction Homme-Machine. Plus précisément, la thématique générale de ce travail, divisée en deux axes, vise à mettre en oeuvre et à évaluer l'apport d'Agents Conversationnels Animés (ACAs) et d'Interfaces dites "Adaptatives" à l'utilisation d'un logiciel. Ainsi, comportements et réactions d'utilisateurs sont recueillis à l'aide de méthodes ergonomiques et techniques de suivi du regard (eye-tracking). Une approche expérimentale a été adoptée afin d'évaluer l'apport de chaque axe. Pour cela, des participants (étudiants de niveau Licence) ont manipulé un logiciel de création d'animation qui leur était inconnu (Flash) afin de réaliser trois scénarios. Tout au long de leur découverte du logiciel, les participants étaient accompagnés d'un dispositif d'aide intégrant, suivant l'expérimentation, un ACA (fourni par FT R & D) ou une technique d'adaptation (détection d'intention et évolution suivant les connaissances). Les différentes études réalisées montrent que les deux sources d'innovation employées ont été perçues positivement par la majorité des participants. Elles ont montré d'autre part qu'un ACA a un effet rassurant et qu'il peut vraisemblablement être utilisé lors de la prise en main d'un logiciel. Pour le système adaptatif, le fait que le système évolue de manière autonome n'a pas perturbé les participants, mais n'améliore guère les performances. / The goal of the thesis is to evaluate new forms of Human-Computer Interaction. More precisely, the general set of themes of this work, divided into two parts at aims implementing and evaluating the contribution of Embodied Conversational Agent (ECAs) and of adaptive interfaces for the use of software. Thus, behaviours and reactions of users are collected using ergonomic methods and eye-tracking technologies. An experimental approach was adopted in order to evaluate the contribution of each part. For that, participants (student of bachelor's degree) handled a software of animation's creation which was unknown for them (Flash) in order to carry out three scenarios. Throughout their exploration of the software, participants were accompanied by a help system. In the first experiment an ECA (provided by FT R & D) enunciate help messages; in the second one a adaptive system (detection of intention and evolution according to knowledge) was used. The various studies carried out show that the two innovations employed were perceived positively by the majority of the participants. They showed in addition that a ECA has a reassuring effect and that it can probably be used in first experiences with a software. For the adaptive system, the fact that the system evolves in an autonomous way did not disturb the participants, but hardly improves the performances.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Le domaine des neurosciences computationnelles s'intéresse à la modélisation des fonctions cognitives à travers des modèles numériques bio-inspirés. Dans cette thèse, nous nous intéressons en particulier à l'apprentissage dans un contexte multimodal, c'est à dire à la formation de représentations cohérentes à partir de plusieurs modalités sensorielles et/ou motrices. Notre modèle s'inspire du cortex cérébral, lieu supposé de la fusion multimodale dans le cerveau, et le représente à une échelle mésoscopique par des colonnes corticales regroupées en cartes et des projections axoniques entre ces cartes. Pour effectuer nos simulations, nous proposons une bibliothèque simplifiant la construction et l'évaluation de modèles mésoscopiques. Notre modèle d'apprentissage se base sur le modèle BCM (Bienenstock-Cooper-Munro), qui propose un algorithme d'apprentissage non-supervisé local (une unité apprend à partir de ses entrées de manière autonome) et biologiquement plausible. Nous adaptons BCM en introduisant la notion d'apprentissage guidé, un moyen de biaiser la convergence de l'apprentissage BCM en faveur d'un stimulus choisi. Puis, nous mettons ce mécanisme à profit pour effectuer un co-apprentissage entre plusieurs modalités. Grâce au co-apprentissage, les sélectivités développées sur chaque modalité tendent à représenter le même phénomène, perçu à travers différentes modalités, élaborant ainsi une représentation multimodale cohérente dudit phénomène / The field of computational neurosciences is interested in modeling the cognitive functions through biologically-inspired, numerical models. In this thesis, we focus on learning in a multimodal context, ie the combination of several sensitive/motor modalities. Our model draws from the cerebral cortex, supposedly linked to multimodal integration in the brain, and modelize it on a mesoscopic scale with 2d maps of cortical columns and axonic projections between maps. To build our simulations, we propose a library to simplify the construction and evaluation of mesoscopic models. Our learning model is based on the BCM model (Bienenstock-Cooper-Munro), which offers a local, unsupervized, biologically plausible learning algorithm (one unit learns autonomously from its entries). We adapt this algorithm by introducing the notion of guided learning, a mean to bias the convergence to the benefit of a chosen stimuli. Then, we use this mecanism to establish correlated learning between several modalities. Thanks to correlated leanring, the selectivities acquired tend to account for the same phenomenon, perceived through different modalities. This is the basis for a coherent, multimodal representation of this phenomenon

La biométrie est le domaine technologique traitant de la vérification d'identité et/ou de l'identification de personnes par leurs caractéristiques physiques individuelles, morphologiques ou comportementales. En plus d'être une des modalités biométriques les moins intrusives et donc plus facilement acceptée, la modalité « visage parlant » est intrinsèquement multimodale : elle regroupe la reconnaissance du visage, la vérification du locuteur et une troisième modalité portant sur la synchronie entre la voix et les lèvres. Les protocoles d'évaluation classiquement utilisés ne tiennent pas compte des tentatives délibérées d'imposture. Aussi, nous confrontons, dans la première partie, un système de référence (basé sur la fusion des scores de vérification du locuteur et du visage) à quatre types d'imposture délibérée de type rejeu et mettons en évidence ses faiblesses. Dans la seconde partie, nous étudions la synchronie audiovisuelle entre le mouvement des lèvres acquis par la caméra et la voix acquise par le microphone. Plusieurs nouvelles mesures de synchronie basées sur l'analyse de corrélation canonique et l'analyse de co-inertie sont évaluées sur la tâche de détection d'asynchronie. Une nouvelle modalité biométrique basée sur la mesure de synchronie dépendante du client est proposée. Sa robustesse intrinsèque aux attaques de type rejeu est mise en évidence. La complémentarité entre le système de référence et cette nouvelle modalité est utilisée dans le cadre de stratégies de fusion originales, de façon à trouver un compromis entre performances brutes et robustesse à l'imposture.

Par conscience environnementale ou à cause des coûts de l'énergie, de plus en plus de personnes utilisent les transports en commun ou les transports doux. Cependant, un seul mode de transport ne peut pas couvrir tous les besoins. De ce fait, la combinaison de différents modes de transport est une solution très intéressante. Trouver le meilleur chemin multimodal pour une personne donnée est une tâche difficile. Chaque personne a des préférences différentes concernant la durée, le coût, la pollution, les changements, etc. De plus, le choix d'un même usager dépendent des circonstances. S'il pleut, il ne prendra pas le vélo et s'il a des bagages encombrants, il évitera les changements. L'optimisation multiobjectif permet de proposer plusieurs solutions dites équivalentes. Ainsi l'utilisateur choisira l'itinéraire qui lui convient en fonction de ses préférences à un moment donné. Le problème principal à résoudre est donc celui du plus court chemin multiobjectif de point à point dépendant du temps. L'enjeu est d'être capable d'avoir des résultats de l'ordre de la seconde pour une grande ville pour envisager une application réelle. Une attention particulière a été portée sur la simplicité et la généricité des approches proposées. Nous ne nous restreignons pas à un nombre prédéfini de modes de transport ou d'objectifs. Plusieurs algorithmes réputés pour leurs performances théoriques ou expérimentales ont été adaptés au cas multiobjectif ou à la dépendance du temps. Nous avons également proposé des heuristiques permettant de garder le temps de calcul de l'ordre de la seconde.

La détection de changements dans une scène est l’un des problèmes les plus complexes en télédétection. Il s’agit de détecter des modifications survenues dans une zone géographique donnée par comparaison d’images de cette zone acquises à différents instants. La comparaison est facilitée lorsque les images sont issues du même type de capteur c’est-à-dire correspondent à la même modalité (le plus souvent optique multi-bandes) et possèdent des résolutions spatiales et spectrales identiques. Les techniques de détection de changements non supervisées sont, pour la plupart, conçues spécifiquement pour ce scénario. Il est, dans ce cas, possible de comparer directement les images en calculant la différence de pixels homologues, c’est-à-dire correspondant au même emplacement au sol. Cependant, dans certains cas spécifiques tels que les situations d’urgence, les missions ponctuelles, la défense et la sécurité, il peut s’avérer nécessaire d’exploiter des images de modalités et de résolutions différentes. Cette hétérogénéité dans les images traitées introduit des problèmes supplémentaires pour la mise en œuvre de la détection de changements. Ces problèmes ne sont pas traités par la plupart des méthodes de l’état de l’art. Lorsque la modalité est identique mais les résolutions différentes, il est possible de se ramener au scénario favorable en appliquant des prétraitements tels que des opérations de rééchantillonnage destinées à atteindre les mêmes résolutions spatiales et spectrales. Néanmoins, ces prétraitements peuvent conduire à une perte d’informations pertinentes pour la détection de changements. En particulier, ils sont appliqués indépendamment sur les deux images et donc ne tiennent pas compte des relations fortes existant entre les deux images. L’objectif de cette thèse est de développer des méthodes de détection de changements qui exploitent au mieux l’information contenue dans une paire d’images observées, sans condition sur leur modalité et leurs résolutions spatiale et spectrale. Les restrictions classiquement imposées dans l’état de l’art sont levées grâce à une approche utilisant la fusion des deux images observées. La première stratégie proposée s’applique au cas d’images de modalités identiques mais de résolutions différentes. Elle se décompose en trois étapes. La première étape consiste à fusionner les deux images observées ce qui conduit à une image de la scène à haute résolution portant l’information des changements éventuels. La deuxième étape réalise la prédiction de deux images non observées possédant des résolutions identiques à celles des images observées par dégradation spatiale et spectrale de l’image fusionnée. Enfin, la troisième étape consiste en une détection de changements classique entre images observées et prédites de mêmes résolutions. Une deuxième stratégie modélise les images observées comme des versions dégradées de deux images non observées caractérisées par des résolutions spectrales et spatiales identiques et élevées. Elle met en œuvre une étape de fusion robuste qui exploite un a priori de parcimonie des changements observés. Enfin, le principe de la fusion est étendu à des images de modalités différentes. Dans ce cas où les pixels ne sont pas directement comparables, car correspondant à des grandeurs physiques différentes, la comparaison est réalisée dans un domaine transformé. Les deux images sont représentées par des combinaisons linéaires parcimonieuses des éléments de deux dictionnaires couplés, appris à partir des données. La détection de changements est réalisée à partir de l’estimation d’un code couplé sous condition de parcimonie spatiale de la différence des codes estimés pour chaque image. L’expérimentation de ces différentes méthodes, conduite sur des changements simulés de manière réaliste ou sur des changements réels, démontre les avantages des méthodes développées et plus généralement de l’apport de la fusion pour la détection de changements

Cette thèse traite de la problématique de l'unification de différents flux d'informations modales qui peuvent provenir des senseurs d'un agent. Cette unification, inspirée des expériences psychologiques comme l'effet ventriloque, s'appuie sur la détection de corrélations, définies comme des motifs spatiauxqui apparaissent régulièrement dans les flux d'entrée. L'apprentissage de l'espace des corrélations du flux d'entrée échantillonne cet espace et généralise les échantillons appris. Cette thèse propose des principes fonctionnels pour le traitement multimodal de l'information qui ont aboutit à l'architectureconnexionniste, générique, modulaire et cortico-inspirée SOMMA (Self-Organizing Maps for Multimodal Association). Dans ce modèle, le traitement de chaque modalité s'effectue au sein d'une carte corticale. L'unification multimodale de l'information est obtenue par la mise en relation réciproque de ces cartes.L'échantillonnage et la généralisation des corrélations reposent sur une auto-organisation contrainte des cartes. Ce modèle est caractérisé par un apprentissage progressif de ces propriétés fonctionnelles : les propriétés monomodales amorcent l'émergence des propriétés multimodales et, dans le même temps, l'apprentissagede certaines corrélations par chaque carte est un préalable à l'auto-organisation de ces cartes. Par ailleurs, l'utilisation d'une architecture connexionniste et d'un apprentissage continu et non supervisé fournit au modèle des propriétés de robustesse et d'adaptabilité qui sont généralement absentes des approches informatiques classiques. / This thesis focuses on unifying multiple modal data flows that may be provided by sensors of an agent. This unification, inspired by psychological experiments like the ventriloquist effect, is based on detecting correlations which are defined as temporally recurrent spatial patterns that appear in the input flows. Learning of the input flow correlations space consists on sampling this space and generalizing theselearned samples. This thesis proposed some functional paradigms for multimodal data processing, leading to the connectionist, generic, modular and cortically inspired architecture SOMMA (Self-Organizing Maps for Multimodal Association). In this model, each modal stimulus is processed in a cortical map. Interconnectionof these maps provides an unifying multimodal data processing. Sampling and generalization of correlations are based on the constrained self-organization of each map. The model is characterised by a gradual emergence of these functional properties : monomodal properties lead to the emergence of multimodal ones and learning of correlations in each map precedes self-organization of these maps.Furthermore, the use of a connectionist architecture and of on-line and unsupervised learning provides plasticity and robustness properties to the data processing in SOMMA. Classical artificial intelligence models usually miss such properties.

L'objectif de cette thèse est de représenter les émotions spontanées et les signes multimodaux associés pour contribuer à la conception des futurs systèmes affectifs interactifs. Les prototypes actuels sont généralement limités à la détection et à la génération de quelques émotions simples et se fondent sur des données audio ou vidéo jouées par des acteurs et récoltées en laboratoire. Afin de pouvoir modéliser les relations complexes entre les émotions spontanées et leurs expressions dans différentes modalités, une approche exploratoire est nécessaire. L'approche exploratoire que nous avons choisie dans cette thèse pour l'étude de ces émotions spontanées consiste à collecter et annoter un corpus vidéo d'interviews télévisées. Ce type de corpus comporte des émotions plus complexes que les 6 émotions de base (colère, peur, joie, tristesse, surprise, dégoût). On observe en effet dans les comportements émotionnels spontanés des superpositions, des masquages, des conflits entre émotions positives et négatives. Nous rapportons plusieurs expérimentations ayant permis la définition de plusieurs niveaux de représentation des émotions et des paramètres comportementaux multimodaux apportant des informations pertinentes pour la perception de ces émotions complexes spontanées. En perspective, les outils développés durant cette thèse (schémas d'annotation, programmes de mesures, protocoles d'annotation) pourront être utilisés ultérieurement pour concevoir des modèles utilisables par des systèmes interactifs affectifs capables de détecter/synthétiser des expressions multimodales d'émotions spontanées.