La thèse vise à évaluer de nouvelles formes d'interaction Homme-Machine. Plus précisément, la thématique générale de ce travail, divisée en deux axes, vise à mettre en oeuvre et à évaluer l'apport d'Agents Conversationnels Animés (ACAs) et d'Interfaces dites "Adaptatives" à l'utilisation d'un logiciel. Ainsi, comportements et réactions d'utilisateurs sont recueillis à l'aide de méthodes ergonomiques et techniques de suivi du regard (eye-tracking). Une approche expérimentale a été adoptée afin d'évaluer l'apport de chaque axe. Pour cela, des participants (étudiants de niveau Licence) ont manipulé un logiciel de création d'animation qui leur était inconnu (Flash) afin de réaliser trois scénarios. Tout au long de leur découverte du logiciel, les participants étaient accompagnés d'un dispositif d'aide intégrant, suivant l'expérimentation, un ACA (fourni par FT R & D) ou une technique d'adaptation (détection d'intention et évolution suivant les connaissances). Les différentes études réalisées montrent que les deux sources d'innovation employées ont été perçues positivement par la majorité des participants. Elles ont montré d'autre part qu'un ACA a un effet rassurant et qu'il peut vraisemblablement être utilisé lors de la prise en main d'un logiciel. Pour le système adaptatif, le fait que le système évolue de manière autonome n'a pas perturbé les participants, mais n'améliore guère les performances. / The goal of the thesis is to evaluate new forms of Human-Computer Interaction. More precisely, the general set of themes of this work, divided into two parts at aims implementing and evaluating the contribution of Embodied Conversational Agent (ECAs) and of adaptive interfaces for the use of software. Thus, behaviours and reactions of users are collected using ergonomic methods and eye-tracking technologies. An experimental approach was adopted in order to evaluate the contribution of each part. For that, participants (student of bachelor's degree) handled a software of animation's creation which was unknown for them (Flash) in order to carry out three scenarios. Throughout their exploration of the software, participants were accompanied by a help system. In the first experiment an ECA (provided by FT R & D) enunciate help messages; in the second one a adaptive system (detection of intention and evolution according to knowledge) was used. The various studies carried out show that the two innovations employed were perceived positively by the majority of the participants. They showed in addition that a ECA has a reassuring effect and that it can probably be used in first experiences with a software. For the adaptive system, the fact that the system evolves in an autonomous way did not disturb the participants, but hardly improves the performances.

L’autisme est un trouble développemental se caractérisant par des altérations de la socialisation associée à un déficit de la perception des visages et des émotions. Le but de ce travail fut de caractériser chez l’adulte et l’enfant le comportement oculaire lors de la perception de visages émotionnels ou non, et d’identifier les dysfonctionnements chez les sujets avec autisme. Une étude fonctionnelle a aussi été réalisée chez l’adulte lors la perception des visages émotionnels ou non. La maturation de l’exploration visuelle chez le sujet sain a été caractérisée et semble associée à un mécanisme d’expertise. Une altération de la mise en place d’une stratégie appropriée a été observée chez les sujets avec autisme et semble liée à une non focalisation de l’attention sur les zones pertinentes. La perception des émotions n’influencerait pas l’exploration des visages mais induirait un pattern d’activation propre à chaque émotion recrutant des structures impliquées dans des mécanismes miroirs. Chez les sujets avec autisme, les aires normalement impliquées dans le traitement de ces émotions ne s’activent pas, suggérant un dysfonctionnement du système miroir. / Autism is a developmental disorder characterized by socialization troubles associated with a deficit of faces and emotional expressions perception. The aim of our work was to investigate typical development of gaze behaviour during face and emotion expression perception on a wide number of subjects, using an eye tracking system, and a fMRI to identify dysfunction in patients with autism. The work has established on healthy patients, the features of typical maturation of visual exploration during face scanning, which was due to an expertise mechanism. A deterioration of appropriate gaze exploration was observed in subjects with autism. This study revealed that the perception was not influenced by emotional expression but instead induced a pattern of activation of each emotion in healthy subjects. Indeed, a different pattern of activation was observed for each type of emotion. These observations suggest that the perception of emotion would appeal to mechanisms mirrors. In subjects with autism, most of the areas normally involved in the treatment of these emotions are not activated.

Les dispositifs d'eye-tracking ont un très fort potentiel en tant que modalité d'entrée en IHM (Interaction Homme Machine), en particulier en situation de mobilité. Dans cette thèse, nous nous concentrons sur la mise en œuvre de cette potentialité en mettant en évidence les scénarios dans lesquels l’eye-tracking possède des avantages évidents par rapport à toutes les autres modalités d’interaction. Au cours de nos recherches, nous avons constaté que cette technologie ne dispose pas de méthodes pratiques pour le déclenchement de commandes, ce qui réduit l'usage de tels dispositifs. Dans ce contexte, nous étudions la combinaison d'un eye-tracking et des mouvements volontaires de la tête lorsque le regard est fixe, ce qui permet de déclencher des commandes diverses sans utiliser les mains ni changer la direction du regard. Nous avons ainsi proposé un nouvel algorithme pour la détection des mouvements volontaires de la tête à regard fixe en utilisant uniquement les images capturées par la caméra de scène qui équipe les eye-trackers portés sur la tête, afin de réduire le temps de calcul. Afin de tester la performance de notre algorithme de détection des mouvements de la tête à regard fixe, et l'acceptation par l'utilisateur du déclenchement des commandes par ces mouvements lorsque ses deux mains sont occupées par une autre activité, nous avons effectué des expériences systématiques grâce à l'application EyeMusic que nous avons conçue et développée. Cette application EyeMusic est un système pour l'apprentissage de la musique capable de jouer les notes d’une mesure d'une partition que l’utilisateur ne comprend pas. En effectuant un mouvement volontaire de la tête qui fixe de son regard une mesure particulière d'une partition, l'utilisateur obtient un retour audio. La conception, le développement et les tests d’utilisabilité du premier prototype de cette application sont présentés dans cette thèse. L'utilisabilité de notre application EyeMusic est confirmée par les résultats expérimentaux : 85% des participants ont été en mesure d’utiliser tous les mouvements volontaires de la tête à regard fixe que nous avons implémentés dans le prototype. Le taux de réussite moyen de cette application est de 70%, ce qui est partiellement influencé par la performance intrinsèque de l'eye-tracker que nous utilisons. La performance de notre algorithme de détection des mouvements de la tête à regard fixe est 85%, et il n’y a pas de différence significative entre la performance de chaque mouvement de la tête testé. Également, nous avons exploré deux scénarios d'applications qui reposent sur les mêmes principes de commande, EyeRecipe et EyePay, dont les détails sont également présentés dans cette thèse. / Eye-tracking has a very strong potential in human computer interaction (HCI) as an input modality, particularly in mobile situations. In this thesis, we concentrate in demonstrating this potential by highlighting the scenarios in which the eye-tracking possesses obvious advantages comparing with all the other interaction modalities. During our research, we find that this technology lacks convenient action triggering methods, which can scale down the performance of interacting by gaze. In this instance, we investigate the combination of eye-tracking and fixed-gaze head movement, which allows us to trigger various commands without using our hands or changing gaze direction. We have proposed a new algorithm for fixed-gaze head movement detection using only scene images captured by the scene camera equipped in front of the head-mounted eye-tracker, for the purpose of saving computation time. To test the performance of our fixed-gaze head movement detection algorithm and the acceptance of triggering commands by these movements when the user's hands are occupied by another task, we have implemented some tests in the EyeMusic application that we have designed and developed. The EyeMusic system is a music reading system, which can play the notes of a measure in a music score that the user does not understand. By making a voluntary head movement when fixing his/her gaze on the same point of a music score, the user can obtain the desired audio feedback. The design, development and usability testing of the first prototype for this application are presented in this thesis. The usability of our EyeMusic application is confirmed by the experimental results, as 85% of participants were able to use all the head movements we implemented in the prototype. The average success rate of this application is 70%, which is partly influenced by the performance of the eye-tracker we use. The performance of our fixed-gaze head movement detection algorithm is 85%, and there were no significant differences between the performance of each head movement. Apart from the EyeMusic application, we have explored two other scenarios that are based on the same control principles: EyeRecipe and EyePay, the details of these two applications are also presented in this thesis.

De par la richesse et la nature des informations qu’il véhicule, le visage joue un rôle essentiel dans les interactions sociales. Les difficultés que manifestent dès le plus jeune âge les personnes présentant un Trouble du Spectre de l’Autisme (TSA) sur le plan de l’interaction sociale ont conduit à s’intéresser aux modalités de traitement du visage dans cette population. Les travaux de cette thèse ont pour but d’explorer le traitement du visage chez les jeunes enfants avec un TSA, âgés de 24 à 60 mois, au moyen de la technique de suivi du regard. Dans la première étude, nous montrons que les jeunes enfants avec un TSA, comme les enfants typiques, sont sensibles à la visagéité d’un objet, ce qui suggère un traitement de la configuration de premier ordre. Ce résultat suggère que la nature des représentations faciales dans les TSA n’est pas qualitativement différente de celle des personnes typiques. Dans la seconde étude, nous testons la présence d’un biais du regard vers l’hémichamp visuel gauche en réponse à un visage présenté en vision centrale. Les résultats de cette étude indiquent que les jeunes enfants avec un TSA ne présentent pas ce biais du regard, ce qui pourrait refléter une altération de la dominance hémisphérique droite pour le traitement du visage dans les TSA. Enfin, dans la troisième étude, l’analyse du parcours visuel des jeunes enfants avec un TSA sur les visages révèle une exploration atypique concentrée au niveau de la région des yeux. Dans l’ensemble, ces études suggèrent que même si les enfants avec un TSA traitent les visages à partir de leur configuration, la manière d’y parvenir pourrait être différente. Des études futures devront spécifier les mécanismes du traitement configural du visage dans les TSA. / Faces are important for social interactions as they convey important information about social environment. Impairment in social interactions is one of the core symptoms of Autism Spectrum Disorders (ASD) and has been related to atypical face processing. Here, we investigated face processing in preschool children with ASD using eye-tracking methodology. In the first study, we showed that young children with ASD, just like typically developing children are sensitive to face-like objects suggesting that processing first order configuration is intact in ASD. According to these results, the nature of facial representation might be qualitatively similar between groups. In the second study, we tested the presence of a left gaze bias in response to faces presented at central vision. A lack of left gaze bias was found in young children with ASD, reflecting atypical right hemispheric lateralization for face processing. Finally, the third study analyzed the visual scanning of static faces and showed an abnormal exploration pattern limited to the eyes. Overall, these studies argue for the presence of configural face processing in preschoolers with ASD despite differences in strategy from typically developing children. Futures studies will have to specify the mechanisms underlying atypical configural face processing in ASD.

Ce travail porte sur la conception d'une nouvelle forme d'interaction Homme-Machine : la multimodalité parole+présentation visuelle en sortie du système. Plus précisément, l'étude porte sur l'évaluation des apports potentiels de la parole, en tant que mode d'expression complémentaire du graphique, lors du repérage visuel de cibles au sein d'affichages 2D interactifs. <br />Nous avons adopté une approche expérimentale pour déterminer l'influence d'indications spatiales orales sur la rapidité et la précision du repérage de cibles et évaluer la satisfaction subjective d'utilisateurs potentiels de cette forme d'assistance à l'activité d'exploration visuelle. <br />Les différentes études réalisées ont montré d'une part que les présentations multimodales facilitent et améliorent les performances des utilisateurs pour le repérage visuel, en termes de temps et de précision de sélection des cibles. Elles ont montré d'autre part que les stratégies d'exploration visuelle des affichages, en l'absence de messages sonores, dépendent de l'organisation spatiale des informations au sein de l'affichage graphique.

Les fauteuils roulants électriques (FRE) ont permis à nombre de personnes handicapés moteurs de retrouver une mobilité satisfaisante, ce qui a amélioré leur qualité de vie, un vaste champ d’activités leur étant devenu accessible. Lors de la prescription d’un FRE ou d’une phase d’apprentissage à la conduite il est cependant nécessaire d’évaluer les capacités de ces personnes à piloter un fauteuil. Dans ce contexte, notre objectif consiste à déterminer des paramètres pertinents permettant de décrire la qualité de la conduite d’un FRE pour des personnes ayant des déficiences motrices sévères. Tout d’abord, nous avons modélisé le système pilote-FRE par le modèle OPCM (Optimal Preview Control Model) de Sharp. Ce modèle est basé sur la distance anticipée (Dp) par l’utilisateur durant sa conduite du FRE. Cette distance a été estimée grâce à un système de suivi du regard combiné avec le simulateur 3D ViEW du laboratoire LCOMS. Un panel de 15 sujets valides a été recruté pour faire des tests de conduite sur simulateur et valider la modélisation OPCM. La distance Dp a permis de décrire le comportement du pilote. Ensuite, une analyse de la distance anticipée Dp en fonction de différentes zones du parcours (slalom serré, virage, slalom large), a montré que ce paramètre peut être utilisé pour différencier les différents comportements de conduite liées aux différentes situations du parcours. Ensuite nous avons comparé cette distance anticipée entre deux groupes, familiarisés et novices vis-à-vis de la conduite en FRE. L’analyse a montré que le groupe familiarisé présente une distance Dp plus importante que le groupe novice. Enfin, une dernière expérience a eu lieu au Centre de Réadaptation de Flavigny sur Moselle (54, France). Nous avons estimé la distance anticipée (Dp) pour des sujets à déficiences motrices sévères, afin de valider le paramètre Dp comme indicateur de performance. Une étude de cas a été établie portant sur 5 enfants en situation de handicap, en comparant leurs résultats à ceux obtenus précédemment sur un panel de personnes valides / The Powered wheelchairs (PW) allowed many people with motor disabilities to find a suitable mobility, which improved their quality of life. Hence, a vast field of activities has become accessible for them. When prescribing a PW or in a learning phase, however, it is necessary to evaluate the ability of these people to drive a wheelchair. In this context, our goal is to determine relevant parameters to describe the quality of driving on PW for people with disabilities. First, we modeled the pilot-PW system using the OPCM (Optimal Preview Control Model) model proposed by Sharp. This model is based on the preview distance (Dp) of the user during his driving. This distance has been estimated thanks to an eye-tracking system combined with the ViEW 3D simulator of the LCOMS laboratory. A panel of 15 healthy subjects was recruited to drive the PW on a 3D simulator and to validate the OPCM modeling. This distance Dp allows to describe the behavior of the pilot. If this distance is important, it guarantees the tracking trajectory of the OPCM model. Otherwise, the OPCM model diverges. This shows that if the user looks a long part of his future path, he will better anticipate the future control applied to the PW (change of direction, braking, etc.), which allows him to follow his path. In this situation the user has a tracking behavior. In the otherwise, the user’s behavior is rather compensatory. Then, an analysis of preview distance Dp with respect to the different zones of the path (tight slalom, turn, wide slalom), showed that the parameter Dp can be used to differentiate the different driving behaviors related to the different situations of the path. Next, we compared the preview distance between two groups, familiar and novice with regard to the PW driving. The analysis showed that the familiar group has a greater distance value than the novice group. Finally, a last experiment took place at the Rehabilitation Center of Flavigny sur Moselle (54, France). We estimated the preview distance (Dp) for subjects with severe motor impairment, in order to validate the parameter Dp as a performance indicator. A case study analysis was established on five children with disabilities comparing their results with those previously obtained with the healthy subjects

Bien que les troubles du langage formel affectent une grande partie des enfants avec Trouble du Spectre Autistique (TSA), leur nature reste encore incertaine. Certaines études postulent que le trouble observable chez ces enfants est de même nature que celui dont souffrent les enfants avec trouble spécifique du langage (TSL), tandis que d’autres argumentent en faveur de deux troubles qui diffèrent dans leur étiologie. Au centre de ce débat réside la complexité à recueillir des données sur le langage chez les enfants avec TSA, notamment quand il s’agit de participer de manière active. Dans cette étude, nous explorons l’interprétation en temps réel des indices grammaticaux chez des enfants avec TSA monolingues francophones, en nous intéressant aux pronoms clitiques objets, dont la faible production en contexte obligatoire a été proposée comme marqueur du TSL pour le français. / It is well-known that children with Autism Spectrum Disorder (ASD) often have language impairment. However, the nature of this impairment is still largely unknown. Some studies hold that language impairment in children with ASD is of the same nature as impairment found in children with Specific Language Impairment (SLI), whereas others argue that SLI and language impairment in ASD may be different both in their structure and their etiology. At the heart of this debate lies the difficulty of assessing language abilities of children with ASD, especially when active participation is required. Moreover, to date, few studies have investigated formal aspects of language in children with ASD in languages other than English. In this study, we explore real-time interpretation of grammatical cues in French-speaking children with ASD, with a focus on object clitics.

Dans ce manuscrit, nous nous intéressons à l'analyse visuelle du comportement humain à partir de l'information du regard. A l'inverse des caméras statiques et externes, nous adoptons un point de vue subjectif, ce qui permet de placer le contexte d'étude au centre de l'être humain et de ses interactions avec l'environnement. Pour atteindre cet objectif, nous avons développé un eye-tracker porté, ainsi que des outils d'analyse associés, en particulier la reconnaissance d'attention dans le cadre d'interactions sociales et la reconnaissance d'activités subjectives. Dans la première partie de cette thèse, nous présentons un eye-tracker binoculaire tête porté à partir duquel nous estimons le regard du sujet. Contrairement à la plupart des systèmes basés sur l'éclairage infrarouge, notre approche fonctionne en éclairage visible. Pour cela, nous nous inspirons des méthodes basées apparence qui, au lieu, d'extraire des caractéristiques géométriques (par exemple, la pupille), exploitent l'image de l'oeil dans sa globalité et elles permettent donc de prendre en compte toutes les caractéristiques de l'oeil. Pour apprendre la relation entre les caractéristiques d'apparence et les coordonnées du point de regard dans l'image de la caméra scène, deux modèles de régression sont comparés : le Support Vector Regression et le Relevance Vector Regression. Nous proposons, ensuite, une nouvelle méthode de reconnaissance d'attention en vue subjective. Le regard subjectif est obtenu à l'aide de notre eye-tracker, tandis que le regard d'autrui est construit à partir de l'estimation de l'orientation de la tête par régression à noyaux multiples localisés. En combinant ces deux types de regard, nous calculons alors des scores d'attention qui permettent d'identifier des motifs attentionnels dyadiques tels que le regard mutuel, mais aussi des motifs d'ordre supérieur émanant de la nature triadique de notre expérience. Notre outil final d'analyse concerne la reconnaissance d'activités basée sur le regard et l'égo-mouvement. Ces mouvements sont quantifiés en fonction de leur direction et de leur amplitude et encodés sous forme de symboles. Des caractéristiques statistiques sont alors extraites via un codage multi-échelle et un partitionnement temporel. Pour la classification et la segmentation d'activités, nous décrivons une approche par apprentissage contextuel en intégrant des scores de prédiction d'un voisinage à longue portée. Une étude détaillée permet également de comprendre quelles caractéristiques jouent un rôle prédominant dans la représentation d'une activité.

Dans notre communication quotidienne avec les autres, nous avons autant de considération pour l’interlocuteur lui-même que pour l’information transmise. En permanence coexistent en effet deux modes de transmission : le verbal et le non-verbal. Sur ce dernier thème intervient principalement l’expression faciale avec laquelle l’interlocuteur peut révéler d’autres émotions et intentions. Habituellement, un processus de reconnaissance d’émotions faciales repose sur 3 étapes : le suivi du visage, l’extraction de caractéristiques puis la classification de l’expression faciale. Pour obtenir un processus robuste apte à fournir des résultats fiables et exploitables, il est primordial d’extraire des caractéristiques avec de forts pouvoirs discriminants (selon les zones du visage concernées). Les avancées récentes de l’état de l’art ont conduit aujourd’hui à diverses approches souvent bridées par des temps de traitement trop couteux compte-tenu de l’extraction de descripteurs sur le visage complet ou sur des heuristiques mathématiques et/ou géométriques.En fait, aucune réponse bio-inspirée n’exploite la perception humaine dans cette tâche qu’elle opère pourtant régulièrement. Au cours de ces travaux de thèse, la base de notre approche fut ainsi de singer le modèle visuel pour focaliser le calcul de nos descripteurs sur les seules régions du visage essentielles pour la reconnaissance d’émotions. Cette approche nous a permis de concevoir un processus plus naturel basé sur ces seules régions émergentes au regard de la perception humaine. Ce manuscrit présente les différentes méthodologies bio-inspirées mises en place pour aboutir à des résultats qui améliorent généralement l’état de l’art sur les bases de référence. Ensuite, compte-tenu du fait qu’elles se focalisent sur les seules parties émergentes du visage, elles améliorent les temps de calcul et la complexité des algorithmes mis en jeu conduisant à une utilisation possible pour des applications temps réel. / Communication in any form i.e. verbal or non-verbal is vital to complete various daily routine tasks and plays a significant role inlife. Facial expression is the most effective form of non-verbal communication and it provides a clue about emotional state, mindset and intention. Generally automatic facial expression recognition framework consists of three step: face tracking, feature extraction and expression classification. In order to built robust facial expression recognition framework that is capable of producing reliable results, it is necessary to extract features (from the appropriate facial regions) that have strong discriminative abilities. Recently different methods for automatic facial expression recognition have been proposed, but invariably they all are computationally expensive and spend computational time on whole face image or divides the facial image based on some mathematical or geometrical heuristic for features extraction. None of them take inspiration from the human visual system in completing the same task. In this research thesis we took inspiration from the human visual system in order to find from where (facial region) to extract features. We argue that the task of expression analysis and recognition could be done in more conducive manner, if only some regions are selected for further processing (i.e.salient regions) as it happens in human visual system. In this research thesis we have proposed different frameworks for automatic recognition of expressions, all getting inspiration from the human vision. Every subsequently proposed addresses the shortcomings of the previously proposed framework. Our proposed frameworks in general, achieve results that exceeds state-of-the-artmethods for expression recognition. Secondly, they are computationally efficient and simple as they process only perceptually salient region(s) of face for feature extraction. By processing only perceptually salient region(s) of the face, reduction in feature vector dimensionality and reduction in computational time for feature extraction is achieved. Thus making them suitable for real-time applications.