La communication des émotions s'effectue naturellement par le biais de différentes modalités, comme par exemple les expressions faciales et le toucher. L'informatique affective cherche à intégrer la composante émotionnelle dans les interactions homme-machine. Cependant, le toucher, qui est un puissant vecteur d'émotions, reste peu exploité. L'objectif de cette thèse est d'étudier les paramètres qui influencent l'expression et la perception des émotions dans la modalité kinesthésique dans un contexte d'interaction homme-machine. Dans un premier temps, cette thèse considère l'expression kinesthésique liée à la perception physique de forces et de mouvements d'un ensemble d'émotions actées sémantiquement proches. Sur la base des résultats de cette première étude, un couplage des expressions kinesthésiques typiques de différentes émotions avec des expressions faciales exprimées par un avatar est proposé afin d'étudier l'influence de la modalité kinesthésique dans la perception d'une expression multimodale d’émotion. Enfin, cette thèse va au-delà de ces émotions actées en abordant dans une dernière étude le cas de l'expression et de la perception d'un état affectif de stress spontané. Ces différentes expérimentations ont considéré différents dispositifs matériels pour la communication kinesthésique : des dispositifs de type Geomagic Touch ainsi qu'un dispositif de rendu de pression développé spécifiquement dans le cadre de cette thèse. Les résultats de ces travaux ont de multiples applications pratiques. Premièrement, une meilleure intégration de la modalité kinesthésique en contexte virtuel, qu'il s'agisse de communication humain-humain à distance ou d'immersion dans les jeux vidéo. Cette thèse ouvre également la voie à la détection automatique d'états affectifs exprimés spontanément par la modalité kinesthésique. / The communication of emotions use several modalities of expression, as facial expressions or touch. The affective computing field aims to integrate an emotional component in human-computer interactions. Even though touch is an effective vector of emotions, is remains little explored. This thesis aims to investigate the kinesthetic features of the expression and perception of emotions in a human-computer interaction setting. Firstly, this thesis considers the kinesthetic expression and perception of semantically close and acted emotions. Secondly, this thesis proposes a facial-kinesthetic combination of expressions of several close emotions. This aims to investigate the influence of the kinesthetic modality on the multimodal perception of emotions. Finally, this thesis goes beyond acted emotions by focusing on the expression and perception of a spontaneous state of stress. Those different experiments used various devices for kinesthetic interaction, as Geomagic Touch devices and a pressure rendering device developed for this thesis. Results have multiple applications. Firstly, a better integration of the kinesthetic modality in virtual settings, from human-human remote communications to immersion in video games. This thesis also paves the way for an automatic recognition of affective states expressed by the kinesthetic modality.

Dans ce travail, nous nous proposons d'étudier la cognition sociale chez les sourds en distinguant les aspects perceptifs et cognitifs selon le modèle proposé par Tager-Flusberg et Sullivan (2000). La surdité nous permet d'aborder l'influence des facteurs environnementaux sur le développement des composantes socio-perceptive et socio-cognitive ; nous ciblons nos recherches sur les enfants sourds nés de parents entendants, éduqués dans des écoles ordinaires et portants des prothèses auditives. La première question à laquelle nous tenterons de répondre est la suivante : le manque de communication avec l'entourage familial pendant les premiers mois de vie, en lien avec le contexte particulier de la surdité dans un milieu entendant, a-t-il une influence sur le développement de la composante socio-perceptive ? Nous étudions cette question avec deux expériences impliquant la perception des visages et des émotions ; ces tests nous permettent de mettre en évidence les performances et les stratégies de traitement utilisées. Nous recherchons d'une part, l'utilisation du processus configural et l'effet de focalisation de l'attention sur la région des yeux au cours d'une tâche de jugement de similarité entre visages et d'autre part, l'effet de traitement automatique de la colère avec une tâche de recherche visuelle. La deuxième question soulevée est relative au développement de la composante socio-cognitive, et notamment aux capacités liées à la théorie de l'esprit. Les possibilités croissantes d'intégration du discours, notamment grâce aux prothèses auditives, permettraient-elles le développement des capacités nécessaires à la compréhension des états mentaux d'autrui ? / In this thesis, we aimed to study the socio-perceptive and the socio-cognitive components of social cognition (Tager-Flusberg et Sullivan, 2000) in deaf children. Deafness give us the possibility to assess environmental factors' influence on the development of these components. To do so, we focus our studies on deaf children born from hearing parents, equipped with auditory protheses, and educated in ordinary schools. First, one of the main issue of the current studies is to assess whether the lack of communication with family during the first months of life, in line with the particular context of deafness in a hearing environment, have a significant impact on the socio-perceptive component. Experiments 1 and 2 were designed to assess this issue. Participants had to respond with two experiences related to faces and emotion perceptions ; those tests allow us to show the performances and the strategies of the treatment used. On a side, we are looking for the inversion effect and the eyes area focus effect during a test of faces' similarities judgment, and another side the angry automatic effect with a visual search test. The second question studied is related to the development of the socio-cognitive component, and especially on capacities of theory of mind. Could the improvement of internalization of speech, using auditory protheses, permit the development of the capacities needed to understand the state of mind of another? Or in contrary, are the possibilities to exchange precociously about his own state of mind needed to develop socio-cognitive component?

La théorie polyvagale (Porges, 2007) propose la flexibilité physiologique commecorrélat des compétences socio-émotionnelles. Cette flexibilité physiologique est en partie déterminée par les interactions coeur-cerveau mesurables par la variabilité cardiaque de haute fréquence (HF-HRV). Selon cette théorie, une plus haute HF-HRV devrait être associée à une meilleure perception des émotions et à des comportements davantage prosociaux. Si plusieurs données tendent à corroborer cette proposition, aucune étude ne permet de tester précisément ces hypothèses. Nous avons donc mené une série d’études ayant pour but de les tester. Dans une première étude, nous avons testé le lien entre HF-HRV et comportement prosocial mesuré par le niveau de coopération. Le niveau de HF-HRV prédisait le niveau de coopération mais dans un contexte spécifique. Notre deuxième étude avait pour but de tester le lien entre HF-HRV et perception des émotions. Ici, le niveau de HF-HRV ne prédisait pas de meilleures performances en reconnaissance d’émotions. Nous avons ensuite voulu tester un éventuel lien causal existant entre HF-HRV et prosocialité. Pour cela nous avons réalisé une expérience (étude 3) visant à manipuler la HF-HRV par biofeedback. Le biofeedback augmentait la HF-HRV mais uniquement chez les individus avec une faible ligne de base. L’étude 4 testait si manipuler la HF-HRV par biofeedback modulait le comportement de coopération. Nous n’avons pas répliqué nosrésultats quant à l’efficacité du biofeedback et n’avons donc pas observé d’effet sur la coopération. La cinquième et dernière étude permettait de tester si manipuler la prosocialité modulait le niveau de HF-HRV. Nous n’avons pas observé d’effet de notre manipulation expérimentale sur la HF-HRV. En conclusion, la prédiction de la théorie polyvagale est corroborée par les données empiriques quant au lien entre HF-HRV et comportements prosociaux mais aucune confirmation n’a pu étayer le rapport entre perception des émotions et HF-HRV. Dans le cas des manipulations expérimentales à court terme, aucune relation causale entre HF-HRV et comportements prosociaux n’a été observée. / The polyvagal theory (Porges, 2007) proposes physiological flexibility as thecorrelate of socio-emotional skills. This physiological flexibility is partially determined by heart-brain interactions measurable by heart rate variability of high frequency (HF-HRV). According to this theory, higher HF-HRV should be associated with better perception of emotions and more prosocial behaviors. If more and more data tend to support this proposal, no experiment allowed to accurately test these hypotheses. We therefore carried-out a set of studies in order to test them. In a first study, we tested the link between HF-HRV and prosocial behavior measured by the level of cooperation. HF-HRV level predicted the level of cooperation but in a specific context. Our second study was designed to test the link between HF-HRV and perception of emotions. Here, the HF-HRV level did not predict better performance in recognition ofemotions. We then wanted to test a possible causal link existing between HF-HRV and prosociality. For this we performed an experiment (Study 3) to manipulate HF-HRV by biofeedback. Biofeedback increased HF-HRV levels but only in low baseline individuals. Study 4 tested whether manipulating HF-HRV by biofeedback could modulate the behavior of cooperation. We did not replicate our findings about the effectiveness of biofeedback and therefore did not observe any effect on cooperation. The fifth and final study allowed to test whether manipulating prosociality modulated the level of HF-HRV. We did not observe any effect of our experimental manipulation on HF-HRV. In conclusion, the prediction made by the polyvagal theory about the link between HF-HRV and prosocial behaviors is corroborated by empirical data but data does not support the link between the perception of emotions and HF-HRV. Short-term experimental manipulations did not reveal any causal relationship between HF-HRV and prosocial behaviors.

Le présent mémoire de maîtrise porte sur la relation potentielle entre le trait de personnalité de recherche de sensations et le traitement des expressions faciales émotionnelles, en particulier la perception (intensité et valence perçues) et la réaction (excitation) aux expressions faciales émotionnelles des autres. Nous examinons si les différences individuelles dans la recherche de sensations sont liées aux variations dans la perception et les réactions aux émotions faciales positives, négatives et neutres chez autrui. Nous recherchons également si les différences de perception ont un rôle à jouer dans la relation entre la réaction d'excitation et la recherche de sensations. Un échantillon de jeunes adultes (N=77) a rempli le formulaire V de l'échelle de recherche de sensations (SSS-V) et a évalué l'intensité et la valence d'expressions faciales émotionnelles tirées de la banque de visages émotionnels dirigés de Karolinska (KDEF). Les participants ont également rapporté leur réponse d'excitation émotionnelle perçue à ces stimuli. En utilisant des régressions hiérarchiques, nous montrons que la recherche de sensations est liée à une réponse d'excitation perçue plus élevée aux expressions faciales émotionnelles positives, négatives et neutres. Une recherche de sensations plus élevée était également associée à une intensité perçue plus élevée, mais uniquement pour une expression faciale neutre, cette relation médiant entièrement l'association entre la recherche de sensations et la réponse d'excitation. Cette thèse de maîtrise fournit les premières données sur la relation entre le trait de personnalité de recherche de sensations et les différences individuelles dans le traitement des émotions chez les autres. Elle ouvre la porte à de futures recherches sur l'impact potentiel du trait de personnalité de recherche de sensations sur le fonctionnement social chez les jeunes adultes. / The present master’s thesis focuses on the potential relation between sensation seeking and the processing of emotional facial expressions, specifically the perception (perceived intensity and perceived valence) and reaction (arousal) to emotional facial expressions in others. We investigate whether individual differences in sensation seeking are related to the variations in perception and reactions to positive, negative, and neutral facial emotions in others. We also investigate if differences in perception have a role to play in the relationship between the self-reported arousal response and sensation seeking. A sample of young adults (N=77) completed the Sensation Seeking Scale Form V (SSS-V), and rated the intensity and valence of facial emotional expressions taken from the Karolinska Directed Emotional Faces (KDEF) set. Participants also reported their perceived emotional arousal response to these stimuli. Using hierarchical regressions, we show that sensation seeking is related to higher self-reported arousal response to positive, negative, and neutral emotional facial expressions. Higher sensation seeking was also associated with higher perceived intensity but only for neutral facial expression, this relation fully mediated the association between sensation seeking and arousal response. This master’s thesis provides the first data on the relation between sensation seeking trait and individual differences in processing of emotions in others. It opens the door to future research on the potential impact of the sensation seeking personality trait on social functioning in young adults.

No description available.