La thèse traite de l'analyse et la classification des états émotionnels perçus dans la parole lors de conversations naturelles. La majorité des expériences ont été effectuées sur des données enregistrées dans un centre d'appel médical contenant 20h de conversation homme-homme. La première partie du travail a consisté à proposer un protocole d'annotation adapté à la complexité des données réelles avec en particulier la possibilité d'annoter deux états émotionnels par segment. Des réflexions ont été conduites sur la manière de valider ces annotations et un vecteur " émotion " a été déduit de chaque annotation. Ces vecteurs ont révélé la présence d'états émotionnels mélangés qui ont été analysés et validés par des tests perceptifs. La deuxième partie porte sur la mise en oeuvre d'algorithmes de classification pour détecter des états émotionnels après l'extraction de plus d'une centaine d'indices paralinguistiques par segment. Les segments non complexes du corpus ont été utilisés pour entraîner des classifieurs, principalement des Support Vector Machine (SVM), afin de discriminer 2 à 5 classes " Emotion ". Les performances ont également été comparées selon le type d'indices extraits et en prenant en considération le sexe ou le rôle (agent/client) du locuteur. Une collaboration a été effectuée avec d'autres sites du réseau d'excellence HUMAINE afin de comparer les indices et méthodes sur des données en allemand. Les performances du LIMSI étaient au niveau de l'état de l'art. Enfin, une comparaison entre les états émotionnels présents dans des données actées et naturelles a montré que les modèles entraînés sur un type de données ne fonctionnaient pas forcément sur l'autre.

Notre travail s'inscrit dans le domaine de l'affective computing et plus précisément la modélisation, détection et annotation des émotions. L'objectif est d'étudier, d'identifier et de modéliser les émotions afin d'assurer l'échange entre applications multimodales. Notre contribution s'axe donc sur trois points. En premier lieu, nous présentons une nouvelle vision de la modélisation des états émotionnels basée sur un modèle générique pour la représentation et l'échange des émotions entre applications multimodales. Il s'agit d'un modèle de représentation hiérarchique composé de trois couches distinctes : la couche psychologique, la couche de calcul formel et la couche langage. Ce modèle permet la représentation d'une infinité d'émotions et la modélisation aussi bien des émotions de base comme la colère, la tristesse et la peur que les émotions complexes comme les émotions simulées et masquées. Le second point de notre contribution est axé sur une approche monomodale de reconnaissance des émotions fondée sur l'analyse des signaux physiologiques. L'algorithme de reconnaissance des émotions s'appuie à la fois sur l'application des techniques de traitement du signal, sur une classification par plus proche voisins et également sur notre modèle multidimensionnel de représentation des émotions. Notre troisième contribution porte sur une approche multimodale de reconnaissance des émotions. Cette approche de traitement des données conduit à une génération d'information de meilleure qualité et plus fiable que celle obtenue à partir d'une seule modalité. Les résultats expérimentaux montrent une amélioration significative des taux de reconnaissance des huit émotions par rapport aux résultats obtenus avec l'approche monomodale. Enfin nous avons intégré notre travail dans une application de détection de la dépression des personnes âgées dans un habitat intelligent. Nous avons utilisé les signaux physiologiques recueillis à partir de différents capteurs installés dans l'habitat pour estimer l'état affectif de la personne concernée.

Notre travail s'inscrit dans le domaine de l'affective computing et plus précisément la modélisation, détection et annotation des émotions. L'objectif est d'étudier, d'identifier et de modéliser les émotions afin d'assurer l’échange entre applications multimodales. Notre contribution s'axe donc sur trois points. En premier lieu, nous présentons une nouvelle vision de la modélisation des états émotionnels basée sur un modèle générique pour la représentation et l'échange des émotions entre applications multimodales. Il s'agit d'un modèle de représentation hiérarchique composé de trois couches distinctes : la couche psychologique, la couche de calcul formel et la couche langage. Ce modèle permet la représentation d'une infinité d'émotions et la modélisation aussi bien des émotions de base comme la colère, la tristesse et la peur que les émotions complexes comme les émotions simulées et masquées. Le second point de notre contribution est axé sur une approche monomodale de reconnaissance des émotions fondée sur l'analyse des signaux physiologiques. L'algorithme de reconnaissance des émotions s'appuie à la fois sur l'application des techniques de traitement du signal, sur une classification par plus proche voisins et également sur notre modèle multidimensionnel de représentation des émotions. Notre troisième contribution porte sur une approche multimodale de reconnaissance des émotions. Cette approche de traitement des données conduit à une génération d'information de meilleure qualité et plus fiable que celle obtenue à partir d'une seule modalité. Les résultats expérimentaux montrent une amélioration significative des taux de reconnaissance des huit émotions par rapport aux résultats obtenus avec l'approche monomodale. Enfin nous avons intégré notre travail dans une application de détection de la dépression des personnes âgées dans un habitat intelligent. Nous avons utilisé les signaux physiologiques recueillis à partir de différents capteurs installés dans l'habitat pour estimer l'état affectif de la personne concernée. / This study focuses on affective computing in both fields of modeling and detecting emotions. Our contributions concern three points. First, we present a generic solution of emotional data exchange between heterogeneous multi-modal applications. This proposal is based on a new algebraic representation of emotions and is composed of three distinct layers : the psychological layer, the formal computational layer and the language layer. The first layer represents the psychological theory adopted in our approach which is the Plutchik's theory. The second layer is based on a formal multidimensional model. It matches the psychological approach of the previous layer. The final layer uses XML to generate the final emotional data to be transferred through the network. In this study we demonstrate the effectiveness of our model to represent an in infinity of emotions and to model not only the basic emotions (e.g., anger, sadness, fear) but also complex emotions like simulated and masked emotions. Moreover, our proposal provides powerful mathematical tools for the analysis and the processing of these emotions and it enables the exchange of the emotional states regardless of the modalities and sensors used in the detection step. The second contribution consists on a new monomodal method of recognizing emotional states from physiological signals. The proposed method uses signal processing techniques to analyze physiological signals. It consists of two main steps : the training step and the detection step. In the First step, our algorithm extracts the features of emotion from the data to generate an emotion training data base. Then in the second step, we apply the k-nearest-neighbor classifier to assign the predefined classes to instances in the test set. The final result is defined as an eight components vector representing the felt emotion in multidimensional space. The third contribution is focused on multimodal approach for the emotion recognition that integrates information coming from different cues and modalities. It is based on our proposed formal multidimensional model. Experimental results show how the proposed approach increases the recognition rates in comparison with the unimodal approach. Finally, we integrated our study on an automatic tool for prevention and early detection of depression using physiological sensors. It consists of two main steps : the capture of physiological features and analysis of emotional information. The first step permits to detect emotions felt throughout the day. The second step consists on analyzing these emotional information to prevent depression.

Notre travail s'inscrit dans le domaine de modélisation des états émotionnels. L'objectif est d'étudier et de modéliser les émotions afin d'assurer l'échanges entre applications multimodales. Il s'agit de pouvoir réutiliser et échanger des connaissances émotionnelles entre applications indépendamment de la modalité utilisée. Notre contribution s'axe donc sur deux points. En premier lieu, nous présentons une solution générique d'échange de données émotionnelle hétérogène entre des applications multimodales. Notre approche est basée sur une nouvelle représentation algébrique des émotions et elle est composée de trois couches distinctes: la couche psychologique, la couche de calcul formel et la couche langue. Dans notre travail, nous démontrons l'efficacité de notre modèle pour représenter une infinité d'émotions et de modéliser non seulement les émotions de base (par exemple, la colère, la tristesse, la peur), mais aussi les émotions complexes comme les émotions simulées et masqués. Le second point de notre contribution est axé sur la validation de notre modèle. Nous procédons pour cela à la reconnaissance des émotions a partir des signaux physiologiques. Nous avons utilisé les mêmes données collectées et utilisées dans la thèse de Healey (2000). L'algorithme de reconnaissance des émotion s'appuie sur l'application des technique de traitement de signal et sur une classification par plus proche voisins et en utilisant notre modèle multidimensionnel pour la représentation des émotions.