Cette thèse présente une méthode générique de reconnaissance automatique des émotions à partir d’un système bimodal basé sur les expressions faciales et les signaux physiologiques. Cette approche de traitement des données conduit à une extraction d’information de meilleure qualité et plus fiable que celle obtenue à partir d’une seule modalité. L’algorithme de reconnaissance des expressions faciales qui est proposé, s’appuie sur la variation de distances des muscles faciaux par rapport à l’état neutre et sur une classification par les séparateurs à vastes marges (SVM). La reconnaissance des émotions à partir des signaux physiologiques est, quant à elle, basée sur la classification des paramètres statistiques par le même classifieur. Afin d’avoir un système de reconnaissance plus fiable, nous avons combiné les expressions faciales et les signaux physiologiques. La combinaison directe de telles informations n’est pas triviale étant donné les différences de caractéristiques (fréquence, amplitude de variation, dimensionnalité). Pour y remédier, nous avons fusionné les informations selon différents niveaux d’application. Au niveau de la fusion des caractéristiques, nous avons testé l’approche par l’information mutuelle pour la sélection des plus pertinentes et l’analyse en composantes principales pour la réduction de leur dimensionnalité. Au niveau de la fusion de décisions, nous avons implémenté une méthode basée sur le processus de vote et une autre basée sur les réseaux Bayésien dynamiques. Les meilleurs résultats ont été obtenus avec la fusion des caractéristiques en se basant sur l’Analyse en Composantes Principales. Ces méthodes ont été testées sur une base de données conçue dans notre laboratoire à partir de sujets sains et de l’inducteur par images IAPS. Une étape d’auto évaluation a été demandée à tous les sujets dans le but d’améliorer l’annotation des images d’induction utilisées. Les résultats ainsi obtenus mettent en lumière leurs bonnes performances et notamment la variabilité entre les individus et la variabilité de l’état émotionnel durant plusieurs jours / This thesis presents a generic method for automatic recognition of emotions from a bimodal system based on facial expressions and physiological signals. This data processing approach leads to better extraction of information and is more reliable than single modality. The proposed algorithm for facial expression recognition is based on the distance variation of facial muscles from the neutral state and on the classification by means of Support Vector Machines (SVM). And the emotion recognition from physiological signals is based on the classification of statistical parameters by the same classifier. In order to have a more reliable recognition system, we have combined the facial expressions and physiological signals. The direct combination of such information is not trivial giving the differences of characteristics (such as frequency, amplitude, variation, and dimensionality). To remedy this, we have merged the information at different levels of implementation. At feature-level fusion, we have tested the mutual information approach for selecting the most relevant and principal component analysis to reduce their dimensionality. For decision-level fusion we have implemented two methods; the first based on voting process and another based on dynamic Bayesian networks. The optimal results were obtained with the fusion of features based on Principal Component Analysis. These methods have been tested on a database developed in our laboratory from healthy subjects and inducing with IAPS pictures. A self-assessment step has been applied to all subjects in order to improve the annotation of images used for induction. The obtained results have shown good performance even in presence of variability among individuals and the emotional state variability for several days

Le sujet des travaux de recherche présenté dans cette thèse de doctorat concerne la conception et le développement d’une approche basée sur le traitement du signal et des images permettant de mesurer des signaux physiologiques d’une personne située à distance du capteur. Les différents procédés proposés dans ce travail cherchent à répondre à des besoins particuliers du domaine de l’e-santé, de la télémédecine et de l’informatique affective. Les mesures sans contact de paramètres physiologiques sont utilisables dans de nombreux champs d’application, allant des services d’urgence jusqu’aux sciences du sport, où le rythme cardiaque est surveillé pendant un effort physique intense. L’approche développée est basée sur le calcul des signaux photopléthysmographiques (PPG) obtenus sur des visages humains et enregistrés par une webcam. Ces derniers sont ensuite analysés par une transformée en ondelettes continue afin d’en extraire le rythme cardiaque et la fréquence respiratoire ainsi que la variabilité cardiaque. Des opérations de traitement du signal et des images ont été développées pour améliorer la robustesse du système en le rendant moins sensible aux mouvements et aux fluctuations de l’éclairage. La fréquence respiratoire est estimée à partir de la variabilité cardiaque par le phénomène d’arythmie sinusale respiratoire, la variation naturelle de la fréquence cardiaque entrainée par la respiration. Les phénomènes de vasoconstriction et vasodilatation qui modifient les amplitudes du signal PPG sont aussi détectées par la méthode que nous proposons dans ces travaux de thèse. Les performances du système ont été évaluées à partir d’un ensemble de capteurs standards en contact sur 12 individus en bonne santé qui ont participé aux expériences. Les résultats montrent que les mesures dérivées de la webcam et des capteurs en contact sont en étroite concordance. Le second volet de ces travaux de recherche concerne la reconnaissance du stress basée sur les données physiologiques quantifiées précédemment. La webcam est ici utilisée pour mesurer et estimer l’état de tension mentale d’une personne. Les amplitudes du signal PPG et la variabilité de la fréquence cardiaque reflètent l’état du système nerveux autonome et ont été utilisées pour calculer une courbe de stress. L’activité électrodermale a concurremment été mesurée par un capteur en contact pour évaluer la méthode que nous proposons. Une application a spécifiquement été développée en laboratoire pour successivement induire du stress et relaxer les participants. Les résultats indiquent que les mesures calculées à partir des données de la webcam sont en étroite corrélation avec l’activité électrodermale. La méthode présentée dans ces travaux permet de mesurer un ensemble de données physiologiques et estimer l’état de stress d’une personne à l’aide d’une webcam, fournissant ainsi une bonne alternative aux dispositifs conventionnels en contact / Photoplethysmographic (PPG) signals obtained from a webcam are analyzed through a continuous wavelet transform to assess the instantaneous pulse rate. The measurements are performed on human faces. Robust image and signal processing are introduced to collect only pixels that contain photoplethysmographic information and to remove major artifacts and trends on raw webcam PPG signals. The interbeat intervals are computed using a standard peak detection to form the instantaneous pulse rate. In addition, the respiration is recovered using the pulse rate series by respiratory sinus arrhythmia, the natural variation in pulse rate driven by the respiration. The amplitudes of the photoplethysmographic signal, which reflect relative changes in the vascular bed due to peripheral vasoconstriction or vasodilatation, are also measured. The presented algorithms are implemented on a mid-range computer and the overall method works in real-time. The performance of the proposed pulse and breathing rates assessment method was evaluated using approved contact probes on a set of 12 healthy subjects. Results show high degrees of correlation between physiological measurements even in the presence of motion. This work provides a motion-tolerant method that remotely measures the instantaneous pulse and breathing rates. Monitoring physiological signals via non-contact means presents a greater challenge in personal health care, telemedicine and affective computing. The second part of this thesis consists in assessing mental workload changes using the parameters assessed previously, i.e. the photoplethysmographic amplitude fluctuation and the pulse rate variability. These particular signals provide an estimation of the autonomic nervous system state. In order to validate the proposed method we have recorded, concurrently to the webcam curves, electrodermal activity during an interactive game that was developed to successively stress and relax the subject. We have specifically employed a computerized and interactive version of the STROOP color word test. The results exhibit a strong correlation between the webcam and contact skin conductance level traces and offer further support for the applicability of mental stress detection by remote and low-cost means, providing an alternative to conventional contact techniques

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal.

La surveillance des nouveau-nés prématurés placés en unité de soins intensifs a conduit à la notion de monitoring et à l'acquisition de nombreux signaux physiologiques. Si ces informations sont bien utilisées pour le diagnostic et la prévention des situations d'urgence, force est de constater qu'à ce jour, elles le sont beaucoup moins dans un objectif prédictif. La difficulté d'extraction d'informations fiables en temps réel, sans aucun contrôle visuel, à partir de signaux non stationnaires, en est vraisemblablement la cause. Ce mémoire vise donc à proposer des méthodes robustes, adaptées au contexte des unités de soins intensifs néonatals et du temps réel. Pour cela, un ensemble de méthodes génériques appliquées à la variabilité cardiaque, mais capable d'être adaptées à d'autres constantes physiologiques telles que la respiration, ont été développées et testées en contexte clinique. Quatre grandes parties illustrent notre propos : - La proposition d'une méthode originale de détection temps réel probabiliste multicaractéristique permettant de répondre à une problématique d'extraction robuste d'événements d'intérêt à partir de signaux physiologiques bruités. Générique, cette solution est appliquée à la détection robuste du QRS d'un signal ECG. Elle est basée sur le calcul temps réel de plusieurs probabilités a posteriori, concernant les propriétés du signal, qui sont ensuite fusionnées au sein d'un nœud de décision reposant sur l'utilisation pondérée de la divergence de Kullback-Leibler. Comparée à deux méthodes classiques de la littérature sur deux bases de données bruitées, elle obtient un taux d'erreur de détection inférieur (20.91% vs 29.02% (ondelettes) et 33.08% (Pan-Tompkins) sur la base de test). - La proposition d'une méthode impliquant plusieurs modèles semi-markoviens cachés, visant la segmentation de périodes au sein desquelles le détecteur temps réel probabiliste multicaractéristique fournit les détections d'évènements les plus fiables. En comparaison à deux méthodes de la littérature, la solution proposée obtient de meilleures performances, le critère d‘erreur obtenu est significativement plus faible (entre -21.37% et -74.98% selon la base et l'approche évaluée). - La sélection d'un détecteur optimal pour le monitoring d'événements d'apnée-bradycardie, en termes de fiabilité et précocité, à partir de données ECG obtenues chez le nouveau-né. Les performances du détecteur retenu seront comparées aux alarmes générées par un dispositif industriel de suivi continu classiquement utilisé en service de néonatalogie (moniteur Philips IntelliVue). La méthode basée sur le changement abrupt de la moyenne des RR obtient les meilleurs résultats au regard du délai (3.99 s vs 11.53 s pour le moniteur IntelliVue) et de la fiabilité (critère d'erreur de 43.60% vs 80.40%). - La conception et le développement d'une plateforme logicielle SYNaPSE (SYstem for Noninvasive Physiological Signal Explorations) permettant l'acquisition de divers signaux physiologiques en très grande quantité, et de façon non invasive, au sein des unités de soins. La conception modulaire de cette plateforme, ainsi que ses propriétés temps réel, permettent l'intégration simple et rapide de méthodes de traitement du signal complexes. Son intérêt translationnel est montré dans le dépouillement d'une base de données cherchant à étudier l'impact de la bilirubine sur la variabilité cardiaque. / The surveillance of premature newborns placed in intensive care units led to the notion of monitoring and the acquisition of many physiological signals. While this information is well used for the diagnosis and prevention of emergency situations, it must be acknowledged that, to date, it is less the case for predictive purposes. This is mainly due to the difficulty of extracting reliable information in real time, without any visual control, from non-stationary signals. This thesis aims to propose robust methods, adapted to the context of neonatal intensive care units and real time. For this purpose, a set of generic methods applied to cardiac variability, but capable of being adapted to other physiological constants such as respiration, have been developed and tested in clinical context. Four main parts illustrate these points : - The proposal of an original multicharacteristic probabilistic real time detection method for robust detection of interest events of noisy physiological signals. Generic, this solution is applied to the robust QRS complex detection of the ECG signals. It is based on the real time calculation of several posterior probabilities of the signal properties before merging them into a decision node using the weighted Kullback-Leibler divergence. Compared to two classic methods from the literature on two noisy databases, it has a lower detection error rate (20.91% vs. 29.02% (wavelets) and 33.08% (Pan-Tompkins) on the test database). - The proposal of using hidden semi-markovian models for the segmentation of temporal periods with most reliable event detections. Compared to two methods from the literature, the proposed solution achieves better performance, the error criterion obtained is significantly lower (between -21.37% and -74.98% depending on the basis and approach evaluated). - The selection of an optimal detector for the monitoring of apnea-bradycardia events, in terms of reliability and precocity, based on ECG data obtained from newborns. The performance of the selected detector will be compared to the alarms generated by an industrial continuous monitoring device traditionally used in neonatology service (Philips IntelliVue monitor). The method based on the abrupt change of the RR average achieves the best results in terms of time (3.99 s vs. 11.53 s for the IntelliVue monitor) and reliability (error criterion of 43.60% vs. 80.40%). - The design and development of SYNaPSE (SYstem for Noninvasive Physiological Signal Explorations) software platform for the acquisition of various physiological signals in large quantities, and in a non-invasive way, within the care units. The modular design of this platform, as well as its real time properties, allows simple and fast integration of complex signal processing methods. Its translational interest is shown in the analysis of a database in order to study the impact of bilirubin on cardiac variability.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

La reconnaissance des émotions est un aspect important de l'informatique affective dont l'un des objectifs est l'étude et le développement d'interactions comportementales et émotionnelles entre humains et agents conversationnels animés. Dans ce contexte, un point également important concerne les dispositifs d'acquisition et les outils de traitement des signaux, conduisant à une estimation de l'état émotionnel de l'utilisateur. Le travail présenté dans ce manuscrit repose sur le développement d'une plate-forme multimodale d'acquisition et de traitement de signaux physiologiques (PACE). Cette plate-forme peut être considérée comme un middleware modulaire et générique permettant de mesurer, en temps réel, l'état émotionnel de l'utilisateur via l'estimation d'un vecteur d'état. Elle s'intègre dans le cadre de la mise en place d'un simulateur innovant destiné à la simulation d'entretiens d'embauche (Projet PISE : Plate-forme Immersive de Simulation d'Entretien). Cet outil permettra aux personnes en phase d'insertion ou de réinsertion, une meilleure gestion de leurs compétences comportementales et émotionnelles. L'approche que nous avons développée se fonde sur les résultats expérimentaux obtenus et sur une méthodologie originale impliquant différents modèles mathématiques. Différents protocoles expérimentaux, basés sur deux techniques d'induction de stimuli (images IAPS et séquences vidéo de Schaeffer) ont été proposés. Ils permettent la détermination de la corrélation entre les états émotionnels et les signaux physiologiques (EEG, ECG, etc.) issus des capteurs proposés. Trois méthodes de classification (SVM, naïve bayésienne, régression logistique) ont été comparées sur plusieurs critères d'évaluation. Nous avons proposé, à partir des résultats obtenus, une méthodologie permettant l'extraction en temps réel des émotions via les modèles proposés. Une étude expérimentale a également été menée avec pour objectif de valider la plate-forme PACE via la reconnaissance d'états émotionnels lors de séquences vidéo développées à l'Université d'Angers. L'approche multimodale proposée a donné de meilleurs résultats que les approches uni-modales précédentes. Enfin, notre plate-forme a été intégrée au simulateur PISE, et évaluée de manière subjective et objective lors de simulations d'entretiens. Les résultats ont permis de valider partiellement le simulateur.

Cette thèse étudie la reconnaissance des émotions à partir de signaux physiologiques dans le contexte des jeux vidéo et la faisabilité de sa mise en œuvre sur un système embarqué. Les défis suivants sont abordés : la relation entre les états émotionnels et les réponses physiologiques dans le contexte du jeu, les variabilités individuelles des réponses psycho-physiologiques et les problèmes de mise en œuvre sur un système embarqué. Les contributions majeures de cette thèse sont les suivantes. Premièrement, nous construisons une base de données multimodale dans le cadre de l'Affective Gaming (DAG). Cette base de données contient plusieurs mesures concernant les modalités objectives telles que les signaux physiologiques de joueurs et des évaluations subjectives sur des phases de jeu. A l'aide de cette base, nous présentons une série d'analyses effectuées pour la détection des moments marquant émotionnellement et la classification des émotions à l'aide de diverses méthodes d'apprentissage automatique. Deuxièmement, nous étudions la variabilité individuelle de la réponse émotionnelle et proposons un modèle basé sur un groupe de joueurs déterminé par un clustering selon un ensemble de traits physiologiques pertinents. Nos travaux mettent en avant le fait que le modèle proposé, basé sur un tel groupe personnalisé, est plus performant qu'un modèle général ou qu'un modèle spécifique à un utilisateur. Troisièmement, nous appliquons la méthode proposée sur un système ARM A9 et montrons que la méthode proposée peut répondre à l'exigence de temps de calcul. / This thesis investigates physiological-based emotion recognition in a digital game context and the feasibility of implementing the model on an embedded system. The following chanllenges are addressed: the relationship between emotional states and physiological responses in the game context, individual variabilities of the pschophysiological responses and issues of implementation on an embedded system. The major contributions of this thesis are : Firstly, we construct a multi-modal Database for Affective Gaming (DAG). This database contains multiple measurements concerning objective modalities: physiological signals (ECG, EDA, EMG, Respiration), screen recording, and player's face recording, as well as subjective assessments on both game event and match level. We presented statistics of the database and run a series of analysis on issues such as emotional moment detection and emotion classification, influencing factors of the overall game experience using various machine learning methods. Secondly, we investigate the individual variability in the collected data by creating an user-specific model and analyzing the optimal feature set for each individual. We proposed a personalized group-based model created the similar user groups by using the clustering techniques based on physiological traits deduced from optimal feature set. We showed that the proposed personalized group-based model performs better than the general model and user-specific model. Thirdly, we implemente the proposed method on an ARM A9 system and showed that the proposed method can meet the requirement of computation time.

Les représentations convolutives extraient des motifs récurrents qui aident à comprendre la structure locale dans un jeu de signaux. Elles sont adaptées pour l’analyse des signaux physiologiques, qui nécessite des visualisations mettant en avant les informations pertinentes. Ces représentations sont aussi liées aux modèles d’apprentissage profond. Dans ce manuscrit, nous décrivons des avancées algorithmiques et théoriques autour de ces modèles. Nous montrons d’abord que l’Analyse du Spectre Singulier permet de calculer efficacement une représentation convolutive. Cette représentation est dense et nous décrivons une procédure automatisée pour la rendre plus interprétable. Nous proposons ensuite un algorithme asynchrone, pour accélérer le codage parcimonieux convolutif. Notre algorithme présente une accélération super-linéaire. Dans une seconde partie, nous analysons les liens entre représentations et réseaux de neurones. Nous proposons une étape d’apprentissage supplémentaire, appelée post-entraînement, qui permet d’améliorer les performances du réseau entraîné, en s’assurant que la dernière couche soit optimale. Puis nous étudions les mécanismes qui rendent possible l’accélération du codage parcimonieux avec des réseaux de neurones. Nous montrons que cela est lié à une factorisation de la matrice de Gram du dictionnaire. Finalement, nous illustrons l’intérêt de l’utilisation des représentations convolutives pour les signaux physiologiques. L’apprentissage de dictionnaire convolutif est utilisé pour résumer des signaux de marche et le mouvement du regard est soustrait de signaux oculométriques avec l’Analyse du Spectre Singulier. / Convolutional representations extract recurrent patterns which lead to the discovery of local structures in a set of signals. They are well suited to analyze physiological signals which requires interpretable representations in order to understand the relevant information. Moreover, these representations can be linked to deep learning models, as a way to bring interpretability intheir internal representations. In this disserta tion, we describe recent advances on both computational and theoretical aspects of these models.First, we show that the Singular Spectrum Analysis can be used to compute convolutional representations. This representation is dense and we describe an automatized procedure to improve its interpretability. Also, we propose an asynchronous algorithm, called DICOD, based on greedy coordinate descent, to solve convolutional sparse coding for long signals. Our algorithm has super-linear acceleration.In a second part, we focus on the link between representations and neural networks. An extra training step for deep learning, called post-training, is introduced to boost the performances of the trained network by making sure the last layer is optimal. Then, we study the mechanisms which allow to accelerate sparse coding algorithms with neural networks. We show that it is linked to afactorization of the Gram matrix of the dictionary.Finally, we illustrate the relevance of convolutional representations for physiological signals. Convolutional dictionary learning is used to summarize human walk signals and Singular Spectrum Analysis is used to remove the gaze movement in young infant’s oculometric recordings.

Ce travail de thèse s’inscrit dans le domaine de l’informatique affective et plus précisément de l’intelligence artificielle et de l’exploration d’architecture. L’objectif de ce travail est de concevoir un système complet de détection des émotions en utilisant des signaux physiologiques. Ce travail se place donc à l’intersection de l’informatique pour la définition d’algorithme de détection des émotions et de l’électronique pour l’élaboration d’une méthodologie d’exploration d’architecture et pour la conception de nœuds de capteurs. Dans un premier temps, des algorithmes de détection multimodale et instantanée des émotions ont été définis. Deux algorithmes de classification KNN puis SVM, ont été implémentés et ont permis d’obtenir un taux de reconnaissance des émotions supérieurs à 80%. Afin de concevoir un tel système alimenté sur pile, un modèle analytique d’estimation de la consommation à haut niveau d’abstraction a été proposé et validé sur une plateforme réelle. Afin de tenir compte des contraintes utilisateurs, un outil de conception et de simulation d’architecture d’objets connectés pour la santé a été développé, permettant ainsi d’évaluer les performances des systèmes avant leur conception. Une architecture logicielle/matérielle pour la collecte et le traitement des données satisfaisant les contraintes applicatives et utilisateurs a ainsi été proposée. Doté de cette architecture, des expérimentations ont été menées pour la Mnémothérapie musicale. EMOTICA est un système complet de détection des émotions utilisant des signaux physiologiques satisfaisant les contraintes d’architecture, d’application et de l’utilisateur. / This thesis work is part of the field of affective computing and more specifically artificial intelligence and architectural exploration. The goal of this work is to design a complete system of emotions detection using physiological signals. This work is therefore situated at the intersection of computer science for the definition of algorithm of detection of emotions and electronics for the development of an architecture exploration methodology for the design of sensor nodes. At first, algorithms for multimodal and instantaneous detection of emotions were defined. Two algorithms of classification KNN then SVM, were implemented and made it possible to obtain a recognition rate of the emotions higher than 80%. To design such a battery-powered system, an analytical model for estimating the power consumption at high level of abstraction has been proposed and validated on a real platform. To consider user constraints, a connected object architecture design and simulation tool for health has been developed, allowing the performance of systems to be evaluated prior to their design. Then, we used this tool to propose a hardware/software architecture for the collection and the processing of the data satisfying the architectural and applicative constraints. With this architecture, experiments have been conducted for musical Mnemotherapy. EMOTICA is a complete system for emotions detection using physiological signals satisfying the constraints of architecture, application and user.

Les éléments principaux apparaissant dans ce document de synthèse sont les suivants : - La mise en exergue de la pertinence du critère d'information $\phi_\beta$ qui offre la possibilité d'être ``réglé'' par apprentissage de $\beta$ et cela quelque soit le problème de sélection de modèles pour lequel il est possible d'écrire un critère d'information, possibilité qui a été illustrée dans divers contextes applicatifs (supports de prédiction linéaire et dimension du modèle utilisé pour les cinétiques de $\dot VO_2$). - Une méthode d'estimation d'histogrammes pour décrire de manière non-paramé-trique la distribution d'échantillons et son utilisation en reconnaissance de lois supervisée dans un contexte de canaux de transmission. \item Une méthode dite ``comparative descendante'' permettant de trouver la meilleure combinaison des paramètres pour décrire les données étudiées sans avoir à tester toutes les combinaisons, illustrée sur l'obtention de supports de prédiction linéaire 1-d et 2-d. - La mise en place de stratégies de choix de modèles par rapport à des contextes variés comme l'imagerie TEP et les lois de mélange de Gauss et de Poisson ou les espaces couleur et les lois de mélange gaussiennes multidimensionnelles. - L'exploration des modèles de prédiction linéaire vectorielle complexe sur les images représentées dans des espaces couleur séparant l'intensité lumineuse de la partie chromatique et l'usage qui peut en être fait en caractérisation de textures afin de les classifier ou de segmenter les images texturées couleur. \item Des apports en segmentation : optimisation d'une méthode de segmentation non-supervisée d'images texturées en niveaux de gris ; une nouvelle méthode supervisée de segmentation d'images texturées couleur exploitant les espaces couleur psychovisuels et les erreurs de prédiction linéaire vectorielle complexe ; prise en compte dans des distributions de Gibbs d'informations géométriques et topologiques sur le champ des régions afin de réaliser de la segmentation 3-d ``haut-niveau'' exploitant le formalisme des processus ponctuels. - L'illustration des méthodes MCMC dans des contextes divers comme l'estimation de paramètres, l'obtention de segmentations 2-d ou 3-d ou la simulation de processus. Et beaucoup d'autres éléments se révèleront à sa lecture ...