Les maladies bucco-dentaires sont fréquemment rapportées en médecine vétérinaire et le traitement généralement nécessite l’extraction des dents. Cependant, la procédure est invasive et une évaluation à long terme ainsi qu’une gestion de la douleur sont nécessaires. En médecine vétérinaire, les opioïdes, les blocs anesthésiques locaux et les anti-inflammatoires non stéroïdiens sont administrés en intervention analgésique péri-opératoire. Par exemple, la buprénorphine est un opioïde analgésique puissant, hautement lipophile, et est principalement utilisé pour traiter la douleur aiguë. La buprénorphine est souvent administrée dans le cadre d'une analgésie multimodale. Les signes comportementaux de la douleur induite par les maladies bucco-dentaires n'ont pas été systématiquement étudiés chez les chats, et les connaissances actuelles sont principalement basées sur des preuves anecdotiques ou des études réalisées chez d'autres espèces. On ignore comment les maladies bucco-dentaires et le traitement (c'est-à-dire l'extraction dentaire) peuvent affecter la prise alimentaire péri-opératoire, les scores de douleur, les besoins analgésiques supplémentaires et les comportements chez les chats. En outre, il serait important de savoir si l’échelle de douleur basée sur l'expression faciale (Feline Grimace Scale: FGS) pourrait également être utilisée pour l'évaluation de la douleur buccale. Les objectifs du projet étaient 1) d'identifier les comportements spécifiques associés aux maladies bucco-dentaires en utilisant une évaluation par vidéo, et de les corréler aux scores de la douleur en temps réel, 2) d'évaluer l'impact des maladies bucco-dentaires et de la douleur sur la prise alimentaire et les comportements liés à l'alimentation, 3) de déterminer les effets du traitement des maladies bucco-dentaires sur le comportement, les scores de la douleur et la prise alimentaire, 4) d’évaluer la fiabilité inter-évaluateurs du FGS et 5) pour évaluer l'efficacité analgésique et les événements indésirables d'une formulation à haute concentration de formulation de chlorhydrate de buprénorphine (Simbadol, 1,8 mg / mL) en comparaison avec une formulation standard de chlorhydrate de buprénorphine (Vetergesic, 0,3 mg / mL) dans le cadre d'un schéma multimodal chez les chats subissant des extractions dentaires. Les hypothèses étaient que 1) des comportements spécifiques pourraient être identifiés et corrélés aux scores de la douleur en temps réel, 2) les chats atteints d'une maladie bucco-dentaire sévère auraient une consommation alimentaire plus faible et des scores de douleur plus élevés et nécessiteraient une analgésie de secours comparativement aux chats qui ne sont pas / minimalement atteints par une maladie bucco-dentaire, 3) le traitement des maladies bucco-dentaires réduirait la prévalence des comportements spécifiques ainsi que les scores de douleur et améliorerait la consommation alimentaire de ces animaux, 4) les scores FGS notés par différents évaluateurs seraient fiables et 5) Simbadol et Vetergesic produiraient tous deux des scores de douleur postopératoire, des événements indésirables, ainsi que le moment et la prévalence de l'analgésie de secours similaires lors de l'utilisation du Glasgow Composite Measure Pain Scale-Feline (CMPS-F). Le projet a été divisé en deux études et quatre articles (étude 1: articles 1 à 3, étude 2: article 4): 1) article sur le score de la douleur, les besoins en analgésie de secours et la quantité de nourriture ingérée chez les chats subissant un traitement oral, 2) article sur les comportements spécifiques induits par la douleur liés à la douleur buccale chez les chats sous traitement oral, 3) article sur la fiabilité inter-évaluateurs de la FGS chez les chats sous traitement oral, et 4) comparaison détaillée de l'efficacité analgésique de deux schémas posologiques en utilisant deux concentrations différentes de buprénorphine chez les chats subissant des extractions dentaires. Dans le premier article, vingt-quatre chats ont été répartis également en deux groupes: un groupe qui représente des maladies bucco-dentaires légères (traitement dentaire minimal) et un autre sévères (extractions dentaires multiples) sur la base d'un système de notation dentaire qui impliquait le nombre et l'emplacement de l'extraction des dents et hospitalisés pendant 7 jours (admission au jour 0, examen bucco-dentaire, radiographies et traitement sous anesthésie générale le jour 1 et sortie le jour 6). Pendant l'hospitalisation, les scores de douleur basés sur l'échelle composite de Glasgow (CMPS-F), la prévalence de l'analgésie de secours (CMPS-F ≥ 5/20), la prise d'aliments secs et mous (%) pendant 3 minutes et 2 heures, l'apport quotidien d'aliments mous et les cytokines inflammatoires sériques ont été analysés. Dans le deuxième article, les chats ont été filmés à distance pendant 10 min tout au long de l'étude à différents moments (au total 36h d'enregistrement vidéo). Les vidéos se composaient de quatre parties soit les comportements généraux, de jeu, d'alimentation et post-alimentation. La durée et la fréquence des différents comportements basés sur un éthogramme ont été analysées. Dans le troixième article, quatre-vingt-onze captures d'images (c'est-à-dire des captures d'écran) à partir de vidéos filmées aux jours 1 (postopératoire 6 heures) et 6 pour l'article 2 et des vidéos filmées avant / après l'analgésie de sauvetage ont été incluses. Le FGS comprend cinq unités d'action (AU): les yeux, les oreilles, le museau, les moustaches et la position de la tête. Les scores FGS des images ont été évalués indépendamment par quatre évaluateurs en aveugle. La fiabilité inter-évaluateurs de chaque score AU et FGS total et l'effet de la présence du soignant ont été évalués. Dans l'étude 2 (article 4), vingt-trois chats subissant des extractions dentaires ont été inclus. Les chats ont reçu aléatoirement soit Simbadol (1.8 mg/mL; 0.24 mg/kg SC, toutes les 24 heures, n = 11) ou Vetergesic (0.3 mg/mL; 0.02 mg/kg IM, toutes les 8 h, n = 12) tout au long de l'étude. Ils ont été admis au jour 0, ont subi un examen oral, des radiographies et un traitement sous anesthésie générale le jour 1 et ont été libérés le jour 4. La sédation et la douleur ont été évaluées à l'aide de l'échelle visuelle analogique interactive dynamique (jour 1) et CMPS-F, respectivement. Les scores de sédation, de douleur et la prévalence de l'analgésie de secours (CMPS-F ≥ 5/20) et du ressentiment (défini comme tout type de comportement d'évitement associé à l'aversion pour l'administration de médicaments) ont été analysés statistiquement. Les études ont montré que les scores de la douleur et la prévalence de l'analgésie de secours étaient significativement élevés, ainsi que les apports d'aliments secs et mous étaient significativement diminués chez les chats atteints d'une maladie grave par rapport à ceux présentant une maladie légère. De surcroit, la maladie buccale influence les cytokines inflammatoires et induit des comportements. Par ailleurs, Le FGS est un outil fiable pour l’évaluation de la douleur buccale et n’est pas affecté par la présence du soignant. En outre, les scores de la douleur et la prévalence de l'analgésie de secours chez les chats auxquels Simbadol a été administré n'étaient pas significativement différents de ceux administrés par Vetergesic. De plus, certains chats administrés par Vetergesic ont développé un ressentiment à l'égard de l'administration du médicament, qui n'était pas significativement différent de ceux administrés par Simbadol. Une analgésie à long terme est nécessaire après des extractions dentaires chez les chats atteints d'une maladie bucco-dentaire sévère. La diminution de l'apport alimentaire et les comportements spécifiques identifiés dans les études pourraient être utilisés pour différencier entre les chats douloureux des chats indolores dans la pratique clinique. Le FGS est un outil fiable pour l'évaluation de la douleur chez les chats subissant des extractions dentaires. Simbadol a produit des effets analgésiques similaires à Vetergesic sans induire un ressentiment pendant l'administration du médicament. / Oral disease is one of the most commonly reported diseases in veterinary medicine, and tooth extractions are commonly required as the treatment. The procedure, however, is invasive, and long-term pain management is necessary. In veterinary medicine, opioids, local anesthetic blocks and nonsteroidal anti-inflammatory drugs are administered as perioperative analgesic intervention. Behavioral signs of oral disease-induced pain have not been systematically investigated in cats, and the current knowledge is mostly based on anecdotal evidence or studies performed in other species. It is not known how oral disease and the treatment (i.e. tooth extractions) can affect perioperative food intake, pain scores, additional analgesic requirements and behaviors in cats. Also, it is not known if a facial expression-based pain scale (Feline Grimace Scale: FGS) could be used for oral pain assessment as well. The objectives of this PhD program were: 1) to identify the specific behaviors associated with oral disease by using video assessment, and to verify their correlation with the real-time pain scores, 2) to assess the impact of oral disease and pain on food intake and feeding-related behaviors, 3) to determine the effects of oral disease treatment on behavior, pain scores and food intake, 4) to assess the inter-rater reliability of the FGS in cats undergoing dental extractions and 5) to evaluate the analgesic efficacy and adverse events of a high-concentration formulation of buprenorphine hydrochloride formulation (Simbadol, 1.8 mg/mL) in comparison with a standard buprenorphine hydrochloride formulation (Vetergesic, 0.3 mg/mL) as part of a multimodal regimen in cats undergoing dental extractions. The hypotheses were: 1) specific behaviors associated with oral disease would be identified and correlated with real-time pain scores, 2) cats with severe oral disease would have lower food intake and higher pain scores, and require rescue analgesia when compared with cats with no/minimal oral disease, 3) treatment of oral disease would reduce the prevalence of specific behaviors and pain scores and improve food consumption of these animals, 4) the FGS scores scored by different raters would be reliable in cats undergoing dental extractions and 5) both Simbadol and Vetergesic would produce similar postoperative pain scores, adverse events and timing and prevalence of rescue analgesia when using the Glasgow Composite Measure Pain Scale-Feline (CMPS-F). The project was divided into two studies and four articles (study 1: articles 1-3, study 2: article 4): 1) investigation of pain scores, rescue analgesia requirements and the amount of food intake in cats undergoing oral treatment, 2) investigation of the pain-induced specific behaviors related to oral pain in cats undergoing oral treatment, 3) investigation of inter-rater reliability of FGS in cats undergoing oral treatment, and 4) comparison of the analgesic efficacy of two dosage regimens using two different concentrations of buprenorphine in cats undergoing dental extractions. In article 1, twenty-four cats were equally divided into minimal (minimal dental treatment) or severe (multiple dental extractions) oral disease groups based on a dental scoring system which involved the number and location of teeth extraction and hospitalized for 7 days (admission on day 0, oral examination, radiographs and treatment under general anesthesia on day 1 and discharge on day 6). During hospitalization, pain scores based on CMPS-F, the prevalence of rescue analgesia (CMPS-F ≥ 5/20), dry and soft food intake (%) during periods of 3 minutes and 2 hours, daily soft food intake and serum inflammatory cytokines were analyzed and compared. In article 2, cats were filmed remotely for 10 min throughout the study at different time points (total of 36h of video recording). The videos consisted of four parts namely general, playing, feeding and post-feeding behaviors. The duration and frequency of different behaviors based on an ethogram were analyzed. In article 3, ninety-one image captures (i.e. screenshots) from videos filmed at days 1 (postoperative 6 hours) and 6 for article 2 and videos filmed before/after rescue analgesia were included. The FGS comprises five action units (AU): eyes, ears, muzzle, whiskers and head position. The FGS scores of the images were independently scored by four blinded raters. Inter-rater reliability of each AU and total FGS scores and the effect of the caregiver’s presence were evaluated. In study 2 (article 4), twenty-three cats undergoing tooth extractions were included. Cats randomly received either Simbadol (1.8 mg/mL; 0.24 mg/kg SC, every 24h, n = 11) or Vetergesic (0.3 mg/mL; 0.02 mg/kg IM, every 8h, n = 12) throughout the study. They were admitted on day 0, underwent oral examination, radiographs and treatment under general anesthesia on day 1 and discharged on day 4. Sedation and pain were scored using the dynamic interactive visual analog scale (day 1) and CMPS-F¬, respectively. Sedation and pain scores and the prevalence of rescue analgesia (CMPS-F ≥ 5/20) and resentment (defined as any type of escape behavior associated with aversion to drug administration) were analyzed. The studies found that the pain scores and the prevalence of rescue analgesia were significantly increased, and dry and soft food intakes were significantly decreased in cats with severe disease when compared with those with minimal disease, and the oral disease influences inflammatory cytokines and induces the specific behaviors. FGS is a reliable tool for the assessment of oral pain and is not affected by the caregiver’s presence. Pain scores and the prevalence of rescue analgesia in cats administered Simbadol were not significantly different from those administered Vetergesic, and some cats administered Vetergesic developed resentment to the administration of the drug, which was not significantly different from those administered Simbadol. Long-term analgesia is required after dental extractions in cats with severe oral disease. A decrease in food intake and specific behaviors identified in the studies could be used to differentiate painful versus pain-free cats in clinical practice. The FGS is a reliable tool for pain assessment in cats undergoing dental extractions. Simbadol produced similar analgesic effects to Vetergesic without resentment during drug administration.

La communication affective est au cœur de nos interactions interpersonnelles. Nous communiquons les émotions à travers de multiples canaux non verbaux. Plusieurs travaux de recherche sur l’interaction homme-machine ont exploité ces modalités de communication afin de concevoir des systèmes permettant de reconnaître et d’afficher automatiquement des signaux affectifs. Le toucher est la modalité la moins explorée dans ce domaine de recherche. L’aspect intrusif des interfaces haptiques actuelles est l’un des principaux obstacles à leur utilisation dans la communication affective médiée. En effet, l’utilisateur est physiquement connecté à des systèmes mécaniques pour recevoir la stimulation. Cette configuration altère la transparence de l’interaction médiée et empêche la perception de certaines dimensions affectives comme la valence. L’objectif de cette thèse est de proposer et d’étudier une technique de stimulation tactile sans contact avec des systèmes mécaniques pour médier des signaux d’affects. Sur la base de l’état de l’art des interfaces haptiques, nous avons proposé une stratégie de stimulation tactile basée sur l’utilisation d’un jet d’air mobile. Cette technique permet de fournir une stimulation tactile non-intrusive sur des zones différentes du corps. De plus, ce dispositif tactile permettrait une stimulation efficace de certains mécanorécepteurs qui jouent un rôle important dans les perceptions d’affects positifs. Nous avons conduit une étude expérimentale pour comprendre les relations entre les caractéristiques physiques de la stimulation tactile par jet d’air et la perception affective des utilisateurs. Les résultats mettent en évidence les effets principaux de l'intensité et de la vitesse du mouvement du jet d’air sur l’évaluation subjective mesurée dans l’espace affectif (à savoir, la valence, l'arousal et de la dominance).La communication des émotions est clairement multimodale. Nous utilisons le toucher conjointement avec d’autres modalités afin de communiquer les différents messages affectifs. C’est dans ce sens que nous avons conduit deux études expérimentales pour examiner la combinaison de la stimulation tactile par jet d’air avec les expressions faciales et vocales pour la perception de la valence. Ces expérimentations ont été conduites dans un cadre théorique et expérimental appelé théorie de l’intégration de l’information. Ce cadre permet de modéliser l’intégration de l’information issue de plusieurs sources en employant une algèbre cognitive. Les résultats de nos travaux suggèrent que la stimulation tactile par jet d’air peut être utilisée pour transmettre des signaux affectifs dans le cadre des interactions homme-machine. Les modèles perceptifs d’intégration bimodales peuvent être exploités pour construire des modèles computationnels permettant d’afficher des affects en combinant la stimulation tactile aux expressions faciales ou à la voix. / Affective communication plays a major role in our interpersonal interactions. We communicate emotions through multiple non-verbal channels. Researches on human-computer interaction have exploited these communication channels in order to design systems that automatically recognize and display emotional signals. Touch has receivers less interest then other non-verbal modalities in this area of research. The intrusive aspect of current haptic interfaces is one of the main obstacles to their use in mediated emotional communication. In fact, the user is must physically connected to mechanical systems to receive the stimulation. This configuration affects the transparency of the mediated interaction and limits the perception of certain emotional dimensions as the Valence. The objective of this thesis is to propose and study a technique for tactile stimulation. This technique does not require contact with mechanical systems to transmit affective signals. On the basis of the state of the art of haptic interfaces, we proposed a strategy of tactile stimulation based on the use of a mobile air jet. This technique provides a non-intrusive tactile stimulation on different areas of the body. In addition, this tactile device would allow effective stimulation of some mechanoreceptors that play an important role in perceptions of positive affect. We conducted an experimental study to understand the relationships between the physical characteristics of tactile stimulation by air jet and the emotional perception of the users. The results highlight the main effects of the intensity and the velocity of movement of the air stream on the subjective evaluation measured in space affective (namely, Valence, Arousal and Dominance).The communication of emotions is clearly multi-modal. We use touch jointly with other modalities to communicate different emotional messages. We conducted two experimental studies to examine the combination of air jet tactile stimulation with facial and vocal expressions for perception of the valence. These experiments were conducted in a theoretical and experimental framework called integration of information theory. This framework allows modelling the integration of information from multiple sources using a cognitive algebra. Our work suggests that tactile stimulation by air jet can be used to transmit emotional signals in the context of the human-machine interactions. Perceptual bimodal integration models can be exploited to build computational models to display affects by combining tactile stimulation to facial expressions or the voice.

Les micro-expressions sont des expressions faciales brèves et subtiles qui apparaissent et disparaissent en une fraction de seconde. Ce type d'expressions reflèterait "l'intention réelle" de l'être humain. Elles ont été étudiées pour mieux comprendre les communications non verbales et dans un contexte médicale lorsqu'il devient presque impossible d'engager une conversation ou d'essayer de traduire les émotions du visage ou le langage corporel d'un patient. Cependant, détecter et reconnaître les micro-expressions est une tâche difficile pour l'homme. Il peut donc être pertinent de développer des systèmes d'aide à la communication exploitant les micro-expressions. De nombreux travaux ont été réalisés dans les domaines de l'informatique affective et de la vision par ordinateur pour analyser les micro-expressions, mais une grande majorité de ces méthodes repose essentiellement sur des méthodes de vision par ordinateur classiques telles que les motifs binaires locaux, les histogrammes de gradients orientés et le flux optique. Étant donné que ce domaine de recherche est relativement nouveau, d'autres pistes restent à explorer. Dans cette thèse, nous présentons une nouvelle méthodologie pour l'analyse des petits mouvements (que nous appellerons par la suite mouvements subtils) et des micro-expressions. Nous proposons d'utiliser la pyramide de Riesz, une approximation multi-échelle et directionnelle de la transformation de Riesz qui a été utilisée pour l'amplification du mouvement dans les vidéos à l'aide de l'estimation de la phase 2D locale. Pour l'étape générale d'analyse de mouvements subtils, nous transformons une séquence d'images avec la pyramide de Riesz, extrayons et filtrons les variations de phase de l'image. Ces variations de phase sont en lien avec le mouvement. De plus, nous isolons les régions d'intérêt où des mouvements subtils pourraient avoir lieu en masquant les zones de bruit à l'aide de l'amplitude locale. La séquence d'image est transformée en un signal ID utilisé pour l'analyse temporelle et la détection de mouvement subtils. Nous avons créé notre propre base de données de séquences de mouvements subtils pour tester notre méthode. Pour l'étape de détection de micro-expressions, nous adaptons la méthode précédente au traitement de certaines régions d'intérêt du visage. Nous développons également une méthode heuristique pour détecter les micro-événements faciaux qui sépare les micro-expressions réelles des clignotements et des mouvements subtils des yeux. Pour la classification des micro-expressions, nous exploitons l'invariance, sur de courtes durées, de l'orientation dominante issue de la transformation de Riesz afin de moyenner la séquence d'une micro-expression en une paire d'images. A partir de ces images, nous définissons le descripteur MORF (Mean Oriented Riesz Feature) constitué d'histogrammes d'orientation. Les performances de nos méthodes sont évaluées à l'aide de deux bases de données de micro-expressions spontanées. / Micro-expressions are brief and subtle facial expressions that go on and off the face in a fraction of a second. This kind of facial expressions usually occurs in high stake situations and is considered to reflect a humans real intent. They have been studied to better understand non-verbal communications and in medical applications where is almost impossible to engage in a conversation or try to read the facial emotions or body language of a patient. There has been some interest works in micro-expression analysis, however, a great majority of these methods are based on classically established computer vision methods such as local binary patterns, histogram of gradients and optical flow. Considering the fact that this area of research is relatively new, much contributions remains to be made. ln this thesis, we present a novel methodology for subtle motion and micro-expression analysis. We propose to use the Riesz pyramid, a multi-scale steerable Hilbert transformer which has been used for 2-D phase representation and video amplification, as the basis for our methodology. For the general subtle motion analysis step, we transform an image sequence with the Riesz pyramid, extract and lifter the image phase variations as proxies for motion. Furthermore, we isolate regions of intcrcst where subtle motion might take place and mask noisy areas by thresholding the local amplitude. The total sequence is transformed into a ID signal which is used fo temporal analysis and subtle motion spotting. We create our own database of subtle motion sequences to test our method. For the micro-expression spotting step, we adapt the previous method to process some facial regions of interest. We also develop a heuristic method to detect facial micro-events that separates real micro-expressions from eye blinkings and subtle eye movements. For the micro-expression classification step, we exploit the dominant orientation constancy fom the Riesz transform to average the micro-expression sequence into an image pair. Based on that, we introduce the Mean Oriented Riesz Feature descriptor. The accuracy of our methods are tested in Iwo spontaneous micro-expressions databases. Furthermore, wc analyse the parameter variations and their effect in our results.

Facial expression recognition (FER) is still a challenging concept, and machines struggle to comprehend effectively the dynamic shifts in facial expressions of human emotions. The existing systems, which have proven to be effective, consist of deeper network structures that need powerful and expensive hardware. The deeper the network is, the longer the training and the testing. Many systems use expensive GPUs to make the process faster. To remedy the above challenges while maintaining the main goal of improving the accuracy rate of the recognition, we create a generic hierarchical structure with variable settings. This generic structure has a hierarchy of three convolutional blocks, two dropout blocks and one fully connected block. From this generic structure we derived four different network structures to be investigated according to their performances. From each network structure case, we again derived six network structures in relation to the variable parameters. The variable parameters under analysis are the size of the filters of the convolutional maps and the max-pooling as well as the number of convolutional maps. In total, we have 24 network structures to investigate, and six network structures per case. After simulations, the results achieved after many repeated experiments showed in the group of case 1; case 1a emerged as the top performer of that group, and case 2a, case 3c and case 4c outperformed others in their respective groups. The comparison of the winners of the 4 groups indicates that case 2a is the optimal structure with optimal parameters; case 2a network structure outperformed other group winners. Considerations were done when choosing the best network structure, considerations were; minimum accuracy, average accuracy and maximum accuracy after 15 times of repeated training and analysis of results. All 24 proposed network structures were tested using two of the most used FER datasets, the CK+ and the JAFFE. After repeated simulations the results demonstrate that our inexpensive optimal network architecture achieved 98.11 % accuracy using the CK+ dataset. We also tested our optimal network architecture with the JAFFE dataset, the experimental results show 84.38 % by using just a standard CPU and easier procedures. We also compared the four group winners with other existing FER models performances recorded recently in two studies. These FER models used the same two datasets, the CK+ and the JAFFE. Three of our four group winners (case 1a, case 2a and case 4c) recorded only 1.22 % less than the accuracy of the top performer model when using the CK+ dataset, and two of our network structures, case 2a and case 3c came in third, beating other models when using the JAFFE dataset. / Electrical and Mining Engineering

In this paper an analysis is conducted regarding whether a higher classification accuracy of facial expressions are possible. The approach used is that the seven basic emotional states are combined into a binary classification problem. Five different machine learning algorithms are implemented: Support vector machines, Extreme learning Machine and three different Convolutional Neural Networks (CNN). The utilized CNN:S were one conventional, one based on VGG16 and transfer learning and one based on residual theory known as RESNET50. The experiment was conducted on two datasets, one small containing no contamination called JAFFE and one big containing contamination called FER2013. The highest accuracy was achieved with the CNN:s where RESNET50 had the highest classification accuracy. When comparing the classification accuracy with the state of the art accuracy an improvement of around 0.09 was achieved on the FER2013 dataset. This dataset does however include some ambiguities regarding what facial expression is shown. It would henceforth be of interest to conduct an experiment where humans classify the facial expressions in the dataset in order to achieve a benchmark.

In this thesis, we aim at modeling some aspects of the functional role of emotions on an autonomous embodied agent. We begin by describing our robotic prototype, Cherry--a robot with the task of being a tour guide and an office assistant for the Computer Science Department at the University of Central Florida. Cherry did not have a formal emotion representation of internal states, but did have the ability to express emotions through her multimodal interface. The thesis presents the results of a survey we performed via our social informatics approach where we found that: (1) the idea of having emotions in a robot was warmly accepted by Cherry's users, and (2) the intended users were pleased with our initial interface design and functionalities. Guided by these results, we transferred our previous code to a human-height and more robust robot--Petra, the PeopleBot™--where we began to build a formal emotion mechanism and representation for internal states to correspond to the external expressions of Cherry's interface. We describe our overall three-layered architecture, and propose the design of the sensory motor level (the first layer of the three-layered architecture) inspired by the Multilevel Process Theory of Emotion on one hand, and hybrid robotic architecture on the other hand. The sensory-motor level receives and processes incoming stimuli with fuzzy logic and produces emotion-like states without any further willful planning or learning. We will discuss how Petra has been equipped with sonar and vision for obstacle avoidance as well as vision for face recognition, which are used when she roams around the hallway to engage in social interactions with humans. We hope that the sensory motor level in Petra could serve as a foundation for further works in modeling the three-layered architecture of the Emotion State Generator.

L’expression faciale est un vecteur de communication important dans l’expérience de douleur. Cependant, les corrélats neuronaux associés à cette manifestation de la douleur demeurent peu investigués. Le but de ce mémoire était de développer un modèle neurobiologique permettant de prédire l’expression faciale évoquée par des stimuli douloureux afin d’approfondir nos connaissances sur les mécanismes cérébraux de la douleur et de la communication non verbale. La signature cérébrale de l’expression faciale de la douleur a été élaborée sur un jeu de données d’IRMf acquis chez des adultes en santé en utilisant des algorithmes d’apprentissage machine pour prédire des scores d’expression faciale évoquée par des stimulations douloureuses phasiques (c.-à-d. de courtes stimulations) à l’échelle de la population. Les résultats suggèrent qu’il est possible de prédire ces réponses faciales à partir d’un patron d’activation multivoxels. Cette signature cérébrale se distingue, du moins partiellement, de signatures cérébrales prédictives de l’intensité et du caractère déplaisant de la douleur rapportée et de la valeur future de la douleur. Bien que d’autres études soient nécessaires pour examiner la spécificité et la généralisabilité de la signature cérébrale de l’expression faciale de la douleur, ce mémoire souligne l’existence d’une représentation cérébrale spatialement distribuée prédictive des réponses faciales en lien avec la douleur, et suggère l’importance de cette mesure comportementale dans l’expérience de la douleur comme étant complémentaire aux mesures autorapportées de l’intensité perçue. / Facial expression is an important communication vector in the experience of pain. However, the neural correlates associated with this manifestation of pain remain relatively unexplored. The goal of this thesis was to develop a neurobiological model to predict facial expression evoked by painful stimuli in order to expand our knowledge of the brain mechanisms of pain and non-verbal communication. The brain signature of facial expressions of pain was developed on a dataset including healthy adults using machine learning algorithms to predict facial expression scores evoked by phasic painful stimuli (i.e., short stimulation) at the population level. The results suggest that it is possible to predict the facial expression of pain from a multivoxel activation pattern. This brain signature of facial pain expression is at least partially distinct from other brain signatures predictive of reported pain intensity and unpleasantness, and future pain value. Although further studies are needed to examine the specificity and generalizability of the brain signature of facial expression of pain, this master thesis highlights the existence of a spatially distributed brain representation predictive of pain-related facial responses, and suggests the importance of this behavioural measure in the experience of pain as complementary to self-reported measures of pain intensity.

This essay is a qualitative study that analyzes how close-ups and point of view in relation to the narrative affect the viewer emotionally in the TV show The Last of Us episode 8. It examines the visualization of the character Ellie’s emotions and analyzes its emotional effect on the viewer. The theories applied explain the human ability to feel empathy and social cognition, film’s ability to evoke emotion and the concept of focalization. The theories also define the terms: narrative, point of view and close-ups. Five scenes were chosen and each scene was analyzed closely looking at facial expressions, point of view, camera movement, angles and more. Since this is a qualitative study it is based on subjective interpretations and assumptions which should be taken into account. However emotions are exceedingly subjective and a quantitative study would therefore be unmotivated.  The results suggest that assumptions can be made in how close-ups and point of view affect the viewer emotionally. When taken narrative into account, close-ups and point of view visualized the character Ellie’s emotions. These two techniques clarified and reinforced the character’s emotional state which, through the human ability to feel social cognition and empathy, transferred and/or influenced the viewer’s emotions.

Lors d'une intervention conversationnelle, le langage est supporté par une communication non-verbale qui joue un rôle central dans le comportement social humain en permettant de la rétroaction et en gérant la synchronisation, appuyant ainsi le contenu et la signification du discours. En effet, 55% du message est véhiculé par les expressions faciales, alors que seulement 7% est dû au message linguistique et 38% au paralangage. L'information concernant l'état émotionnel d'une personne est généralement inférée par les attributs faciaux. Cependant, on ne dispose pas vraiment d'instruments de mesure spécifiquement dédiés à ce type de comportements. En vision par ordinateur, on s'intéresse davantage au développement de systèmes d'analyse automatique des expressions faciales prototypiques pour les applications d'interaction homme-machine, d'analyse de vidéos de réunions, de sécurité, et même pour des applications cliniques. Dans la présente recherche, pour appréhender de tels indicateurs observables, nous essayons d'implanter un système capable de construire une source consistante et relativement exhaustive d'informations visuelles, lequel sera capable de distinguer sur un visage les traits et leurs déformations, permettant ainsi de reconnaître la présence ou absence d'une action faciale particulière. Une réflexion sur les techniques recensées nous a amené à explorer deux différentes approches. La première concerne l'aspect apparence dans lequel on se sert de l'orientation des gradients pour dégager une représentation dense des attributs faciaux. Hormis la représentation faciale, la principale difficulté d'un système, qui se veut être général, est la mise en œuvre d'un modèle générique indépendamment de l'identité de la personne, de la géométrie et de la taille des visages. La démarche qu'on propose repose sur l'élaboration d'un référentiel prototypique à partir d'un recalage par SIFT-flow dont on démontre, dans cette thèse, la supériorité par rapport à un alignement conventionnel utilisant la position des yeux. Dans une deuxième approche, on fait appel à un modèle géométrique à travers lequel les primitives faciales sont représentées par un filtrage de Gabor. Motivé par le fait que les expressions faciales sont non seulement ambigües et incohérentes d'une personne à une autre mais aussi dépendantes du contexte lui-même, à travers cette approche, on présente un système personnalisé de reconnaissance d'expressions faciales, dont la performance globale dépend directement de la performance du suivi d'un ensemble de points caractéristiques du visage. Ce suivi est effectué par une forme modifiée d'une technique d'estimation de disparité faisant intervenir la phase de Gabor. Dans cette thèse, on propose une redéfinition de la mesure de confiance et introduisons une procédure itérative et conditionnelle d'estimation du déplacement qui offrent un suivi plus robuste que les méthodes originales. / In a face-to-face talk, language is supported by nonverbal communication, which plays a central role in human social behavior by adding cues to the meaning of speech, providing feedback, and managing synchronization. Information about the emotional state of a person is usually carried out by facial attributes. In fact, 55% of a message is communicated by facial expressions whereas only 7% is due to linguistic language and 38% to paralanguage. However, there are currently no established instruments to measure such behavior. The computer vision community is therefore interested in the development of automated techniques for prototypic facial expression analysis, for human computer interaction applications, meeting video analysis, security and clinical applications. For gathering observable cues, we try to design, in this research, a framework that can build a relatively comprehensive source of visual information, which will be able to distinguish the facial deformations, thus allowing to point out the presence or absence of a particular facial action. A detailed review of identified techniques led us to explore two different approaches. The first approach involves appearance modeling, in which we use the gradient orientations to generate a dense representation of facial attributes. Besides the facial representation problem, the main difficulty of a system, which is intended to be general, is the implementation of a generic model independent of individual identity, face geometry and size. We therefore introduce a concept of prototypic referential mapping through a SIFT-flow registration that demonstrates, in this thesis, its superiority to the conventional eyes-based alignment. In a second approach, we use a geometric model through which the facial primitives are represented by Gabor filtering. Motivated by the fact that facial expressions are not only ambiguous and inconsistent across human but also dependent on the behavioral context; in this approach, we present a personalized facial expression recognition system whose overall performance is directly related to the localization performance of a set of facial fiducial points. These points are tracked through a sequence of video frames by a modification of a fast Gabor phase-based disparity estimation technique. In this thesis, we revisit the confidence measure, and introduce an iterative conditional procedure for displacement estimation that improves the robustness of the original methods.

Les techniques d'analyse du visage nécessitent généralement une représentation pertinente des images, notamment en passant par des techniques de réduction de la dimension, intégrées dans des schémas plus globaux, et qui visent à capturer les caractéristiques discriminantes des signaux. Dans cette thèse, nous fournissons d'abord une vue générale sur l'état de l'art de ces modèles, puis nous appliquons une nouvelle méthode intégrant une approche non-linéaire, Kernel Similarity Principle Component Analysis (KS-PCA), aux Modèles Actifs d'Apparence (AAMs), pour modéliser l'apparence d'un visage dans des conditions d'illumination variables. L'algorithme proposé améliore notablement les résultats obtenus par l'utilisation d'une transformation PCA linéaire traditionnelle, que ce soit pour la capture des caractéristiques saillantes, produites par les variations d'illumination, ou pour la reconstruction des visages. Nous considérons aussi le problème de la classification automatiquement des poses des visages pour différentes vues et différentes illumination, avec occlusion et bruit. Basé sur les méthodes des représentations parcimonieuses, nous proposons deux cadres d'apprentissage de dictionnaire pour ce problème. Une première méthode vise la classification de poses à l'aide d'une représentation parcimonieuse active (Active Sparse Representation ASRC). En fait, un dictionnaire est construit grâce à un modèle linéaire, l'Incremental Principle Component Analysis (Incremental PCA), qui a tendance à diminuer la redondance intra-classe qui peut affecter la performance de la classification, tout en gardant la redondance inter-classes, qui elle, est critique pour les représentations parcimonieuses. La seconde approche proposée est un modèle des représentations parcimonieuses basé sur le Dictionary-Learning Sparse Representation (DLSR), qui cherche à intégrer la prise en compte du critère de la classification dans le processus d'apprentissage du dictionnaire. Nous faisons appel dans cette partie à l'algorithme K-SVD. Nos résultats expérimentaux montrent la performance de ces deux méthodes d'apprentissage de dictionnaire. Enfin, nous proposons un nouveau schéma pour l'apprentissage de dictionnaire adapté à la normalisation de l'illumination (Dictionary Learning for Illumination Normalization: DLIN). L'approche ici consiste à construire une paire de dictionnaires avec une représentation parcimonieuse. Ces dictionnaires sont construits respectivement à partir de visages illuminées normalement et irrégulièrement, puis optimisés de manière conjointe. Nous utilisons un modèle de mixture de Gaussiennes (GMM) pour augmenter la capacité à modéliser des données avec des distributions plus complexes. Les résultats expérimentaux démontrent l'efficacité de notre approche pour la normalisation d'illumination. / Face analysis techniques commonly require a proper representation of images by means of dimensionality reduction leading to embedded manifolds, which aims at capturing relevant characteristics of the signals. In this thesis, we first provide a comprehensive survey on the state of the art of embedded manifold models. Then, we introduce a novel non-linear embedding method, the Kernel Similarity Principal Component Analysis (KS-PCA), into Active Appearance Models, in order to model face appearances under variable illumination. The proposed algorithm successfully outperforms the traditional linear PCA transform to capture the salient features generated by different illuminations, and reconstruct the illuminated faces with high accuracy. We also consider the problem of automatically classifying human face poses from face views with varying illumination, as well as occlusion and noise. Based on the sparse representation methods, we propose two dictionary-learning frameworks for this pose classification problem. The first framework is the Adaptive Sparse Representation pose Classification (ASRC). It trains the dictionary via a linear model called Incremental Principal Component Analysis (Incremental PCA), tending to decrease the intra-class redundancy which may affect the classification performance, while keeping the extra-class redundancy which is critical for sparse representation. The other proposed work is the Dictionary-Learning Sparse Representation model (DLSR) that learns the dictionary with the aim of coinciding with the classification criterion. This training goal is achieved by the K-SVD algorithm. In a series of experiments, we show the performance of the two dictionary-learning methods which are respectively based on a linear transform and a sparse representation model. Besides, we propose a novel Dictionary Learning framework for Illumination Normalization (DL-IN). DL-IN based on sparse representation in terms of coupled dictionaries. The dictionary pairs are jointly optimized from normally illuminated and irregularly illuminated face image pairs. We further utilize a Gaussian Mixture Model (GMM) to enhance the framework's capability of modeling data under complex distribution. The GMM adapt each model to a part of the samples and then fuse them together. Experimental results demonstrate the effectiveness of the sparsity as a prior for patch-based illumination normalization for face images.