No description available.

Les micro-expressions sont des expressions faciales brèves et subtiles qui apparaissent et disparaissent en une fraction de seconde. Ce type d'expressions reflèterait "l'intention réelle" de l'être humain. Elles ont été étudiées pour mieux comprendre les communications non verbales et dans un contexte médicale lorsqu'il devient presque impossible d'engager une conversation ou d'essayer de traduire les émotions du visage ou le langage corporel d'un patient. Cependant, détecter et reconnaître les micro-expressions est une tâche difficile pour l'homme. Il peut donc être pertinent de développer des systèmes d'aide à la communication exploitant les micro-expressions. De nombreux travaux ont été réalisés dans les domaines de l'informatique affective et de la vision par ordinateur pour analyser les micro-expressions, mais une grande majorité de ces méthodes repose essentiellement sur des méthodes de vision par ordinateur classiques telles que les motifs binaires locaux, les histogrammes de gradients orientés et le flux optique. Étant donné que ce domaine de recherche est relativement nouveau, d'autres pistes restent à explorer. Dans cette thèse, nous présentons une nouvelle méthodologie pour l'analyse des petits mouvements (que nous appellerons par la suite mouvements subtils) et des micro-expressions. Nous proposons d'utiliser la pyramide de Riesz, une approximation multi-échelle et directionnelle de la transformation de Riesz qui a été utilisée pour l'amplification du mouvement dans les vidéos à l'aide de l'estimation de la phase 2D locale. Pour l'étape générale d'analyse de mouvements subtils, nous transformons une séquence d'images avec la pyramide de Riesz, extrayons et filtrons les variations de phase de l'image. Ces variations de phase sont en lien avec le mouvement. De plus, nous isolons les régions d'intérêt où des mouvements subtils pourraient avoir lieu en masquant les zones de bruit à l'aide de l'amplitude locale. La séquence d'image est transformée en un signal ID utilisé pour l'analyse temporelle et la détection de mouvement subtils. Nous avons créé notre propre base de données de séquences de mouvements subtils pour tester notre méthode. Pour l'étape de détection de micro-expressions, nous adaptons la méthode précédente au traitement de certaines régions d'intérêt du visage. Nous développons également une méthode heuristique pour détecter les micro-événements faciaux qui sépare les micro-expressions réelles des clignotements et des mouvements subtils des yeux. Pour la classification des micro-expressions, nous exploitons l'invariance, sur de courtes durées, de l'orientation dominante issue de la transformation de Riesz afin de moyenner la séquence d'une micro-expression en une paire d'images. A partir de ces images, nous définissons le descripteur MORF (Mean Oriented Riesz Feature) constitué d'histogrammes d'orientation. Les performances de nos méthodes sont évaluées à l'aide de deux bases de données de micro-expressions spontanées. / Micro-expressions are brief and subtle facial expressions that go on and off the face in a fraction of a second. This kind of facial expressions usually occurs in high stake situations and is considered to reflect a humans real intent. They have been studied to better understand non-verbal communications and in medical applications where is almost impossible to engage in a conversation or try to read the facial emotions or body language of a patient. There has been some interest works in micro-expression analysis, however, a great majority of these methods are based on classically established computer vision methods such as local binary patterns, histogram of gradients and optical flow. Considering the fact that this area of research is relatively new, much contributions remains to be made. ln this thesis, we present a novel methodology for subtle motion and micro-expression analysis. We propose to use the Riesz pyramid, a multi-scale steerable Hilbert transformer which has been used for 2-D phase representation and video amplification, as the basis for our methodology. For the general subtle motion analysis step, we transform an image sequence with the Riesz pyramid, extract and lifter the image phase variations as proxies for motion. Furthermore, we isolate regions of intcrcst where subtle motion might take place and mask noisy areas by thresholding the local amplitude. The total sequence is transformed into a ID signal which is used fo temporal analysis and subtle motion spotting. We create our own database of subtle motion sequences to test our method. For the micro-expression spotting step, we adapt the previous method to process some facial regions of interest. We also develop a heuristic method to detect facial micro-events that separates real micro-expressions from eye blinkings and subtle eye movements. For the micro-expression classification step, we exploit the dominant orientation constancy fom the Riesz transform to average the micro-expression sequence into an image pair. Based on that, we introduce the Mean Oriented Riesz Feature descriptor. The accuracy of our methods are tested in Iwo spontaneous micro-expressions databases. Furthermore, wc analyse the parameter variations and their effect in our results.

La presente investigación tiene como propósito demostrar cuáles de los elementos del marketing mix (producto, precio, plaza y promoción) son los factores que influyen en la compra de cosméticos faciales de las mujeres de Lima Metropolitana. De esta manera, se espera que los resultados de este estudio contribuyan al entendimiento de las reales motivaciones de compra de las consumidoras de cosméticos faciales, lo cual permita a las empresas del rubro y emprendimientos peruanos mejorar su estrategia de marketing e innovar en sus acciones. Se ha utilizado la metodología descriptiva correlacional mediante la realización de encuestas con una muestra de 400 mujeres de Lima Metropolitana. Para ello, se ha dividido en grupos de edades de 15 a 24, 25 a 34, 35 a 44 y 45 a 54 años, basándose en las generaciones establecidas y las preferencias de cada una. La herramienta estadística utilizada es SPSS. Asimismo, como sustento de esta indagación, se ha considerado un estudio previo denominado: “Factores que afectan la intención de compra de cosméticos faciales de los consumidores chinos (2017)”. El resultado principal de la investigación es que la promoción es el principal factor influyente en la toma de decisiones. Además, sistematizadas las muestras, se identificó que no todos los elementos del marketing mix y sobre todo los elementos de la promoción son similares para efectuar una compra de maquillaje facial, puesto que el comportamiento de las mujeres es diferente por grupos de edades, según sus gustos y preferencias, las tendencias que siguen y experiencias de vida. / The purpose of this research is to demonstrate which of the elements of the marketing mix (product, price, place and promotion) are the factors that influence the purchase of facial cosmetics for women in Metropolitan Lima. In this way, it is hoped that the results of this study will contribute to the understanding of the real purchasing motivations of consumers of facial cosmetics, which will allow Peruvian companies and enterprises to improve their marketing strategy and innovate in their actions. The correlational descriptive methodology has been used by conducting surveys with a sample of 400 women from Metropolitan Lima. To do this, it has been divided into age groups of 15 to 24, 25 to 34, 35 to 44 and 45 to 54 years, based on the established generations and the preferences of each one. The statistical tool used is SPSS. Likewise, as a support for the research, a previous study called: "Factors that affect the purchase intention of facial cosmetics of Chinese consumers (2017)" has been considered. The main result of the research is that promotion is the main influencing factor in decision making. In addition, when the samples were systematized, it was identified that not all the elements of the marketing mix and especially the elements of communication are similar for making a purchase of facial makeup, since the behavior of women is different by age group, according to their tastes and preferences, trends that follow and life experiences / Tesis

El progreso de la Inteligencia Artificial (IA) ha sido notable en los últimos años. Los impresionantes avances en imitar las capacidades humanas por parte de las máquinas se deben especialmente al campo del Deep Learning (DL). Este paradigma evita el complejo diseño manual de características. En su lugar, los datos pasan directamente a un algoritmo, que aprende a extraer y representar características jerárquicamente en múltiples capas a medida que aprende a resolver una tarea. Esto ha demostrado ser ideal para problemas relacionados con el mundo visual. Una solución de DL comprende datos y un modelo. La mayor parte de la investigación actual se centra en los modelos, en busca de mejores algoritmos. Sin embargo, aunque se prueben diferentes arquitecturas y configuraciones, difícilmente mejorará el rendimiento si los datos no son de buena calidad. Son escasos los estudios que se centran en mejorar los datos, pese a que constituyen el principal recurso para el aprendizaje automático. La recolección y el etiquetado de extensos datasets de imágenes consumen mucho tiempo, esfuerzo e introducen errores. La mala clasificación, la presencia de imágenes irrelevantes, el desequilibrio de las clases y la falta de representatividad del mundo real son problemas ampliamente conocidos que afectan el rendimiento de los modelos en escenarios prácticos. Nuestra propuesta enfrenta estos problemas a través de un enfoque data-centric. A través de la ingeniería del dataset original utilizando técnicas de DL, lo hacemos más adecuado para entrenar un modelo con mejor rendimiento y generalización en escenarios reales. Para demostrar esta hipótesis, consideramos dos casos prácticos que se han convertido en temas de creciente interés para la investigación. Por una parte, Internet es la plataforma mundial de comunicación y la Web es la principal fuente de información para las actividades humanas. Las páginas Web crecen a cada segundo y son cada vez más sofisticadas. Para organizar este complejo y vasto contenido, la clasificación es la técnica básica. El aspecto visual de una página Web puede ser una alternativa al análisis textual del código para distinguir entre categorías. Abordamos el reconocimiento y la clasificación de páginas Web creando un dataset de capturas de pantalla apropiado desde cero. Por otro lado, aunque los avances de la IA son significativos en el aspecto cognitivo, la parte emocional de las personas es un desafío. La expresión facial es la mejor evidencia para manifestar y transmitir nuestras emociones. Aunque algunos datasets de imágenes faciales existen para entrenar modelos de DL, no ha sido posible alcanzar el alto rendimiento en entornos controlados utilizando datasets in-the-lab. Abordamos el reconocimiento y la clasificación de emociones humanas mediante la combinación de varios datasets in-the wild de imágenes faciales. Estas dos problemáticas plantean situaciones distintas y requieren de imágenes con contenido muy diferente, por lo que hemos diseñado un método de refinamiento del dataset según el caso de estudio. En el primer caso, implementamos un modelo de DL para clasificar páginas Web en determinadas categorías utilizando únicamente capturas de pantalla, donde los resultados demostraron un problema multiclase muy difícil. Tratamos el mismo problema con la estrategia One vs. Rest y mejoramos el dataset mediante reclasificación, detección de imágenes irrelevantes, equilibrio y representatividad, además de utilizar técnicas de regularización y un nuevo mecanismo de predicción con los clasificadores binarios. Estos clasificadores operando por separado mejoran el rendimiento, en promedio incrementan un 26.29% la precisión de validación y disminuyen un 42.30% el sobreajuste, mostrando importantes mejoras respecto al clasificador múltiple que opera con todas las categorías juntas. Utilizando el nuevo modelo, hemos desarrollado un sistema en línea para clasificar páginas Web que puede ayudar a diseñadores, propietarios de sitios Web, Webmasters y usuarios en general. En el segundo caso, la estrategia consiste en refinar progresivamente el dataset de imágenes faciales mediante varios entrenamientos sucesivos de un modelo de red convolucional. En cada entrenamiento, se utilizan las imágenes faciales correspondientes a las predicciones correctas del entrenamiento anterior, lo que permite al modelo captar más características distintivas de cada clase de emoción. Tras el último entrenamiento, el modelo realiza una reclasificación automática de todo el dataset. Este proceso también nos permite detectar las imágenes irrelevantes, pero nuestro propósito es mejorar el dataset sin modificar, borrar o aumentar las imágenes, a diferencia de otros trabajos similares. Los resultados experimentales en tres datasets representativos demostraron la eficacia del método propuesto, mejorando la precisión de validación en un 20.45%, 14.47% y 39.66%, para FER2013, NHFI y AffectNet, respectivamente. Las tasas de reconocimiento en las versiones reclasificadas de estos datasets son del 86.71%, el 70.44% y el 89.17%, que alcanzan el estado del arte. Combinamos estas versiones mejor clasificadas para aumentar el número de imágenes y enriquecer la diversidad de personas, gestos y atributos de resolución, color, fondo, iluminación y formato de imagen. El dataset resultante se utiliza para entrenar un modelo más general. Frente a la necesidad de métricas más realistas de la generalización de los modelos, creamos un dataset evaluador combinado, equilibrado, imparcial y bien etiquetado. Para tal fin, organizamos este dataset en categorías de género, edad y etnia. Utilizando un predictor de estas características representativas de la población, podemos seleccionar el mismo número de imágenes y mediante el exitoso modelo Stable Diffusion es posible generar las imágenes faciales necesarias para equilibrar las categorías creadas a partir de las mencionadas características. Los experimentos single-dataset y cross-dataset indican que el modelo entrenado en el dataset combinado mejora la generalización de los modelos entrenados individualmente en FER2013, NHFI y AffectNet en un 13.93%, 24.17% y 7.45%, respectivamente. Desarrollamos un sistema en línea de reconocimiento de emociones que aprovecha el modelo más genérico obtenido del dataset combinado. Por último, la buena calidad de las imágenes faciales sintéticas y la reducción de tiempo conseguida con el método generativo nos motivan para crear el primer y mayor dataset artificial de emociones categóricas. Este producto de libre acceso puede complementar los datasets reales, que son difíciles de recopilar, etiquetar, equilibrar, controlar las características y proteger la identidad de las personas.

Lors d'une intervention conversationnelle, le langage est supporté par une communication non-verbale qui joue un rôle central dans le comportement social humain en permettant de la rétroaction et en gérant la synchronisation, appuyant ainsi le contenu et la signification du discours. En effet, 55% du message est véhiculé par les expressions faciales, alors que seulement 7% est dû au message linguistique et 38% au paralangage. L'information concernant l'état émotionnel d'une personne est généralement inférée par les attributs faciaux. Cependant, on ne dispose pas vraiment d'instruments de mesure spécifiquement dédiés à ce type de comportements. En vision par ordinateur, on s'intéresse davantage au développement de systèmes d'analyse automatique des expressions faciales prototypiques pour les applications d'interaction homme-machine, d'analyse de vidéos de réunions, de sécurité, et même pour des applications cliniques. Dans la présente recherche, pour appréhender de tels indicateurs observables, nous essayons d'implanter un système capable de construire une source consistante et relativement exhaustive d'informations visuelles, lequel sera capable de distinguer sur un visage les traits et leurs déformations, permettant ainsi de reconnaître la présence ou absence d'une action faciale particulière. Une réflexion sur les techniques recensées nous a amené à explorer deux différentes approches. La première concerne l'aspect apparence dans lequel on se sert de l'orientation des gradients pour dégager une représentation dense des attributs faciaux. Hormis la représentation faciale, la principale difficulté d'un système, qui se veut être général, est la mise en œuvre d'un modèle générique indépendamment de l'identité de la personne, de la géométrie et de la taille des visages. La démarche qu'on propose repose sur l'élaboration d'un référentiel prototypique à partir d'un recalage par SIFT-flow dont on démontre, dans cette thèse, la supériorité par rapport à un alignement conventionnel utilisant la position des yeux. Dans une deuxième approche, on fait appel à un modèle géométrique à travers lequel les primitives faciales sont représentées par un filtrage de Gabor. Motivé par le fait que les expressions faciales sont non seulement ambigües et incohérentes d'une personne à une autre mais aussi dépendantes du contexte lui-même, à travers cette approche, on présente un système personnalisé de reconnaissance d'expressions faciales, dont la performance globale dépend directement de la performance du suivi d'un ensemble de points caractéristiques du visage. Ce suivi est effectué par une forme modifiée d'une technique d'estimation de disparité faisant intervenir la phase de Gabor. Dans cette thèse, on propose une redéfinition de la mesure de confiance et introduisons une procédure itérative et conditionnelle d'estimation du déplacement qui offrent un suivi plus robuste que les méthodes originales. / In a face-to-face talk, language is supported by nonverbal communication, which plays a central role in human social behavior by adding cues to the meaning of speech, providing feedback, and managing synchronization. Information about the emotional state of a person is usually carried out by facial attributes. In fact, 55% of a message is communicated by facial expressions whereas only 7% is due to linguistic language and 38% to paralanguage. However, there are currently no established instruments to measure such behavior. The computer vision community is therefore interested in the development of automated techniques for prototypic facial expression analysis, for human computer interaction applications, meeting video analysis, security and clinical applications. For gathering observable cues, we try to design, in this research, a framework that can build a relatively comprehensive source of visual information, which will be able to distinguish the facial deformations, thus allowing to point out the presence or absence of a particular facial action. A detailed review of identified techniques led us to explore two different approaches. The first approach involves appearance modeling, in which we use the gradient orientations to generate a dense representation of facial attributes. Besides the facial representation problem, the main difficulty of a system, which is intended to be general, is the implementation of a generic model independent of individual identity, face geometry and size. We therefore introduce a concept of prototypic referential mapping through a SIFT-flow registration that demonstrates, in this thesis, its superiority to the conventional eyes-based alignment. In a second approach, we use a geometric model through which the facial primitives are represented by Gabor filtering. Motivated by the fact that facial expressions are not only ambiguous and inconsistent across human but also dependent on the behavioral context; in this approach, we present a personalized facial expression recognition system whose overall performance is directly related to the localization performance of a set of facial fiducial points. These points are tracked through a sequence of video frames by a modification of a fast Gabor phase-based disparity estimation technique. In this thesis, we revisit the confidence measure, and introduce an iterative conditional procedure for displacement estimation that improves the robustness of the original methods.

Le traitement des émotions joue un rôle essentiel dans les relations interpersonnelles. Des déficits dans la reconnaissance des émotions évoquées par les expressions faciales et vocales ont été démontrés à la suite d’un traumatisme craniocérébral (TCC). Toutefois, la majorité des études n’ont pas différencié les participants selon le niveau de gravité du TCC et n’ont pas évalué certains préalables essentiels au traitement émotionnel, tels que la capacité à percevoir les caractéristiques faciales et vocales, et par le fait même, la capacité à y porter attention. Aucune étude ne s’est intéressée au traitement des émotions évoquées par les expressions musicales, alors que la musique est utilisée comme méthode d’intervention afin de répondre à des besoins de prise en charge comportementale, cognitive ou affective chez des personnes présentant des atteintes neurologiques. Ainsi, on ignore si les effets positifs de l’intervention musicale sont basés sur la préservation de la reconnaissance de certaines catégories d’émotions évoquées par les expressions musicales à la suite d’un TCC. La première étude de cette thèse a évalué la reconnaissance des émotions de base (joie, tristesse, peur) évoquées par les expressions faciales, vocales et musicales chez quarante et un adultes (10 TCC modéré-sévère, 9 TCC léger complexe, 11 TCC léger simple et 11 témoins), à partir de tâches expérimentales et de tâches perceptuelles contrôles. Les résultats suggèrent un déficit de la reconnaissance de la peur évoquée par les expressions faciales à la suite d’un TCC modéré-sévère et d’un TCC léger complexe, comparativement aux personnes avec un TCC léger simple et sans TCC. Le déficit n’est pas expliqué par un trouble perceptuel sous-jacent. Les résultats montrent de plus une préservation de la reconnaissance des émotions évoquées par les expressions vocales et musicales à la suite d’un TCC, indépendamment du niveau de gravité. Enfin, malgré une dissociation observée entre les performances aux tâches de reconnaissance des émotions évoquées par les modalités visuelle et auditive, aucune corrélation n’a été trouvée entre les expressions vocales et musicales. La deuxième étude a mesuré les ondes cérébrales précoces (N1, N170) et plus tardives (N2) de vingt-cinq adultes (10 TCC léger simple, 1 TCC léger complexe, 3 TCC modéré-sévère et 11 témoins), pendant la présentation d’expressions faciales évoquant la peur, la neutralité et la joie. Les résultats suggèrent des altérations dans le traitement attentionnel précoce à la suite d’un TCC, qui amenuisent le traitement ultérieur de la peur évoquée par les expressions faciales. En somme, les conclusions de cette thèse affinent notre compréhension du traitement des émotions évoquées par les expressions faciales, vocales et musicales à la suite d’un TCC selon le niveau de gravité. Les résultats permettent également de mieux saisir les origines des déficits du traitement des émotions évoquées par les expressions faciales à la suite d’un TCC, lesquels semblent secondaires à des altérations attentionnelles précoces. Cette thèse pourrait contribuer au développement éventuel d’interventions axées sur les émotions à la suite d’un TCC. / Emotional processing plays a crucial role in social interactions. Deficits in recognizing emotions from facial and vocal expressions have been established following a traumatic brain injury (TBI). However, most studies did not look at the effect of TBI severity and did not evaluate essential prerequisites to efficiently recognize emotions, such as the ability to perceive facial and vocal features, and thereby, the ability to pay attention to them. No study has looked at emotional recognition from musical expressions following TBI, whereas musical intervention can be used to address behavioral, cognitive and affective issues in neurological populations. Thus, it is unknown whether therapeutic effects could be based on the preservation of emotional recognition from musical expressions following TBI. The first study assessed recognition of basic emotions (happiness, sadness, fear) from dynamic facial, vocal and musical expressions in forty-one adults (10 moderate-severe TBI 9 complicated mild TBI, 11 uncomplicated mild TBI and 11 healthy controls), who were administered experimental and perceptual control tasks. Findings indicate impairment in fearful facial expressions recognition following moderate-severe TBI and complicated mild TBI, as compared to adults having sustained an uncomplicated mild TBI and healthy controls. Impairment is not explained by a perceptual disorder. Results also show that emotional recognition from vocal and musical expressions is preserved following TBI, irrespective of severity. Despite a dissociation observed between performance of emotional recognition tasks from visual and auditory modalities, no relationship was found between vocal and musical expressions. The second study measured early (N1, N170) and later (N2) neural information processing underlying emotional recognition from facial expressions in twenty-five adults (10 uncomplicated mild TBI, 1 complicated mild TBI, 3 moderate-severe TBI and 11 healthy controls) during presentation of fearful, neutral and happy facial expressions. Findings indicate reduced early attentional processing following TBI, which impede higher-level cognitive stage enabling discrimination of fearful facial expressions. In sum, this thesis contributes to further improve our comprehension of emotional recognition from facial, vocal and musical expressions following TBI, according to injury severity. It also contributes to understand mechanisms underlying affected emotional recognition from facial expressions, which seem to arise as a consequence of reduced early attentional processing following TBI. This thesis could help to eventually refine interventions for emotional processing following a TBI.

Les techniques d'analyse du visage nécessitent généralement une représentation pertinente des images, notamment en passant par des techniques de réduction de la dimension, intégrées dans des schémas plus globaux, et qui visent à capturer les caractéristiques discriminantes des signaux. Dans cette thèse, nous fournissons d'abord une vue générale sur l'état de l'art de ces modèles, puis nous appliquons une nouvelle méthode intégrant une approche non-linéaire, Kernel Similarity Principle Component Analysis (KS-PCA), aux Modèles Actifs d'Apparence (AAMs), pour modéliser l'apparence d'un visage dans des conditions d'illumination variables. L'algorithme proposé améliore notablement les résultats obtenus par l'utilisation d'une transformation PCA linéaire traditionnelle, que ce soit pour la capture des caractéristiques saillantes, produites par les variations d'illumination, ou pour la reconstruction des visages. Nous considérons aussi le problème de la classification automatiquement des poses des visages pour différentes vues et différentes illumination, avec occlusion et bruit. Basé sur les méthodes des représentations parcimonieuses, nous proposons deux cadres d'apprentissage de dictionnaire pour ce problème. Une première méthode vise la classification de poses à l'aide d'une représentation parcimonieuse active (Active Sparse Representation ASRC). En fait, un dictionnaire est construit grâce à un modèle linéaire, l'Incremental Principle Component Analysis (Incremental PCA), qui a tendance à diminuer la redondance intra-classe qui peut affecter la performance de la classification, tout en gardant la redondance inter-classes, qui elle, est critique pour les représentations parcimonieuses. La seconde approche proposée est un modèle des représentations parcimonieuses basé sur le Dictionary-Learning Sparse Representation (DLSR), qui cherche à intégrer la prise en compte du critère de la classification dans le processus d'apprentissage du dictionnaire. Nous faisons appel dans cette partie à l'algorithme K-SVD. Nos résultats expérimentaux montrent la performance de ces deux méthodes d'apprentissage de dictionnaire. Enfin, nous proposons un nouveau schéma pour l'apprentissage de dictionnaire adapté à la normalisation de l'illumination (Dictionary Learning for Illumination Normalization: DLIN). L'approche ici consiste à construire une paire de dictionnaires avec une représentation parcimonieuse. Ces dictionnaires sont construits respectivement à partir de visages illuminées normalement et irrégulièrement, puis optimisés de manière conjointe. Nous utilisons un modèle de mixture de Gaussiennes (GMM) pour augmenter la capacité à modéliser des données avec des distributions plus complexes. Les résultats expérimentaux démontrent l'efficacité de notre approche pour la normalisation d'illumination. / Face analysis techniques commonly require a proper representation of images by means of dimensionality reduction leading to embedded manifolds, which aims at capturing relevant characteristics of the signals. In this thesis, we first provide a comprehensive survey on the state of the art of embedded manifold models. Then, we introduce a novel non-linear embedding method, the Kernel Similarity Principal Component Analysis (KS-PCA), into Active Appearance Models, in order to model face appearances under variable illumination. The proposed algorithm successfully outperforms the traditional linear PCA transform to capture the salient features generated by different illuminations, and reconstruct the illuminated faces with high accuracy. We also consider the problem of automatically classifying human face poses from face views with varying illumination, as well as occlusion and noise. Based on the sparse representation methods, we propose two dictionary-learning frameworks for this pose classification problem. The first framework is the Adaptive Sparse Representation pose Classification (ASRC). It trains the dictionary via a linear model called Incremental Principal Component Analysis (Incremental PCA), tending to decrease the intra-class redundancy which may affect the classification performance, while keeping the extra-class redundancy which is critical for sparse representation. The other proposed work is the Dictionary-Learning Sparse Representation model (DLSR) that learns the dictionary with the aim of coinciding with the classification criterion. This training goal is achieved by the K-SVD algorithm. In a series of experiments, we show the performance of the two dictionary-learning methods which are respectively based on a linear transform and a sparse representation model. Besides, we propose a novel Dictionary Learning framework for Illumination Normalization (DL-IN). DL-IN based on sparse representation in terms of coupled dictionaries. The dictionary pairs are jointly optimized from normally illuminated and irregularly illuminated face image pairs. We further utilize a Gaussian Mixture Model (GMM) to enhance the framework's capability of modeling data under complex distribution. The GMM adapt each model to a part of the samples and then fuse them together. Experimental results demonstrate the effectiveness of the sparsity as a prior for patch-based illumination normalization for face images.

Le sommeil constitue une activité indispensable à l’adaptation et à la survie des organismes supérieurs. Chez l’être humain, il aurait un rôle dans l’intégration des expériences diurnes, de manière à préparer l’individu à la période de veille consécutive. Du fait de la pertinence adaptative des émotions, il a récemment été proposé que les émotions pré-hypniques pourraient influencer le déroulement du sommeil lequel modulerait la réactivité émotionnelle au réveil. Toutefois, ce lien bi-directionnel entre émotion et sommeil demeure peu caractérisé, notamment de par sa complexité et la difficulté à concilier les diverses approches méthodologiques. Dans ce contexte, l’objectif de la présente thèse était double : d’une part, déterminer l’impact de l’induction d’états émotionnels diurnes sur les caractéristiques du sommeil ; d’autre part, évaluer l’influence de ces états sur la réactivité émotionnelle au réveil. La programmation expérimentale a conduit à la mise en place de trois types de séquences vidéos émotionnelles, négatives, neutres ou positives, de manière à induire un état émotionnel diurne chez des participants, français ou japonais. Deux expérimentations ont eu lieu : l’une, testait l’impact des séquences émotionnelles sur l’état émotionnel des participants ; l’autre, visait à déterminer l’influence d’états émotionnels pré-hypniques sur les paramètres du sommeil et sur la réactivité à des expressions émotionnelles faciales, présentées peu après le réveil consécutif. Ces expérimentations ont permis d’obtenir plusieurs résultats novateurs. En premier lieu, il a pu être montré que les séquences vidéos induisaient des états émotionnels congruents en phase pré-hypnique. En deuxième lieu, ces états émotionnels pré-hypniques modifiaient la distribution des stades du sommeil consécutif ainsi que l’activité neurovégétative associée. En troisième lieu, nous avons pu observer que l’induction émotionnelle pré-hypnique entrainait des modifications de la réactivité émotionnelle après la période de sommeil consécutive, lors de la présentation de visages exprimant des intensités émotionnelles variables. L’interprétation des principaux résultats conduit à supposer que l’augmentation du temps passé en stade REM (Rapid Eye Movement) notamment, suite aux stimulations pré-hypniques, pourrait être l’indice d’un traitement particulier des expériences émotionnelles diurnes. Prenant appui sur cette hypothèse, il n’est pas exclu que ce traitement puisse constituer un médiateur des modifications de la réactivité émotionnelle observées lors du réveil.En conclusion, les recherches présentées dans cette thèse, fondées sur une méthodologie d’induction émotionnelle, nouvelle et standardisée, apportent des informations originales sur les liens bi-directionnels entre les émotions de la période de veille et le déroulement du sommeil. Sous réserve d’expérimentations supplémentaires, ces travaux suggèrent des questionnements nouveaux sur le rôle des émotions, notamment positives, sur le sommeil et les états émotionnels consécutifs. D’un point de vue prospectif, l’idée de l’utilisation du sommeil comme un levier efficace dans la régulation des émotions se trouve renforcée. / Sleep constitutes a major component of adaptation and survival in evolved organisms. In humans, sleep could have a role in the integration of daytime experiences, preparing by this way individuals for consecutive wake period. Due to the adaptive relevance of emotions, it has recently been proposed that pre-hypnic emotions could influence the sleep course, which could modulate emotional reactivity at awakening. However, the bi-directional link between emotion and sleep remains unclear, this being explained by the complexity of such link and by the difficulty of reconciling the diversity of methodological approaches. In this context, the aim of this thesis was twofold: first, determine the impact of induced daytime emotional states on sleep characteristics; second, assess the influence of these states on the emotional reactivity at the awakening.The experimental program led to the presentation of three types of emotional movies, negative, neutral or positive, in order to induce a diurnal emotional state, in French or Japanese participants. Two experiments were carried out: one tested the impact of the emotional movies on the individual emotional states; the other determined the influence of pre-hypnic induced emotional states on sleep parameters and responsiveness to emotional facial expressions, presented to the participant at the subsequent awakening.These experiments allowed to obtain several new results. Firstly, it was shown that emotional movies induced congruent emotional states during the pre-hypnic period. Secondly, these pre-hypnic emotional states influenced the distribution of sleep stages and associated autonomic activity during the consecutive night of sleep. Thirdly, we observed that the pre-hypnic emotional induction modulated the emotional reactivity after the sleep period, during the presentation of faces expressing emotions at different intensities. The interpretation of main results can lead to the speculation that the increase of time spent in REM (Rapid Eye Movement) stage, following the pre-hypnic emotional stimulations, can be a marker of central processes related to daytime emotional experiences. Based on this assumption, such processes could be a required mediator for emotional reactivity changes observed upon awakening.In conclusion, researches presented in this thesis, subtended by a new and standardized methodology of emotional induction, provide original information about the bi-directional links between diurnal emotions and sleep course. Subject to additional experimentations, this work brings new questions about the role of emotions, particularly positive ones, on sleep and subsequent emotional states. From a prospective point of view, reported data reinforces the idea that considers the sleep as an efficient lever to regulate emotions.

Lors d'une intervention conversationnelle, le langage est supporté par une communication non-verbale qui joue un rôle central dans le comportement social humain en permettant de la rétroaction et en gérant la synchronisation, appuyant ainsi le contenu et la signification du discours. En effet, 55% du message est véhiculé par les expressions faciales, alors que seulement 7% est dû au message linguistique et 38% au paralangage. L'information concernant l'état émotionnel d'une personne est généralement inférée par les attributs faciaux. Cependant, on ne dispose pas vraiment d'instruments de mesure spécifiquement dédiés à ce type de comportements. En vision par ordinateur, on s'intéresse davantage au développement de systèmes d'analyse automatique des expressions faciales prototypiques pour les applications d'interaction homme-machine, d'analyse de vidéos de réunions, de sécurité, et même pour des applications cliniques. Dans la présente recherche, pour appréhender de tels indicateurs observables, nous essayons d'implanter un système capable de construire une source consistante et relativement exhaustive d'informations visuelles, lequel sera capable de distinguer sur un visage les traits et leurs déformations, permettant ainsi de reconnaître la présence ou absence d'une action faciale particulière. Une réflexion sur les techniques recensées nous a amené à explorer deux différentes approches. La première concerne l'aspect apparence dans lequel on se sert de l'orientation des gradients pour dégager une représentation dense des attributs faciaux. Hormis la représentation faciale, la principale difficulté d'un système, qui se veut être général, est la mise en œuvre d'un modèle générique indépendamment de l'identité de la personne, de la géométrie et de la taille des visages. La démarche qu'on propose repose sur l'élaboration d'un référentiel prototypique à partir d'un recalage par SIFT-flow dont on démontre, dans cette thèse, la supériorité par rapport à un alignement conventionnel utilisant la position des yeux. Dans une deuxième approche, on fait appel à un modèle géométrique à travers lequel les primitives faciales sont représentées par un filtrage de Gabor. Motivé par le fait que les expressions faciales sont non seulement ambigües et incohérentes d'une personne à une autre mais aussi dépendantes du contexte lui-même, à travers cette approche, on présente un système personnalisé de reconnaissance d'expressions faciales, dont la performance globale dépend directement de la performance du suivi d'un ensemble de points caractéristiques du visage. Ce suivi est effectué par une forme modifiée d'une technique d'estimation de disparité faisant intervenir la phase de Gabor. Dans cette thèse, on propose une redéfinition de la mesure de confiance et introduisons une procédure itérative et conditionnelle d'estimation du déplacement qui offrent un suivi plus robuste que les méthodes originales. / In a face-to-face talk, language is supported by nonverbal communication, which plays a central role in human social behavior by adding cues to the meaning of speech, providing feedback, and managing synchronization. Information about the emotional state of a person is usually carried out by facial attributes. In fact, 55% of a message is communicated by facial expressions whereas only 7% is due to linguistic language and 38% to paralanguage. However, there are currently no established instruments to measure such behavior. The computer vision community is therefore interested in the development of automated techniques for prototypic facial expression analysis, for human computer interaction applications, meeting video analysis, security and clinical applications. For gathering observable cues, we try to design, in this research, a framework that can build a relatively comprehensive source of visual information, which will be able to distinguish the facial deformations, thus allowing to point out the presence or absence of a particular facial action. A detailed review of identified techniques led us to explore two different approaches. The first approach involves appearance modeling, in which we use the gradient orientations to generate a dense representation of facial attributes. Besides the facial representation problem, the main difficulty of a system, which is intended to be general, is the implementation of a generic model independent of individual identity, face geometry and size. We therefore introduce a concept of prototypic referential mapping through a SIFT-flow registration that demonstrates, in this thesis, its superiority to the conventional eyes-based alignment. In a second approach, we use a geometric model through which the facial primitives are represented by Gabor filtering. Motivated by the fact that facial expressions are not only ambiguous and inconsistent across human but also dependent on the behavioral context; in this approach, we present a personalized facial expression recognition system whose overall performance is directly related to the localization performance of a set of facial fiducial points. These points are tracked through a sequence of video frames by a modification of a fast Gabor phase-based disparity estimation technique. In this thesis, we revisit the confidence measure, and introduce an iterative conditional procedure for displacement estimation that improves the robustness of the original methods.

Cette thèse s'intéresse à la problématique de la classification automatique des séquences vidéo. L'idée est de se démarquer de la méthodologie dominante qui se base sur l'utilisation de caractéristiques conçues manuellement, et de proposer des modèles qui soient les plus génériques possibles et indépendants du domaine. Ceci est fait en automatisant la phase d'extraction des caractéristiques, qui sont dans notre cas générées par apprentissage à partir d'exemples, sans aucune connaissance a priori. Nous nous appuyons pour ce faire sur des travaux existants sur les modèles neuronaux pour la reconnaissance d'objets dans les images fixes, et nous étudions leur extension au cas de la vidéo. Plus concrètement, nous proposons deux modèles d'apprentissage des caractéristiques spatio-temporelles pour la classification vidéo : - Un modèle d'apprentissage supervisé profond, qui peut être vu comme une extension des modèles ConvNets au cas de la vidéo. - Un modèle d'apprentissage non supervisé, qui se base sur un schéma d'auto-encodage, et sur une représentation parcimonieuse sur-complète des données. Outre les originalités liées à chacune de ces deux approches, une contribution supplémentaire de cette thèse est une étude comparative entre plusieurs modèles de classification de séquences parmi les plus populaires de l'état de l'art. Cette étude a été réalisée en se basant sur des caractéristiques manuelles adaptées à la problématique de la reconnaissance d'actions dans les vidéos de football. Ceci a permis d'identifier le modèle de classification le plus performant (un réseau de neurone récurrent bidirectionnel à longue mémoire à court-terme -BLSTM-), et de justifier son utilisation pour le reste des expérimentations. Enfin, afin de valider la généricité des deux modèles proposés, ceux-ci ont été évalués sur deux problématiques différentes, à savoir la reconnaissance d'actions humaines (sur la base KTH), et la reconnaissance d'expressions faciales (sur la base GEMEP-FERA). L'étude des résultats a permis de valider les approches, et de montrer qu'elles obtiennent des performances parmi les meilleures de l'état de l'art (avec 95, 83% de bonne reconnaissance pour la base KTH, et 87, 57% pour la base GEMEP-FERA).