Au cours de la dernière décennie, la reconnaissance de visage basée sur l’imagerie infrarouge (IR) et en particulier la thermographie IR est devenue une alternative prometteuse aux approches conventionnelles utilisant l’imagerie dans le spectre visible. En effet l’imagerie (visible et infrarouge) trouvent encore des contraintes à leur application efficace dans le monde réel. Bien qu’insensibles à toute variation d’illumination dans le spectre visible, les images IR sont caractérisées par des défis spécifiques qui leur sont propres, notamment la sensibilité aux facteurs qui affectent le rayonnement thermique du visage tels que l’état émotionnel, la température ambiante, la consommation d’alcool, etc. En outre, il est plus laborieux de corriger l’expression du visage et les changements de poses dans les images IR puisque leur contenu est moins riche aux hautes fréquences spatiales ce qui représente en fait une indication importante pour le calage de tout modèle déformable. Dans cette thèse, nous décrivons une nouvelle méthode qui répond à ces défis majeurs. Concrètement, pour remédier aux changements dans les poses et expressions du visage, nous générons une image synthétique frontale du visage qui est canonique et neutre vis-à-vis de toute expression faciale à partir d’une image du visage de pose et expression faciale arbitraires. Ceci est réalisé par l’application d’une déformation affine par morceaux précédée par un calage via un modèle d’apparence active (AAM). Ainsi, une de nos publications est la première publication qui explore l’utilisation d’un AAM sur les images IR thermiques ; nous y proposons une étape de prétraitement qui rehausse la netteté des images thermiques, ce qui rend la convergence de l’AAM rapide et plus précise. Pour surmonter le problème des images IR thermiques par rapport au motif exact du rayonnement thermique du visage, nous le décrivons celui-ci par une représentation s’appuyant sur des caractéristiques anatomiques fiables. Contrairement aux approches existantes, notre représentation n’est pas binaire ; elle met plutôt l’accent sur la fiabilité des caractéristiques extraites. Cela rend la représentation proposée beaucoup plus robuste à la fois à la pose et aux changements possibles de température. L’efficacité de l’approche proposée est démontrée sur la plus grande base de données publique des vidéos IR thermiques des visages. Sur cette base d’images, notre méthode atteint des performances de reconnaissance assez bonnes et surpasse de manière significative les méthodes décrites précédemment dans la littérature. L’approche proposée a également montré de très bonnes performances sur des sous-ensembles de cette base de données que nous avons montée nous-mêmes au sein de notre laboratoire. A notre connaissance, il s’agit de l’une des bases de données les plus importantes disponibles à l’heure actuelle tout en présentant certains défis. / Over the course of the last decade, infrared (IR) and particularly thermal IR imaging based face recognition has emerged as a promising complement to conventional, visible spectrum based approaches which continue to struggle when applied in the real world. While inherently insensitive to visible spectrum illumination changes, IR images introduce specific challenges of their own, most notably sensitivity to factors which affect facial heat emission patterns, e.g., emotional state, ambient temperature, etc. In addition, facial expression and pose changes are more difficult to correct in IR images because they are less rich in high frequency details which is an important cue for fitting any deformable model. In this thesis we describe a novel method which addresses these major challenges. Specifically, to normalize for pose and facial expression changes we generate a synthetic frontal image of a face in a canonical, neutral facial expression from an image of the face in an arbitrary pose and facial expression. This is achieved by piecewise affine warping which follows active appearance model (AAM) fitting. This is the first work which explores the use of an AAM on thermal IR images; we propose a pre-processing step which enhances details in thermal images, making AAM convergence faster and more accurate. To overcome the problem of thermal IR image sensitivity to the exact pattern of facial temperature emissions we describe a representation based on reliable anatomical features. In contrast to previous approaches, our representation is not binary; rather, our method accounts for the reliability of the extracted features. This makes the proposed representation much more robust both to pose and scale changes. The effectiveness of the proposed approach is demonstrated on the largest public database of thermal IR images of faces on which it achieves satisfying recognition performance and significantly outperforms previously described methods. The proposed approach has also demonstrated satisfying performance on subsets of the largest video database of the world gathered in our laboratory which will be publicly available free of charge in future. The reader should note that due to the very nature of the feature extraction method in our system (i.e., anatomical based nature of it), we anticipate high robustness of our system to some challenging factors such as the temperature changes. However, we were not able to investigate this in depth due to the limits which exist in gathering realistic databases. Gathering the largest video database considering some challenging factors is one of the other contributions of this research.

Variable illumination intensity on unsegmented human face is one of the most challenging problems for reliable face recognition. When the illumination conditions are uncontrolled in a scene, the output of face images will become quite different. We applied a new locally adaptive contrast-invariant filter (LACIF) method in face recognition. Multiplicative and additive transformations of intensity over face images are combined by this filter. And three correlations are calculated by a nonlinear way. The correlation peaks show that LACIF is invariant under a uniform intensity transformation over the face. An extended method based on LACIF is also applied in face recognition. In this method, a linear intensity gradient across the face is considered. A set of basis face images is established. And five correlation planes are combined in a nonlinear way. Thousands of computer simulations are performed to test the face recognition capability. Results show that the discrimination is excellent. We also applied traditional and extended LACIF methods in face recognition with real-world environment. Results with actual experiments demonstrate these methods are effective and robust in real-world face objects. Face recognition is invariant under the intensity transformation. The discrimination capability is good. / Nous avons appliqué une nouvelle méthode de LACIF (locally adaptive contrast-invariant filter ) dans la reconnaissance de visage. Des transformations multiplicatives et additives des images finies de visage d'intensité sont combinées par ce filtre. Les crêtes de corrélation prouvent que LACIF est invariable sous une transformation uniforme d'intensité au-dessus du visage. Une méthode prolongée basée sur LACIF est également appliquée dans la reconnaissance de visage. Dans cette méthode, un gradient linéaire d'intensité à travers le visage est considéré. Un ensemble d'images base de visage est établi. Des milliers de simulations sur ordinateur sont effectués pour examiner les possibilités la reconnaissance de visage. Les résultats prouvent que la discrimination est excellente. Nous avons également appliqué des méthodes traditionnelles et prolongées de LACIF dans la reconnaissance de visage avec l'environnement réel. Les résultats avec des expériences réelles démontrent la reconnaissance de visage est invariable sous la transformation d'intensité.

Cette thèse consiste à proposer une méthode de caractérisation non-supervisée des intervenants dans les documents audiovisuels, en exploitant des données liées à leur apparence physique et à leur voix. De manière générale, les méthodes d'identification automatique, que ce soit en vidéo ou en audio, nécessitent une quantité importante de connaissances a priori sur le contenu. Dans ce travail, le but est d'étudier les deux modes de façon corrélée et d'exploiter leur propriété respective de manière collaborative et robuste, afin de produire un résultat fiable aussi indépendant que possible de toute connaissance a priori. Plus particulièrement, nous avons étudié les caractéristiques du flux audio et nous avons proposé plusieurs méthodes pour la segmentation et le regroupement en locuteurs que nous avons évaluées dans le cadre d'une campagne d'évaluation. Ensuite, nous avons mené une étude approfondie sur les descripteurs visuels (visage, costume) qui nous ont servis à proposer de nouvelles approches pour la détection, le suivi et le regroupement des personnes. Enfin, le travail s'est focalisé sur la fusion des données audio et vidéo en proposant une approche basée sur le calcul d'une matrice de cooccurrence qui nous a permis d'établir une association entre l'index audio et l'index vidéo et d'effectuer leur correction. Nous pouvons ainsi produire un modèle audiovisuel dynamique des intervenants.

Dans cette thèse, nous explorons l'utilisation des dérivées Gaussiennes multi-échelles comme représentation initiale pour la détection, la reconnaissance et la classification des visages humains dans des images. Nous montrons qu'un algorithme rapide, $O(N)$, de construction d'une pyramide binomiale peut être utilisé pour extraire des dérivées Gaussiennes avec une réponse impulsionnelle identique à un facteur d'échelle $sqrt{2}$>. Nous montrons ensuite qu'un vecteur composé de ces dérivées à différentes échelles et à différents ordres en chaque pixel peut être utilisé comme base pour les algorithmes de détection, de classification et de reconnaissance lesquels atteignent ou dépassent les performances de l'état de l'art avec un coût de calcul réduit. De plus l'utilisation de coefficients entiers, avec une complexité de calcul et des exigences mémoires en $O(N)$ font qu'une telle approche est appropriée pour des applications temps réel embarquées sur des systèmes mobiles. Nous testons cette représentation en utilisant trois problèmes classiques d'analyse d'images faciales : détection de visages, reconnaissance de visages et estimation de l'âge. Pour la détection de visages, nous examinons les dérivées Gaussiennes multi-échelles comme une alternative aux ondelettes de Haar pour une utilisation dans la construction d'une cascade de classifieurs linéaires appris avec l'algorithme Adaboost, popularisé par Viola and Jones. Nous montrons que la représentation pyramidale peut être utilisée pour optimiser le processus de détection en adaptant la position des dérivées dans la cascade. Dans ces experiences nous sommes capables de montrer que nous pouvons obtenir des niveaux de performances de détection similaires (mesurés par des courbes ROC) avec une réduction importante du coût de calcul. Pour la reconnaissance de visages et l'estimation de l'âge, nous montrons que les dérivées Gaussiennes multi-échelles peuvent être utilisées pour calculer une représentation tensorielle qui conserve l'information faciale la plus importante. Nous montrons que combinée à l'Analyse Multilinéaire en Composantes Principales et à la méthode Kernel Discriminative Common Vectors (KDCV), cette représentation tensorielle peut mener à un algorithme qui est similaire aux techniques concurrentes pour la reconnaissance de visages avec un coût de calcul réduit. Pour l'estimation de l'âge à partir d'images faciales, nous montrons que notre représentation tensorielle utilisant les dérivées de Gaussiennes multi-échelles peut être utilisée avec une machine à vecteur de pertinence pour fournir une estimation de l'âge avec des niveaux de performances similaires aux méthodes de l'état de l'art.

Etude de la dynamique temporelle de la catégorisation faciale depuis la détection d'un visage dans le champ visuel jusqu'a l'encodage d'une représentation individuelle du visage. Investigation de cette dynamique temporelle via l'électrophysiologie chez le sujet humain (potentiels évoqués). / Temporal dynamics of face visual categorization : an electrophysiological (event-related potentials) approach

Cette thèse s'inscrit dans le domaine de l'authentification de visage, en particulier dans le cadre du projet national " TechnoVision ". Bien que les êtres humains puissent détecter/reconnaître des visages dans une scène sans beaucoup de peine, construire un système qui accomplit de telles tâches représente un sérieux défie. Ce défi est d'autant plus grand lorsque les conditions d'acquisition des images sont très variables. Il existe deux types de variations associées aux images de visages : inter et intra sujet. La variation inter-sujet est limitée à cause du fait que la ressemblance physique entre les individus est assez rare. Par contre la variation intra-sujet est plus courante à cause, par exemple, des variations de poses, des changements dans les conditions d'éclairage, etc. Dans cette thèse, nous avons d'abord développé une approche de localisation de visage et de ses caractéristiques pour des images ne contenant qu'un seul visage sur un fond relativement uniforme avec des variations de lumière. Pour cela nous avons proposé une approche robuste de segmentation couleur dans l'espace TLS qui repose sur l'algorithme de ligne de partage des eaux modifiée. Pour l'extraction des régions caractéristiques faciales (yeux et bouche), nous avons combiné la méthode de classification kmeans avec une approche géométrique et nous l'avons appliqué sur la région du visage segmentée. Nous avons aussi proposé une approche multimodale 2D/3D qui repose sur la fusion pondérée des scores de l'approche " EigenFace " modulaire avec la signature anthropométrique 3D de visage. Nous avons évalué nos approches 3D et 2D/3D de reconnaissance du visage sur une sous-base de IV2 qui contient des images stéréoscopiques de visage. Les résultats obtenus sont très intéressants en comparaison avec les techniques classiques de reconnaissance 2D de visage. Enfin, nous avons discuté les perspectives d'amélioration des approches proposées.

L'objectif de cette thèse a été d'étudier la dynamique des traitements cognitifs permettant la reconnaissance rapide d'objets dans les scènes naturelles. Afin d'obtenir des réponses comportementales précoces, nous avons utilisé un protocole de choix saccadique, dans lequel les sujets devaient diriger leur regard le plus rapidement possible vers l'image contenant l'objet cible parmi deux images affichées à l'écran. Ce protocole a d'abord permis de mettre en évidence des différences de temps de traitement entre les catégories d'objets, avec un avantage particulier pour la détection des visages humains. En effet, lorsque ceux-ci sont utilisés comme cible, les premières saccades sélectives apparaissent dès 100 ms ! Nous nous sommes donc intéressés aux mécanismes permettant une détection aussi rapide et avons montré qu'un attribut bas-niveau pourrait être utilisé pour détecter et localiser les visages dans notre champ visuel en une fraction de seconde. Afin de mieux comprendre la nature des représentations précoces mises en jeu, nous avons mené deux nouvelles études qui nous ont permis de montrer que les saccades les plus rapides ne seraient pas influencées par les informations contextuelles, et seraient basées sur une information rudimentaire. Enfin, j'ai proposé un modèle simple de décision, basé sur des différences de temps de traitement neuronal entre catégories, qui permet de reproduire fidèlement nos résultats expérimentaux. L'ensemble de ces résultats, mis en perspective avec les connaissances actuelles sur les bases neuronales de la reconnaissance d'objet, démontre que le protocole de choix saccadique, en donnant accès à une fenêtre tempo- relle inaccessible jusqu'alors par les études comportementales, s'avère un outil de choix pour les recherches à venir sur la reconnaissance rapide d'objets.

Etude de la dynamique temporelle de la catégorisation faciale depuis la détection d'un visage dans le champ visuel jusqu'a l'encodage d'une représentation individuelle du visage. Investigation de cette dynamique temporelle via l'électrophysiologie chez le sujet humain (potentiels évoqués). / Temporal dynamics of face visual categorization : an electrophysiological (event-related potentials) approach

Different studies have shown that faces seen with a direct gaze (creating eye contact) are more likely to be recognized than faces seen with a laterally deviated gaze. The present work was aimed at determining underlying processes of this gaze direction effect. More precisely, whether this effect was due to a more elaborated encoding of faces with direct gaze because of the social importance of the eye contact was tested. Results obtained showed that the gaze direction effect is a highly sensitive effect which influence on memory for faces is probably more incidental than previously hypothesized./ Différentes études ont montré que les visages vus avec un regard direct (créant un contact visuel) ont plus de chance dêtre reconnus que les visages vus avec un regard dévié latéralement. Ce travail avait pour but de déterminer la nature des processus sous-jacents à cet effet de la direction du regard. Plus précisément, nous avons testé lhypothèse dun encodage plus élaboré des visages avec un regard direct dû à la signification sociale du contact visuel. Les résultats obtenus ont montré que leffet de la direction du regard est un effet très sensible dont linfluence sur la mémoire pourrait être plus incidente que ce qui avait été proposé dans la littérature.

De nombreuses études ont relevé un biais perceptif (BP) gauche, c'est-à-dire une tendance à utiliser préférentiellement les informations issues de l'hémi-visage gauche (du point de vue de l'observateur), lors du traitement des visages. Ce BP pourrait être lié à la dominance de l'hémisphère droit pour le traitement des visages. Par ailleurs, certaines études ont mis ce BP en lien avec un biais oculomoteur (BO) gauche : l'observateur effectue des fixations en nombre et/ou en durée supérieurs sur l'hémi-visage gauche (Butler et al., 2005 ; Megreya & Havard, 2011). Au cours du vieillissement, le BP gauche semble être toujours présent, mais d'apparition plus tardive, nécessitant un temps d'exposition aux visages plus long (Butler & Harvey, 2008 ; Coolican et al., 2008). Dans ce travail de thèse, nous avons étudié l'évolution de ces deux biais au cours du vieillissement au cours d'une tâche de jugement de genre, à l'aide de visages normaux et chimériques (composés de moitiés de visages d'homme et de femme) en manipulant le nombre de saccades permettant d'explorer le visage (aucune, 1, 2 et 3 saccades) et la position de présentation des visages (Haut, Bas, Centre, Gauche et Droite). Bien que dans l'ensemble, les personnes jeunes témoignent d'un BP gauche, cela n'est pas le cas des participants âgés. En outre, ce BP dépend de la position de présentation des visages (BP de proximité pour les positions latérales), mais également du nombre de saccades exécutées (BP gauche apparaissant à partir de la réalisation d'une saccade). En outre, une certaine variabilité interindividuelle est notée, certains participants présentant un BP droit et d'autre une absence de BP. Le BO dépend également de la position de présentation des visages et reste stable au cours du vieillissement. Il semble résulter d'une combinaison de l'effet du centre de gravité (Bindemann et al., 2009) et de l'effet de rang (Kapoula, 1985), la position d'arrivée se situant autour du centre du visage, orientée légèrement vers le point de fixation initial. Enfin, ce BO n'est pas affecté par le BP des participants, qu'ils soient jeunes ou âgés, l'exploration des visages étant la même qu'ils répondent en se basant sur la partie gauche ou droite des visages. Dans l'ensemble, ces résultats remettent en question l'explication jusqu'ici avancée pour ces deux biais, à savoir la dominance de l'HD pour le traitement des visages.