Les travaux effectués dans le cadre de cette thèse portent sur l'identification automatique de visages dans des bases de données d'images numériques. L'objectif est de simplifier le déroulement de l'identification biométrique qui consiste à la recherche de l'identité requête parmi l'ensemble des individus de la base de données préenregistrée, appelée aussi galerie. En effet, le schéma d'identification classique est complexe et très coûteux notamment dans le cas de grandes bases de données biométriques. Le processus original que nous proposons ici a pour objectif de réduire la complexité et d'améliorer les performances en terme de temps de calcul et de taux d'identification. Dans ce cadre biométrique, nous avons proposé une étape de classification non supervisée ou clustering des visages pour partitionner la base d'images en plusieurs sous ensembles cohérents et bien discriminés. Pour ce faire, l'algorithme de clustering vise à extraire, pour chaque visage, un ensemble de descripteurs, appelé signature, qui lui soit spécifique. Trois techniques de représentation faciales ont été développées dans le but d'extraire des informations différentes et complémentaires décrivant le visage humain : deux méthodes factorielles d'analyse multidimensionnelle et de projection des données (méthodes dites « Eigenfaces » et « Fisherfaces ») ainsi qu'une méthode d'extraction des moments géométriques de Zernike. Sur la base des différentes classes de signatures extraites pour chaque visage plusieurs méthodes de clustering sont mises en compétition afin de dégager la classification optimale qui conduit à une meilleure réduction de la galerie. Les méthodes retenues sont, soit de type « centres mobiles » telles que les K-moyennes et les centres mobiles de Forgy, ou de type « agglomérative » telle que la méthode de BIRCH. Sur la base de la dépendance des partitions générées, ces différentes stratégies classificatoires sont ensuite combinées suivant une architecture parallèle de manière à optimiser la réduction de l'espace de recherche à un sous ensemble de la base de données. Les clusters retenus in fine étant ceux pour lesquels la probabilité d'appartenance de l'identité requête est quasi certaine.

Reconnaître rapidement les visages familiers est une fonction fondamentale qui joue un rôle important dans nos interactions sociales. D'un point de vue évolutionniste, il semble en effet crucial de pouvoir rapidement déterminer si la personne qui nous fait face est amie ou ennemie pour adapter son comportement en conséquence. C'est sans doute pour cela que, dans l'opinion publique, mais également dans la littérature scientifique, la reconnaissance des visages est supposée être un processus très rapide, efficace et exécuté sans effort. Cependant, la reconnaissance des visages familiers est-elle réellement si rapide ? Ne serait-ce pas simplement une idée reçue ? Rapide, admettons, mais à quelle vitesse ? En adaptant des protocoles de catégorisation visuelle rapide (tâche de go/no-go) développés initialement pour étudier la rapidité du système visuel et en mettant en place de nouveaux protocoles de catégorisation ultra-rapide (" Speed and Accuracy Boosting procedure " ; SAB), nous avons pu déterminer les latences comportementales et électrophysiologiques les plus précoces pour reconnaître explicitement un visage célèbre. Nous nous sommes intéressés d'une part à la reconnaissance de type " bottom-up " (reconnaître plusieurs visages célèbres sans savoir au préalable de qui il s'agit) et d'autre part à la reconnaissance " top-down " (reconnaître une personne en particulier parmi des inconnus). Le temps de réaction minimum pour reconnaître des visages célèbres parmi des inconnus (reconnaissance " bottom-up ") est d'environ 360-390 ms, ce temps de réponse ne pouvant être amélioré ni par un apprentissage intensif des stimuli (Article 1), ni par un protocole de catégorisation ultra-rapide (Article 2). Ce temps de réaction est environ 100 ms plus tardif que lors d'une tâche de détection de visage (Article 1) ou de genre (Article 1). Ces latences sont très différentes lorsque la procédure SAB est appliquée à une reconnaissance de type " top-down ", descendant à environ 300 ms contre 270 ms dans une tâche de détection de visages (Article 3). De plus, en appliquant une méthode de MVPA (Multi-Variate Pattern Analysis) à des données d'EEG de surface, nous avons montré que l'activité neuronale liée à la reconnaissance des visages célèbres était disponible dès 230 ms après la présentation du stimulus (voire 200 ms pour le sujet les plus rapides) alors que l'activité neuronale liée à a détection d'un visage humain parmi des visages d'animaux était disponible dés 80 ms (Articles 4 et 5). L'activité neuronale était de plus fortement corrélée aux temps de réponses minimales en reconnaissance, confirmant ainsi son rôle dans la prise de décision. Nous discutons ces latences au regard des modèles de la voie visuelle ventrale et des modèles de la reconnaissance des visages. Nous distinguons trois modèles différents pouvant théoriquement être à l'origine de la familiarité et en favorisons un en particulier.

Les stimuli naturels projetés sur nos rétines nous fournissent de l’information visuelle riche. Cette information varie le long de propriétés de « bas niveau » telles que la luminance, le contraste, et les fréquences spatiales. Alors qu’une partie de cette information atteint notre conscience, une autre partie est traitée dans le cerveau sans que nous en soyons conscients. Les propriétés de l’information influençant l’activité cérébrale et le comportement de manière consciente versus non-consciente demeurent toutefois peu connues. Cette question a été examinée dans les deux derniers articles de la présente thèse, en exploitant les techniques psychophysiques développées dans les deux premiers articles. Le premier article présente la boîte à outils SHINE (spectrum, histogram, and intensity normalization and equalization), développée afin de permettre le contrôle des propriétés de bas niveau de l'image dans MATLAB. Le deuxième article décrit et valide la technique dite des bulles fréquentielles, qui a été utilisée tout au long des études de cette thèse pour révéler les fréquences spatiales utilisées dans diverses tâches de perception des visages. Cette technique offre les avantages d’une haute résolution au niveau des fréquences spatiales ainsi que d’un faible biais expérimental. Le troisième et le quatrième article portent sur le traitement des fréquences spatiales en fonction de la conscience. Dans le premier cas, la méthode des bulles fréquentielles a été utilisée avec l'amorçage par répétition masquée dans le but d’identifier les fréquences spatiales corrélées avec les réponses comportementales des observateurs lors de la perception du genre de visages présentés de façon consciente versus non-consciente. Les résultats montrent que les mêmes fréquences spatiales influencent de façon significative les temps de réponse dans les deux conditions de conscience, mais dans des sens opposés. Dans le dernier article, la méthode des bulles fréquentielles a été combinée à des enregistrements intracrâniens et au Continuous Flash Suppression (Tsuchiya & Koch, 2005), dans le but de cartographier les fréquences spatiales qui modulent l'activation de structures spécifiques du cerveau (l'insula et l'amygdale) lors de la perception consciente versus non-consciente des expressions faciales émotionnelles. Dans les deux régions, les résultats montrent que la perception non-consciente s'effectue plus rapidement et s’appuie davantage sur les basses fréquences spatiales que la perception consciente. La contribution de cette thèse est donc double. D’une part, des contributions méthodologiques à la recherche en perception visuelle sont apportées par l'introduction de la boîte à outils SHINE ainsi que de la technique des bulles fréquentielles. D’autre part, des indications sur les « corrélats de la conscience » sont fournies à l’aide de deux approches différentes. / Natural stimuli impinging on our retinas provide us with a wealth of visual information. This information varies along “low-level” features, such as luminance, contrast, and spatial frequency (SF). Whereas some of this information reaches our awareness, some of it is processed in the brain without us ever becoming aware of it (i.e., non-consciously). A remaining question is precisely which SFs influence brain activation and behavior consciously vs. non-consciously. The aim of this thesis was to address this question using state-of the-art psychophysical techniques. The first article introduces the SHINE (spectrum, histogram, and intensity normalization and equalization) toolbox for controlling low-level image properties in MATLAB. The second article describes and validates the SF Bubbles technique, which was used throughout the studies in this thesis to map SF tuning for various face perception tasks with a high SF resolution and low experimental bias. The third and fourth articles focus on SF processing as a function of awareness. In the former, SF Bubbles was employed together with repetition priming and masking to investigate which SFs are correlated with observers’ behavioral responses during conscious vs. non-conscious face-gender perception. The results show that the same SFs significantly influenced response times in both prime awareness conditions but, surprisingly, in opposite ways. In the latter, SF Bubbles was combined with intracranial recordings from awake human patients and Continuous Flash Suppression (Tsuchiya & Koch, 2005). This allowed us to map the SFs that modulate activation in specific brain structures (the insula and the amygdala) during the conscious vs. non-conscious perception of emotional facial expressions. The results for both regions demonstrate that non-conscious perception relied on low SFs more and was faster than conscious perception. The contribution made in this thesis is thus two-fold: methodological contributions to visual perception research are made by introducing the SHINE toolbox and the SF Bubbles technique, and insights into the “informational correlates” of consciousness are provided from two different angles.

Ma thèse porte sur une dimension fondamentale de la structure des groupes sociaux : la hiérarchie. Chez l'être humain, les hiérarchies sociales régissent en profondeur les interactions. Pour naviguer avec succès dans son environnement, il doit être en mesure de repérer précisément les positions hiérarchiques des autres membres de son groupe. Ce travail de thèse vise à caractériser certains mécanismes neuronaux, comportementaux et physiologiques impliqués dans l'analyse d'un indice hiérarchique. Pour préciser la nature du traitement de la hiérarchie, j'ai exploré son influence sur différentes étapes de la perception des visages. Je me suis tout d'abord intéressée au décours temporel du traitement neuronal des visages dans un contexte hiérarchique. Deux études menées en électroencéphalographie m'ont permis d'identifier les potentiels neuronaux et les composants oscillatoires évoqués par la perception de visages associés soit, à un rang hiérarchique établi à l'issue d'une compétition, soit à un statut social induit par la profession. Une étude réalisée ensuite en oculométrie avait pour but de capturer l'influence de la hiérarchie sur des mécanismes fins du contrôle de l'attention visuelle. J'ai étudié à la fois l'exploration visuelle de classements hiérarchiques incluant le participant, et celle de visages associés à des rangs hiérarchiques différents. Enfin, j'ai tenté de déterminer si un signal ou une situation d'asymétrie hiérarchique véhicule une valence émotionnelle et motivationnelle non neutre susceptible d'induire des variations de certains paramètres physiologiques, comme le rythme cardiaque ou la réponse électrodermale / Hierarchy is a key organizational feature of social groups. In order to successfully navigate their social environment, humans must precisely read the hierarchical position of other during social interaction. This present thesis intends to characterize the neural correlates as well as the early physiological and behavioral mechanisms involved in the processing of social rank. The influence of hierarchy was mainly investigated in the context of face perception. To begin, my focus was on the time course of neuronal processing of faces embedded in a hierarchical context. Using eletroencephalography in two studies, it has been possible to identify evoked neuronal potentials and oscillatory components in response to faces varying in hierarchical rank, established through competition or social status induced by profession. The next study used eye-tracking methodology to explore the influence of hierarchy on the subtle mechanisms of visual attention control. I aimed at characterizing the visual scanning pattern of hierarchical rankings (during a competition) and of faces associated with different hierarchical ranks. Finally, I tried to determine if a hierarchical signal or a social asymmetrical situation conveyed an emotional/motivational valence. During face perception and a minimal social interaction, I examined if this particular dimension of hierarchy generated variations of physiological activity, such as heart rate and skin conductance response

Nous étudions l'influence de différents attributs audiovisuels sur l'exploration visuelle de scènes naturelles dynamiques. Nous démontrons que si la façon dont nous explorons une scène dépend avant tout de son contenu visuel, dans certaines situations le son influence significativement les mouvements oculaires. La présence de son assure une meilleure cohérence entre les positions oculaires de différents observateurs, attirant leur attention et donc leur regard vers les mêmes régions. L'effet du son se retrouve tout particulièrement dans les scènes de conversation, où la présence du signal de parole associé augmente le nombre de fixations sur le visage des locuteurs, et donc la cohérence entre les scanpaths. Nous proposons un modèle de saillance audiovisuelle repérant automatiquement le visage des locuteurs afin d'en rehausser la saillance. Ces résultats s'appuient sur les mouvements oculaires de 148 participants enregistrés sur un total de plus de 75 400 frames (125 vidéos) dans 5 conditions expérimentales différentes. / We study the influence of different audiovisual features on the visualexploration of dynamic natural scenes. We show that, whilst the way a person explores a scene primarily relies on its visual content, sound sometimes significantly influences eye movements. Sound assures a better coherence between the eye positions of different observers, attracting their attention and thus their gaze toward the same regions. The effect of sound is particularly strong in conversation scenes, where the related speech signal boosts the number of fixations on speakers' faces, and thus increases the consistency between scanpaths. We propose an audiovisual saliency model able to automatically locate speakers' faces so as to enhance their saliency. These results are based on the eye movements of 148 participants recorded on more than 75,400 frames (125 videos) in 5 different experimental conditions.

Ce travail de thèse concerne l’analyse de surfaces faciales en 3D, ainsi que leur traitement, dans le récent cadre de la modalité de reconnaissance de visages en 3D,basé sur des techniques d’appariement. Le traitement de la surface faciale et son analyse constituent une étape importante dans les algorithmes de reconnaissance de visage en 3D. La localisation de points d’intérêt anthropométriques du visage joue par ailleurs un rôle important dans les techniques de localisation du visage, de reconnaissance d’expression, de recalage, etc. Ainsi, leur localisation automatique joue un rôle crucial dans les algorithmes de traitement du visage 3D. Dans ce travail, nous avons mis l’accent sur la localisation précise et invariante en rotation des points d’intérêt, qui seront utilisés plus tard pour la reconnaissance de visages. Ces points d’intérêt sont localisés en combinant les propriétés locales de la surface faciale, exprimées en termes de géométrie différentielle, et un modèle global et générique du visage. Etant donné que la sensibilité des courbures, qui sont des propriétés de géométrie différentielle, au bruit, une des contributions de cette thèse est la modification d’une méthode de calcul de courbures. Cette modification incorpore le bruit de la surface dans la méthode de calcul, et permet de contrôler la progressivité des courbures. Par conséquent, nous pouvons localiser les points d’intérêt de la surface faciale avec précision et fiabilité (100% de bonnes localisation du bout du nez avec une erreur maximale de 8mmpar exemple) y compris en présence de rotations et de bruit. La modification de la méthode de calcul de courbure a été également testée pour différentes résolutions de visage, présentant des valeurs de courbure stables. Enfin, étant donné que donné que l’analyse de courbures mène à de nombreux candidats de points d’intérêt du visage, dont la validation est coûteuse, nous proposons de localiser les points d’intérêt grâce à une méthode d’apprentissage. Cette méthode permet de rejeter précocement des faux candidats avec une grande confiance, accélérant d’autant la localisation des points d’intérêt. La reconnaissance de visages à l’aide de modèles 3D est un sujet relativement nouveau, qui a été propose pour palier aux insuffisantes de la modalité de reconnaissance de visages en 2D. Cependant, les algorithmes de reconnaissance de visage en 3D sont généralement plus complexes. De plus, étant donné que les modèles de visage 3D décrivent la géométrie du visage, ils sont plus sensibles que les images 2Dde texture aux expressions faciales. Notre contribution est de réduire la dimensionnalité des données de départ en appariant les modèles de visage 3D au domaine 2Dà l’aide de méthodes, non rigides, d’appariement conformal. L’existence de modèles2D représentant les visages permet alors d’utiliser les techniques précédemment développées dans le domaine de la reconnaissance de visages en 2D. Dans nos travaux, nous avons utilisé les cartes conformales de visages 3D en conjonction avec l’algorithme2D2 PCA, atteignant le score de 86% en reconnaissance de rang 1 sur la base de données FRGC. L’efficacité de toutes les méthodes a été évaluée sur les bases FRGC et Bosphorus. / This Ph.D thesis work is dedicated to 3D facial surface analysis, processing as well as to the newly proposed 3D face recognition modality, which is based on mapping techniques. Facial surface processing and analysis is one of the most important steps for 3Dface recognition algorithms. Automatic anthropometric facial features localization also plays an important role for face localization, face expression recognition, face registration ect., thus its automatic localization is a crucial step for 3D face processing algorithms. In this work we focused on precise and rotation invariant landmarks localization, which are later used directly for face recognition. The landmarks are localized combining local surface properties expressed in terms of differential geometry tools and global facial generic model, used for face validation. Since curvatures, which are differential geometry properties, are sensitive to surface noise, one of the main contributions of this thesis is a modification of curvatures calculation method. The modification incorporates the surface noise into the calculation method and helps to control smoothness of the curvatures. Therefore the main facial points can be reliably and precisely localized (100% nose tip localization using 8 mm precision)under the influence of rotations and surface noise. The modification of the curvatures calculation method was also tested under different face model resolutions, resulting in stable curvature values. Finally, since curvatures analysis leads to many facial landmark candidates, the validation of which is time consuming, facial landmarks localization based on learning technique was proposed. The learning technique helps to reject incorrect landmark candidates with a high probability, thus accelerating landmarks localization. Face recognition using 3D models is a relatively new subject, which has been proposed to overcome shortcomings of 2D face recognition modality. However, 3Dface recognition algorithms are likely more complicated. Additionally, since 3D face models describe facial surface geometry, they are more sensitive to facial expression changes. Our contribution is reducing dimensionality of the input data by mapping3D facial models on to 2D domain using non-rigid, conformal mapping techniques. Having 2D images which represent facial models, all previously developed 2D face recognition algorithms can be used. In our work, conformal shape images of 3Dfacial surfaces were fed in to 2D2 PCA, achieving more than 86% recognition rate rank-one using the FRGC data set. The effectiveness of all the methods has been evaluated using the FRGC and Bosphorus datasets.

Cette recherche s'intéresse à la représentation mentale et à la catégorisation des expressions faciales émotionnelles. Deux groupes d'études sont présentés. Le premier groupe utilise une méthodologie traditionnelle de l'étude des expressions faciales émotionnelles alors que le deuxième groupe utilise les modèles multidimensionnels de la catégorisation comme base théorique et méthodologique. Les tâches visent à mesurer la représentation mentale (jugement de typicalité et de similarité) et les processus de catégorisation (discrimination et vérification perceptuelle). Il ressort des résultats que la représentation mentale des expressions faciales est structurée de façon hiérarchique et que cette structure influence la performance (latences de réponse et précision). La conclusion est que la catégorisation expressions faciales émotionnelles suit les même principes généraux de catégorisation que d'autres stimuli visuels. L'apport des modèles multidimensionnels à la compréhension de la catégorisation des expressions faciales est discuté.

L'insensibilité émotionnelle a été associée aux difficultés interpersonnelles, Cependant, cette association reste incertaine étant donné du rôle potentiellement confondant des conduites agressives. La capacité à décoder des émotions faciales peut entrainer des réponses inadaptées aux situations sociales. Cette capacité, aussi associée à l'insensibilité émotionnelle et aux difficultés interpersonnelles, pourrait moduler le lien entre ces deux dimensions. Notre étude tente d'évaluer l'association entre l’insensibilité émotionnelle et les difficultés interpersonnelles en contrôlant les conduites agressives et de vérifier le rôle modérateur de la capacité à décoder les émotions faciales. Les mesures retenues ont été collectées en première année du primaire dans le cadre de l'Étude des Jumeaux Nouveau-Nés du Québec. Deux aspects des difficultés interpersonnelles, évalués par les pairs, ont été considérés : le rejet et la victimisation par les pairs. On observe que l’insensibilité émotionnelle prédit le rejet, mais pas la victimisation par les pairs, et ce, même lorsque l’agressivité est prise en compte. Ceci montre l’importance des traits d’insensibilité émotionnelle comme prédicteurs du rejet par les pairs. En parallèle, la covariance entre ces traits et l’agressivité est importante et seule la notion d’agressivité prédit la victimisation. L’insensibilité émotionnelle et la capacité à reconnaître les émotions sont associées de façon unique au rejet et l’interaction entre ces deux variables n’est pas significative. Ces résultats permettent de comprendre la nécessité de distinguer le rôle que joue l’insensibilité face au rejet et face à la victimisation car ces deux expériences différentes ne sont pas prédites par les mêmes traits de l’enfant. / Callous-unemotional traits have been associated with interpersonal difficulties, however, this association remains uncertain given the potentially confusing role of aggressive behavior. The ability to decode facial emotions can lead to inappropriate responses to social situations. This ability, also associated with callous-unemotional traits and interpersonal difficulties, could modulate the link between these two dimensions. Our study attempts to evaluate the association between callous-unemotional traits and interpersonal difficulties by controlling aggressive behaviors and to verify the moderating role of the ability to decode facial emotions. The measures selected were collected in the first year of elementary school as part of the Quebec Newborns Twins Study. Two aspects of interpersonal difficulties, peerreviewed, were considered: peer rejection and victimization. We observed that callous-unemotional traits predict rejection but not peer victimization, even after controlling for aggression, which shows the importance of the characteristics of insensibility in predicting peer rejection. In parallel, the covariance between these traits and aggression is important and only the notion of aggression predicts victimization. Callous-unemotional traits and the ability to recognize emotions are uniquely associated with rejection and the interaction between these two variables is not significant. These results make it possible to realize it is necessary to distinguish between the role that insensibility plays in rejection and in victimization because these two different experiences are not predicted by the same traits of the child.

La mémoire de reconnaissance visuelle (MRV) est atteinte précocement dans la maladie d'Alzheimer (MA). Or, elle reposerait sur deux processus: la familiarité (simple sentiment d'avoir déjà rencontré un item) et la recollection (récupération de détails associés à l'item lors de son encodage). Si la recollection est clairement atteinte au début de la MA, les résultats concernant la familiarité sont à ce jour contradictoires. Supposée plus rapide que la recollection, la familiarité devrait pouvoir être évaluée directement par une approche temporelle. Son atteinte dans la MA pourrait alors être mieux comprise. Pour tester ces hypthèses, la procédure comportementale SAB (Speed and Accuracy Boosting) a été créée. Permettant d'étudier les propriétés de la MRV (sa vitesse-limite, (Articles 1 et 2, ou sa nature "bottom-up", Article 3) ainsi que l'hypothèse que la familiarité serait plus rapide que la recollection, cette méthode s'est montrée évaluer majoritairement la familiarité (Article 1). Chez des patients à risque de MA, une dissociation inattendue au sein de la familiarité a alors pu être révélée, avec une atteinte des signaux tardifs de familiarité (utilisés lors d'un jugement classique), mais une préservation des premiers signaux (supportant la détection rapide évaluée en SAB) (Article 4). En outre, la segmentation manuelle d'images IRM du lobe temporal interne (premières régions cérébrales touchées dans la MA, et clés pour la MRV) a été appliquée à la problématique connexe de l'effet de l'âge au début de la MA (Article 5). Indépendamment, ces méthodes ont permis de mieux comprendre la MRV et son atteinte au début de la MA ; leur combinaison s'annonce très prometteuse.

Nous possédons la faculté de reconnaître individuellement des centaines d'individus. Ceci nous permet d'évoluer dans une société complexe dont l'organisation est en partie forgée par les relations interindividuelles. La reconnaissance individuelle peut être réalisée par l'identification de divers éléments distincts, comme le visage ou la voix, qui forment chez l'Homme une seule représentation conceptuelle de l'identité de la personne. Nous avons démontré que les singes rhésus, comme les humains, reconnaissent individuellement leurs congénères familiers, mais également les individus humains connus. Ceci montre que la reconnaissance fine est une compétence partagée par un éventail d'espèces de primates pouvant servir de fondement à la vie en réseaux sociaux sophistiqués, et également que le cerveau s'adapte de façon flexible pour reconnaître les individus d'autres espèces lorsque ceux-ci ont une importance socioécologique. Par la suite, au niveau neuronal, ce projet a mis en lumière que les connaissances sociales concernant autrui sont représentées par les neurones hippocampiques ainsi que par les neurones inférotemporaux. Ainsi nous avons observé l'existence de neurones sélectifs aux visages non seulement dans le cortex inferotemporal, comme ceci a été décrit précédemment, mais également dans l'hippocampe. La comparaison des propriétés de ces neurones au sein de ces deux structures, suggère que les deux régions joueraient des rôles complémentaires au cours de la reconnaissance individuelle. Enfin, parce que l'hippocampe est une structure qui a évolué à des degrés divers chez différents mammifères pour soutenir la mémoire autobiographique et les représentations spatiales, la caractérisation des différents types de neurones et de leur connectivité a fourni un cadre commun pour comparer les fonctions de l'hippocampe à travers les espèces