L’objectif principal de mon travail de thèse est l’extraction de la direction du regard (attention visuelle) d’une personne à partir de la vidéo. Cette analyse est effectuée dans un environnement composé d’une scène cible et d’une zone d’observation. La scène cible est une région d’intérêt définie pour être analysée (e.g. un écran plasma large, une image projetée sur un mur, une affiche publicitaire, un linéaire dans un magasin, ou la vitrine d’un magasin). La zone surveillée quant à elle est l’emplacement d’où les personnes regardent la scène cible (e.g. la rue, un couloir ou bien les allées d’un supermarché). Les connaissances qui sont extraites sont alors utilisées pour comprendre le comportement visuel de personnes ainsi que pour la réorganisation de la scène cible. Pour atteindre cet objectif, nous proposons une approche basée sur l’estimation de l’orientation de la tête et la projection du champ visuel pour localiser la région d’intérêt. Nous avons utilisé une méthode d’estimation de l’orientation de la tête basée sur l’apparence globale et sur un modèle cylindrique, et une méthode de projection géométrique pour extraire les régions d’intérêts basée sur les données physiologiques de la vision humaine. L’analyse du comportement visuel des personnes a été effectuée à l’aide d’un ensemble de métriques. Les méthodes proposées ont été validées sur des données vidéos et images. / The aim of this thesis is to analyze the behaviour of the people passing in front of a target scene. We consider an environment composed of a so-called target scene (a specific scene under analysis, such as a large plasma screen, a projected image, an advertising poster, a shop window, etc.) and a monitored area (place from which people look at the target scene, such as a street or shopping mall). Computer vision provides promising techniques enabling to obtain such information by analyzing videos captured by cameras monitoring this area. Such information are useful in order to simplify technologies that uses the output of the studies about a target scene. In this thesis, we propose an approach that estimates the visual gaze of a person in a controlled environment. The visual gaze of a person is estimated from the head pose. It is followed by its projection on the target scene that allows to estimate the approximate location of interest. Finally, an analysis of the region of interest allows an accurate explanation of the human activity and interest.

L'objectif de cette thèse est l'estimation de la pose de la tête humaine à partir d'imagesmonoculaires. Le but est d'avoir un retour d'information de l'utilisateur sur l'orientationde son regard, et ce, de manière non-intrusive. Ce domaine de recherche est très actifcompte tenu de l'évolution des interfaces de communication entre l'homme et la machine,d'autant plus que plusieurs défis sont toujours ouverts. Notamment, la robustesse dusystème, son invariabilité à l'identité des personnes et à l'illumination ainsi que la qualitédu matériel de capture requis.L'approche que nous avons proposée est basée sur la symétrie bilatérale du visage.Nous utilisons des caractéristiques extraites de la symétrie pour estimer la pose de latête par le biais de l'apprentissage. Les caractéristiques utilisées sont géométriques maisextraites de manière globale à partir de toute la texture du visage, sans que des pointsou des contours spécifiques ne soient requis.Ces caractéristiques ont été validées expérimentalement à l'aide de bases d'images etde vidéos publiques dédiées à l'estimation de la pose de la tête. L'apprentissage superviséainsi que la régression sont utilisés pour construire des modèles de poses. Ces modèles ontété testés sur des séquences vidéo indépendantes des bases utilisées pour l'apprentissage.L'erreur d'estimation a été calculée et les résultats sont supérieurs ou équivalents à l'étatde l'art. / The aim of this thesis is to estimate the pose of a human head frommonocular images. The goal is to have a feedback from the user on the direction of hisgaze, and this is done in a non-intrusive manner. This area of research is very activegiven the evolution of the communication interfaces between a human and a machine,especially as many challenges are still there. In particular, the robustness of the system,its invariance to the identity of individuals and enlightenment.The approach we propose is based on the bilateral symmetry of the face. We usefeatures extracted from the symmetry to estimate head pose through learning. Thefeatures used are geometric but extracted holistically from the whole texture of the face,without the need for specifc points or contours.These features have been experimentally validated by means of publicly availabledatabases of images and videos dedicated to head pose estimation. Supervised learningand regression have been used to build models of poses. These models have been testedon video sequences different from the bases used for learning. The estimation error hasbeen calculated and the results are superior or equivalent to the state of the art.

Different studies have shown that faces seen with a direct gaze (creating eye contact) are more likely to be recognized than faces seen with a laterally deviated gaze. The present work was aimed at determining underlying processes of this gaze direction effect. More precisely, whether this effect was due to a more elaborated encoding of faces with direct gaze because of the social importance of the eye contact was tested. Results obtained showed that the gaze direction effect is a highly sensitive effect which influence on memory for faces is probably more incidental than previously hypothesized./ Différentes études ont montré que les visages vus avec un regard direct (créant un contact visuel) ont plus de chance dêtre reconnus que les visages vus avec un regard dévié latéralement. Ce travail avait pour but de déterminer la nature des processus sous-jacents à cet effet de la direction du regard. Plus précisément, nous avons testé lhypothèse dun encodage plus élaboré des visages avec un regard direct dû à la signification sociale du contact visuel. Les résultats obtenus ont montré que leffet de la direction du regard est un effet très sensible dont linfluence sur la mémoire pourrait être plus incidente que ce qui avait été proposé dans la littérature.

L'objectif de cette thèse est d'étudier le développement des mécanismes sous-tendant l'exploration d'une scène visuelle. Les résultats montrent que les stratégies d'attention ambiante et focale émergent vers l'âge de 12 mois. La saillance détermine davantage les mouvements oculaires chez les enfants de moins de 6 ans que chez les plus âgés. En outre, les objets sémantiquement inconsistants avec le contexte visuel attirent similairement le regard des jeunes enfants et des adultes. Cependant, seuls les enfants sont plus rapidement attirés par les objets à saillance élevée que par ceux à saillance réduite. L'effet du niveau de vocabulaire sur l'analyse des scènes visuelles se trouve uniquement dans la condition objets consistants. Toutefois, la latence et la topographie des PEs sont modulées selon le niveau de vocabulaire. Nos résultats suggèrent que le contrôle des mouvements oculaires liés à l'analyse d'une scène visuelle se développe de la petite enfance jusqu'à l'enfance. Bien que les modes ambiant et focal soient présents durant la petite enfance, l'exploration d'une scène visuelle est surtout influencée par le mode focal. De plus, les jeunes enfants utilisent - semblablement aux adultes - le contexte visuel pour orienter leur attention visuelle. Aux stades précoces du développement, la saillance paraît un facteur déterminant pour l'allocation du regard. L'attention visuelle est également influencée par les compétences linguistiques des jeunes enfants. / This dissertation investigated developmental mechanism underlying scene exploration. The results showed that ambient and focal attention strategies emerge by 12 months of age. Saliency guided eye movements more in children younger than 6 years compared with older children. Additionally, objects that were semantically inconsistent with the scene context equally attracted the gaze in young children and adults. Children were, however, attracted faster to high salient than to low salient objects. High-producers looked longer to consistent objects than low-producers while both groups looked equally long to inconsistent objects. The N400 ERP component was more pronounced for inconsistent than for consistent scene-word pairs. Low-producers exhibited a later N400 effect over the right frontal recording sites while in high-producers the N400 effect was observed earlier over the left frontal sites. Our results suggest that eye movement control during scene viewing mature from infancy to childhood. Even though ambient and focal modes are present in early infancy, scene exploration is dominated by focal mode. Additionally, young children use scene context, similarly to adults, in guidance of their visual attention. However, during early stages of development saliency has a stronger effect on gaze allocation compared with adults. Visual attention was also influenced by linguistic skills in young children.

L'objectif principal de mon travail de thèse est l'extraction de la direction du regard (attention visuelle) d'une personne à partir de la vidéo. Cette analyse est effectuée dans un environnement composé d'une scène cible et d'une zone d'observation. La scène cible est une région d'intérêt définie pour être analysée (e.g. un écran plasma large, une image projetée sur un mur, une affiche publicitaire, un linéaire dans un magasin, ou la vitrine d'un magasin). La zone surveillée quant à elle est l'emplacement d'où les personnes regardent la scène cible (e.g. la rue, un couloir ou bien les allées d'un supermarché). Les connaissances qui sont extraites sont alors utilisées pour comprendre le comportement visuel de personnes ainsi que pour la réorganisation de la scène cible. Pour atteindre cet objectif, nous proposons une approche basée sur l'estimation de l'orientation de la tête et la projection du champ visuel pour localiser la région d'intérêt. Nous avons utilisé une méthode d'estimation de l'orientation de la tête basée sur l'apparence globale et sur un modèle cylindrique, et une méthode de projection géométrique pour extraire les régions d'intérêts basée sur les données physiologiques de la vision humaine. L'analyse du comportement visuel des personnes a été effectuée à l'aide d'un ensemble de métriques. Les méthodes proposées ont été validées sur des données vidéos et images.

Les travaux décrits dans cette thèse concernent l'applicabilité d'une combinaison de modalités pour l'interaction avec les objets 3D d'un environnement virtuel afin de leur appliquer des repositionnements géométriques. L'approche « top-down » adoptée s'inspire des modalités observables au sein des expressions de commande d'utilisateurs au cours d'activités «d'inspection de prototype » du domaine de la conception vestimentaire. A partir d'un ensemble sélectionné de tâches, l'examen de combinaisons tâches vs modalités d'entrée permet d'établir des scénarios d'expressions de commande homogènes. La définition de profils de dispositifs conduit ensuite à la construction d'un système interactif sur lequel tester ces affectations de modalités avec des utilisateurs lors d'une expérience de type « Magicien d'Oz ». L'étude de la variabilité d'expression permet alors de poser les bases d'une grammaire d'interaction. Les résultats obtenus semblent confirmer la pertinence de ce style d'interaction.

La quantité d’informations à laquelle nous sommes chaque jour confrontésconditionne notre survie à la capacité de détecter rapidement ce qui est le pluspertinent dans notre environnement. Nos cerveaux ont ainsi évolué afin dedéclencher, en réponse aux stimuli pertinents, des changements d’état affectif quinous informent alors de l’existence et de la nature de ces stimuli. Or, tandis que lesétats émotionnels, induits par des états corporels, impactent notre perception desstimuli émotionnels, l’influence de ces états corporels sur l’évaluation de lapertinence de stimuli externes est méconnue. Nous avons ici examiné le rôle queces états du corps, transitoires et socialement signifiants, jouent dans l'évaluation dela pertinence des expressions faciales de menace. Lors de nos testscomportementaux, où variaient le degré de pertinence des stimuli et le focusattentionnel, nous avons modulé l'état corporel des participants à l’aide de posturesdominantes ou non dominantes réalisées avant les tâches. Nous avons alorsdémontré que ces postures influencent l'évaluation de la pertinence des expressionsde menace, en accord avec le statut social qu’elles incarnent. De plus, ceci n’a étérévélé que lorsque le traitement de ces stimuli était implicite, soulignant alors lasaillance de ces derniers. Ainsi, nos résultats démontrent que les états corporelsinfluencent non seulement l'évaluation de la pertinence, mais la déterminent, car desstimuli par ailleurs pertinents ne sont plus évalués comme tels selon la postureadoptée. Ces résultats suggèrent que l’état du corps interagit avec nos états affectifspour signaler à l’observateur quels indices sociaux sont pertinents. / Given the quantity of information with which we are constantly confronted, our survival depends on the ability to rapidly detect and attend to what is most relevant. To this end, our brains have evolved to trigger changes in our affective state in response to relevant objects and events, which inform us of their existence and of their nature. While body-induced affective states impact the perception of congruent emotional stimuli, it is still unknown whether body-induced affective states influence the manner in which the relevance of external stimuli is determined and therefore perceived. Here, we examined the role that socially meaningful transient body states play in the evaluation of relevance of facial displays of threat. In a series of behavioral experiments, we modulated participants’ body state, instructing them to hold dominant or non-dominant postures prior to behavioral tests, in which we varied the degree of relevance of the stimuli and the focus of attention. We first demonstrated that these body postures, in accordance with the social status they embody, influenced the evaluation of the relevance of threatening facial displays. Moreover, this impact occurred where facial displays were processed implicitly, highlighting the saliency of these social cues. Overall, our studies demonstrate, that body states, not only influence the evaluation of relevance, but determine it, as otherwise relevant social cues, were no longer evaluated as such. These findings suggest that body states interact with affective states to signal which social cues are relevant to the observer.

Dans la représentation centrale du champ visuel, la disparité rétinienne horizontale est impliquée directement dans la perception stéréoscopique. Son implication en vision périphérique est moins évidente tout comme celui de la disparité verticale dont le rôle fonctionnel reste controversé.<br />Par des enregistrements extra-cellulaires réalisés chez le singe vigile, nous montrons que la disparité horizontale est codée de façon préférentielle dans la représentation fovéale du champ visuel du cortex visuel primaire (aire V1). En périphérie, les interactions fortes entre disparités horizontales et verticales et leur lien étroit avec la sélectivité à l'orientation (en accord avec le modèle d'énergie binoculaire) suggèrent leur implication dans la construction du percept stéréoscopique dans les zones excentrées du champ visuel. De plus les modulations de l'activité visuelle des neurones par la direction du regard que nous observons dans l'aire V1 également, nous permettent de conclure que le cortex visuel primaire participe aux mécanismes neuronaux de reconstruction de l'espace tridimensionnel.

Cette recherche a pour objectif d’examiner l’influence de la présence, dans des annonces presse, d’un personnage, d’un visage ou de la direction d’un regard sur l’attention portée à cette annonce ainsi que sur la mémorisation et les évaluations de cette annonce. Afin d’éprouver nos hypothèses quatre expérimentations ont été menées. Dans l’une d’entre elles un système eye-tracking a été utilisé permettant de mieux cerner les processus attentionnels. Pour nous rapprocher des conditions d’exposition habituelles à la publicité, les annonces presse ont été dissimulées dans un magazine fictif. Les résultats obtenus montrent que la présence du personnage ou du visage (versus leur absence), ainsi que le regard dirigé vers le produit (versus le regard dirigé vers l’observateur), exercent une influence sur l’attention portée à l’annonce, la mémorisation de son contenu et son évaluation. / This research aims to examine the influence of the presence in a print advertisement of a character, a face or a gaze direction (gaze directed toward the product versus gaze directed toward the observer) on attention toward the advertisement, the memorization and the evaluation of the advertisement content. To test our hypotheses, four experiments were conducted. In one of these experiments an eye-tracker has been used to better measure attentional processes. In order to approach the ordinary conditions of exposure to advertising, print advertisements were inserted in a fictive magazine (folder test procedure). The results show that the presence of the character or the face (versus their absence) and the gaze directed toward the product (versus gaze directed toward the observer) improve the attention toward the advertisement, the memorization and the assessment of advertisement content.