L'oculométrie est un ensemble de techniques dédié à enregistrer et analyser les mouvements oculaires. Dans cette thèse, je présente l'étude, la conception et la mise en œuvre d'un système oculométrique numérique, non-intrusif permettant d'analyser les mouvements oculaires en temps réel avec une webcam à distance et sans lumière infra-rouge. Dans le cadre de la réalisation, le système oculométrique proposé se compose de quatre modules: l'extraction des caractéristiques, la détection et le suivi des yeux, l'analyse de la variété des mouvements des yeux à partir des images et l'estimation du regard par l'apprentissage. Nos contributions reposent sur le développement des méthodes autour de ces quatre modules: la première réalise une méthode hybride pour détecter et suivre les yeux en temps réel à partir des techniques du filtre particulaire, du modèle à formes actives et des cartes des yeux (EyeMap); la seconde réalise l'extraction des caractéristiques à partir de l'image des yeux en utilisant les techniques des motifs binaires locaux; la troisième méthode classifie les mouvements oculaires selon la variété générée par le Laplacian Eigenmaps et forme un ensemble de données d'apprentissage; enfin, la quatrième méthode calcul la position du regard à partir de cet ensemble d'apprentissage. Nous proposons également deux méthodes d'estimation:une méthode de la régression par le processus gaussien et un apprentissage semi-supervisé et une méthode de la catégorisation par la classification spectrale (spectral clustering). Il en résulte un système complet, générique et économique pour les applications diverses dans le domaine de l'oculométrie. / Gaze tracker offers a powerful tool for diverse study fields, in particular eye movement analysis. In this thesis, we present a new appearance-based real-time gaze tracking system with only a remote webcam and without infra-red illumination. Our proposed gaze tracking model has four components: eye localization, eye feature extraction, eye manifold learning and gaze estimation. Our research focuses on the development of methods on each component of the system. Firstly, we propose a hybrid method to localize in real time the eye region in the frames captured by the webcam. The eye can be detected by Active Shape Model and EyeMap in the first frame where eye occurs. Then the eye can be tracked through a stochastic method, particle filter. Secondly, we employ the Center-Symmetric Local Binary Patterns for the detected eye region, which has been divided into blocs, in order to get the eye features. Thirdly, we introduce manifold learning technique, such as Laplacian Eigen-maps, to learn different eye movements by a set of eye images collected. This unsupervised learning helps to construct an automatic and correct calibration phase. In the end, as for the gaze estimation, we propose two models: a semi-supervised Gaussian Process Regression prediction model to estimate the coordinates of eye direction; and a prediction model by spectral clustering to classify different eye movements. Our system with 5-points calibration can not only reduce the run-time cost, but also estimate the gaze accurately. Our experimental results show that our gaze tracking model has less constraints from the hardware settings and it can be applied efficiently in different real-time applications.

Des niveaux d'automatisation élevés sont intégrés dans les environnements critiques pour satisfaire la demande croissante de systèmes plus sûrs. Cette philosophie déplace les opérateurs vers un rôle de supervision et crée de nouveaux problèmes appelés problèmes de performance liés à la sortie de boucle (SDB). L'émergence de pensées sans lien avec ici et maintenant, ou divagation attentionnelle (DA), pourrait affecter les opérateurs dans des situations de SDB par le biais du découplage perceptuel induit. Cette thèse a étudié la dynamique de la DA dans les situations de SDB et son influence sur les opérateurs. Nous avons en premier lieu examiné les preuves dans la littérature pointant vers un lien entre le problème de performance lié à la SDB et la DA. Nous avons complété cette analyse théorique en rapportant la tendance des pilotes (collectée avec un questionnaire) à rencontrer plus de problèmes avec leur pilote automatique pour ceux ayant une plus grande propension au MW non lié à la tâche. Nous avons ensuite mené trois expériences dans des conditions de SDB. Nous avons observé une augmentation significative des épisodes de DA dans les situations de SDB quelle que soit la fiabilité du système, par rapport aux conditions manuelles. Les épisodes de DA étaient également accompagnés d'un découplage perceptuel vis-à-vis de la tâche créé par la DA non lié à la tâche. Ce découplage était visible sur des rapports de demande mentale ainsi que les signaux oculométriques et encéphalographiques. Dans l'ensemble, nos résultats démontrent la possibilité d'utiliser des marqueurs physiologiques de la DA dans des environnements de SDB complexes. Nous discutons de nouvelles perspectives d'utilisation des marqueurs de la DA pour caractériser les problèmes de performance liés à la SDB. Sans vouloir arrêter aveuglément l'émergence de la DA, qui pourrait être bénéfique pour les opérateurs, les recherches futures devraient se concentrer sur la conception de systèmes capables de gérer la DA et d'identifier les informations nécessaires pour faciliter la rentrée de l'opérateur dans la boucle de contrôle. / Higher levels of automation are progressively integrated in critical environments to satisfy the increasing demand for safer systems. Such philosophy moves operators to a supervisory role, also called out-of-the-loop (OOTL) situations. Unfortunately, OOTL situations also create a new kind of human-machine interaction issues, called OOTL performance problem. The dramatic consequences of OOTL performance problem stress the need to identify which mechanisms could influence their appearance. The emergence of thoughts unrelated to the here and now, labeled mind wandering (MW), could affect operators in OOTL situations through the perceptual decoupling induced. This thesis investigates MW dynamic in OOTL situations and its influence on operators. We firstly reviewed the evidences in the literature underlining a link between OOTL performance problem and MW. We completed theoretical insights by reporting pilots' tendency (collected with a questionnaire) to encounter more problems with autopilots when experiencing more task-unrelated MW. Then, we conducted three experiments in OOTL conditions using an obstacle avoidance task. With non-expert population and sessions longer than 45 minutes, we observed a significant increase of MW in OOTL situations compared to manual conditions, independently of system reliability. MW episodes were also accompanied by a perceptual decoupling from the task induced by task-unrelated MW. This decoupling was visible on reports of mental demand as well as oculometric (pupil size, blinks) and encephalographic (N1 component, alpha activity) signals. Overall, our results demonstrate the possibility to use physiological markers of MW in complex OOTL environments. We discuss new perspectives towards the use of MW markers to characterize the OOTL performance problem. Instead of blindly stopping MW episodes, which could have benefits for operators, future research should focus on designing systems able to cope with MW and identify information needed to facilitate the reentry in the control loop when needed.

Devoir et pouvoir, comme les verbes modaux d’autres langues, ont déjà fait l’objet d’une littérature abondante. Le fait qu’ils puissent recevoir des sens différents selon leur contexte d’emploi a particulièrement suscité l’attention des sémanticiens et des pragmaticiens. Cette thèse revient sur la question de la nature des différentes interprétations de devoir et pouvoir, et tente d’établir si leur plurivocité relève de la polysémie ou de la sous-spécification. L’hypothèse polysémique, la plus répandue dans la littérature française, implique qu’au moins le sens radical et le sens épistémique soient inscrits dans la langue et donc représentés en mémoire. Selon l’hypothèse de la sous-spécification, la multiplicité de sens relève de l’enrichissement contextuel d’un unique sens sous-spécifié stocké dans le lexique mental. L’état actuel des recherches, l’examen des différentes interprétations de devoir et pouvoir et de la sous-détermination potentielle de leur sens en contexte, comme l’étude de leur évolution sémantique en diachronie, ne permettent pas de falsifier l’une ou l’autre hypothèse. Des méthodes expérimentales, développées en psycholinguistique et en pragmatique expérimentale, sont donc convoquées. Notamment, l’examen des temps de traitement en lecture, dans une expérience d’eye tracking manipulant le sens et le contexte, suggère une représentation effectivement polysémique pour devoir, mais une représentation monosémique sous-spécifiée pour pouvoir. Devoir et pouvoir sont souvent traités ensemble, les études considérant que l’un constitue, dans son domaine modal, le pendant de l’autre. Nous relevons que le parallèle effectué n’est pas aussi motivé qu’il n’y paraît. / Devoir and pouvoir, as modal verbs in other languages, have already been the subject of extensive literature. The fact that they can convey different meanings depending on the specific context in which they occur is of particular interest to semanticists andpragmaticians. This thesis focuses on the nature of the various interpretations of devoir and pouvoir and attempts to ascertain whether their meaning multiplicity is a result of their polysemy or of their underspecified semantics. The polysemy hypothesis, which is the prevalent view in the French literature, implies that at least both the root sense and the epistemic sense fully belong to the linguistic system and hence that both are represented in memory. On the contrary, according to the underspecification model, contextual enrichment of a unique underspecified meaning stored in the mental lexicon accounts for meaning multiplicity. The current state of research, the review of the several possible interpretations of devoir and pouvoir, the investigation of potential meaning underdetermination in context, as well as the study of their semantic evolution in diachrony, do not allow us to rule out any of the two hypotheses. Experimental methods, developed in psycholinguistics and in experimental pragmatics, are thus used. Notably, analysis of processing times in reading in an eye tracking experiment in which both meaning and context are manipulated favours a polysemic representation for devoir, but a monosemic and underspecified representation for pouvoir. The two modal verbs are traditionally examined together since it is assumed that one matches the other in its own modal domain. This thesis casts doubt on this assumption.

L'intégration des facteurs humains dans la conception et le développement industriel est aujourd'hui un enjeu majeur de l'innovation technologique, et plus particulièrement pour l'automobile.<br />L'étude des processus d'évaluation des produits manufacturés apporte des informations clés sur la manière dont le produit va être perçu puis jugé. Par une approche pluridisciplinaire à la confluence des sciences de l'ingénieur et des sciences cognitives, notre travail contribue à la compréhension des processus de la cognition visuelle et de formation d'impression par l'usage de l'oculométrie. Les comportements oculomoteurs mesurés en situation d'évaluation visuelle du produit automobile sont caractérisés et catégorisés par des méthodes statistiques empruntées au traitement des images, à la biologie, à l'agronomie ou la psychophysique. Les liens entre l'attention visuelle et l'intégration cognitive des informations visuelles pour l'évaluation sont ensuite étudiés. Plusieurs paradigmes expérimentaux sont conçus : évaluation monadique ou par paire, à durée d'exposition libre ou limitée, depuis des positions d'observations libres ou contraintes. Il s'avère que les processus qui guident l'orientation du regard lors de l'évaluation visuelle de produits photographiés, tels que les habitacles automobiles, sont nombreux et imbriqués de manière complexe tant spatialement que temporellement. Ce travail développe un ensemble de protocoles et de préconisations d'usage de l'oculométrie, ainsi qu'une démarche d'analyse de ces données en cascade, afin de mettre en évidence les zones d'intérêt, les effets des consignes et les contributions relatives des différents processus attentionnels.

La signalisation routière a un rôle dans la sécurité et l'exploitation des infrastructures. Les panneaux de signalisation doivent être suffisamment saillants pour attirer l'attention du conducteur. Nous proposons dans le cadre de cette thèse, d'étudier la faisabilité d'un algorithme d'estimation automatique de la saillance de la signalisation verticale dans les images routières pour le diagnostic des réseaux routiers, via une caméra embarquée dans un véhicule.Notre paradigme est de s'appuyer sur les valeurs de confiance d'un algorithme d'apprentissage, nommé << Support Vector Machines >>, pour modéliser la saillance de recherche d'un objet défini : un (ensemble de) panneau(x) de police. Nous avons réalisé une étude statistique sur des données issues d'une expérimentation d'oculométrie cognitive. La corrélation du modèle avec les performances visuelles humaines en situation proche de la conduite prouve ses qualités afin de mesurer la saillance de la signalisation verticale.

Le but de cette thèse était la recherche de biomarqueurs des troubles de l'humeur (dépression unipolaire et troubles bipolaires). Compte tenu de l'étiologie de ces troubles (hypométabolisme du cortex préfrontal dorso-latéral et déficit de la neurotransmission GABA/glutamatergique), nous avons choisi d'étudier deux biomarqueurs : la performance saccadique et l'excitabilité corticale. Nos résultats montrent que les performances saccadiques (antisaccades) permettent (i) de discriminer les patients présentant des troubles de l'humeur de sujets sains, (ii) d'objectiver l'amélioration thymique des patients suite à un traitement, et (iii) d'évaluer l'effet neuromodulateur à court-terme d'une séance de stimulation magnétique transcrânienne répétée. Concernant les mesures d'excitabilité corticale, aucune différence liée à l'amélioration thymique des patients, ni de différences entre patients et contrôles ne ressortent significativement. Nous avons suggéré que le non-contrôle du « State-Dependency » (i.e., de l'« état neurocognitif » des sujets pendant les stimulations) puisse être l'une des causes de l'absence de résultats, et validé cette hypothèse en manipulant les registres cognitifs et émotionnels des sujets.Le second aspect de notre travail de thèse avait trait à l'étude de l'efficacité de la stimulation magnétique transcrânienne répétée (rTMS) comme alternative thérapeutique non médicamenteuse des troubles de l'humeur. Si la littérature s'accorde sur une efficacité significative mais modérée de la rTMS comme traitement, nos données n'ont pas mis en évidence de supériorité du traitement actif par rapport au traitement placebo dans le cas de la neurostimulation iTBS. Une des raisons de ce manque d'efficacité du traitement actif pourrait être liée à des questions d'ordre méthodologique, comme le choix des paramètres de stimulation. Plus généralement, cette absence de résultats incite à questionner le postulat théorique basant l'étude de la réactivité du CPFDL ou sa neuromodulation sur les propriétés du cortex moteur. Notre expérience, étudiant la réactivité de différentes zones corticales par couplage TMS-EEG, va dans ce sens en montrant que la réactivité du cortex moteur diffère de celle des autres cortex. Le couplage TMS-EEG devrait permettre de mieux comprendre l'impact de la neuromodulation rTMS sur la cible corticale visée, et donc d'adapter les paramètres de stimulations aux aires cérébrales stimulées, permettant à terme de traiter plus efficacement les troubles de l'humeur. / The aim of this doctoral thesis was to develop biomarkers for mood disorders (unipolar major depression and bipolar disorders). Considering mood disorders' etiology (Dorso lateral prefrontal cortex hypometabolism and GABA/glutamate neurotransmission deficits), we decided to study two biomarkers: saccadic performance and cortical excitability. Our results showed that saccadic performance (notably Antisaccades) allows (i) discriminating bipolar patients from healthy subjects, (ii) ascertaining patients' mood improvement, and (iii) evaluating the short-term neuromodulation induced by repetitive transcranial magnetic stimulation.Regarding cortical excitability measurements, our results did not reveal any differences neither between patients and healthy subjects, nor between Responders and non Responders to a treatment (Ketamine injection or rTMS). We suggested that the null results could be explained by the lack of control of State-Dependency. This assumption was tested and validated through the manipulation of the subjects' cognitive and emotional states.A second aim of this doctoral thesis was to study the efficacy of rTMS, a non pharmacological therapeutic alternative, as a treatment for mood disorders. Meta-analyses showed that anti depressant effect of rTMS seems to be significant but still moderate. In our experiment, mood improvement did not differ between active and sham rTMS. Basic methodological reasons such as stimulation parameters could explain this lack of efficacy. Overall, one could wonder about the validity of the theoretical postulate of rTMS, drawn upon motor cortex reactivity. This postulate inferred that both cortical reactivity of motor cortex and DLPFC are similar. Using TMS-EEG coupling, we studied the reactivity of these cortices, to TMS pulses, which revealed that motor cortex and DLPFC reactivities should not be assimilated. This result calls into question the relevance of the rTMS theoretical postulate. Coupling TMS and EEG should allow a better understanding of the impact of rTMS neuromodulatory effect over the targeted area, and thus to a better adaption of the stimulation parameters, which could lead to an improvement of rTMS efficacy as a treatment for mood disorders.

Nos travaux se sont articulés autour du problème de recouvrement temporel rencontré lors de l'estimation des potentiels évoqués. Il constitue, plus particulièrement, une limitation majeure pour l'estimation des potentiels évoqués par les fixations ou saccades oculaires lors d'une expérience en enregistrement conjoint EEG et oculométrie. En effet, la méthode habituellement utilisée pour estimer ces potentiels évoqués, la méthode par simple moyennage du signal synchronisé sur l'évènement d'intérêt, suppose qu'il y a un seul potentiel évoqué par essai. Or selon les intervalles inter-stimuli, cette hypothèse n'est pas toujours vérifiée. Ceci est d'autant plus vrai dans le contexte des potentiels évoqués par fixations ou saccades oculaires, les intervalles entre ceux-ci n'étant pas contrôlés par l'expérimentateur et pouvant être plus courts que les latences des potentiels d'intérêt. Le fait que cette hypothèse ne soit pas vérifiée donne une estimation biaisée du potentiel évoqué du fait des recouvrements entre les potentiels évoqués.Nous avons donc utilisé le Modèle Linéaire Général (GLM), méthode de régression linéaire bien connue, pour estimer les potentiels évoqués par les mouvements oculaires afin de répondre à ce problème de recouvrement. Tout d'abord, nous avons introduit, dans ce modèle, un terme de régularisation au sens de Tikhonov dans l'optique d'améliorer le rapport signal sur bruit de l'estimation pour un faible nombre d'essais. Nous avons ensuite comparé le GLM à l'algorithme ADJAR dans un contexte d'enregistrement conjoint EEG et oculométrie lors d'une tâche d'exploration visuelle de scènes naturelles. L'algorithme ADJAR ("ADJAcent Response") est un algorithme classique d'estimation itérative des recouvrements temporels développé en 1993 par M. Woldorff. Les résultats ont montré que le GLM était un modèle plus flexible et robuste que l'algorithme ADJAR pour l'estimation des potentiels évoqués par les fixations oculaires. Puis, deux configurations du GLM ont été comparées pour l'estimation du potentiel évoqué à l'apparition du stimulus et du potentiel évoqué par les fixations au début de l'exploration. Toutes deux prenaient en compte les recouvrements entre potentiels évoqués mais l'une distinguait également le potentiel évoqué par la première fixation de l'exploration du potentiel évoqué par les fixations suivantes. Il est apparu que le choix de la configuration du GLM était un compromis entre la qualité de l'estimation des potentiels et les hypothèses émises sur les processus cognitifs sous-jacents.Enfin, nous avons conduit de bout en bout une expérience d'envergure en enregistrement conjoint EEG et oculométrie portant sur l'exploration des expressions faciales émotionnelles naturelles statiques et dynamiques. Nous avons présenté les premiers résultats pour la modalité statique. Après avoir discuté de la méthode d'estimation des potentiels évoqués selon l'impact des mouvements oculaires sur leur fenêtre de latence, nous avons étudié l'effet du type d'émotion. Nous avons trouvé des modulations du potentiel différentiel EPN (Early Posterior Negativity), entre 230 et 350 ms après l'apparition du stimulus et du potentiel LPP (Late Positivity Potential), entre 400 et 600 ms après l'apparition du stimulus. Nous avons également observé des variations du potentiel évoqué par les fixations oculaires. Pour le potentiel LPP, qui est un marqueur de la reconnaissance consciente de l'émotion, nous avons montré qu'il était important de dissocier l'information qui est immédiatement encodée à l'apparition du stimulus émotionnel, de celle qui est apportée à l'issue de la première fixation. Cela met en évidence un motif d'activation différencié pour les stimuli émotionnels à valence négative ou à valence positive. Cette différenciation est en accord avec l'hypothèse d'un traitement plus rapide des stimuli émotionnels à valence négative que des stimuli émotionnels à valence positive. / Our research focuses on the issue of overlapping for evoked potential estimation. More specifically, this issue is a significant limitation for Eye-Fixation Related Potentials and Eye-Saccade Related Potentials estimations during a joint EEG and eye-tracking recording. Indeed, the usual estimation, by averaging the signal time-locked to the event of interest, is based on the assumption that a single evoked potential occurs during a trial. However, depending on the inter-stimulus intervals, this assumption is not always verified. This is especially the case in the context of Eye-Fixation Related Potentials and Eye-Saccade Related Potentials, given the fact that the intervals between fixations (or saccades) are not controlled by the experimenter and can be shorter than the latencies of the potentials of interest.The fact that this assumption is not verified gives a distorted estimate of the evoked potential due to overlaps between the evoked potentials.We have therefore used the Linear Model (GLM), a well-known linear regression method, to estimate the potentials evoked by ocular movements in order to take into account overlaps. First, we decided to introduce a term of Tikhonov regularization into this model in order to improve the signal-to-noise ratio of the estimate for a small number of trials. Then, we compared the GLM to the ADJAR algorithm in a context of joint EEG and eye-tracking recording during a task of visual exploration of natural scenes. The ADJAR ("ADJAcent Response") algorithm is an algorithm for iterative estimation of temporal overlaps developed in 1993 by M. Woldorff. The results showed that the GLM model was more flexible and robust than the ADJAR algorithm in estimating Eye-Fixation Related Potentials. Further, two GLM configurations were compared in their estimation of evoked potential at the onset of the stimulus and the eye-fixation related potential at the beginning of the testing. Both configurations took into account the overlaps between evoked potentials, but one additionally distinguished the potential evoked by the first fixation of the exploration from the potential evoked by the following fixations. It became clear that the choice of the GLM configuration was a compromise between the estimation quality of the potentials and the assumptions about the underlying cognitive processes.Finally, we conducted an extensive joint EEG and eye-tracking experiment on the exploration of static and dynamic natural emotional facial expressions. We presented the first results for the static modality. After discussing the estimation method of the evoked potentials according to the impact of the ocular movements on their latency window, we studied the influence of the type of emotion. We found modulations of the differential EPN (Early Posterior Negativity) potential, between 230 and 350 ms after the stimulus onset and the Late Positivity Potential (LPP) , between 400 and 600 ms after the stimulus onset. We also observed variations for the Eye-Fixation Related Potentials. Regarding the LPP component, a marker of conscious recognition of emotion, we have shown that it is important to dissociate information that is immediately encoded at the onset of the emotional stimulus from information encoded at the first fixations. This shows a differentiated pattern of activation according to the emotional stimulus valence. This differentiation is in agreement with the hypothesis of a faster treatment of negative emotional stimuli than of positive emotional stimuli.

Dans la vie de tous les jours, lorsque nous regardons le monde qui nous entoure, nous bougeons constamment nos yeux. Notre regard se porte successivement sur différents endroits du champ visuel afin de capter l'information visuelle. Ainsi, nos yeux se stabilisent sur deux à trois régions différentes par seconde pendant des périodes appelées fixations. Entre deux fixations, nous réalisons des mouvements rapides des yeux pour déplacer notre regard vers une autre région ; on parle de saccades oculaires. Ces mouvements oculaires sont étroitement liés à l'attention. Quels sont les processus attentionnels mis en jeu lors de l'exploration de scènes ? Comment les facteurs liés à la scène ou à la consigne donnée pour l'exploration modifient-ils les paramètres des mouvements oculaires ? Comment ces modifications évoluent-elles au cours de l'exploration ? Dans cette thèse, nous proposons d'analyser conjointement les données oculométriques et électroencéphalographiques (EEG) pour mieux comprendre les processus attentionnels impliqués dans le traitement de l'information visuelle acquise pendant l'exploration de scènes. Nous étudions à la fois l'influence de facteurs de bas niveau, c'est-à-dire l'information visuelle contenue dans la scène et de haut niveau, c'est-à-dire la consigne donnée aux observateurs. Dans une première étude, nous avons considéré les facteurs de haut niveau à travers la modulation de la tâche à réaliser pour l'exploration des scènes. Nous avons choisi quatre tâches : l'exploration libre, la catégorisation, la recherche visuelle et l'organisation spatiale. Ces tâches ont été choisies car elles impliquent des traitements de l'information visuelle de nature différente et peuvent être classées en fonction de leur niveau de difficulté ou de demande attentionnelle. Dans une seconde étude, nous nous sommes focalisées plus particulièrement sur la recherche visuelle et l'influence de la contrainte temporelle. Enfin, dans une troisième étude, nous considérons les facteurs de bas niveau à travers l'influence d'un distracteur visuel perturbant l'exploration libre. Pour les deux premières études, nous avons enregistré conjointement les mouvements oculaires et les signaux EEG d'un grand nombre de sujets. L'analyse conjointe des signaux EEG et oculométriques permet de tirer profit des deux méthodes. L'oculométrie permet d'accéder aux mouvements oculaires et donc au déploiement de l'attention visuelle sur la scène. Elle permet de connaitre à quel moment et quels endroits de la scène sont regardés. L'EEG permet, avec une grande résolution temporelle, de mettre en avant des différences dans les processus attentionnels selon la condition expérimentale. Ainsi, nous avons montré des différences entre les tâches au niveau des potentiels évoqués par l'apparition de la scène et pour les fixations au cours de l'exploration. De plus, nous avons mis en évidence un lien fort entre le niveau global de l'activité EEG observée sur les régions frontales et les durées de fixation mais aussi des marqueurs de résolution de la tâche au niveau des potentiels évoqués liés à des fixations d'intérêt. L'analyse conjointe des données EEG et oculométriques permet donc de rendre compte des différences de traitement liées à différentes demandes attentionnelles. / In everyday life, when we explored the word, we moved continually our eyes. We focus your gaze successively on different location of the visual field, in order to get the visual information. In this way, our eyes became stable on two or three different regions per second, during period called fixation. Between two fixations, we make fast movements of the eyes to move our gaze to another position; it was called saccade. Eye movements are closely linked to attention. What are the attentional processes involved during scene exploration? How factors related to the scene or the task modify the parameters of eye movements? How these changes evolve during the exploration? In the thesis, we proposed to jointly analyze eye movements and electroencephalographic (EEG) data to better understand attentional processes involved during the processing of the visual information acquired during the exploration of scenes. We focused on low and high level factors. Low level factors corresponded to the visual information included in the scene and high level factors corresponded to the instruction give to observers. In a first study, we considered high level factors by manipulating the instructions for observers. We chose four tasks: free-exploration, categorization, visual search and spatial organization. These tasks were chosen because they involved different visual information processing and can be classified by level of difficulty or attentional demands. In a second study, we focused on the visual search task and on the influence of a time constraint. Finally, in a third study, we considered low level factors by analyzing the influence of a distractor disturbing the free-exploration of scenes. For the two first experiments, we jointly recorded eye movements and EEG signals of a large number of observers. The joint analysis of EEG and eye movement data takes advantage of the two methods. Eye tracking allowed to access to eye movements parameters and therefore to the visual attention deployment. It allowed knowing when and where the regions of the scene were gazed at. EEG allowed to access to differences on attentional processes depending on the experimental condition, with a high temporal resolution. We found differences between tasks for evoked potentials elicited by the scene onset and by fixations along the exploration. Furthermore, we demonstrated a strong link between the global EEG activity observed over frontal regions and fixation durations but also markers of the solving of the task on evoked potentials elicited by fixations of interest. Therefore, joint analysis of EEG and eye movement data allowed to report different processes related to attentional demanding.

Cette thèse en ergonomie s’inscrit dans le cadre d’un projet de conception industrielle d’un système innovant d’e-santé (HADAGIO), développé par l’entreprise SESIN et permettant le maintien à domicile de personnes âgées fragiles. Son objectif appliqué a été de produire des recommandations ergonomiques permettant d’améliorer les interfaces du système proposé sous la forme d’un portail d’applications web afin de les rendre faciles à utiliser par des personnes âgées et, ainsi, favoriser l’acceptation finale du dispositif HADAGIO. Ce travail s’est intéressé à la tâche de localisation d’informations sur un écran et, plus particulièrement, au rôle des éléments de surface (couleur et niveau de détails) des icônes et libellés lexicaux sur les performances de réalisation de cette tâche par des personnes âgées. Cette tâche est en effet particulièrement difficile pour ces dernières qui obtiennent des performances de localisation moindres que celles des jeunes (temps de réaction et nombre d’erreurs plus importants). Des recommandations graphiques pour la conception d’interfaces du portail HADAGIO ont émergées de ce travail, et permettent de faciliter la tâche de localisation des informations pour des personnes âgées. / This thesis in ergonomics is part of an industrial design project of an innovative e-health system (HADAGIO), developed by the company SESIN and allowing home support frail elderly. Its goal was applied to produce ergonomic recommendations for improving the interfaces of the system proposed in the form of a web portal software to make them easier to use and thus promote the final acceptance HADAGIO the device.This work has focused on the task of locating information on a screen and, in particular, the role of perceptual features (color and detail) lexical icons and labels on achieving performance of this task by elders. This task is indeed particularly difficult for this people who get lower localization performances than young people (reaction times and a larger number of errors). The models proposed for the target location task assumes that the knowledge possessed by individuals on the appearance of the target to locate allow improved performance. Given that advancing age does not affect the process involving knowledge stored in memory (Top Down type) implemented in this task it was to determine what could be the color of the role and Details of the target level in the implementation of these processes at a location task information.Graphics recommendations for HADAGIO portal interface design have emerged from this work, and provide information to facilitate the localization task for the elderly.

Les visages fournissent à l'observateur un ensemble d'informations physiques, émotionnelles et sociales qui déterminent la manière dont les gens interagissent entre eux. Grâce aux cette informations, un humain peut se faire rapidement une première impression. La capacité de former des jugements de nature sociale est au centre de ce travail de thèse ainsi qu'à la manière dont la fiabilité d'autrui peut-être détectée spontanément à partir d'un visage. J'ai employé des techniques de suivi du mouvement oculaire, d'électrophysiologie (EEG) et comportementales. Le but de l'étude 1 visait à déterminer si la capacité d'évaluer la confiance est universelle. J'ai teste si les singes peuvent montrer une préférence spontanée envers des visages humains inspirant confiance, comme il l'a été observé chez les humains. Chez les deux espèces le temps de regard étais supérieur pour les visages inspirant confiance par rapport à ceux n'inspirant pas confiance. Un autre ensemble d'études s'intéressait au syndrome de Williams-Beuren (WS). La pathologie dont une des caractéristiques est un comportement d'appétence sociale a été utilisée comme modèle neurobiologique humain afin d'étudier la capacité à détecter les informations sociales du visage. Les patients WS sont-ils capables de détecter la confiance à partir d'un visage? Comment les patients WS se représentent un visage qui inspire confiance? J'ai observé que les patients WS regardent moins longtemps les visages qui inspirent confiance, suggérant qu'ils ont une tendance à davantage faire confiance à tout le monde. Nos résultats démontrent aussi qu'en comparaison à un groupe sain, ils ne présentent pas une image stéréotypique d'un visage qui inspire confiance. Dans une dernière étude, j'ai cherché à savoir si les sources neuronales éléctrophysiologiques, en particulier dans les régions du sulcus temporal supérieur (240ms), pouvaient expliquer leur comportement. J'ai observé que l'activité de la source était modulée de manière significative par rapport à la proximité des yeux, comme dans le groupe control. Les résultats suggèrent la présence d'une voie rapide dans le cerveau qui joue le rôle fondamental de moduler les comportements d'approche et d'évitement et que cette voie peut être altérée chez des patients caractérisés par un comportement d'appétence sociale / Faces provide a complex set of physical, emotional and social information to the observer that determines how people will interact with others. From facial information, human subjects can form rapid, first impression judgments. The ability to create social judgments from faces is the core topic of this work. This thesis will focus on how social information and trust is spontaneously detected from faces. In my studies I used eye tracking procedure, electrophysiology (EEG) and behavioral measures. In a first experiment, I investigated the evolutionary origin of trustworthiness detection testing whether monkeys (Macaca Mulatta and Fascicularis) have a spontaneous preference towards trustworthy human faces, thus suggesting a capacity to detect facial cues similar to those used by humans. Using a preference visual paradigm we observed that both species spent more time looking at trustworthy faces than untrustworthy ones. I further conducted three studies with patients affected by Williams-Beuren syndrome (WS). This pathology can be considered a neurobiological human model for the overexpressed social behavior. Are Williams-syndrome patients able to detect trustworthiness from faces? How WS patients form the representation of trustable faces ? Using a preference visual paradigm I observed that WS patients looked less the trustworthy faces compared to control group. This implicit behavior supports patients’ tendency to trust everybody. In a second experiment using reverse correlation paradigm - the procedure pushes subjects to select from noise the facial features that they believe are important for a specific judgment – I found that at group level patients did not show a stereotypical image of trustworthy faces compared to healthy controls. In a final study I investigate whether electrophysiological brain sources, with particular attention to the source localized in the superior temporal sulcus, could explain patients’ behaviour. I found that the activity of a source localized in the STS at 240ms was significantly modulated by eye proximity as in the control group. Overall the results of this work suggests the presence of a fast route in the brain that plays the fundamental role of modulating approach/avoidance behavior. This route may be altered in patients characterized by an overexpressed social behavior