L'analyse d'événements aériens révèle que la plupart des accidents aéronautiques ont pour origine une surveillance inadaptée de paramètres de vol induite par une vigilance réduite, le stress ou une charge de travail importante. Une solution prometteuse pour améliorer la sécurité aérienne est d'étudier le regard des pilotes. La pupille est un bon indicateur de l'état attentionnel/cognitif tandis que les mouvements oculaires révèlent des stratégies de prises d'information. La question posée dans ce manuscrit est d'évaluer l'apport de l'oculométrie pour la sécurité aérienne par les contributions suivantes : 1-2) Les deux premières études de ce doctorat ont démontré que les effets d'interaction entre la luminance et la charge cognitive sur la réaction pupillaire. La composante pupillaire impactée dépend de la nature de la charge - soutenue ou transitoire. 3) Un cadre mathématique développé fournit un moyen d'illustration de schémas visuels pour l'analyse qualitative. Ce cadre ouvre également la voie à de nouvelles méthodes pour comparer quantitativement ces schémas visuels. 4) Une technique originale d'analyse de fixations et de construction d'un ratio "exploration-exploitation" est proposée et est appliquée dans deux cas d'études en simulateur de vol. 5) Enfin, on propose un cadre théorique d'intégration de l'oculométrie dans les cockpits. Ce cadre comporte quatre étapes présentées dans, à la fois, l'ordre chronologique de l'intégration et la complexité technique de réalisation. / Most aviation accidents include failures in monitoring or decision-making which are hampered by arousal, stress or high workload. One promising avenue to further enhance the flight safety is looking into the pilots' eyes. The pupil is a good indicator of cognitive/attentional states while eye movements reveal monitoring strategies. This thesis reflected upon the application of eye tracking in aviation with following contributions: 1-2) The two pupil experiments revealed that the luminance impacts the cognitive pupil reaction. Depending on the nature of the cognitive load - sustained or transient - the corresponding pupillary component would be impacted. The same amount of cognitive load under dimmer luminance condition would elicit larger tonic pupil diameter in a sustained load paradigm and larger phasic pupil response in a transient load paradigm. 3) We designed a novel mathematical framework and method that provide comprehensive illustrations of scanpaths for qualitative analysis. This framework also makes a lane for new methods of scanpaths comparison. 4) The developed technique of analysis of fixations and construction of "explore-exploit" ratio is presented and verifed on the data from two experiments in flight simulators. 5) Eventually, we proposed a framework of eye tracking integration into the cockpits. It contains four stages presented in both chronological order of its integration and technical complexity.

L’état attentionnel de l’opérateur est un des précurseurs de l’erreur humaine dans les systèmes complexes. Cela est particulièrement vrai en aéronautique, où la sécurité dépend en premier lieu de la capacité à réagir rapidement et correctement. Les niveaux de complexité associés à la gestion de tels systèmes aboutissent à des niveaux de charge mentale et d’engagement de l’opérateur en constante variation, qui peuvent être prédicteurs de sa performance. Ce projet de recherche adopte une démarche de Neuroergonomie, et vise à estimer l’état attentionnel en conditions écologiques par l’utilisation de mesures cérébrales. Nous avons tout d’abord étudié le comportement de l’opérateur soumis à des niveaux de demande extrêmes à l’aide de mesures cérébrales et psycho-physiologiques. Les résultats de ces études nous ont conduits au développement d’un nouveau cadre théorique centré sur l’engagement de l’opérateur pour estimer son état attentionnel. De plus, nous avons étudié différentes techniques de traitement du signal de manière à rendre possible l’utilisation des mesures cérébrales en temps réel en situation écologique, en vue du développement d’interfaces cerveau-machine pour assister l’opérateur. / The attentional state of operators is one of the main reasons for errors during human control of complex systems, and controlling these errors is critical especially in aeronautics, where errors are directly linked to safety and lives might be at stake. In particular, excessively high or low task demands encountered during the operation of such systems result in varying levels of mental workload and engagement which are linked with the operator performance. This research project adopts a Neuroergonomics approach and investigates the use of brain measurement techniques to monitor the attentional state of the operator under ecological conditions. We studied the behavior of the operator under both excessively low and high task demands with the use of multiple physiological and neurophysiological measurement techniques. Our results show that it is possible to use such techniques to characterize the attentional state. We then analyze the potential of real time application for such techniques. We investigated signal processing and analysis tools to improve the real-time usability of brain signals in ecological conditions, and proposed solutions towards the development of brain computer interfaces for assisting the human operator.

L'analyse des accidents aériens fait ressortir ces dernières années le rôle crucial desopérateurs humains, et leurs erreurs qui peuvent avoir des conséquences dramatiques. Uncas particulier d’erreur humaine reste cependant peu abordé : la surdité inattentionnelle,c’est-à-dire l’incapacité temporaire à entendre, à prendre conscience d’une informationauditive. Dans le domaine de l’aéronautique, cette défaillance cognitive est évidementcritique, car elle signifie l’omission d’alarmes auditives. Le premier enjeu de ce projet derecherche est de définir des métriques comportementales et physiologiquescaractéristiques de la surdité inattentionnelle. Pour cela, nous nous sommes intéressés enparticulier à deux postes de travail fondamentaux de la sécurité aérienne et soumis à desalarmes auditives : le pilotage et le contrôle aérien. Nous avons cherché à mettre enévidence les conditions contextuelles favorisant l’apparition de la surdité inattentionnelle,notamment la charge de travail des opérateurs. Un second enjeu était d’identifier despistes d’adaptation des interfaces avec les pilotes et les contrôleurs aériens, permettant deprévenir ou limiter la surdité inattentionnelle à ces postes spécifiques. Pour répondre àcette problématique, 3 expériences ont été menées. La première a étudié l’impact de lacharge de travail sur le traitement des alarmes auditives lors d’une tâche d’atterrissage.Elle a permis de déterminer que la P300 était un indicateur de la surdité. La secondeexpérimentation a porté sur l’impact du design des alarmes visuelles sur les capacités detraitement cognitif des alarmes auditives, dans le cadre du contrôle aérien. Les résultatsnous ont montré une restauration de la P3b auditive avec le design visuel amélioré. Enfinla dernière expérience a testé la pertinence de mesures oculaires pour détecter lescontextes favorisant la surdité inattentionnelle. Ces résultats ouvrent des pistesprometteuses de prévention et de détection de la surdité inattentionnelle aux postescritiques de la sécurité aérienne. / The analysis of airplane accidents has recently highlighted the crucial role of humanoperators, their mistakes having potential dramatic consequences. A specific type ofhuman error remains little discussed: inattentional deafness, which is defined as thetemporary inability to hear or to become aware of auditory information. In aeronautics,this cognitive failure is obviously critical because it can lead to the omission of auditoryalarms. The first challenge of this research project is to define behavioral and physiologicalcharacteristics of inattentional deafness. For this purpose, we focused on the twofundamental jobs in aviation safety and subjected to auditory alarms: piloting and airtraffic control. We planned to highlight the contextual conditions favoring the appearanceof inattentional deafness, in particular the operators' workload. A second challenge was toidentify potential adaptation in the interfaces with pilots and air traffic controllers toprevent or limit the apparition inattentional deafness. To address these issues, threeexperiments were conducted. The first experiment studied the impact of workload on thetreatment of auditory alarms during a landing task. It was determined that P3b was anindicator of deafness. The second experiment focused on the impact of design visualalarms on cognitive processing abilities auditory alarms, as part of air traffic control. Theresults showed a restoration of auditory P300 with the enhanced visual design us. Finally,the last experiment tested the relevance of eye measurements to detect contexts favoringinattentional deafness. These results open promising possibilities for prevention anddetection of inattentional deafness in critical positions of aviation safety.

Le contrôle aérien rentre dans une phase de profondes mutations liées à l’augmentation du trafic età l’évolution des outils permettant d’assurer le service. L’augmentation du nombre d’avions gérés parle contrôleur implique un nombre beaucoup plus important qu’auparavant d’informations à traiter etmémoriser ; or une part importante des causes d’incidents est déjà due à des problèmes de perception et demémorisation des informations amplifiées par la taille des écrans de contrôle. Ceux-ci sont particulièrementcritiques dans le cas de la perception des alarmes et des avertissements donnés par le système surla visualisation radar. Le design actuel de ce type d’alertes en France qui n’utilise que la couleur, faitaujourd’hui débat et il a été recommandé dans un bulletin de sécurité aérienne de le faire évoluer. Laperception des informations nécessaires à l’établissement d’une bonne conscience de la situation aériennedes contrôleurs est au centre de cette thèse. L’objet principal de ce travail est d’améliorer la conscience dela situation des contrôleurs en s’assurant que les éléments pertinents à leur disposition dont les alarmessont perçus dans des délais conformes à leur importance et que les actions nécessaires qui en découlentsont bien réalisées. Pour répondre à cette problématique, notre travail s’est porté sur deux axes. Le premierconsiste à étudier la tâche des contrôleurs de façon à analyser les informations nécessaires à la réalisationde certains objectifs et proposer un agent de suivi de la tâche qui pourrait les épauler. Le second porte surla perception des notifications, plus particulièrement en vision périphérique, et la conception de designspropres à améliorer leur perception ainsi que l’étude de leur impact sur la réalisation de la tâche. Grâceà une approche holistique basée sur l’utilisation d’un micro-monde ATC (Laby) et l’utilisation de capteursphysiologiques, nous avons pu évaluer plusieurs designs de notifications. Deux expérimentations ont étéconduites, la première utilisant de l’oculométrie, visait à mesurer le pouvoir attentionnel de cinq designs etleur impact sur la réalisation de la tâche. La seconde, en utilisant des données neurophysiologiques, visaità mesurer l’impact de deux designs sur la charge de travail. Les designs évalués ont servi à concevoir unsystème de notification intégré dans une nouvelle supervision radar qui a été couplé à l’agent de suivi dela tâche. La dernière expérimentation conduite durant ces travaux avait pour objectif d’évaluer l’impact decette nouvelle position de contrôle dont le design est orienté conscience de la situation sur la détection deproblèmes critiques. Les résultats obtenus montrent l’intérêt de ces nouveaux outils et leur impact positifsur la réalisation de la tâche des contrôleurs ainsi que la nécessité d’évaluer dans un contexte expérimentalcontrôlé les caractéristiques des designs de notifications pour les visualisations de supervision. / Air traffic control is undergoing a great change due to the increase of traffic and the evolution of thecontrol tools. The greater number of aircrafts managed by the controller implies a much greater load ofinformation to deal with and memorize than before. A significant part of accidents’ causes is already dueto the problem of information perception and memorization which is worsened by the size of the controlscreens which are particularly critical concerning the perception of alarms and warnings displayed onthe radar image. The current design in France of those types of alerts which rely on color is controversialand an Aviation Safety bulletin recommended it should be improved. The perception of informationcontributing to a satisfactory situation awareness by the air traffic controllers is central to this thesis whichaims at making sure alarms and relevant information are detected early enough and according to prioritiesand that the corresponding actions are actually performed. To answer the issue at stake our first work focusdealt with the study of the controllers’ task so as to analyze the required information in order to achievecertain objectives and provide a task monitoring agent that could support them. The second work focusdealt with the notifications perception, more specifically in the peripheral vision and the conception ofdesigns such as to improve their perception and the study of their impact on the performance of the task.Thanks to a holistic approach based on the use of an ATC microworld (Laby) and the use of physiologicalsensors we managed to assess several notification designs. Several experiments have been conducted,one using eye-tracking aimed at measuring attention capacity of five designs and their impact on theperformance of the task. The second used neurophysiologic data and aimed at measuring the impact oftwo designs on the work load. The assessed designs enabled to conceive a notification system integratedin a new radar supervision together with the task monitoring agent. The last experiment conducted in thecourse of this work aimed at measuring the impact of this new position of control whose design is situationawareness oriented, on the detection of critical problems. The obtained results show the relevance ofthese new tools and their positive impact on the performance of the task by controllers as well as the needto assess, in a controlled experimental context, the characteristics of notification designs for supervisionvisualization.

Notre comportement au quotidien nécessite la prise en compte d'informations et l'élaboration d'actions qui peuvent nous paraître banales. Il est cependant le fruit d'un traitement élaboré et complexe de la part de notre cerveau. Ce traitement cérébral est à la base des fonctions cognitives et motrices chez l'homme. Si nous voulions enregistrer in situ l'évolution temporelle des signaux cérébraux traduisant notre comportement lors de tâches cognitives et/ou sensori-motrices, nos choix se porteraient sur l'utilisation de méthodes non-invasives utilisées en neuroergonomie. Parmi les méthodes actuellement disponibles en neuroimagerie fonctionnelle, la spectroscopie proche infrarouge (NIRS) quantifiant indirectement l'activité corticale (i.e., modification de la réponse hémodynamique) apparaît la plus pertinente quant à l'appréciation de l'activité corticale en continu. Dans cette thèse, nous nous sommes intéressés, en exploitant la NIRS, à mettre en évidence les corrélats entre l'activité corticale (lobe frontal) et le niveau de sollicitation engendré par des charges de travail dans des tâches cognitives et/ou motrices à des intensités sous-maximales et de difficultés variables. Trois études ont été menées, dont les résultats montrent que l'activité hémodynamique mesurée par NIRS varie en fonction de la charge de travail. L'activité corticale est estimable à une intensité d'effort sous-maximale pour des tâches cognitives et/ou motrices, à condition que l'analyse des signaux soit suffisamment discriminante pour des sollicitations faibles à modérées. Ce travail a révélé la sensibilité et l'utilité de la NIRS dans l'exploration de la charge de travail. / Daily behavior requires taking into account some information and actions planning which may seem trivial for us. However, it is the fruit of a complex and sophisticated processing from the brain. The cerebral processes underlie cognitive and motor functions in humans. In order to record in situ the temporal evolution of cerebral signals reflecting our behavior during cognitive and/or sensorimotor tasks, different non-invasive methods from Neuroergonomics could be used. Among the available functional neuroimaging methods, the near infrared spectroscopy (NIRS) allowing indirectly to measure cortical activity (ie, changes in hemodynamic response) appears relevant to appreciate continuously cortical activity.In this thesis, using NIRS, we were interested in highlighting the correlates between cortical activity (frontal lobe) and the level of stimulation induced by workload during cognitive and/or motor tasks at sub-maximal efforts and variable difficulties. Three studies were conducted. The results indicate that the hemodynamic activity changes by NIRS depend on the workload. The cortical activity is measurable at a sub-maximal intensity for cognitive and/or motor tasks, as long as the signal analysis can discriminate low to moderate loads. This work has revealed the sensitivity and usefulness of NIRS in workload application.

Des niveaux d'automatisation élevés sont intégrés dans les environnements critiques pour satisfaire la demande croissante de systèmes plus sûrs. Cette philosophie déplace les opérateurs vers un rôle de supervision et crée de nouveaux problèmes appelés problèmes de performance liés à la sortie de boucle (SDB). L'émergence de pensées sans lien avec ici et maintenant, ou divagation attentionnelle (DA), pourrait affecter les opérateurs dans des situations de SDB par le biais du découplage perceptuel induit. Cette thèse a étudié la dynamique de la DA dans les situations de SDB et son influence sur les opérateurs. Nous avons en premier lieu examiné les preuves dans la littérature pointant vers un lien entre le problème de performance lié à la SDB et la DA. Nous avons complété cette analyse théorique en rapportant la tendance des pilotes (collectée avec un questionnaire) à rencontrer plus de problèmes avec leur pilote automatique pour ceux ayant une plus grande propension au MW non lié à la tâche. Nous avons ensuite mené trois expériences dans des conditions de SDB. Nous avons observé une augmentation significative des épisodes de DA dans les situations de SDB quelle que soit la fiabilité du système, par rapport aux conditions manuelles. Les épisodes de DA étaient également accompagnés d'un découplage perceptuel vis-à-vis de la tâche créé par la DA non lié à la tâche. Ce découplage était visible sur des rapports de demande mentale ainsi que les signaux oculométriques et encéphalographiques. Dans l'ensemble, nos résultats démontrent la possibilité d'utiliser des marqueurs physiologiques de la DA dans des environnements de SDB complexes. Nous discutons de nouvelles perspectives d'utilisation des marqueurs de la DA pour caractériser les problèmes de performance liés à la SDB. Sans vouloir arrêter aveuglément l'émergence de la DA, qui pourrait être bénéfique pour les opérateurs, les recherches futures devraient se concentrer sur la conception de systèmes capables de gérer la DA et d'identifier les informations nécessaires pour faciliter la rentrée de l'opérateur dans la boucle de contrôle. / Higher levels of automation are progressively integrated in critical environments to satisfy the increasing demand for safer systems. Such philosophy moves operators to a supervisory role, also called out-of-the-loop (OOTL) situations. Unfortunately, OOTL situations also create a new kind of human-machine interaction issues, called OOTL performance problem. The dramatic consequences of OOTL performance problem stress the need to identify which mechanisms could influence their appearance. The emergence of thoughts unrelated to the here and now, labeled mind wandering (MW), could affect operators in OOTL situations through the perceptual decoupling induced. This thesis investigates MW dynamic in OOTL situations and its influence on operators. We firstly reviewed the evidences in the literature underlining a link between OOTL performance problem and MW. We completed theoretical insights by reporting pilots' tendency (collected with a questionnaire) to encounter more problems with autopilots when experiencing more task-unrelated MW. Then, we conducted three experiments in OOTL conditions using an obstacle avoidance task. With non-expert population and sessions longer than 45 minutes, we observed a significant increase of MW in OOTL situations compared to manual conditions, independently of system reliability. MW episodes were also accompanied by a perceptual decoupling from the task induced by task-unrelated MW. This decoupling was visible on reports of mental demand as well as oculometric (pupil size, blinks) and encephalographic (N1 component, alpha activity) signals. Overall, our results demonstrate the possibility to use physiological markers of MW in complex OOTL environments. We discuss new perspectives towards the use of MW markers to characterize the OOTL performance problem. Instead of blindly stopping MW episodes, which could have benefits for operators, future research should focus on designing systems able to cope with MW and identify information needed to facilitate the reentry in the control loop when needed.

Notre comportement au quotidien nécessite la prise en compte d'informations et l'élaboration d'actions qui peuvent nous paraître banales. Il est cependant le fruit d'un traitement élaboré et complexe de la part de notre cerveau. Ce traitement cérébral est à la base des fonctions cognitives et motrices chez l'homme. Si nous voulions enregistrer in situ l'évolution temporelle des signaux cérébraux traduisant notre comportement lors de tâches cognitives et/ou sensori-motrices, nos choix se porteraient sur l'utilisation de méthodes non-invasives utilisées en neuroergonomie. Parmi les méthodes actuellement disponibles en neuroimagerie fonctionnelle, la spectroscopie proche infrarouge (NIRS) quantifiant indirectement l'activité corticale (i.e., modification de la réponse hémodynamique) apparaît la plus pertinente quant à l'appréciation de l'activité corticale en continu. Dans cette thèse, nous nous sommes intéressés, en exploitant la NIRS, à mettre en évidence les corrélats entre l'activité corticale (lobe frontal) et le niveau de sollicitation engendré par des charges de travail dans des tâches cognitives et/ou motrices à des intensités sous-maximales et de difficultés variables. Trois études ont été menées, dont les résultats montrent que l'activité hémodynamique mesurée par NIRS varie en fonction de la charge de travail. L'activité corticale est estimable à une intensité d'effort sous-maximale pour des tâches cognitives et/ou motrices, à condition que l'analyse des signaux soit suffisamment discriminante pour des sollicitations faibles à modérées. Ce travail a révélé la sensibilité et l'utilité de la NIRS dans l'exploration de la charge de travail.