Les Interfaces Cerveau Machine (ICM) sont des dispositifs d'un type nouveau permettant la communication directe entre le cerveau d'un utilisateur et une machine. De tels dispositifs peuvent être réalisés grâce à la mesure non-invasive d'informations provenant du cortex par électroencéphalographie (EEG). Un des enjeux principaux du domaine est de réussir à extraire en temps réel, à partir d'une source d'information très limitée et bruitée, un signal de commande robuste et suffisamment complexe pour permettre le contrôle d'un programme ou d'un effecteur. Dans cette thèse nous avons contribué à l'amélioration des ICM sur trois points. Tout d'abord, nous avons exploré la possibilité d'augmenter la résolution spatiale de l'EEG en utilisant des méthodes permettant de construire l'activité corticale en temps réel. D'autre part, inspirés par une ICM utilisant l'imagination motrice des pieds pour envoyer une commande unique, nous nous sommes intéressés aux signaux produits par l'imagination de mouvements brefs. Cela nous a permis de développer un nouveau type d'ICM appelé bouton commandé par la pensée. Une telle ICM permet à l'utilisateur d'envoyer, de façon asynchrone, plusieurs commandes en imaginant différents mouvements. Finalement, nous avons développé une méthode, basée sur la théorie des bandits stochastiques, pour sélectionner automatiquement et efficacement le mouvement imaginé le plus discernable de l'état de repos et permettant ainsi le meilleur contrôle de l'ICM. En parallèle, nous avons développé une boîte à outils Matlab qui automatise l'ajustement des paramètres et la comparaison des différentes méthodes utilisées pour réaliser une ICM.

La réalisation d’une action motrice implique l’activation simultanée des muscles agonistes et antagonistes contrôlés par le système nerveux central. Un traumatisme médullaire détériore la moelle épinière, entrainant une déficience motrice et des modifications du contrôle des activations musculaires. Ce travail étudie la réorganisation des activations musculaires, des activations corticales et des interactions corticomusculaires (ICM) d’un groupe traumatisé médullaire cervical (SCI) et d’un groupe contrôle (AB) lors de flexions et d'extensions isométriques autour de l’articulation du coude. En extension, nos résultats ont mis en évidence une altération des capacités de force maximale chez les SCI, associée à une augmentation des activations musculaires, une activation corticale identique aux AB et une diminution de l’implication du M1 dans le contrôle des activations musculaires. En flexion, la force développée, les activations corticales et les ICM étaient similaires chez les SCI et AB, mais les activations antagonistes et la difficulté à inhiber la contraction étaient plus importantes chez les SCI. Pour l’ensemble des participants, les ICM en flexion étaient différentes selon la fonction des groupes musculaires. Ces résultats suggèrent une altération du contrôle cortical des mécanismes inhibiteurs spinaux de la contraction musculaire après un traumatisme médullaire mais indiquent que le cortex moteur reste fonctionnel pour contrôler un acte moteur malgré l’atrophie des muscles extenseurs. Ces résultats pourraient trouver des applications cliniques pour l’élaboration de neuroprothèses nécessitant un contrôle simultané de différents groupes musculaires. / The realization of a motor action involves simultaneous activation of both agonist and antagonist muscles controlled by the central nervous system. Following spinal cord injury, damage to the spinal cord causes both a loss of motor efficiency and changes in the control of muscle activations. In the present work, we studied the reorganization of muscle activations, cortical activations and corticomuscular interactions (ICM) in spinal cord injured (SCI) and able-bodied (AB) participants during voluntary isometric contractions in flexion and extension around the elbow joint. In extension, our results showed altered capacity of maximum force production in SCI participants, associated with increased muscle activations, similar cortical activation and decreased involvement of M1 in the control of muscle activations when compared to AB participants. In flexion, the force capacities, cortical activations and ICM were similar between SCI and AB participants, but the activation of antagonistic muscles and the difficulty to inhibit the contraction were greater in SCI participants. For all participants in flexion, ICM were different depending on the function of the muscle groups. Taken together, these results suggest an alteration of the cortical control of spinal inhibitory mechanisms following a spinal cord injury, but suggest that the motor cortex remain functional to control a motor act despite the atrophy of the extensor muscles. These results could find clinical applications for the development of neuroprotheses involving simultaneous control of different muscle groups.

Nos travaux se sont articulés autour du problème de recouvrement temporel rencontré lors de l'estimation des potentiels évoqués. Il constitue, plus particulièrement, une limitation majeure pour l'estimation des potentiels évoqués par les fixations ou saccades oculaires lors d'une expérience en enregistrement conjoint EEG et oculométrie. En effet, la méthode habituellement utilisée pour estimer ces potentiels évoqués, la méthode par simple moyennage du signal synchronisé sur l'évènement d'intérêt, suppose qu'il y a un seul potentiel évoqué par essai. Or selon les intervalles inter-stimuli, cette hypothèse n'est pas toujours vérifiée. Ceci est d'autant plus vrai dans le contexte des potentiels évoqués par fixations ou saccades oculaires, les intervalles entre ceux-ci n'étant pas contrôlés par l'expérimentateur et pouvant être plus courts que les latences des potentiels d'intérêt. Le fait que cette hypothèse ne soit pas vérifiée donne une estimation biaisée du potentiel évoqué du fait des recouvrements entre les potentiels évoqués.Nous avons donc utilisé le Modèle Linéaire Général (GLM), méthode de régression linéaire bien connue, pour estimer les potentiels évoqués par les mouvements oculaires afin de répondre à ce problème de recouvrement. Tout d'abord, nous avons introduit, dans ce modèle, un terme de régularisation au sens de Tikhonov dans l'optique d'améliorer le rapport signal sur bruit de l'estimation pour un faible nombre d'essais. Nous avons ensuite comparé le GLM à l'algorithme ADJAR dans un contexte d'enregistrement conjoint EEG et oculométrie lors d'une tâche d'exploration visuelle de scènes naturelles. L'algorithme ADJAR ("ADJAcent Response") est un algorithme classique d'estimation itérative des recouvrements temporels développé en 1993 par M. Woldorff. Les résultats ont montré que le GLM était un modèle plus flexible et robuste que l'algorithme ADJAR pour l'estimation des potentiels évoqués par les fixations oculaires. Puis, deux configurations du GLM ont été comparées pour l'estimation du potentiel évoqué à l'apparition du stimulus et du potentiel évoqué par les fixations au début de l'exploration. Toutes deux prenaient en compte les recouvrements entre potentiels évoqués mais l'une distinguait également le potentiel évoqué par la première fixation de l'exploration du potentiel évoqué par les fixations suivantes. Il est apparu que le choix de la configuration du GLM était un compromis entre la qualité de l'estimation des potentiels et les hypothèses émises sur les processus cognitifs sous-jacents.Enfin, nous avons conduit de bout en bout une expérience d'envergure en enregistrement conjoint EEG et oculométrie portant sur l'exploration des expressions faciales émotionnelles naturelles statiques et dynamiques. Nous avons présenté les premiers résultats pour la modalité statique. Après avoir discuté de la méthode d'estimation des potentiels évoqués selon l'impact des mouvements oculaires sur leur fenêtre de latence, nous avons étudié l'effet du type d'émotion. Nous avons trouvé des modulations du potentiel différentiel EPN (Early Posterior Negativity), entre 230 et 350 ms après l'apparition du stimulus et du potentiel LPP (Late Positivity Potential), entre 400 et 600 ms après l'apparition du stimulus. Nous avons également observé des variations du potentiel évoqué par les fixations oculaires. Pour le potentiel LPP, qui est un marqueur de la reconnaissance consciente de l'émotion, nous avons montré qu'il était important de dissocier l'information qui est immédiatement encodée à l'apparition du stimulus émotionnel, de celle qui est apportée à l'issue de la première fixation. Cela met en évidence un motif d'activation différencié pour les stimuli émotionnels à valence négative ou à valence positive. Cette différenciation est en accord avec l'hypothèse d'un traitement plus rapide des stimuli émotionnels à valence négative que des stimuli émotionnels à valence positive. / Our research focuses on the issue of overlapping for evoked potential estimation. More specifically, this issue is a significant limitation for Eye-Fixation Related Potentials and Eye-Saccade Related Potentials estimations during a joint EEG and eye-tracking recording. Indeed, the usual estimation, by averaging the signal time-locked to the event of interest, is based on the assumption that a single evoked potential occurs during a trial. However, depending on the inter-stimulus intervals, this assumption is not always verified. This is especially the case in the context of Eye-Fixation Related Potentials and Eye-Saccade Related Potentials, given the fact that the intervals between fixations (or saccades) are not controlled by the experimenter and can be shorter than the latencies of the potentials of interest.The fact that this assumption is not verified gives a distorted estimate of the evoked potential due to overlaps between the evoked potentials.We have therefore used the Linear Model (GLM), a well-known linear regression method, to estimate the potentials evoked by ocular movements in order to take into account overlaps. First, we decided to introduce a term of Tikhonov regularization into this model in order to improve the signal-to-noise ratio of the estimate for a small number of trials. Then, we compared the GLM to the ADJAR algorithm in a context of joint EEG and eye-tracking recording during a task of visual exploration of natural scenes. The ADJAR ("ADJAcent Response") algorithm is an algorithm for iterative estimation of temporal overlaps developed in 1993 by M. Woldorff. The results showed that the GLM model was more flexible and robust than the ADJAR algorithm in estimating Eye-Fixation Related Potentials. Further, two GLM configurations were compared in their estimation of evoked potential at the onset of the stimulus and the eye-fixation related potential at the beginning of the testing. Both configurations took into account the overlaps between evoked potentials, but one additionally distinguished the potential evoked by the first fixation of the exploration from the potential evoked by the following fixations. It became clear that the choice of the GLM configuration was a compromise between the estimation quality of the potentials and the assumptions about the underlying cognitive processes.Finally, we conducted an extensive joint EEG and eye-tracking experiment on the exploration of static and dynamic natural emotional facial expressions. We presented the first results for the static modality. After discussing the estimation method of the evoked potentials according to the impact of the ocular movements on their latency window, we studied the influence of the type of emotion. We found modulations of the differential EPN (Early Posterior Negativity) potential, between 230 and 350 ms after the stimulus onset and the Late Positivity Potential (LPP) , between 400 and 600 ms after the stimulus onset. We also observed variations for the Eye-Fixation Related Potentials. Regarding the LPP component, a marker of conscious recognition of emotion, we have shown that it is important to dissociate information that is immediately encoded at the onset of the emotional stimulus from information encoded at the first fixations. This shows a differentiated pattern of activation according to the emotional stimulus valence. This differentiation is in agreement with the hypothesis of a faster treatment of negative emotional stimuli than of positive emotional stimuli.

L'électroencéphalographie (EEG) est une technique d'imagerie cérébrale non invasive importante, capable d'enregistrer l'activité neuronale avec une grande résolution temporelle (ms), mais avec une résolution spatiale faible. Le problème inverse en EEG est un problème difficile, fortement sous-déterminé : des contraintes ou des a priori sont nécessaires pour aboutir à une solution unique. Récemment, l'intégration de signaux EEG et d'imagerie par résonance magnétique fonctionnelle (fMRI) a été largement considérée. Les données EEG et fMRI relatives à une tâche donnée, reflètent les activités neuronales des mêmes régions. Nous pouvons donc supposer qu'il existe des cartes spatiales communes entre données EEG et fMRI. En conséquence, résoudre le problème inverse en EEG afin de trouver les cartes spatiales des sources EEG congruentes avec celles obtenues par l'analyse de signaux fMRI semble être une démarche réaliste. Le grand défi reste la relation entre l'activité neuronale électrique (EEG) et l'activité hémodynamique (fMRI), qui n'est pas parfaitement connue à ce jour. La plupart des études actuelles reposent sur un modèle neurovasculaire simpliste par rapport à la réalité. Dans ce travail, nous utilisons des a priori et des faits simples et généraux, qui ne dépendent pas des données ou de l'expérience et sont toujours valides, comme contraintes pour résoudre le problème inverse en EEG. Ainsi, nous résolvons le problème inverse en EEG en estimant les sources spatiales parcimonieuses, qui présentent la plus forte corrélation avec les cartes spatiales obtenues par fMRI sur la même tâche. Pour trouver la représentation parcimonieuse du signal EEG, relative à une tâche donnée, on utilise une méthode (semi-aveugle) de séparation de sources avec référence (RSS), qui extrait les sources dont la puissance est la plus corrélée à la tâche. Cette méthode a été validée sur des simulations réalistes et sur des données réelles d'EEG intracrânienne (iEEG) de patients épileptiques. Cette représentation du signal EEG dans l'espace des sources liées à la tâche est parcimonieuse. En recherchant les fonctions d'activation de fMRI similaires à ces sources, on déduit les cartes spatiales de fMRI très précises de la tâche. Ces cartes fournissent une matrice de poids, qui impose que les voxels activés en fMRI doivent être plus importants que les autres voxels dans la résolution du problème inverse en EEG. Nous avons d'abord validé cette méthode sur des données simulées, puis sur des données réelles relatives à une expérience de reconnaissance de visages. Les résultats montrent en particulier que cette méthode est très robuste par rapport au bruit et à la variabilité inter-sujets. / Electroencephalography (EEG) is an important non-invasive imaging technique as it records the neural activity with high temporal resolution (ms), but it lacks high spatial resolution. The inverse problem of EEG is underdetermined and a constraint or prior information is needed to find a unique solution. Recently, EEG-fMRI integration is widely considered. These methods can be categoraized in three groups. First group uses the EEG temporal sources as the regressors in the generalized linear method (GLM) which is used to analyze the fMRI data. The second group analyzes EEG and fMRI simultaneously which is known as fusion technique. The last one, which we are interested in, uses the fMRI results as prior information in the EEG inverse problem. The EEG and fMRI data of a specific task, eventually reflect the neurological events of the same activation regions. Therefore, we expect that there exist common spatial patterns in the EEG and the fMRI data. Therefore, solving the EEG inverse problem to find the spatial pattern of the EEG sources which is congruent with the fMRI result seems to be close to the reality. The great challenge is the relationship between neural activity (EEG) and hemodynamic changes (fMRI), which is not discovered by now. Most of the previous studies have used simple neurovascular model because using the realistic model is very complicated. Here, we use general and simple facts as constraints to solve the EEG inverse problem which do not rely on the experiment or data and are true for all cases. Therefore, we solve the EEG inverse problem to estimate sparse connected spatial sources with the highest correlation with the fMRI spatial map of the same task. For this purpose, we have used sparse decomposition method. For finding sparse representation of the EEG signal, we have projected the data on the uncorrelated temporal sources of the activity. We have proposed a semi-blind source separation method which is called reference-based source separation (R-SS) and extracts discriminative sources between the activity and the background. R-SS method has been verified on a realistic simulation data and the intracranial EEG (iEEG) signal of five epileptic patients. We show that the representation of EEG signal in its task related source space is sparse and then a weighted sparse decomposition method is proposed and used to find the spatial map of the activity. In the weighted sparse decomposition method we put fMRI spatial map in the weighting matrix, such that the activated voxels in fMRI are considered more important than the other voxels in the EEG inverse problem. We validated the proposed method on the simulation data and also we applied the method on the real data of the face perception experiment. The results show that the proposed method is stable against the noise and subject variability.

Dans la vie de tous les jours, lorsque nous regardons le monde qui nous entoure, nous bougeons constamment nos yeux. Notre regard se porte successivement sur différents endroits du champ visuel afin de capter l'information visuelle. Ainsi, nos yeux se stabilisent sur deux à trois régions différentes par seconde pendant des périodes appelées fixations. Entre deux fixations, nous réalisons des mouvements rapides des yeux pour déplacer notre regard vers une autre région ; on parle de saccades oculaires. Ces mouvements oculaires sont étroitement liés à l'attention. Quels sont les processus attentionnels mis en jeu lors de l'exploration de scènes ? Comment les facteurs liés à la scène ou à la consigne donnée pour l'exploration modifient-ils les paramètres des mouvements oculaires ? Comment ces modifications évoluent-elles au cours de l'exploration ? Dans cette thèse, nous proposons d'analyser conjointement les données oculométriques et électroencéphalographiques (EEG) pour mieux comprendre les processus attentionnels impliqués dans le traitement de l'information visuelle acquise pendant l'exploration de scènes. Nous étudions à la fois l'influence de facteurs de bas niveau, c'est-à-dire l'information visuelle contenue dans la scène et de haut niveau, c'est-à-dire la consigne donnée aux observateurs. Dans une première étude, nous avons considéré les facteurs de haut niveau à travers la modulation de la tâche à réaliser pour l'exploration des scènes. Nous avons choisi quatre tâches : l'exploration libre, la catégorisation, la recherche visuelle et l'organisation spatiale. Ces tâches ont été choisies car elles impliquent des traitements de l'information visuelle de nature différente et peuvent être classées en fonction de leur niveau de difficulté ou de demande attentionnelle. Dans une seconde étude, nous nous sommes focalisées plus particulièrement sur la recherche visuelle et l'influence de la contrainte temporelle. Enfin, dans une troisième étude, nous considérons les facteurs de bas niveau à travers l'influence d'un distracteur visuel perturbant l'exploration libre. Pour les deux premières études, nous avons enregistré conjointement les mouvements oculaires et les signaux EEG d'un grand nombre de sujets. L'analyse conjointe des signaux EEG et oculométriques permet de tirer profit des deux méthodes. L'oculométrie permet d'accéder aux mouvements oculaires et donc au déploiement de l'attention visuelle sur la scène. Elle permet de connaitre à quel moment et quels endroits de la scène sont regardés. L'EEG permet, avec une grande résolution temporelle, de mettre en avant des différences dans les processus attentionnels selon la condition expérimentale. Ainsi, nous avons montré des différences entre les tâches au niveau des potentiels évoqués par l'apparition de la scène et pour les fixations au cours de l'exploration. De plus, nous avons mis en évidence un lien fort entre le niveau global de l'activité EEG observée sur les régions frontales et les durées de fixation mais aussi des marqueurs de résolution de la tâche au niveau des potentiels évoqués liés à des fixations d'intérêt. L'analyse conjointe des données EEG et oculométriques permet donc de rendre compte des différences de traitement liées à différentes demandes attentionnelles. / In everyday life, when we explored the word, we moved continually our eyes. We focus your gaze successively on different location of the visual field, in order to get the visual information. In this way, our eyes became stable on two or three different regions per second, during period called fixation. Between two fixations, we make fast movements of the eyes to move our gaze to another position; it was called saccade. Eye movements are closely linked to attention. What are the attentional processes involved during scene exploration? How factors related to the scene or the task modify the parameters of eye movements? How these changes evolve during the exploration? In the thesis, we proposed to jointly analyze eye movements and electroencephalographic (EEG) data to better understand attentional processes involved during the processing of the visual information acquired during the exploration of scenes. We focused on low and high level factors. Low level factors corresponded to the visual information included in the scene and high level factors corresponded to the instruction give to observers. In a first study, we considered high level factors by manipulating the instructions for observers. We chose four tasks: free-exploration, categorization, visual search and spatial organization. These tasks were chosen because they involved different visual information processing and can be classified by level of difficulty or attentional demands. In a second study, we focused on the visual search task and on the influence of a time constraint. Finally, in a third study, we considered low level factors by analyzing the influence of a distractor disturbing the free-exploration of scenes. For the two first experiments, we jointly recorded eye movements and EEG signals of a large number of observers. The joint analysis of EEG and eye movement data takes advantage of the two methods. Eye tracking allowed to access to eye movements parameters and therefore to the visual attention deployment. It allowed knowing when and where the regions of the scene were gazed at. EEG allowed to access to differences on attentional processes depending on the experimental condition, with a high temporal resolution. We found differences between tasks for evoked potentials elicited by the scene onset and by fixations along the exploration. Furthermore, we demonstrated a strong link between the global EEG activity observed over frontal regions and fixation durations but also markers of the solving of the task on evoked potentials elicited by fixations of interest. Therefore, joint analysis of EEG and eye movement data allowed to report different processes related to attentional demanding.

Objet de nombreuses spéculations religieuses ou philosophiques, le rêve reste encore l'une des grandes terra incognita de la cognition humaine.Une des questions récurrentes sur le rêve porte sur la grande variabilité de fréquence de rappel de rêve. En effet, alors que certaines personnes se souviennent de leurs rêves quotidiennement (« Rêveurs »), d'autres ne s'en souviennent que très rarement (« Non-rêveurs »). Le principal objectif de notre travail de thèse a été de caractériser les corrélats cérébraux et comportementaux de cette variabilité interindividuelle, en comparant entre ces deux groupes la structure du sommeil (Étude 1), mais aussi l'activité cérébrale pendant les minutes qui suivent le réveil (Étude 2). Nous avons entre autres montré que les « Rêveurs » faisaient preuve d'une plus grande connectivité fonctionnelle au sein du réseau par défaut et de régions impliquées dans des processus mnésiques dans les minutes suivant l'éveil, ce qui pourrait faciliter chez ces personnes le rappel et/ou la consolidation du rêve. Cette étude nous a également permis, grâce à l'analyse des nombreuses réponses obtenues au questionnaire de recrutement, de mesurer les habitudes de sommeil et de rêve chez un échantillon large d'étudiants de l'Université de Lyon 1 (Étude 3).Dans une quatrième étude comportementale, nous nous sommes intéressés au lien existant entre la vie éveillée et le contenu du rêve. Nos résultats ont permis de mieux caractériser les facteurs influençant la probabilité d'incorporation des évènements de la vie éveillée dans le rêve, et ont mis en évidence l'importance du rêve dans des processus de régulation émotionnelle.Finalement, en parallèle de ces travaux, nous nous sommes attachés au développement d'un logiciel gratuit de visualisation et d'analyse de tracés de polysomnographie, dont l'objectif est de fournir une interface intuitive et portable aux étudiants et chercheurs travaillant sur le sommeil / Since the dawn of time, humans have sought to understand the nature and meaning of their dreams. However, despite millennia of philosophical speculation and more than a century of scientific exploration, several questions regarding dreams remain pending.One question that constitutes the core problematic of this thesis relates to why there are such individual differences in the frequency of dream recall, or in other words, why some people remember up to several dreams per morning (High-recallers, HR) while some hardly ever recall one (Low-recallers, LR). To characterize the cerebral and behavioral correlates of this variability, we compared the sleep microstructure (Study 1), as well as the brain functional connectivity in the minutes following awakeningfrom sleep, a period marked by sleep inertia (Study 2). Among other results, we have shown that just after awakening, HR demonstrated a greater functional connectivity within regions involved in memory processes (default mode network). We proposed that this reflect a differential neurophysiological profile, which could facilitate in HRthe retrieval of dream content upon awakening. Second, the numerous answers to the recruitment questionnaire of this study allowed us to conduct an epidemiological survey to characterize the sleep and dream habits of a large sample of French college students from Lyon 1 University (Study 3). In another study, we focused on the relationships between waking-life and dream content (Study 4). Our results enhanced and refined our comprehension of the factors influencing the likelihood of incorporation of waking-life elements into dreams, and provided support for the hypothesis of an active role of dreaming in emotional regulation.Lastly, we designed a free and open-source software dedicated to the visualization and analysis of polysomnographic recordings (Study 5), which aims at providing an intuitive and portable graphical interface to students and researchers working on sleep

Les études récentes sur les Interactions Homme-Machine ont intégré la dimension émotionnelle dans l'évaluation de l'expérience de l'utilisateur. En effet, un nouveau courant de recherche est apparu à savoir l'informatique affective, qui a donné lieu à une nouvelle génération de jeux vidéo capables d'interagir avec l'utilisateur en prenant en considération ses émotions, appelée jeux vidéo affectifs. L’objectif principal de ces jeux est de garder le joueur engagé durant la session du jeu. Pour y arriver, le jeu vidéo doit mesurer et réguler l‘état émotionnel du joueur en ajustant ses différents composants. Malgré le nombre important des recherches qui visent à améliorer le processus de détection émotionnelle, toutes les mesures utilisées jusqu'à présent ont montré certaines limites à cause de la complexité d'interprétation du concept émotionnel. Dans le présent travail, nous proposons de mesurer et soutenir l'engagement mental du joueur dans un environnent de jeu vidéo. Nous avons d’abord développé une première version de jeu vidéo et nous avons conduit une première étude expérimentale pour mesurer l'engagement mental du joueur à partir d'un index d’engagement mental extrait des données de l’activité cérébrale du joueur et plus précisément l’électroencéphalographie (EEG). Nous avons ensuite développé une deuxième version de jeu vidéo capable de capter l'état d'engagement mental (engagé, désengagé) du joueur et de déclencher un ensemble de stratégies d'engagement. Finalement, nous avons réalisé une deuxième étude expérimentale pour vérifier la capacité de ces stratégies à corriger l'état de manque d'engagement (désengagement) à augmenter et à maintenir le niveau d'engagement du joueur durant le jeu. Mots-clés : jeux vidéo, engagement mental, émotions, électroencéphalographie, stratégies d’engagement. / Recent studies in human-machine interactions have integrated the emotional dimension into the evaluation of the user’s experience. Indeed, a new current research has emerged, namely affective computing, which has given rise to a new generation of video games capable of interacting with the user taking into consideration his emotions, called affective video games. The main objective of the games is to keep the player engaged during the game session. To achieve this, the video game must measure and regulate the player’s emotional state by adjusting its different components accordingly. Although the large number of researches that aim to improve emotional detection processes, all the measures used up to now have shown some limitations, because of the complexity of the emotional concept interpretation. In this work, we add to these studies by formally proposing to measure and support the player’s mental engagement in a video game environment. First, we developed a first version of video game and we conducted a first experimental study to measure the player’s mental engagement from a mental engagement index extracted from the player’s brain activity data, and more precisely Electroencephalography (EEG). Second, we developed a second version of video game capable of capturing the player’s mental engagement state (engaged, disengaged) and triggering a set of engagement strategy. Finally, we carried out a second experimental study to verify the ability of these strategies to correct the engagement lack state (disengagement) and to increase and maintain the player engagement level during the game. Keywords: video games, mental engagement, emotions, electroencephalography, engagement strategy.

Cette thèse explore l'analyse de l'activité électrique du cerveau. Un défi important de ces signaux est leur grande variabilité à travers différents essais et/ou différents sujets. Nous proposons une nouvelle méthode appelée "adaptive waveform learning" (AWL). Cette méthode est suffisamment générale pour permettre la prise en compte de la variabilité empiriquement rencontrée dans les signaux neuroélectriques, mais peut être spécialisée afin de prévenir l'overfitting du bruit. La première partie de ce travail donne une introduction sur l'électrophysiologie du cerveau, présente les modalités d'enregistrement fréquemment utilisées et décrit l'état de l'art du traitement de signal neuroélectrique. La principale contribution de cette thèse consiste en 3 chapitres introduisant et évaluant la méthode AWL. Nous proposons d'abord un modèle de décomposition de signal général qui inclut explicitement différentes formes de variabilité entre les composantes de signal. Ce modèle est ensuite spécialisé pour deux applications concrètes: le traitement d'une série d'essais expérimentaux segmentés et l'apprentissage de structures répétées dans un seul signal. Deux algorithmes sont développés pour résoudre ces problèmes de décomposition. Leur implémentation efficace basée sur des techniques de minimisation alternée et de codage parcimonieux permet le traitement de grands jeux de données.Les algorithmes proposés sont évalués sur des données synthétiques et réelles contenant des pointes épileptiformes. Leurs performances sont comparées à celles de la PCA, l'ICA, et du template-matching pour la détection de pointe. / This thesis investigates the analysis of brain electrical activity. An important challenge is the presence of large variability in neuroelectrical recordings, both across different subjects and within a single subject, for example, across experimental trials. We propose a new method called adaptive waveform learning (AWL). It is general enough to include all types of relevant variability empirically found in neuroelectric recordings, but can be specialized for different concrete settings to prevent from overfitting irrelevant structures in the data. The first part of this work gives an introduction into the electrophysiology of the brain, presents frequently used recording modalities, and describes state-of-the-art methods for neuroelectrical signal processing. The main contribution of this thesis consists in three chapters introducing and evaluating the AWL method. We first provide a general signal decomposition model that explicitly includes different forms of variability across signal components. This model is then specialized for two concrete applications: processing a set of segmented experimental trials and learning repeating structures across a single recorded signal. Two algorithms are developed to solve these models. Their efficient implementation based on alternate minimization and sparse coding techniques allows the processing of large datasets. The proposed algorithms are evaluated on both synthetic data and real data containing epileptiform spikes. Their performances are compared to those of PCA, ICA, and template matching for spike detection.

Les mutations technologiques à l’œuvre dans les systèmes aéronautiques ont profondément modifié les interactions entre l’homme et la machine. Au fil de cette évolution, les opérateurs se sont retrouvés face à des systèmes de plus en plus complexes, de plus en plus automatisés et de plus en plus opaques. De nombreuses tragédies montrent à quel point la supervision des systèmes par des opérateurs humains reste un problème sensible. En particulier, de nombreuses évidences montrent que l’automatisation a eu tendance à éloigner l’opérateur de la boucle de contrôle des systèmes, créant un phénomène dit de sortie de boucle (OOL). Ce phénomène se caractérise notamment par une diminution de la conscience de la situation et de la vigilance de l’opérateur, ainsi qu’une complaisance et une sur-confiance dans les automatismes. Ces difficultés déclenchent notamment une baisse des performances de l’opérateur qui n’est plus capable de détecter les erreurs du système et de reprendre la main si nécessaire. La caractérisation de l’OOL est donc un enjeux majeur des interactions homme-système et de notre société en constante évolution. Malgré plusieurs décennies de recherche, l’OOL reste difficile à caractériser, et plus encore à anticiper. Nous avons dans cette thèse utilisé les théories issues des neurosciences, notamment sur le processus de détection d’erreurs, afin de progresser sur notre compréhension de ce phénomène dans le but de développer des outils de mesure physiologique permettant de caractériser l’état de sortie de boucle lors d’interactions avec des systèmes écologiques. En particulier, l’objectif de cette thèse était de caractériser l’OOL à travers l’activité électroencéphalographique (EEG) dans le but d’identifier des marqueurs et/ou précurseurs de la dégradation du processus de supervision du système. Nous avons dans un premier temps évalué ce processus de détection d’erreurs dans des conditions standards de laboratoire plus ou moins complexes. Deux études en EEG nous ont d’abord permis : (i) de montrer qu’une activité cérébrale associée à ce processus cognitif se met en place dans les régions fronto-centrales à la fois lors de la détection de nos propres erreurs (ERN-Pe et FRN-P300) et lors de la détection des erreurs d’un agent que l’on supervise, (complexe N2-P3) et (ii) que la complexité de la tâche évaluée peut dégrader cette activité cérébrale. Puis nous avons mené une autre étude portant sur une tâche plus écologique et se rapprochant des conditions de supervision courantes d’opérateurs dans l’aéronautique. Au travers de techniques de traitement du signal EEG particulières (e.g., analyse temps-fréquence essai par essai), cette étude a mis en évidence : (i) l’existence d’une activité spectrale θ dans les régions fronto-centrales qui peut être assimilée aux activités mesurées en condition de laboratoire, (ii) une diminution de l’activité cérébrale associée à la détection des décisions du système au cours de la tâche, et (iii) une diminution spécifique de cette activité pour les erreurs. Dans cette thèse, plusieurs mesures et analyses statistiques de l’activité EEG ont été adaptées afin de considérer les contraintes des tâches écologiques. Les perspectives de cette thèse ouvrent sur une étude en cours dont le but est de mettre en évidence la dégradation de l’activité de supervision des systèmes lors de la sortie de boucle, ce qui permettrait d’identifier des marqueurs précis de ce phénomène permettant ainsi de le détecter, voire même, de l’anticiper. / The ongoing technological mutations occuring in aeronautics have profoundly changed the interactions between men and machines. Systems are more and more complex, automated and opaque. Several tragedies have reminded us that the supervision of those systems by human operators is still a challenge. Particularly, evidences have been made that automation has driven the operators away from the control loop of the system thus creating an out-of-the-loop phenomenon (OOL). This phenomenon is characterized by a decrease in situation awareness and vigilance, but also complacency and over-reliance towards automated systems. These difficulties have been shown to result in a degradation of the operator’s performances. Thus, the OOL phenomenon is a major issue of today’s society to improve human-machine interactions. Even though it has been studied for several decades, the OOL is still difficult to characterize, and even more to predict. The aim of this thesis is to define how cognitive neurosciences theories, such as the performance monitoring activity, can be used in order to better characterize the OOL phenomenon and the operator’s state, particularly through physiological measures. Consequently, we have used electroencephalographic activity (EEG) to try and identify markers and/or precursors of the supervision activity during system monitoring. In a first step we evaluated the error detection or performance monitoring activity through standard laboratory tasks, with varying levels of difficulty. We performed two EEG studies allowing us to show that : (i) the performance monitoring activity emerges both for our own errors detection but also during another agent supervision, may it be a human agent or an automated system, and (ii) the performance monitoring activity is significantly decreased by increasing task difficulty. These results led us to develop another experiment to assess the brain activity associated with system supervision in an ecological environment, resembling everydaylife aeronautical system monitoring. Thanks to adapted signal processing techniques (e.g. trial-by-trial time-frequency decomposition), we were able to show that there is : (i) a fronto-central θ activité time-locked to the system’s decision similar to the one obtained in laboratory condition, (ii) a decrease in overall supervision activity time-locked to the system’s decision, and (iii) a specific decrease of monitoring activity for errors. In this thesis, several EEG measures have been used in order to adapt to the context at hand. As a perspective, we have developped a final study aiming at defining the evolution of the monitoring activity during the OOL. Finding markers of this degradation would allow to monitor its emersion, and even better, predict it.

La diagonalisation conjointe approximée d’un ensemble de matrices permet de résoudre le problème de séparation aveugle de sources et trouve de nombreuses applications, notamment pour l’électroencéphalographie, une technique de mesure de l’activité cérébrale.La diagonalisation conjointe se formule comme un problème d’optimisation avec trois composantes : le choix du critère à minimiser, la contrainte de non-dégénérescence de la solution et l’algorithme de résolution.Les approches existantes considèrent principalement deux critères, les moindres carrés et la log-vraissemblance.Elles sont spécifiques à une contrainte et se restreignent à un seul type d’algorithme de résolution.Dans ce travail de thèse, nous proposons de formuler le problème de diagonalisation conjointe selon un modèle géométrique, qui généralise les travaux précédents et permet de définir des critères inédits, notamment liés à la théorie de l’information.Nous proposons également d’exploiter l’optimisation riemannienne et nousdéfinissons un ensemble d’outils qui permet de faire varier les trois composantes indépendamment, créant ainsi de nouvelles méthodes et révélant l’influence des choix de modélisation.Des expériences numériques sur des données simulées et sur des enregistrements électroencéphalographiques montrent que notre approche par optimisation riemannienne donne des résultats compétitifs par rapport aux méthodes existantes.Elles indiquent aussi que les deux critères traditionnels ne sont pas les meilleurs dans toutes les situations. / The approximate joint diagonalisation of a set of matrices allows the solution of the blind source separation problem and finds several applications, for instance in electroencephalography, a technique for measuring brain activity.The approximate joint diagonalisation is formulated as an optimization problem with three components: the choice of the criterion to be minimized, the non-degeneracy constraint on the solution and the solving algorithm.Existing approaches mainly consider two criteria, the least-squares and the log-likelihood.They are specific to a constraint and are limited to only one type of solving algorithms.In this thesis, we propose to formulate the approximate joint diagonalisation problem in a geometrical fashion, which generalizes previous works and allows the definition of new criteria, particularly those linked to information theory.We also propose to exploit Riemannian optimisation and we define tools that allow to have the three components varying independently, creating in this way new methods and revealing the influence of the choice of the model.Numerical experiments on simulated data as well as on electroencephalographic recordings show that our approach by means of Riemannian optimisation gives results that are competitive as compared to existing methods.They also indicate that the two traditional criteria do not perform best in all situations.