Recent developments within human-computer interaction (HCI) and cognitive neuroscience have come together to motivate and enable a framework for HCI with a solid basis in brain function and human reality. Human cognition is increasingly considered to be critically related to the development of human capabilities in the everyday environment (reality). At the same time, increasingly powerful computers continuously make the development of complex applications with realistic interaction easier. Advances in cognitive neuroscience and brain-computer interfaces (BCIs) make it possible to use an understanding of how the brain works in realistic environments to interpret brain measurements and adapt interaction in computer-generated virtual environments (VEs). Adaptive and realistic computer applications have great potential for training, rehabilitation and diagnosis. Realistic interaction environments are important to facilitate transfer to everyday reality and to gain ecological validity. The ability to adapt the interaction is very valuable as any training or learning must be done at the right level in order to optimize the development of skills. The use of brain measurements as input to computer applications makes it possible to get direct information about how the brain reacts to aspects of a VE. This provides a basis for the development of realistic and adaptive computer applications that target cognitive skills and abilities. Theories of cognition and brain function provide a basis for how such cognitive skills develop, through internalization of interaction with the current environment. By considering how internalization leads to the neural implementation and continuous adaptation of mental simulations in the brain it is possible to relate designed phenomena in a VE to brain measurements. The work presented in this thesis contributes to a foundation for the development of reality-based brain-computer interaction (RBBCI) applications by combining VR with emerging BCI methods based on an understanding of the human brain in human reality. RBBCI applications can be designed and developed to interact directly with the brain by interpreting brain measurements as responses to deliberate manipulations of a computer-generated reality. As the application adapts to these responses an interaction loop is created that excludes the conscious user. The computer interacts with the brain, through (the virtual) reality. / Den senaste tidens utveckling inom människa-dator-interaktion (MDI) och kognitiv neurovetenskap har samverkat till att motivera och möjliggöra ett ramverk för MDI med en stabil grund i hjärnfunktion och människors verklighet. Mänsklig kognition anses till allt högre grad vara kritisk beroende av hur människors förmågor utvecklas i den vardagliga miljön (verkligheten). Samtidigt har ständigt kraftfullare datorer gjort det allt lättare att utveckla komplexa applikationer med realistisk interaktion. Framsteg inom kognitiv neurovetenskap och hjärna-dator-gränssnitt (brain-computer interface, BCI) gör det möjligt att dra nytta av en förståelse av hur hjärnan fungerar i realistiska miljöer för att tolka hjärnmätningar och anpassa interaktion i datorgenererade virtuella miljöer (virtual environment, VE). Adaptiva och realistiska datorapplikationer har stor potential för träning, rehabilitering och diagnostik. Realistiska interaktionsmiljöer är viktiga för att underlätta överföring (transfer) till vardagen och för att nå ekologisk validitet. Möjligheten att anpassa interaktion är mycket värdefull eftersom träning och lärande måste ske på rätt nivå för att optimera effekten. Genom att använda sig av hjärnmätningar som indata till datorprogram blir det möjligt att få direkt information om hur hjärnan reagerar på olika aspekter av en VE. Detta ger en grund för utveckling av realistiska och adaptiva datorprogram som riktar in sig på kognitiva färdigheter och förmågor. Teorier om kognition och hjärnan ger en bas för att förstå hur sådana kognitiva färdigheter utvecklas genom att interaktion med omgivningen internaliseras. Genom att ta hänsyn till hur internalisering leder till ständig utveckling av mentala simuleringar i hjärnan är det möjligt att relatera designade fenomen i en VE till hjärnmätningar. Det arbete som presenteras i denna avhandling lägger en grund för utveckling av verklighets-baserad hjärna-dator-interaktions (reality-based brain-computer interaction, RBBCI) applikationer genom att kombinera VR med nya BCI metoder, baserat på en förståelse av den mänskliga hjärnan i människans verklighet. RBBCI-program kan designas och utvecklas för att interagera direkt med hjärnan genom att tolka hjärnmätningar som respons på avsiktliga manipulationer av den datorgenererade verkligheten. När programmet anpassar sig till denna respons uppstår en interaktionsloop som exkluderar den medvetna användaren. Datorn interagerar med hjärnan, genom (den virtuella) verkligheten.

Les actions motrices humaines peuvent être envisagées comme étant soit volontaires, c'est-à-dire intérieurement déclenchées afin d’atteindre un certain but, soit réactives, c'est-à-dire extérieurement déclenchées par des stimuli environnementaux. Cette dissociation a notamment été proposée au sein de la théorie idéomotrice suggérant que la réalisation d'actions volontaires repose sur notre capacité à prédire les conséquences sensorielles de nos actions, grâce aux associations action-effet qui sont acquises avec l'expérience. Selon les modèles computationnels tels que le principe de minimisation de l’énergie libre, la prédiction sensorielle est également considérée comme un processus majeur de la perception et du contrôle moteur, indépendamment du type d’action. Dès lors, les études visant à explorer la prédiction sensorielle liée au contrôle moteur ont systématiquement minimisé la distinction potentielle entre deux types d'actions plus ou moins indépendantes. Dans la présente thèse, nous nous sommes principalement attelés à tester la théorie idéomotrice originale qui suggère une implication supérieure de la prédiction sensorielle dans les actions intentionnelles par rapport à des actions plus réactives. Nous avons réalisé ce travail selon trois axes : (1) À travers des expériences comportementales, nous avons cherché à préciser à quel(s) stade(s) moteur(s) la prédiction de l'effet de l'action pouvait être associée, dans les actions intentionnelles d’une part et dans les actions davantage réactives d’autre part, afin de pouvoir dissocier la dynamique temporelle de la prédiction sensorielle au sein de ces deux catégories d'actions. (2) En tirant parti des postulats dérivés des approches computationnelles, nous avons utilisé l'EEG pour explorer d'abord le niveau d'erreur de prédiction liée aux effets sensoriels imprévisibles ou mal-prédits afin de dissocier ces deux types d'événements non prédits au niveau neural. Par la suite, nous avons étudié si les marqueurs EEG de la prédiction sensorielle (c'est-à-dire l'erreur de prédiction et l'atténuation sensorielle) étaient modulés par le type d'action déclenchant l'effet sensoriel. (3) Enfin, nous avons examiné si des variations dans le processus de prédiction des effets de l'action pouvaient être associés à certains déficits moteurs dans la maladie de Parkinson et à des tendances impulsives mesurées chez des participants sains, pour éventuellement conférer une dimension clinique au processus de prédiction sensorielle. Nos résultats ont démontré (1) que la dynamique temporelle de la prédiction des effets de l'action semble effectivement dépendre du type d'action, en étant liée aux étapes précoces et tardives de la préparation motrice des actions intentionnelles, mais seulement aux étapes tardives de la préparation motrice des actions réactives. Nous avons également montré que (2) les événements mal prédits généraient une erreur de prédiction plus importante comparativement à des événements imprévisibles. Par ailleurs, les marqueurs EEG de la prédiction sensorielle étaient plus prononcés pour les effets auditifs déclenchés par des actions intentionnelles par rapport aux effets auditifs déclenchés par des actions réactives. Enfin, nos résultats ont permis de démontrer que (3) le processus de prédiction sensorielle semble être altéré lors de la réalisation d’actions intentionnelles chez des patients atteints de la maladie de Parkinson, et que les marqueurs EEG de la prédiction d’effets auditifs déclenchés par des actions intentionnelles sont modulés par les tendances impulsives d’individus sains. Dans l'ensemble, nos résultats soutiennent l’existence d’une dissociation fonctionnelle entre actions intentionnelle et réactive, et sont également cohérents avec la version originale de la théorie idéomotrice étant donné que la prédiction sensorielle semble être impliquée plus tôt et plus fortement dans les actions intentionnelles que dans les actions réactives. (…) / Motor actions can be classified as being either intention-based, i.e. internally triggered in order to reach a certain goal, or either stimulus-driven, i.e. externally triggered in order to accommodate to environmental events. This elementary dissociation was notably theorized within the original ideomotor theory stating that performing intention-based actions relies on our capacity to predict the sensory consequences of our actions, due to action-effect associations learnt through experience. In recent neurocomputational models such as the brain free-energy principle, this sensory prediction is considered as a key process of overall sensorium and motor control, regardless the action type. Henceforth, experiments studying sensory prediction related to motor control have systematically minimized the potential distinction between two more or less independent action types. In the current thesis, we mainly attempted to address this issue by testing the original ideomotor viewpoint, suggesting a superior involvement of action-effect prediction in intention-based actions compared to more reactive actions. We achieved this work according to three axes: (1) Through behavioural experiments, we aimed at clarifying which motor stage(s) action-effect prediction is related to, within intention-based actions and within stimulus-driven actions, in order to potentially dissociate the temporal dynamics of action-effect prediction in these two categories of actions. (2) Taking advantage from assumptions derived from neurocomputational approaches, we used EEG to first explore the level of prediction error related to unpredicted vs. mispredicted auditory events in order to dissociate these two types of nonpredicted events at a neural level. Then, we investigated whether EEG markers of sensory prediction (i.e., prediction error and sensory attenuation) were modulated by the kind of action triggering the sensory effect. (3) Finally, we intended to examine whether action-effect prediction variations could be linked to motor deficits in Parkinson's disease on the one hand, and to impulsivity tendencies in healthy participants on the other hand, for possibly yielding a clinical dimension to the sensory prediction process. Our findings demonstrated (1) the temporal dynamics of action-effect prediction seems to depend on the action kind, being linked to both early and late stages of motor preparation of intention-based actions and only to late stages of motor preparation of stimulus-driven actions. We also showed that (2) mispredicted events were linked to enhanced prediction error compared to unpredicted events, and that EEG markers of sensory prediction were more pronounced for auditory effects triggered by intention-based actions compared to auditory effects triggered by stimulus-driven actions. Then, our results sustained that (3) the action-effect prediction process seems to be impaired for intention-based actions in Parkinson's disease, and that EEG markers of sensory prediction for effects triggered by intention-based actions are modulated by impulsiveness tendencies in healthy participants. Altogether, our findings are consistent with the original version of the ideomotor theory given the action-effect prediction appeared to be earlier and stronger involved in intention-based actions compared to stimulus-driven actions. Our EEG data also modernized the ideomotor principle, reconciling it with neurocomputational approaches of sensory prediction. Finally, the clinical exploration of the action-effect prediction process in pathologies affecting motor control appeared promising to understand intermediate neurocognitive processes which are involved in motor symptoms or characteristics.