Au cours des deux dernières décennies, l'intérêt porté aux interfaces cérébrales ou Brain Computer Interfaces (BCI) s’est considérablement accru, avec un nombre croissant de laboratoires de recherche travaillant sur le sujet. Depuis le projet Brain Computer Interface, où la BCI a été présentée à des fins de réadaptation et d'assistance, l'utilisation de la BCI a été étendue à d'autres applications telles que le neurofeedback et l’industrie du jeux vidéo. Ce progrès a été réalisé grâce à une meilleure compréhension de l'électroencéphalographie (EEG), une amélioration des systèmes d’enregistrement du EEG, et une augmentation de puissance de calcul.Malgré son potentiel, la technologie de la BCI n’est pas encore mature et ne peut être utilisé en dehors des laboratoires. Il y a un tas de défis qui doivent être surmontés avant que les systèmes BCI puissent être utilisés à leur plein potentiel. Ce travail porte sur des aspects importants de ces défis, à savoir la spécificité des systèmes BCI aux capacités physiques des utilisateurs, la robustesse de la représentation et de l'apprentissage du EEG, ainsi que la suffisance des données d’entrainement. L'objectif est de fournir un système BCI qui peut s’adapter aux utilisateurs en fonction de leurs capacités physiques et des variabilités dans les signaux du cerveau enregistrés.À ces fins, deux voies principales sont explorées : la première, qui peut être considérée comme un ajustement de haut niveau, est un changement de paradigmes BCI. Elle porte sur la création de nouveaux paradigmes qui peuvent augmenter les performances de la BCI, alléger l'inconfort de l'utilisation de ces systèmes, et s’adapter aux besoins des utilisateurs. La deuxième voie, considérée comme une solution de bas niveau, porte sur l’amélioration des techniques de traitement du signal et d’apprentissage statistique pour améliorer la qualité du signal EEG, la reconnaissance des formes, ainsi que la tache de classification.D'une part, une nouvelle méthodologie dans le contexte de la robotique d'assistance est définie : il s’agit d’une approche hybride où une interface physique est complémentée par une interface cérébrale pour une interaction homme-machine plus fluide. Ce système hybride utilise les capacités motrices résiduelles des utilisateurs et offre la BCI comme un choix optionnel : l'utilisateur choisit quand utiliser la BCI et peut alterner entre les interfaces cérébrales et musculaire selon le besoin.D'autre part, pour l’amélioration des techniques de traitement du signal et d'apprentissage statistique, ce travail utilise un cadre Riemannien. Un frein majeur dans le domaine de la BCI est la faible résolution spatiale du EEG. Ce problème est dû à l'effet de conductance des os du crâne qui agissent comme un filtre passe-bas non linéaire, en mélangeant les signaux de différentes sources du cerveau et réduisant ainsi le rapport signal-à-bruit. Par conséquent, les méthodes de filtrage spatial ont été développées ou adaptées. La plupart d'entre elles – à savoir la Common Spatial Pattern (CSP), la xDAWN et la Canonical Correlation Analysis (CCA) – sont basées sur des estimations de matrice de covariance. Les matrices de covariance sont essentielles dans la représentation d’information contenue dans le signal EEG et constituent un élément important dans leur classification. Dans la plupart des algorithmes d'apprentissage statistique existants, les matrices de covariance sont traitées comme des éléments de l'espace euclidien. Cependant, étant symétrique et défini positive (SDP), les matrices de covariance sont situées dans un espace courbe qui est identifié comme une variété riemannienne. Utiliser les matrices de covariance comme caractéristique pour la classification des signaux EEG, et les manipuler avec les outils fournis par la géométrie de Riemann, fournit un cadre solide pour la représentation et l'apprentissage du EEG. / In the last two decades, interest in Brain-Computer Interfaces (BCI) has tremendously grown, with a number of research laboratories working on the topic. Since the Brain-Computer Interface Project of Vidal in 1973, where BCI was introduced for rehabilitative and assistive purposes, the use of BCI has been extended to more applications such as neurofeedback and entertainment. The credit of this progress should be granted to an improved understanding of electroencephalography (EEG), an improvement in its measurement techniques, and increased computational power.Despite the opportunities and potential of Brain-Computer Interface, the technology has yet to reach maturity and be used out of laboratories. There are several challenges that need to be addresses before BCI systems can be used to their full potential. This work examines in depth some of these challenges, namely the specificity of BCI systems to users physical abilities, the robustness of EEG representation and machine learning, and the adequacy of training data. The aim is to provide a BCI system that can adapt to individual users in terms of their physical abilities/disabilities, and variability in recorded brain signals.To this end, two main avenues are explored: the first, which can be regarded as a high-level adjustment, is a change in BCI paradigms. It is about creating new paradigms that increase their performance, ease the discomfort of using BCI systems, and adapt to the user’s needs. The second avenue, regarded as a low-level solution, is the refinement of signal processing and machine learning techniques to enhance the EEG signal quality, pattern recognition and classification.On the one hand, a new methodology in the context of assistive robotics is defined: it is a hybrid approach where a physical interface is complemented by a Brain-Computer Interface (BCI) for human machine interaction. This hybrid system makes use of users residual motor abilities and offers BCI as an optional choice: the user can choose when to rely on BCI and could alternate between the muscular- and brain-mediated interface at the appropriate time.On the other hand, for the refinement of signal processing and machine learning techniques, this work uses a Riemannian framework. A major limitation in this filed is the EEG poor spatial resolution. This limitation is due to the volume conductance effect, as the skull bones act as a non-linear low pass filter, mixing the brain source signals and thus reducing the signal-to-noise ratio. Consequently, spatial filtering methods have been developed or adapted. Most of them (i.e. Common Spatial Pattern, xDAWN, and Canonical Correlation Analysis) are based on covariance matrix estimations. The covariance matrices are key in the representation of information contained in the EEG signal and constitute an important feature in their classification. In most of the existing machine learning algorithms, covariance matrices are treated as elements of the Euclidean space. However, being Symmetric and Positive-Definite (SPD), covariance matrices lie on a curved space that is identified as a Riemannian manifold. Using covariance matrices as features for classification of EEG signals and handling them with the tools provided by Riemannian geometry provide a robust framework for EEG representation and learning.

No description available.

<p dir="ltr">A Human-Machine Interaction (HMI) refers to a mechanism to support the direct interactions of humans and machines with the objective for the synthesis of machine intelligence and autonomy. The demand to advance in this field of study for intelligence controls is continuously growing. Brain-Computer Interface (BCI) is one type of HMIs that utilizes a human brain to enable direct communication of the human subject with a machine. This technology is widely explored in different fields to control external devices using brain signals.</p><p dir="ltr">This thesis is driven by two key observations. The first one is the limited number of Degrees of Freedom (DoF) that existing BCI controls can control in an external device; it becomes necessary to assess the controllability when choosing a control instrument. The second one is the differences of decision spaces of human and machine when both of them try to control an external device. To fill the gaps in these two aspects, there is a need to design an additional functional module that is able to translate the commands issued by human into high-frequency control commands that can be understood by machines. These two aspects has not been investigated thoroughly in literatures.</p><p dir="ltr">This study focuses on training, detecting, and using humans’ intents to control intelligent machines. It uses brain signals which will be trained and detected in form of Electroencephalography (EEG), brain signals will be used to extract and classify human intents. A selected instrument, Emotiv Epoc X, is used for pattern training and recognition based on its controllability and features among other instruments. A functional module is then developed to bridge the gap of frequency differences between human intents and motion commands of machine. A selected robot, TinkerKit Braccio, is then used to illustrate the feasibility of the developed module through fully controlling the robotic arm using human’s intents solely.</p><p dir="ltr">Multiple experiments were done on the prototyped system to prove the feasibility of the proposed model. The accuracy to send each command, and hence the accuracy of the system to extract each intent, exceeded 75%. Then, the feasibility of the proposed model was also tested through controlling the robot to follow pre-defined paths, which was obtained through designing a Graphical-User Interface (GUI). The accuracy of each experiment exceeded 90%, which validated the feasibility of the proposed control model.</p>

Insider threat is one of the greatest concerns for information security that could cause more significant financial losses and damages than any other attack. However, implementing an efficient detection system is a very challenging task. It has long been recognized that solutions to insider threats are mainly user-centric and several psychological and psychosocial models have been proposed. A user's psychophysiological behavior measures can provide an excellent source of information for detecting user's malicious behaviors and mitigating insider threats. In this dissertation, we propose a multi-modal framework based on the user's psychophysiological measures and computer-based behaviors to distinguish between a user's behaviors during regular activities versus malicious activities. We utilize several psychophysiological measures such as electroencephalogram (EEG), electrocardiogram (ECG), and eye movement and pupil behaviors along with the computer-based behaviors such as the mouse movement dynamics, and keystrokes dynamics to build our framework for detecting malicious insiders. We conduct human subject experiments to capture the psychophysiological measures and the computer-based behaviors for a group of participants while performing several computer-based activities in different scenarios. We analyze the behavioral measures, extract useful features, and evaluate their capability in detecting insider threats. We investigate each measure separately, then we use data fusion techniques to build two modules and a comprehensive multi-modal framework. The first module combines the synchronized EEG and ECG psychophysiological measures, and the second module combines the eye movement and pupil behaviors with the computer-based behaviors to detect the malicious insiders. The multi-modal framework utilizes all the measures and behaviors in one model to achieve better detection accuracy. Our findings demonstrate that psychophysiological measures can reveal valuable knowledge about a user's malicious intent and can be used as an effective indicator in designing insider threat monitoring and detection frameworks. Our work lays out the necessary foundation to establish a new generation of insider threat detection and mitigation mechanisms that are based on a user's involuntary behaviors, such as psychophysiological measures, and learn from the real-time data to determine whether a user is malicious.

No description available.

No description available.

L'interface cerveau-ordinateur (ICO) décode les signaux électriques du cerveau requise par l’électroencéphalographie et transforme ces signaux en commande pour contrôler un appareil ou un logiciel. Un nombre limité de tâches mentales ont été détectés et classifier par différents groupes de recherche. D’autres types de contrôle, par exemple l’exécution d'un mouvement du pied, réel ou imaginaire, peut modifier les ondes cérébrales du cortex moteur. Nous avons utilisé un ICO pour déterminer si nous pouvions faire une classification entre la navigation de type marche avant et arrière, en temps réel et en temps différé, en utilisant différentes méthodes. Dix personnes en bonne santé ont participé à l’expérience sur les ICO dans un tunnel virtuel. L’expérience fut a était divisé en deux séances (48 min chaque). Chaque séance comprenait 320 essais. On a demandé au sujets d’imaginer un déplacement avant ou arrière dans le tunnel virtuel de façon aléatoire d’après une commande écrite sur l'écran. Les essais ont été menés avec feedback. Trois électrodes ont été montées sur le scalp, vis-à-vis du cortex moteur. Durant la 1re séance, la classification des deux taches (navigation avant et arrière) a été réalisée par les méthodes de puissance de bande, de représentation temporel-fréquence, des modèles autorégressifs et des rapports d’asymétrie du rythme β avec classificateurs d’analyse discriminante linéaire et SVM. Les seuils ont été calculés en temps différé pour former des signaux de contrôle qui ont été utilisés en temps réel durant la 2e séance afin d’initier, par les ondes cérébrales de l'utilisateur, le déplacement du tunnel virtuel dans le sens demandé. Après 96 min d'entrainement, la méthode « online biofeedback » de la puissance de bande a atteint une précision de classification moyenne de 76 %, et la classification en temps différé avec les rapports d’asymétrie et puissance de bande, a atteint une précision de classification d’environ 80 %. / A Brain-Computer Interface (BCI) decodes the brain signals representing a desire to do something, and transforms those signals into a control command. However, only a limited number of mental tasks have been previously detected and classified. Performing a real or imaginary navigation movement can similarly change the brainwaves over the motor cortex. We used an ERS-BCI to see if we can classify between movements in forward and backward direction offline and then online using different methods. Ten healthy people participated in BCI experiments comprised two-sessions (48 min each) in a virtual environment tunnel. Each session consisted of 320 trials where subjects were asked to imagine themselves moving in the tunnel in a forward or backward motion after a randomly presented (forward versus backward) command on the screen. Three EEG electrodes were mounted bilaterally on the scalp over the motor cortex. Trials were conducted with feedback. In session 1, Band Power method, Time-frequency representation, Autoregressive models and asymmetry ratio were used in the β rhythm range with a Linear-Discriminant-analysis classifier and a Support Vector Machine classifier to discriminate between the two mental tasks. Thresholds for both tasks were computed offline and then used to form control signals that were used online in session 2 to trigger the virtual tunnel to move in the direction requested by the user's brain signals. After 96 min of training, the online band-power biofeedback training achieved an average classification precision of 76 %, whereas the offline classification with asymmetrical ratio and band-power achieved an average classification precision of 80%.

Les interfaces Cerveau Machine représentent une solution pour rétablir plusieurs fonctions comme le mouvement, la parole, etc. La construction de BCI se compose de quatre phases principales: "Collecte des données", "Prétraitement du signal", "Extraction et sélection de caractéristiques", "Classification". Dans ce rapport nous présentons un nouveau système de reconnaissance de mots imaginées basé sur une technique d’acquisition non invasive (EEG) et portable pour faciliter aux personnes ayant des handicaps spécifiques, leurs communications avec le monde extérieur. Cette thèse inclut un système nommé FEASR pour la construction d’une base de données pertinente et optimisée. Cette base a été testée avec plusieurs méthodes de classification pour obtenir un taux maximal de reconnaissance de 83.4% pour cinq mots imaginés en arabe. De plus, on discute de l’impact des algorithmes d’optimisations (Sélection des capteurs de Wernicke, Analyse en composante principale et sélection de sous bandes résultant de la décomposition en ondelette) sur les pourcentages de reconnaissance en fonction de la taille de notre base de données et de sa réduction. / The Brain Machine interfaces represent a solution to restore several human issues such as movement, speech, etc. The construction of BCI consists of four main phases: "Data Recording", "Signal preprocessing", "Extraction and Selection of Characteristics", and "Classification". In this report we present a new imagery recognition system based on a non-invasive (EEG) and portable acquisition technique to facilitate communication with the outside world for people with specific disabilities.This thesis includes a system called FEASR for the construction of a relevant and optimized database. This database has been tested with several classification methods to obtain a maximum recognition rate of 83.4% for five words imagined in Arabic. In addition, we discuss the impact of optimization algorithms (Wernicke sensor selection, principal component analysis algorithm and the selection of subbands resulting from the discrete wavelet transform decomposition) on recognition percentages according to the size of our database and its reduction.

L'objectif de ces travaux de recherche est l'étude et le développement d'un système ICM embarqué en utilisant la méthodologie de conception conjointe afin de satisfaire ses contraintes spécifiques. Il en a découlé la constitution d'un système ICM complet intégrant un système d'acquisition OpenBCI et un système de traitement à base de FPGA. Ce système pourrait être utilisé dans des contextes variés : médicale (pour les diagnostiques précoces des pathologies), technologique (informatique ubiquitaire), industriel (communication avec des robots), ludique (contrôler un joystick dans les jeux vidéo), etc. Dans notre contexte d’étude, la plateforme ICM proposée a été réalisée pour assister les personnes à mobilité réduite à commander les équipements domestiques. Nous nous sommes intéressés en particulier à l'étude et à l'implémentation des modules de filtrage adaptatif et dynamique, sous forme d'un coprocesseur codé en HDL afin de réduire son temps d'exécution car c'est le bloc le plus critique de la chaine ICM. Quant aux algorithmes d'extraction des caractéristiques et de classification, ils sont exécutés par le processeur Nios-II sous son système d'exploitation en ANSI-C. Le temps de traitement d'un trial par notre système ICM réalisé est de l'ordre de 0.4 s/trial et sa consommation ne dépasse guère 0.7 W. / The main purpose of this thesis is to study and develop an embedded brain computer interface (BCI) system using HW/SW methodology in order to satisfy the system specifications. A complete BCI system integrated in an acquisition system (OpenBCI) and a hardware platform based on the FPGA were achieved. The proposed system can be used in a variety of contexts: medical (for early diagnosis of pathologies, assisting people with severe disabilities to control home devices system through thought), technological (ubiquitous computing), industrial (communication with Robots), games (control a joystick in video games), etc. In our study, the proposed ICM platform was designed to control home devices through the thought of people with severe disabilities. A particular attention has been given to the study and implementation of the filtering module, adaptive and dynamic filtering, in the form of a coprocessor coded in HDL in order to reduce its execution time as it is the critical block in the returned ICM algorithms. For the feature extraction and classification algorithms, they are executed in the Nios-II processor using ANSI-C language. The prototype operates at 200 MHz and performs a real time classification with an execution delay of 0.4 second per trial. The power consumption of the proposed system is about 0.7 W.

L'étude par neuro-imagerie de l'activité de plusieurs cerveaux en interaction (hyperscanning) permet d'étendre notre compréhension des neurosciences sociales. Nous proposons un cadre pour l'hyperscanning utilisant les interfaces cerveau-ordinateur multi-utilisateur qui inclut différents paradigmes sociaux tels que la coopération ou la compétition. Les travaux de cette thèse comportent trois contributions interdépendantes. Notre première contribution est le développement d'une plateforme expérimentale sous la forme d'un jeu vidéo multijoueur, nommé Brain Invaders 2, contrôlé par la classification de potentiels évoqués visuels enregistrés par électroencéphalographie (EEG). Cette plateforme est validée par deux protocoles expérimentaux comprenant dix-neuf et vingt-deux paires de sujets et utilise différentes approches de classification adaptative par géométrie riemannienne. Ces approches sont théoriquement et expérimentalement comparées et nous montrons la supériorité de la fusion des classifieurs indépendants sur la classification d'un hypercerveau durant la seconde contribution. L'analyse de coïncidence des signaux entre les individus est une approche classique pour l'hyperscanning, elle est pourtant difficile quand les signaux EEG concernés sont transitoires avec une grande variabilité (intra- et inter-sujet) spatio-temporelle et avec un faible rapport signal-à-bruit. En troisième contribution, nous proposons un nouveau modèle composite de séparation aveugle de sources physiologiquement plausibles permettant de compenser cette variabilité. Une solution par diagonalisation conjointe approchée est proposée avec une implémentation d'un algorithme de type Jacobi. A partir des données de Brain Invaders 2, nous montrons que cette solution permet d'extraire simultanément des sources d'artéfacts, des sources d'EEG évoquées et des sources d'EEG continues avec plus de robustesse et de précision que les modèles existants. / The study of several brains interacting (hyperscanning) with neuroimagery allows to extend our understanding of social neurosciences. We propose a framework for hyperscanning using multi-user Brain-Computer Interfaces (BCI) that includes several social paradigms such as cooperation or competition. This dissertation includes three interdependent contribution. The first contribution is the development of an experimental platform consisting of a multi-player video game, namely Brain Invaders 2, controlled by classification of visual event related potentials (ERP) recorded by electroencephalography (EEG). The plateform is validated through two experimental protocols including nineteen and twenty two pairs of subjects while using different adaptive classification approaches using Riemannian geometry. Those approaches are theoretically and experimentally compared during the second contribution ; we demonstrates the superiority in term of accuracy of merging independent classifications over the classification of the hyperbrain during the second contribution. Analysis of inter-brain synchronizations is a common approach for hyperscanning, however it is challenging for transient EEG waves with an great spatio-temporal variability (intra- and inter-subject) and with low signal-to-noise ratio such as ERP. Therefore, as third contribution, we propose a new blind source separation model, namely composite model, to extract simultaneously evoked EEG sources and ongoing EEG sources that allows to compensate this variability. A solution using approximate joint diagonalization is given and implemented with a fast Jacobi-like algorithm. We demonstrate on Brain Invaders 2 data that our solution extracts simultaneously evoked and ongoing EEG sources and performs better in term of accuracy and robustness compared to the existing models.