Brain computer interfaces based on sensorimotor rhythms modulation (SMR-BCIs) allow people to emit commands to an interface by imagining right hand, left hand or feet movements. The neurophysiological activation associated with those specific mental imageries can be measured by electroencephalography and detected by machine learning algorithms. Improvements for SMR-BCI accuracy in the last 30 years seem to have reached a limit. The currrent main issue with SMR-BCIs is that between 15% to 30% cannot use the BCI, called the "BCI inefficiency" issue. Alternatively to hardware and software improvements, investigating the individual characteristics of the BCI users has became an interesting approach to overcome BCI inefficiency. In this dissertation, I reviewed existing literature concerning the individual sources of variation in SMR-BCI accuracy and identified generic individual characteristics. In the empirical investigation, attention and motor dexterity predictors for SMR-BCI performance were implemented into a trainings that would manipulate those predictors and lead to higher SMR-BCI accuracy. Those predictors were identified by Hammer et al. (2012) as the ability to concentrate (associated with relaxation levels) and "mean error duration" in a two-hand visuo-motor coordination task (VMC). Prior to a SMR-BCI session, a total of n=154 participants in two locations took part of 23 min sessions of either Jacobson’s Progressive Muscle Relaxation session (PMR), a VMC session, or a control group (CG). No effect of PMR or VMC manipulation was found, but the manipulation checks did not consistently confirm whether PMR had an effect of relaxation levels and VMC on "mean error duration". In this first study, correlations between relaxation levels or "mean error duration" and accuracy were found but not in both locations. A second study, involving n=39 participants intensified the training in four sessions on four consecutive days or either PMR, VMC or CG. The effect or manipulation was assessed for in terms of a causal relationship by using a PRE-POST study design. The manipulation checks of this second study validated the positive effect of training on both relaxation and "mean error duration". But the manipulation did not yield a specific effect on BCI accuracy. The predictors were not found again, displaying the instability of relaxation levels and "mean error duration" in being associated with BCI performance. An effect of time on BCI accuracy was found, and a correlation between State Mindfulness Scale and accuracy were reported. Results indicated that a short training of PMR or VMC were insufficient in increasing SMR-BCI accuracy. This study contrasted with studies succeeding in increasing SMR-BCI accuracy Tan et al. (2009, 2014), by the shortness of its training and the relaxation training that did not include mindfulness. It also contrasted by its manipulation checks and its comprehensive experimental approach that attempted to replicate existing predictors or correlates for SMR-BCI accuracy. The prediction of BCI accuracy by individual characteristics is receiving increased attention, but requires replication studies and a comprehensive approach, to contribute to the growing base of evidence of predictors for SMR-BCI accuracy. While short PMR and VMC trainings could not yield an effect on BCI performance, mindfulness meditation training might be beneficial for SMR-BCI accuracy. Moreover, it could be implemented for people in the locked-in-syndrome, allowing to reach the end-users that are the most in need for improvements in BCI performance. / Les interfaces cerveau-ordinateur (angl. brain-computer interfaces, BCIs) basées sur les rythmes sensorimoteurs (angl. sensorimotor rhythms, SMR) permettent d’émettre des commandes par l’imagination de mouvements des mains ou des jambes. Dans le cas des BCIs non-invasifs, les manifestations neurophysiologiques liées á l’imagination motrice peuvent être mesurées par électroencephalographie (EEG) á la surface du cuir chevelu, puis détectées á l’aide d’algorithmes d’apprentissage. Après 30 années de progrès dans l’implémentation des BCI basées sur les SMR, il devient de plus en plus difficile d’obtenir un gain significatif de performance, alors qu’il est estimé qu’entre 15% et 30 % des utilisateurs ne peuvent pas utiliser une BCI basée sur les SMR. On parle d’inefficacité de la BCI (angl. BCI inefficiency). Une alternative aux avancées matérielles et logicielles réside dans l’investigation de caractéristiques propres à l’utilisateur. Dans ce travail de thèse, j’ai d’abord procédé à une revue de littérature sur les sources individuelles de variation de la performance SMR-BCIs, sous la forme de caractéristiques psychologiques, neurologiques et neuroanatomiques propres à l’utilisateur. Pour l’étude empirique, je me suis basé sur deux prédicteurs – l’attention et la dextérite motrice – que j’ai expérimentalement manipulés par des protocoles d’intervention. Ces deux prédicteurs ont été identifiés par Hammer et al. (2012) en tant que capacité à se concentrer (ability to concentrate) et durée moyenne d’erreur dans une tâche de coordination visuo-motrice (mean error duration in a visuomotor coordination task, VMC). La première étude comprend N=154 participants recrutés dans deux villes allemandes (Würzburg et Berlin). Avant de procéder à une session de BCI basée sur les SMR, les participants ont été aléatoirement répartis en trois groupes d’intervention d’une durée de 23 minutes. Le groupe PMR a pris part à une session de relaxation musculaire progressive de Jacobson, censée relaxer le participant ; le groupe VMC a pris part a une session de coordination visuo-motrice des deux mains, censé augmenter la dextérité motrice ; le groupe controle CG ayant eu pour tâche de lire un texte. Les résultats, analysés indépendemment pour chaque lieu de mesure, indiquent que l’entraînement PMR ou VMC n’ont pas provoqué d’amélioration significative de la performance BCI. L’effet des interventions sur leurs variables témoins respectives (PMR sur le niveau subjectif de relaxation ; VMC sur la durée moyenne d’erreur) sont inéquivoques. Il n’est donc pas possible d’interpréter l’absence d’effet d’entraînement sur la performance BCI. Les corrélations entre les variables témoins et la performance BCI répliquent les deux prédicteurs à l’origine de l’étude, mais ces résultats sont restreints à l’un des deux lieux de mesure. La seconde étude a été menée sur N=39 participants pour lesquels la durée d’entraînement (soit PMR, VMC ou CG) a été prolongée sur quatre sessions étalées sur quatre jours successifs. Cette seconde étude a été conçue selon un modèle pré-test post-test permettant de réduire la sensibilité aux variations inter-individuelles de la performance, ainsi que de tester la présence d’une relation causale entre entraînement et performance BCI. Les variables témoins – relaxation et durée d’erreur VMC– ont evolué de maniere positive validant les entraînements. Cependant, les entraînements PMR et VMC n’ont eu aucun effet positif sur la performance BCI basée sur les SMR. Les prédicteurs n’ont donc pas de nouveau été répliqués, démontrant l’instabilité des niveaux de relaxation et la performance VMC dans leur association avec la performance BCI. L’effet de temps sur la performance BCI, constaté dans de nombreuses études a été répliqué. De manière plus inattendue, une correlation entre l’échelle d’attention consciente (state mindfulness scale, SMS) et la performance BCI a été révélée. Globalement, Les résultats de ces deux études empiriques indiquent que de courts entraînements PMR ou VMC ont été insuffisants pour améliorer la performance BCI. Ces études contrastent donc avec les précédentes études qui au contraîre ont montré un effect positif d’un entraînement en relaxation Tan et al. (2009, 2014), notamment marqués par leur durée s’étalant sur plusieurs mois ainsi que leur forme de relaxations basées sur la méditation de pleine conscience (angl. Mindfulness). Mes deux études se démarquent cependant par la présence de tests de manipulation, l’approche expérimentale basée sur l’implémentation du potentiel des prédicteurs et corrélats de la performance BCI. La prédiction de performance SMR-BCI par des caractérisiques individuelles reçevant une attention croissante ces dernières années, il est nécessaire pour contribuer efficacement au domaine des sources de variation des BCI, d’opter pour une approche expériementale englobant les résultats existants, notamment par l’effort de réplication, et de comparaison d’études. En conclusion, Alors que de courts entraînements PMR et VMC n’ont pas eu d’effets sur la performance BCI basée sur les SMR, la piste de l’entraînement de méditation pleine conscience présente un potentiel qu’il est nécessaire de confirmer. De plus, il pourraît être mis en place pour des patients paralysés moteur (angl. locked-in syndrome, LIS), permettant de fait d’atteîndre la population pouvant le plus profiter des améliorations de la performance BCI. / Gehirn-Computer Schnittstellen (engl. brain-computer interfaces, BCIs), basierend auf der Modulation sensomotorischer Rhythmen (SMR), erlauben Menschen, Befehle an eine Schnittstelle zu übermitteln, beispielsweise durch die Vorstellung von Bewegungen der Hände oder der Füße. Die neurophysiologische Aktivität, die mit den Bewegungsvorstellungen assoziiert ist, kann mittels Elektroenzephalographie gemessen und durch Algorithmen aus dem Bereich des maschinellen Lernens detektiert werden. Die Fortschritte in Bezug auf SMR-BCIs, die es in den letzten 30 Jahren gab, scheinen an eine Grenze zu stoßen. Das Hauptproblem liegt darin, dass 15 bis 30% der Nutzer keine Kontrolle über SMR-BCIs erlangen. Dieses Phänomen wird als „BCI Ineffizienz“ bezeichnet. Neben Verbesserungen der Hard- und Software ist die Untersuchung individueller Charakteristika der BCI Nutzer ein vielversprechender Ansatz, um die BCI Ineffizienz zu überwinden. Im Rahmen dieser Dissertation habe ich zunächst durch eine Literaturstudie zu den Ursachen der Variation der SMR-BCI Genauigkeiten individuelle Charakteristika identifiziert. In der experimentellen Untersuchung wurden Aufmerksamkeit und Feinmotorik als Prädiktoren für die Leistung mit einem SMR-BCI in ein Trainingsparadigma aufgenommen, das zum Ziel hatte, die SMR-BCI Genauigkeiten zu verbessern. Diese Prädiktoren wurden von Hammer et al. (2012) als die Konzentrationsfähigkeit (assoziiert mit Entspannungsniveau) und „mittlere Fehlerdauer“ in einer beidhändigen visuomotorischen Koordinationsaufgabe (engl. two-hand visuo-motor coordination task, VMC) identifiziert. In der ersten Studie der vorliegenden Dissertation nahmen insgesamt n=154 Studienteilnehmer an zwei verschiedenen Standorten teil. Im Vorfeld einer SMR-BCI Sitzung nahmen diese entweder an einer 23-minütigen Sitzung mit Progressiver Muskelrelaxation nach Jacobson (PMR), einer Sitzung mit VMC oder einer Kontrollgruppe (KG) teil. Es zeigten sich keine Effekte auf die Genauigkeiten des SMRBCI als Folge der Versuchsbedingung (VMC, PMR oder KG). Jedoch konnte auch durch Manipulationschecks nicht konsistent bestätigt werden, dass PMR eine Auswirkung auf das Entspannungsniveau und VMC auf die „mittlere Fehlerdauer“ hatte. In dieser ersten Studie konnten Korrelationen zwischen dem Entspannungsniveau oder „mittlerer Fehlerdauer“ und der Genauigkeit mit dem SMR-BCI aufgedeckt werden, jedoch nicht an beiden Standorten. In der zweiten Studie dieser Dissertation mit n=39 Teilnehmern wurde das Training durch die Steigerung auf vier Sitzungen intensiviert, die an vier aufeinanderfolgenden Tagen entweder mit PMR, VMC oder KG durchgeführt wurden. Der Effekt dieser Manipulation auf SMRBCI Genauigkeiten wurde mittels eines Pretest-Posttest-Studiendesigns untersucht. Die Manipulationschecks validierten den positiven Effekt des Trainings sowohl für Entspannung als auch die „mittlere Fehlerdauer“. Es gab jedoch keine spezifische Wirkung des Trainings auf die BCI Genauigkeiten. Entspannungsniveau und „mittlere Fehlerdauer“ konnten nicht als zuverlässige Prädiktoren für SMR-BCI Leistung bestätigt werden. Es gab einen Effekt der Zeit auf die BCI Genauigkeit und eine Korrelation zwischen der State Mindfulness Scale und der Genauigkeit. Die Ergebnisse deuten darauf hin, dass ein kurzes PMR oder VMC Training nicht ausreichten, um SMR-BCI Genauigkeiten zu steigern. Diese Studie steht im Widerspruch zu Studien von Tan et al. (2009, 2014), die erfolgreich die SMR-BCI Genauigkeit steigern konnten, unterscheidet sich von diesen jedoch auch durch die kürzere Trainingsdauer und dem Fehlen von Achtsamkeitskomponenten beim Entspannungstraining. Weitere Unterschiede liegen in dem verwendeten Manipulationscheck und dem umfassenden experimentellen Ansatz der aktuellen Studie mit dem Ziel, zuvor ermittelte Prädiktoren oder Korrelate von SMR-BCI Genauigkeit zu replizieren. Die Vorhersage von BCI Genauigkeit durch individuelle Charakteristika erhält steigende wissenschaftliche Aufmerksamkeit, bedarf aber Replikationsstudien und eines umfassenden Ansatzes, um die Beweislage hinsichtlich Prädiktoren für SMR-BCI Genauigkeit zu verbessern. Während für kurze PMR und VMC Trainings kein Effekt auf die SMR-BCI Genauigkeit aufgedeckt werden konnte, könnte sich achtsamkeitsbasiertes Meditationstraining als vorteilhaft für die Leistung mit einem SMR-BCI erweisen. Darüber hinaus könnte es auch für Personen mit Locked-In-Syndrom implementiert werden, um so diejenigen Endnutzer zu erreichen, die am meisten von Verbesserungen der BCI Leistung profitieren würden.

Zugl.: Berlin, Techn. Univ., Diss., 2004 / Hergestellt on demand

Techn. University, Diss., 2004--Berlin.

In dieser Dissertation untersuchten wir die neuronalen Korrelate des Training-Effektes einer auditorischen P300 Gehirn-Computer Schnittstelle mittels fMRI Analyse in einem prä-post Design mit zehn gesunden Testpersonen. Wir wiesen in drei Trainings-sitzungen einen Trainingseffekt in der EEG-Analyse der P300 Welle nach und fanden entsprechende Kontraste in einer prä-post Analyse von fMRI Daten, wobei in allen fünf Sitzungen das gleiche Paradigma verwendet wurde. In der fMRI Analyse fanden wir fol-gende Ergebnisse: in einem Target-/ Nichttarget Kontrast zeigte sich verstärkte Aktivie-rung in Generatorregionen der P300 Welle (temporale und inferiore frontale Regionen) und interessanterweise auch in motorassoziierten Arealen, was höhere kognitiver Pro-zesse wie Aufmerksamkeitslenkung und Arbeitsspeicher widerspiegeln könnte. Der Kon-trast des Trainingseffektes zeigte nach dem Training einen stärkeren Rebound Effekt im Sinne einer verstärkten Aktivierung in Generatorregionen der P300 Welle, was eine ver-besserte Erkennung und Prozessierung von Target-Stimuli reflektieren könnte. Eine Ab-nahme von Aktivierung in frontalen Arealen in diesem Kontrast könnte durch effizientere Abläufe kognitiver Prozesse und des Arbeitsgedächtnis erklärt werden. / In this dissertation we investigated the neuronal correlates of the training effect of an auditory P300-based brain-computer interface using fMRI analysis in a prae-post de-sign in a group of ten healthy probands. We showed a training effect during three training sessions with EEG analysis of the P300 wave and found corresponding contrasts in a prae-post analysis of fMRI data, while using the same paradigma in all sessions. In the fMRI analysis we found the following results: in a target / nontarget contrast we found enhancement of activation in generator regions of the P300 wave such as temporal and inferior frontal areas and interestingly also in motor associated areas which could reflect higher cognitive processes such as attention and working memory. In the contrast of the effects of training we found a stronger rebound effect as a correlate of stronger activation after training in generator regions of P300, possibly reflecting better discrimination and processing of stimuli. The decrease of activation in frontal areas in this contrast could be explained by increased efficiency of cognitive processing and working memory through training.

The goal of a Brain-Computer Interface (BCI) consists of the development of a unidirectional interface between a human and a computer to allow control of a device only via brain signals. While the BCI systems of almost all other groups require the user to be trained over several weeks or even months, the group of Prof. Dr. Klaus-Robert Müller in Berlin and Potsdam, which I belong to, was one of the first research groups in this field which used machine learning techniques on a large scale. The adaptivity of the processing system to the individual brain patterns of the subject confers huge advantages for the user. Thus BCI research is considered a hot topic in machine learning and computer science. It requires interdisciplinary cooperation between disparate fields such as neuroscience, since only by combining machine learning and signal processing techniques based on neurophysiological knowledge will the largest progress be made.<br><br> In this work I particularly deal with my part of this project, which lies mainly in the area of computer science. I have considered the following three main points:<br><br> <b>Establishing a performance measure based on information theory:</b> I have critically illuminated the assumptions of Shannon's information transfer rate for application in a BCI context. By establishing suitable coding strategies I was able to show that this theoretical measure approximates quite well to what is practically achieveable.<br> <b>Transfer and development of suitable signal processing and machine learning techniques:</b> One substantial component of my work was to develop several machine learning and signal processing algorithms to improve the efficiency of a BCI. Based on the neurophysiological knowledge that several independent EEG features can be observed for some mental states, I have developed a method for combining different and maybe independent features which improved performance. In some cases the performance of the combination algorithm outperforms the best single performance by more than 50 %. Furthermore, I have theoretically and practically addressed via the development of suitable algorithms the question of the optimal number of classes which should be used for a BCI. It transpired that with BCI performances reported so far, three or four different mental states are optimal. For another extension I have combined ideas from signal processing with those of machine learning since a high gain can be achieved if the temporal filtering, i.e., the choice of frequency bands, is automatically adapted to each subject individually.<br> <b>Implementation of the Berlin brain computer interface and realization of suitable experiments:</b> Finally a further substantial component of my work was to realize an online BCI system which includes the developed methods, but is also flexible enough to allow the simple realization of new algorithms and ideas. So far, bitrates of up to 40 bits per minute have been achieved with this system by absolutely untrained users which, compared to results of other groups, is highly successful. / Ein Brain-Computer Interface (BCI) ist eine unidirektionale Schnittstelle zwischen Mensch und Computer, bei der ein Mensch in der Lage ist, ein Gerät einzig und allein Kraft seiner Gehirnsignale zu steuern. In den BCI Systemen fast aller Forschergruppen wird der Mensch in Experimenten über Wochen oder sogar Monaten trainiert, geeignete Signale zu produzieren, die vordefinierten allgemeinen Gehirnmustern entsprechen. Die BCI Gruppe in Berlin und Potsdam, der ich angehöre, war in diesem Feld eine der ersten, die erkannt hat, dass eine Anpassung des Verarbeitungssystems an den Menschen mit Hilfe der Techniken des Maschinellen Lernens große Vorteile mit sich bringt. In unserer Gruppe und mittlerweile auch in vielen anderen Gruppen wird BCI somit als aktuelles Forschungsthema im Maschinellen Lernen und folglich in der Informatik mit interdisziplinärer Natur in Neurowissenschaften und anderen Feldern verstanden, da durch die geeignete Kombination von Techniken des Maschinellen Lernens und der Signalverarbeitung basierend auf neurophysiologischem Wissen der größte Erfolg erzielt werden konnte.<br><br> In dieser Arbeit gehe ich auf meinem Anteil an diesem Projekt ein, der vor allem im Informatikbereich der BCI Forschung liegt. Im Detail beschäftige ich mich mit den folgenden drei Punkten:<br><br> <b>Diskussion eines informationstheoretischen Maßes für die Güte eines BCI's:</b> Ich habe kritisch die Annahmen von Shannon's Informationsübertragungsrate für die Anwendung im BCI Kontext beleuchtet. Durch Ermittlung von geeigneten Kodierungsstrategien konnte ich zeigen, dass dieses theoretische Maß den praktisch erreichbaren Wert ziemlich gut annähert.<br> <b>Transfer und Entwicklung von geeigneten Techniken aus dem Bereich der Signalverarbeitung und des Maschinellen Lernens:</b> Eine substantielle Komponente meiner Arbeit war die Entwicklung von Techniken des Machinellen Lernens und der Signalverarbeitung, um die Effizienz eines BCI's zu erhöhen. Basierend auf dem neurophysiologischem Wissen, dass verschiedene unabhängige Merkmale in Gehirnsignalen für verschiedene mentale Zustände beobachtbar sind, habe ich eine Methode zur Kombination von verschiedenen und unter Umständen unabhängigen Merkmalen entwickelt, die sehr erfolgreich die Fähigkeiten eines BCI's verbessert. Besonders in einigen Fällen übertraf die Leistung des entwickelten Kombinationsalgorithmus die beste Leistung auf den einzelnen Merkmalen mit mehr als 50 %. Weiterhin habe ich theoretisch und praktisch durch Einführung geeigneter Algorithmen die Frage untersucht, wie viele Klassen man für ein BCI nutzen kann und sollte. Auch hier wurde ein relevantes Resultat erzielt, nämlich dass für BCI Güten, die bis heute berichtet sind, die Benutzung von 3 oder 4 verschiedenen mentalen Zuständen in der Regel optimal im Sinne von erreichbarer Leistung sind. Für eine andere Erweiterung wurden Ideen aus der Signalverarbeitung mit denen des Maschinellen Lernens kombiniert, da ein hoher Erfolg erzielt werden kann, wenn der temporale Filter, d.h. die Wahl des benutzten Frequenzbandes, automatisch und individuell für jeden Menschen angepasst wird.<br> <b>Implementation des Berlin Brain-Computer Interfaces und Realisierung von geeigneten Experimenten:</b> Eine weitere wichtige Komponente meiner Arbeit war eine Realisierung eines online BCI Systems, welches die entwickelten Methoden umfasst, aber auch so flexibel ist, dass neue Algorithmen und Ideen einfach zu verwirklichen sind. Bis jetzt wurden mit diesem System Bitraten von bis zu 40 Bits pro Minute von absolut untrainierten Personen in ihren ersten BCI Experimenten erzielt. Dieses Resultat übertrifft die bisher berichteten Ergebnisse aller anderer BCI Gruppen deutlich. <br> <hr> Bemerkung:<br> Der Autor wurde mit dem <i>Michelson-Preis</i> 2005/2006 für die beste Promotion des Jahrgangs der Mathematisch-Naturwissenschaftlichen Fakultät der Universität Potsdam ausgezeichnet.