In Folge eines Schlaganfalls leiden 90% aller Patienten an einer Handparese, die sich in 30-40% als chronisch manifestiert. Derzeit wächst seitens der Neurologie und Technologie das Forschungsinteresse an der Effektivität robotergestützter Therapieansätze, welche für schwer betroffene Patienten als besonders vielversprechend eingestuft werden. Die hierfür verwendeten Therapieroboter setzen sich aus einem mechanischen Teil und einer softwaregestützten virtuellen Umgebung zusammen, welche neben dem graphischen Interface, audio-visuelles Feedback sowie Musik beinhaltet. Bisher wurden Effekte der klanglichen Anteile dieses Szenarios noch nicht hinsichtlich möglicher Einflüsse auf Motivation, Bewegungsdurchführung, motorisches Lernen und den gesamten Rehabilitationsprozess untersucht. Die vorliegende Arbeit untersucht die Rolle von Sound in robotergestütztem Handfunktionstraining. Die Hauptziele im Rahmen dessen sind es, 1) Potentiale von Sound/ Musik für den Kontext robotergestützten Handfunktionstrainings zu explorieren, 2) spezifizierte klangliche Umgebungen zu entwickeln, 3) zu untersuchen, ob Schlaganfallpatienten von diesen spezifizierten Soundanwendungen profitieren, 4) ein besseres Verständnis über Wirkmechanismen von Sound und Musik mit Potential für robotergestützte Therapie darzulegen, und 5) Folgetechnologien über eine effektive Applikation von Sound/ Musik in robotergestützter Therapie zu informieren. / 90% of all stroke survivors suffer from a hand paresis which remains chronic in 30-40% of all cases. Currently, there is an increasing research interest in neurology and technology on the effectiveness of robot-assisted therapies. Robotic training is considered as especially promising for patients suffering from severe limitations. Commonly, rehabilitation robots consist of a mechanical part and a virtual training environment with a graphical user interface, audio-visual feedback, sound, and music. So far, the effects of sound and music that are embedded within these scenarios have never been evaluated in particular while taking into account that it might influence motivation, motor execution, motor learning and the whole recovery process. This thesis investigates the role of sound in robot-assisted hand function training post-stroke. The main goals of this work are 1) to explore potentials of sound/ music for robotic hand function training post-stroke, 2) to develop specified sound-/ music-applications for this context, 3) to examine whether stroke patients benefit from these specified sound/ music-application, 4) to gain a better understanding of sound-/ music-induced mechanisms with therapeutic potentials for robotic therapy, and 5) to inform further arising treatment approaches about effective applications of sound or music in robotic post-stroke motor training.

Les interfaces cerveau-ordinateur basées sur l’imagerie mentale (MI-BCIs) offrent de nouvelles possibilités d’interaction avec les technologies numériques, telles que les neuroprothèses ou les jeux vidéo, uniquement en effectuant des tâches d’imagerie mentale, telles qu’imaginer d’un objet en rotation. La reconnaissance de la commande envoyée au système par l’utilisateur repose sur l’analyse de l’activité cérébrale de ce dernier. Les utilisateurs doivent apprendre à produire des patterns d’activité cérébrale reconnaissables par le système afin de contrôler les MI-BCIs. Cependant, les protocoles de formation actuels ne permettent pas à 10 à 30 % des personnes d’acquérir les compétences nécessaires pour utiliser les MI-BCIs. Ce manque de fiabilité des BCIs limite le développement de la technologie en dehors des laboratoires de recherche. Cette thèse a pour objectif d’examiner comment le feedback fourni tout au longde la formation peut être amélioré et adapté aux traits et aux états des utilisateurs. Dans un premier temps, nous examinons le rôle qui est actuellement donné au feedback dans les applications et les protocoles d’entraînement à l’utilisation des MI-BCIs. Nous analysons également les théories et les contributions expérimentales discutant de son rôle et de son utilité dans le processus d’apprentissage de contrôle de correlats neurophysiologiques. Ensuite, nous fournissons une analyse de l’utilité de différents feedback pour l’entraînement à l’utilisation des MI-BCIs. Nous nous concentrons sur trois caractéristiques principales du feedback, i.e., son contenu, sa modalité de présentation et enfin sa dimension temporelle. Pour chacune de ces caractéristiques, nous avons examiné la littérature afin d’évaluer quels types de feedback ont été testés et quel impact ils semblent avoir sur l’entraînement. Nous avons également analysé quels traits ou états des apprenants influaient sur les résultats de cet entraînement. En nous basant sur ces analyses de la littérature, nous avons émis l’hypothèse que différentes caractéristiques du feedback pourraient être exploitées afin d’améliorer l’entraînement en fonction des traits ou états des apprenants. Nous rapportons les résultats de nos contributions expérimentales pour chacune des caractéristiques du feedback. Enfin, nous présentons différentes recommandations et défis concernant chaque caractéristique du feedback. Des solutions potentielles sont proposées pour à l’avenir surmonter ces défis et répondre à ces recommandations. / Mental-Imagery based Brain-Computer Interfaces (MI-BCIs) present new opportunities to interact with digital technologies, such as neuroprostheses or videogames, only by performing mental imagery tasks, such as imagining an object rotating. The recognition of the command for the system is based on the analysis of the brain activity of the user. The users must learn to produce brain activity patterns that are recognizable by the system in order to control BCIs. However, current training protocols do not enable 10 to 30% of persons to acquire the skills required to use BCIs. The lack of robustness of BCIs limit the development of the technology outside of research laboratories. This thesis aims at investigating how the feedback provided throughout the training can be improved and adapted to the traits and states of the users. First, we investigate the role that feedback is currently given in MI-BCI applications and training protocols. We also analyse the theories and experimental contributions discussing its role and usefulness. Then, we review the different feedback that have been used to train MI-BCI users. We focus on three main characteristics of feedback, i.e., its content, its modality of presentation and finally its timing. For each of these characteristics, we reviewed the literature to assess which types of feedback have been tested and what is their impact on the training. We also analysed which traits or states of the learners were shown to influence BCI training outcome. Based on these reviews of the literature, we hypothesised that different characteristics of feedback could be leveraged to improve the training of the learners depending on either traits or states. We reported the results of our experimental contributions for each of the characteristics of feedback. Finally, we presented different recommendations and challenges regarding each characteristic of feedback. Potential solutions were proposed to meet these recommendations in the future.