No description available.

Stroke is one of the leading causes of long-term motor disability, including oro-facial impairments which affect speech and swallowing. Over the last decades, rehabilitation programs have evolved from utilizing mainly compensatory measures to focusing on recovering lost function. In the continuing effort to improve recovery, the concept of biofeedback has increasingly been leveraged to enhance self-efficacy, motivation and engagement during training. Although both speech and swallowing disturbances resulting from oro-facial impairments are frequent sequelae of stroke, efforts to develop sensing technologies that provide comprehensive and quantitative feedback on articulator kinematics and kinetics, especially those of the tongue, and specifically during post-stroke speech and swallowing therapy have been sparse. To that end, such a sensing device needs to accurately capture intraoral tongue motion and contact with the hard palate, which can then be translated into an appropriate form of feedback, without affecting tongue motion itself and while still being light-weight and portable. This dissertation proposes the use of an intraoral sensing principle known as optopalatography to provide such feedback while also exploring the design of optopalatographic devices itself for use in dysphagia and dysarthria therapy. Additionally, it presents an alternative means of holding the device in place inside the oral cavity with a newly developed palatal adhesive instead of relying on dental retainers, which previously limited device usage to a single person. The evaluation was performed on the task of automatically classifying different functional tongue exercises from one another with application in dysphagia therapy, whereas a phoneme recognition task was conducted with application in dysarthria therapy. Results on the palatal adhesive suggest that it is indeed a valid alternative to dental retainers when device residence time inside the oral cavity is limited to several tens of minutes per session, which is the case for dysphagia and dysarthria therapy. Functional tongue exercises were classified with approximately 61 % accuracy across subjects, whereas for the phoneme recognition task, tense vowels had the highest recognition rate, followed by lax vowels and consonants. In summary, retainer-free optopalatography has the potential to become a viable method for providing real-time feedback on tongue movements inside the oral cavity, but still requires further improvements as outlined in the remarks on future development.:1 Introduction 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Goals and contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.4 Scope and limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 Basics of post-stroke speech and swallowing therapy 2.1 Dysarthria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Dysphagia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.3 Treatment rationale and potential of biofeedback . . . . . . . . . . . . . . . . . 13 2.4 Summary and conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3 Tongue motion sensing 3.1 Contact-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.1 Electropalatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.2 Manometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.1.3 Capacitive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2 Non-contact based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.1 Electromagnetic articulography . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.2 Permanent magnetic articulography . . . . . . . . . . . . . . . . . . . . 24 3.2.3 Optopalatography (related work) . . . . . . . . . . . . . . . . . . . . . . 25 3.3 Electro-optical stomatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.4 Extraoral sensing techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.5 Summary, comparison and conclusion . . . . . . . . . . . . . . . . . . . . . . . 29 4 Fundamentals of optopalatography 4.1 Important radiometric quantities . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.1 Solid angle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.2 Radiant flux and radiant intensity . . . . . . . . . . . . . . . . . . . . . 33 4.1.3 Irradiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.1.4 Radiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2 Sensing principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.1 Analytical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.2.2 Monte Carlo ray tracing methods . . . . . . . . . . . . . . . . . . . . . . 37 4.2.3 Data-driven models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.2.4 Model comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.3 A priori device design consideration . . . . . . . . . . . . . . . . . . . . . . . . 41 4.3.1 Optoelectronic components . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.3.2 Additional electrical components and requirements . . . . . . . . . . . . 43 4.3.3 Intraoral sensor layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 5 Intraoral device anchorage 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.1.1 Mucoadhesion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.1.2 Considerations for the palatal adhesive . . . . . . . . . . . . . . . . . . . 48 5.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.2.1 Polymer selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.2.2 Fabrication method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.2.3 Formulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.2.4 PEO tablets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.2.5 Connection to the intraoral sensor’s encapsulation . . . . . . . . . . . . 50 5.2.6 Formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 5.3.1 Initial formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . 54 5.3.2 Final OPG adhesive formulation . . . . . . . . . . . . . . . . . . . . . . 56 5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 6 Initial device design with application in dysphagia therapy 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6.2 Optode and optical sensor selection . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.2.1 Optode and optical sensor evaluation procedure . . . . . . . . . . . . . . 61 6.2.2 Selected optical sensor characterization . . . . . . . . . . . . . . . . . . 62 6.2.3 Mapping from counts to millimeter . . . . . . . . . . . . . . . . . . . . . 62 6.2.4 Results and discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.3 Device design and hardware implementation . . . . . . . . . . . . . . . . . . . . 64 6.3.1 Block diagram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 6.3.2 Optode placement and circuit board dimensions . . . . . . . . . . . . . 64 6.3.3 Firmware description and measurement cycle . . . . . . . . . . . . . . . 66 6.3.4 Encapsulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 6.3.5 Fully assembled OPG device . . . . . . . . . . . . . . . . . . . . . . . . 67 6.4 Evaluation on the gesture recognition task . . . . . . . . . . . . . . . . . . . . . 69 6.4.1 Exercise selection, setup and recording . . . . . . . . . . . . . . . . . . . 69 6.4.2 Data corpus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 6.4.3 Sequence pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 6.4.4 Choice of classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.4.5 Training and evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 7 Improved device design with application in dysarthria therapy 7.1 Device design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 7.1.1 Design considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 7.1.2 General system overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 7.1.3 Intraoral sensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 7.1.4 Receiver and controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 7.1.5 Multiplexer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 7.2 Hardware implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 7.2.1 Optode placement and circuit board layout . . . . . . . . . . . . . . . . 87 7.2.2 Encapsulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 7.3 Device characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 7.3.1 Photodiode transient response . . . . . . . . . . . . . . . . . . . . . . . 91 7.3.2 Current source and rise time . . . . . . . . . . . . . . . . . . . . . . . . 91 7.3.3 Multiplexer switching speed . . . . . . . . . . . . . . . . . . . . . . . . . 92 7.3.4 Measurement cycle and firmware implementation . . . . . . . . . . . . . 93 7.3.5 In vitro measurement accuracy . . . . . . . . . . . . . . . . . . . . . . . 95 7.3.6 Optode measurement stability . . . . . . . . . . . . . . . . . . . . . . . 96 7.4 Evaluation on the phoneme recognition task . . . . . . . . . . . . . . . . . . . . 98 7.4.1 Corpus selection and recording setup . . . . . . . . . . . . . . . . . . . . 98 7.4.2 Annotation and sensor data post-processing . . . . . . . . . . . . . . . . 98 7.4.3 Mapping from counts to millimeter . . . . . . . . . . . . . . . . . . . . . 99 7.4.4 Classifier and feature selection . . . . . . . . . . . . . . . . . . . . . . . 100 7.4.5 Evaluation paradigms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 7.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 7.5.1 Tongue distance curve prediction . . . . . . . . . . . . . . . . . . . . . . 105 7.5.2 Tongue contact patterns and contours . . . . . . . . . . . . . . . . . . . 105 7.5.3 Phoneme recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 7.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 8 Conclusion and future work 115 9 Appendix 9.1 Analytical light transport models . . . . . . . . . . . . . . . . . . . . . . . . . . 119 9.2 Meshed Monte Carlo method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 9.3 Laser safety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 9.4 Current source modulation voltage . . . . . . . . . . . . . . . . . . . . . . . . . 123 9.5 Transimpedance amplifier’s frequency responses . . . . . . . . . . . . . . . . . . 123 9.6 Initial OPG device’s PCB layout and circuit diagrams . . . . . . . . . . . . . . 127 9.7 Improved OPG device’s PCB layout and circuit diagrams . . . . . . . . . . . . 129 9.8 Test station layout drawing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 Bibliography 152 / Der Schlaganfall ist eine der häufigsten Ursachen für motorische Langzeitbehinderungen, einschließlich solcher im Mund- und Gesichtsbereich, deren Folgen u.a. Sprech- und Schluckprobleme beinhalten, welche sich in den beiden Symptomen Dysarthrie und Dysphagie äußern. In den letzten Jahrzehnten haben sich Rehabilitationsprogramme für die Behandlung von motorisch ausgeprägten Schlaganfallsymptomatiken substantiell weiterentwickelt. So liegt nicht mehr die reine Kompensation von verlorengegangener motorischer Funktionalität im Vordergrund, sondern deren aktive Wiederherstellung. Dabei hat u.a. die Verwendung von sogenanntem Biofeedback vermehrt Einzug in die Therapie erhalten, um Motivation, Engagement und Selbstwahrnehmung von ansonsten unbewussten Bewegungsabläufen seitens der Patienten zu fördern. Obwohl jedoch Sprech- und Schluckstörungen eine der häufigsten Folgen eines Schlaganfalls darstellen, wird diese Tatsache nicht von der aktuellen Entwicklung neuer Geräte und Messmethoden für quantitatives und umfassendes Biofeedback reflektiert, insbesondere nicht für die explizite Erfassung intraoraler Zungenkinematik und -kinetik und für den Anwendungsfall in der Schlaganfalltherapie. Ein möglicher Grund dafür liegt in den sehr strikten Anforderungen an ein solche Messmethode: Sie muss neben Portabilität idealerweise sowohl den Kontakt zwischen der Zunge und dem Gaumen, als auch die dreidimensionale Bewegung der Zunge in der Mundhöhle erfassen, ohne dabei die Artikulation selbst zu beeinflussen. Um diesen Anforderungen gerecht zu werden, wird in dieser Dissertation das Messprinzip der Optopalatographie untersucht, mit dem Schwerpunkt auf der Anwendung in der Dysarthrie- und Dysphagietherapie. Dies beinhaltet auch die Entwicklung eines entsprechenden Gerätes sowie dessen Befestigungsmethode in der Mundhöhle über ein dediziertes Mundschleimhautadhäsiv. Letzteres umgeht das bisherige Problem der notwendigen Anpassung eines solchen intraoralen Gerätes an einen einzelnen Nutzer. Für die Anwendung in der Dysphagietherapie erfolgte die Evaluation anhand einer automatischen Erkennung von Mobilisationsübungen der Zunge, welche routinemäßig in der funktionalen Dysphagietherapie durchgeführt werden. Für die Anwendung in der Dysarthrietherapie wurde eine Lauterkennung durchgeführt. Die Resultate bezüglich der Verwendung des Mundschleimhautadhäsives suggerieren, dass dieses tatsächlich eine valide Alternative zu den bisher verwendeten Techniken zur Befestigung intraoraler Geräte in der Mundhöhle darstellt. Zungenmobilisationsübungen wurden über Probanden hinweg mit einer Rate von 61 % erkannt, wogegen in der Lauterkennung Langvokale die höchste Erkennungsrate erzielten, gefolgt von Kurzvokalen und Konsonanten. Zusammenfassend lässt sich konstatieren, dass das Prinzip der Optopalatographie eine ernstzunehmende Option für die intraorale Erfassung von Zungenbewegungen darstellt, wobei weitere Entwicklungsschritte notwendig sind, welche im Ausblick zusammengefasst sind.:1 Introduction 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Goals and contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.4 Scope and limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 Basics of post-stroke speech and swallowing therapy 2.1 Dysarthria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Dysphagia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.3 Treatment rationale and potential of biofeedback . . . . . . . . . . . . . . . . . 13 2.4 Summary and conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3 Tongue motion sensing 3.1 Contact-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.1 Electropalatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.2 Manometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.1.3 Capacitive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2 Non-contact based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.1 Electromagnetic articulography . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.2 Permanent magnetic articulography . . . . . . . . . . . . . . . . . . . . 24 3.2.3 Optopalatography (related work) . . . . . . . . . . . . . . . . . . . . . . 25 3.3 Electro-optical stomatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.4 Extraoral sensing techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.5 Summary, comparison and conclusion . . . . . . . . . . . . . . . . . . . . . . . 29 4 Fundamentals of optopalatography 4.1 Important radiometric quantities . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.1 Solid angle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.2 Radiant flux and radiant intensity . . . . . . . . . . . . . . . . . . . . . 33 4.1.3 Irradiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.1.4 Radiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2 Sensing principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.1 Analytical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.2.2 Monte Carlo ray tracing methods . . . . . . . . . . . . . . . . . . . . . . 37 4.2.3 Data-driven models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.2.4 Model comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.3 A priori device design consideration . . . . . . . . . . . . . . . . . . . . . . . . 41 4.3.1 Optoelectronic components . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.3.2 Additional electrical components and requirements . . . . . . . . . . . . 43 4.3.3 Intraoral sensor layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 5 Intraoral device anchorage 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.1.1 Mucoadhesion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.1.2 Considerations for the palatal adhesive . . . . . . . . . . . . . . . . . . . 48 5.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.2.1 Polymer selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.2.2 Fabrication method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.2.3 Formulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.2.4 PEO tablets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.2.5 Connection to the intraoral sensor’s encapsulation . . . . . . . . . . . . 50 5.2.6 Formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 5.3.1 Initial formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . 54 5.3.2 Final OPG adhesive formulation . . . . . . . . . . . . . . . . . . . . . . 56 5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 6 Initial device design with application in dysphagia therapy 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6.2 Optode and optical sensor selection . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.2.1 Optode and optical sensor evaluation procedure . . . . . . . . . . . . . . 61 6.2.2 Selected optical sensor characterization . . . . . . . . . . . . . . . . . . 62 6.2.3 Mapping from counts to millimeter . . . . . . . . . . . . . . . . . . . . . 62 6.2.4 Results and discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.3 Device design and hardware implementation . . . . . . . . . . . . . . . . . . . . 64 6.3.1 Block diagram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 6.3.2 Optode placement and circuit board dimensions . . . . . . . . . . . . . 64 6.3.3 Firmware description and measurement cycle . . . . . . . . . . . . . . . 66 6.3.4 Encapsulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 6.3.5 Fully assembled OPG device . . . . . . . . . . . . . . . . . . . . . . . . 67 6.4 Evaluation on the gesture recognition task . . . . . . . . . . . . . . . . . . . . . 69 6.4.1 Exercise selection, setup and recording . . . . . . . . . . . . . . . . . . . 69 6.4.2 Data corpus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 6.4.3 Sequence pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 6.4.4 Choice of classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.4.5 Training and evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 7 Improved device design with application in dysarthria therapy 7.1 Device design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 7.1.1 Design considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 7.1.2 General system overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 7.1.3 Intraoral sensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 7.1.4 Receiver and controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 7.1.5 Multiplexer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 7.2 Hardware implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 7.2.1 Optode placement and circuit board layout . . . . . . . . . . . . . . . . 87 7.2.2 Encapsulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 7.3 Device characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 7.3.1 Photodiode transient response . . . . . . . . . . . . . . . . . . . . . . . 91 7.3.2 Current source and rise time . . . . . . . . . . . . . . . . . . . . . . . . 91 7.3.3 Multiplexer switching speed . . . . . . . . . . . . . . . . . . . . . . . . . 92 7.3.4 Measurement cycle and firmware implementation . . . . . . . . . . . . . 93 7.3.5 In vitro measurement accuracy . . . . . . . . . . . . . . . . . . . . . . . 95 7.3.6 Optode measurement stability . . . . . . . . . . . . . . . . . . . . . . . 96 7.4 Evaluation on the phoneme recognition task . . . . . . . . . . . . . . . . . . . . 98 7.4.1 Corpus selection and recording setup . . . . . . . . . . . . . . . . . . . . 98 7.4.2 Annotation and sensor data post-processing . . . . . . . . . . . . . . . . 98 7.4.3 Mapping from counts to millimeter . . . . . . . . . . . . . . . . . . . . . 99 7.4.4 Classifier and feature selection . . . . . . . . . . . . . . . . . . . . . . . 100 7.4.5 Evaluation paradigms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 7.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 7.5.1 Tongue distance curve prediction . . . . . . . . . . . . . . . . . . . . . . 105 7.5.2 Tongue contact patterns and contours . . . . . . . . . . . . . . . . . . . 105 7.5.3 Phoneme recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 7.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 8 Conclusion and future work 115 9 Appendix 9.1 Analytical light transport models . . . . . . . . . . . . . . . . . . . . . . . . . . 119 9.2 Meshed Monte Carlo method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 9.3 Laser safety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 9.4 Current source modulation voltage . . . . . . . . . . . . . . . . . . . . . . . . . 123 9.5 Transimpedance amplifier’s frequency responses . . . . . . . . . . . . . . . . . . 123 9.6 Initial OPG device’s PCB layout and circuit diagrams . . . . . . . . . . . . . . 127 9.7 Improved OPG device’s PCB layout and circuit diagrams . . . . . . . . . . . . 129 9.8 Test station layout drawing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 Bibliography 152

In Folge eines Schlaganfalls leiden 90% aller Patienten an einer Handparese, die sich in 30-40% als chronisch manifestiert. Derzeit wächst seitens der Neurologie und Technologie das Forschungsinteresse an der Effektivität robotergestützter Therapieansätze, welche für schwer betroffene Patienten als besonders vielversprechend eingestuft werden. Die hierfür verwendeten Therapieroboter setzen sich aus einem mechanischen Teil und einer softwaregestützten virtuellen Umgebung zusammen, welche neben dem graphischen Interface, audio-visuelles Feedback sowie Musik beinhaltet. Bisher wurden Effekte der klanglichen Anteile dieses Szenarios noch nicht hinsichtlich möglicher Einflüsse auf Motivation, Bewegungsdurchführung, motorisches Lernen und den gesamten Rehabilitationsprozess untersucht. Die vorliegende Arbeit untersucht die Rolle von Sound in robotergestütztem Handfunktionstraining. Die Hauptziele im Rahmen dessen sind es, 1) Potentiale von Sound/ Musik für den Kontext robotergestützten Handfunktionstrainings zu explorieren, 2) spezifizierte klangliche Umgebungen zu entwickeln, 3) zu untersuchen, ob Schlaganfallpatienten von diesen spezifizierten Soundanwendungen profitieren, 4) ein besseres Verständnis über Wirkmechanismen von Sound und Musik mit Potential für robotergestützte Therapie darzulegen, und 5) Folgetechnologien über eine effektive Applikation von Sound/ Musik in robotergestützter Therapie zu informieren. / 90% of all stroke survivors suffer from a hand paresis which remains chronic in 30-40% of all cases. Currently, there is an increasing research interest in neurology and technology on the effectiveness of robot-assisted therapies. Robotic training is considered as especially promising for patients suffering from severe limitations. Commonly, rehabilitation robots consist of a mechanical part and a virtual training environment with a graphical user interface, audio-visual feedback, sound, and music. So far, the effects of sound and music that are embedded within these scenarios have never been evaluated in particular while taking into account that it might influence motivation, motor execution, motor learning and the whole recovery process. This thesis investigates the role of sound in robot-assisted hand function training post-stroke. The main goals of this work are 1) to explore potentials of sound/ music for robotic hand function training post-stroke, 2) to develop specified sound-/ music-applications for this context, 3) to examine whether stroke patients benefit from these specified sound/ music-application, 4) to gain a better understanding of sound-/ music-induced mechanisms with therapeutic potentials for robotic therapy, and 5) to inform further arising treatment approaches about effective applications of sound or music in robotic post-stroke motor training.

Die technikgestützte Rehabilitation wird im Rahmen der Schlaganfallbehandlung als therapeutisches Verfahren zur Wiedererlangung der motorischen Bewegungsfähigkeit oberer Extremitäten eingesetzt. Zudem wächst durch die Digitalisierung des Alltags und den demographischen Wandel das Forschungsinteresse an telerehabilitativen Behandlungskonzepten, die die Schlaganfallversorgung durch den Einsatz von Informations- und Kommunikationstechnologien ergänzt sowie erweitert. Dabei wird das Ziel verfolgt, einen dauerhaften und nachhaltigen Therapieerfolg zu ermöglichen. Durch die Möglichkeit zur Vernetzung der stationären sowie ambulanten Rehabilitation mit der Nachsorge soll eine kontinuierliche, über die notwendigen Gesundheitssektoren der Schlaganfallbehandlung hinweg, eine Begleitung der Patient:innen durch die betreuenden Behandler:innen gewährleistet werden. Der erfolgreiche Einsatz entsprechender Therapiesysteme in der Nachsorge verlangt einen benutzerzentrierten Entwicklungsprozess. Ausgangspunkt sollten die von den beteiligten Nutzer:innengruppen gestellten Anforderungen an derartige Systeme sein. Das Ziel der vorliegenden Arbeit besteht darin, auf verschiedene Aspekte des Technikeinsatzes und die damit einhergehende Zufriedenheit sowie Akzeptanz der technikgestützten Schlaganfallrehabilitation und Nachsorge der beteiligten Nutzer:innengruppen einzugehen. Eine Kombination aus drei explorativen Untersuchungen, einer Grundlagenbefragung und zwei empirischen Feldstudien, analysieren abhängige Faktoren des Technikeinsatzes, um entsprechende Auswirkungen auf die Entwicklung und Praxis abzuleiten. Im Rahmen der Grundlagenbefragung werden das Nutzungsverhalten sowie die Nutzungsbereitschaft von Informations- und Kommunikationstechnologien von Schlaganfallpatient:innen und Behandler:innen analysiert. Daraus abgeleitet werden notwendige Ressourcen, die bereitgestellt werden müssen, um technikgestützte Verfahren sowohl in der Rehabilitation als auch Nachsorge zu ermöglichen. Die erste empirische Studie untersucht Veränderungen im Nutzer:innenerleben, der Zufriedenheit und Technikakzeptanz, zwischen zwei Therapiegeräten in der klassischen Versorgung mit zwei experimentellen Therapiesystemen mit visuellem und zum Teil haptischem Feedback. In einer zweiten Feldstudie werden zeitbezogene Veränderungen untersucht, die bei längerfristiger Nutzung über zehn Behandlungseinheiten mit dem Bi-Manu-Interact auftreten können. / Using technically assisted rehabilitation in stroke treatment as a therapeutic procedure to regain motor mobility of upper extremities. In addition, the digitalisation of everyday life and demographic change are increasing research interest in telerehabilitative treatment concepts, which supplement and expand stroke care by using information and communication technologies. The aim is to achieve lasting and sustainable therapeutic success. The possibility of integrating in-patient and out-patient rehabilitation with aftercare is intended to ensure that patients are continuously accompanied by the attending physicians across the necessary health sectors of stroke treatment. The successful use of appropriate therapy systems in aftercare requires a user-centered development process. The starting point should be the requirements placed on such systems by the user groups involved. The aim of the present study is to deal with different aspects of the use of technology and the associated satisfaction as well as acceptance of the technology-supported stroke rehabilitation and aftercare of the participating user groups. A combination of three explorative studies, a basic survey and two empirical field studies analyse dependent factors of the use of technology in order to determine corresponding effects on development and practice. The basic survey analyses the usage behaviour and readiness of stroke patients and therapists to use information and communication technologies. From this, resources are derived to enable technology-supported procedures in rehabilitation and aftercare. The first empirical field study investigates changes in user experience, satisfaction and technology acceptance between two therapy devices in classical care with two experimental therapy systems with visual and partly haptic feedback. The second field study investigates time-related changes that can occur with long-term use of more than ten therapy units with the therapy system "Bi-Manu-Interact".

Rehabilitation clinics remain until this day a greatly unexplored topic from the perspective of architectural design. Stroke is the most common condition that is treated in neurological rehabilitation clinics in Germany and it is a disease that causes the most complex disability. Since stroke numbers are expected to constantly grow in the future, there is a definite need for understanding the stroke survivors’ spatial needs and for accommodating them in the built environment in a way that supports their recovery process and their life after rehabilitation. This PhD thesis aims at contributing to this wide knowledge gap and at introducing new research directions focusing on the relationship between stroke patients’ and the rehabilitation built environments. Rehabilitation clinics were chosen as the research setting for this study as the environments that stroke survivors encounter after the hospital stay and where they undergo a challenging rehabilitation process with the goal of returning home to their normal lives. This rehabilitation process involves living in rehabilitation clinics for a certain period and attending various types of therapies led by a multidisciplinary team, with multiple therapies per day, every day of the week. This type of intensive therapy is important for stroke patients since the greatest amount of functional recovery can be expected in the first 3 to 6 months after the stroke onset. German neurological rehabilitation clinics are commonly transformed from other functions or newly built without evidence-based knowledge about the spatial needs of their patients. This practice creates barriers in the built environment for patients, likely hindering their recovery process and negatively influencing their psychological well-being. These barriers can most directly influence and hinder patients’ mobility within the clinic. Mobility, as the main goal of stroke rehabilitation, is often not well-supported in the built environment of rehabilitation clinics. This study, therefore, focuses on identifying barriers and facilitators to mobility in rehabilitation clinics and their architectural properties and the different experiences of patients with different mobility levels. Three empirical research methods were used to investigate the relationship between the stroke inpatients’ mobility and the built environment of rehabilitation clinics: patient shadowing, patient questionnaire and staff questionnaire. These three methods were the elements of Post-occupancy evaluation (POE) applied in seven German neurological rehabilitation clinics over the period between September 2016 and May 2018. The results show that the built environment of rehabilitation clinics hinders patients’ mobility in five main aspects: challenging wayfinding, long distances, insufficient dimensions of corridors, floor surfaces and physical obstacles. It was also found that mobility facilitators are greatly lacking. Stroke patients with the lower levels of mobility, and especially patients using a wheelchair, were found the most vulnerable to the identified barriers. Patients were also greatly inactive during their time in the clinic since 50% of the day was spent in patient rooms. They also expressed a wish for a greater variety of common spaces within the clinic. The absence of motivating spaces was likely to be another important reason for patients’ inactivity, besides the avoidance of various barriers. The architectural properties of the identified barriers and facilitators were used to develop a catalogue of architectural design guidelines that present a new model for rehabilitation buildings: the transitional model. The given recommendations are based on the obtained study results and the experience of living in rehabilitation clinics and observing their daily life for 14 weeks. The catalogue of guidelines is intended for architects, medical professionals and others included in the process of planning a rehabilitation clinic. The main goal is to provide directly applicable evidence-based recommendations for mobility supporting clinics and to facilitate the dialogue between different professions involved in the planning process. / Rehabilitationskliniken sind bis heute ein aus architektonischer Sicht wenig erforschtes Thema. Schlaganfall ist die häufigste Erkrankung, die in neurologischen Rehabilitationskliniken in Deutschland behandelt wird und die die komplexeste Beeinträchtigung verursacht. Da zu erwarten ist, dass die Anzahl der Schlaganfälle in Zukunft stetig zunimmt, müssen die räumlichen Bedürfnisse der Schlaganfallpatienten unbedingt begriffen und in der gebauten Umgebung so untergebracht werden, dass ihr Genesungsprozess und ihr Leben nach der Rehabilitation unterstützt werden. Diese Dissertation zielt darauf ab, zu dieser breiten Wissenslücke beizutragen und neue Forschungsrichtungen einzuführen, die sich auf die Beziehung zwischen Schlaganfallpatienten und der rehabilitierten Umgebung konzentrieren. Rehabilitationskliniken wurden als Forschungsumgebung für diese Studie ausgewählt, da sie nach dem Krankenhausaufenthalt von Schlaganfallpatienten heimgesucht werden und sich dort einem herausfordernden Rehabilitationsprozess unterziehen, um zu ihrem normalen Leben zurückzukehren. Dieser Behandlungsprozess beinhaltet das Leben in Rehabilitationskliniken für einen bestimmten Zeitraum und die Teilnahme an verschiedenen Arten von Therapien, die von einem multidisziplinären Team mit mehreren Therapien pro Tag an jedem Tag der Woche durchgeführt werden. Diese intensive Therapieform ist wichtig für Schlaganfallpatienten, da in den ersten 3 bis 6 Monaten nach dem Schlaganfall mit der größten Wiederherstellung der Funktion gerechnet werden kann. Deutsche neurologische Rehabilitationskliniken werden häufig von anderen Funktionen umgestaltet oder ohne evidenzbasiertes Wissen über die räumlichen Bedürfnisse ihrer Patienten neu errichtet. Dieses Vorgehen schafft Barrieren in der gebauten Umgebung für Patienten, die wahrscheinlich ihren Genesungsprozess behindern und ihr psychisches Wohlbefinden negativ beeinflussen. Diese Barrieren behindern auch die Mobilität der Patienten in der Klinik. Mobilität als Hauptziel der Schlaganfallrehabilitation wird in der bebauten Umgebung von Rehabilitationskliniken häufig nicht gut unterstützt. Diese Studie konzentriert sich daher auf die Identifizierung von Barrieren, die Erleichterungen für die Mobilität in Rehabilitationskliniken und deren architektonischen Eigenschaften, sowie auf die unterschiedlichen Erfahrungen von Patienten mit unterschiedlichen Mobilitätsniveaus. Drei empirische Forschungsmethoden wurden verwendet, um den Zusammenhang zwischen der Mobilität von Schlaganfallpatienten und der gebauten Umgebung von Rehabilitationskliniken zu untersuchen: Patienten-Shadowing, Patientenfragebogen und Mitarbeiterfragebogen. Diese drei Methoden waren die Elemente der Post Occupancy Evaluation (POE), die in sieben deutschen neurologischen Rehabilitationskliniken im Zeitraum von September 2016 bis Mai 2018 angewendet wurden. Die Ergebnisse zeigen, dass die bebaute Umgebung von Rehabilitationskliniken die Mobilität der Patienten in fünf Hauptaspekten behindert: Herausfordernde Orientierung, große Entfernungen, unzureichende Abmessungen der Korridore, Bodenflächen und physische Hindernisse, sowie ein Mangel an Unterstützungselemente der Mobilität. Schlaganfallpatienten mit eingeschränkter Mobilität und insbesondere Patienten, die einen Rollstuhl benutzen, waren am anfälligsten für die festgestellten Hindernisse. Die Patienten waren auch während ihrer Zeit in der Klinik sehr inaktiv, da 50% des Tages in Patientenzimmern verbracht wurden. Die Patienten wünschten sich mehr Abwechslung in den Gemeinschaftsräumen der Klinik. Das Fehlen von motivationsfördernde Bereiche ist wahrscheinlich ein weiterer wichtiger Grund für die Inaktivität der Patienten, neben der Vermeidung verschiedener Hindernisse. Die architektonischen Eigenschaften der identifizierten Barrieren und Unterstützungselemente wurden verwendet, um einen Katalog von Empfehlungen für die architektonische Gestaltung zu entwickeln, in dem ein neues Modell für Rehabilitationseinrichtungen vorgestellt wird: das Übergangsmodell. Die gegebenen Empfehlungen basieren auf den erhaltenen Studienergebnissen und der Erfahrung der Beobachtung der Abläufe in Rehabilitationskliniken für 14 Wochen. Der Empefehlungskatalog richtet sich an Architekten, Mediziner und andere Personen, die an der Planung einer Rehabilitationsklinik beteiligt sind. Hauptziel ist es, direkt anwendbare evidenzbasierte Empfehlungen für mobilitätsunterstützende Kliniken bereitzustellen und den Dialog zwischen verschiedenen am Planungsprozess beteiligten Berufen zu erleichtern.

Objectives: To investigate which spaces stroke patients visit in their free time while undergoing inpatient recovery in rehabilitation centers, what activities they engage in, and what kind of spaces they want. Background: Research studies consistently show that stroke patients are highly inactive during rehabilitation. Much remains unknown about what patients do in their free time and how the built environment might affect their behavior and activities. Methods: Patients’ free-time activities were recorded via patient shadowing (n = 70, 840 hr), and their spatial preferences were collected using a survey (n = 60) in seven rehabilitation centers. Each participant was observed over one typical day (12 consecutive hours). Their activities, durations, and locations were recorded using floor plans and time log sheets. Results: Six main themes emerged from the analysis of shadowing data and patient surveys: (1) spending most free time in their room, (2) corridor as the overlooked activity hub, (3) food and beverage stations as triggers of activity, (4) wanting to socialize, (5) variety of common spaces for different activities is desired, and (6) common room’s atmosphere, comfort, style, and view are important. Even though socializing with other patients was mentioned as a primary reason for visiting common spaces in the survey, patients spent most of their free time alone. Conclusions: Corridor emerged as a space with great potential to motivate and support various activities of patients. Patients’ free-time activities could contribute to their recovery, and the built environment may play a role in facilitating and supporting these activities.