Multimodale Anwendungen bieten den blinden Benutzern neue Möglichkeiten und Chancen, die durch Verlust des Sehsinnes entstandenen Defizite über andere Sinneskanäle auszugleichen. Die benutzerorientierte Gestaltung ist der sicherste Weg, um interaktive Systeme gebrauchstauglich zu gestalten. Dabei sind die Benutzer hauptsächlich an zwei Aktivitäten beteiligt. Dies sind die Nutzungsanforderungsanalyse und die Evaluation. Hinsichtlich dieser zwei Aktivitäten wurden in der vorliegenden Arbeit Usability-Methoden untersucht bzw. neu entwickelt, um die nutzerzentrierte Gestaltung multimodaler Anwendungen für blinde Benutzer zu unterstützen. Bezogen auf die Aktivität Nutzungsanforderungsanalyse wurde ein Verfahren entwickelt, welches speziell die Besonderheiten blinder Benutzer und multimodaler Anwendungen bei der Nutzungsanforderungsanalyse berücksichtigt. Zusätzlich wurden zwei Schritte des Verfahrens, die Erstellung mentaler Modelle und die Modalitätsauswahl, die speziell auf den Kontext multimodaler Anwendungen für blinde Benutzer ausgerichtet sind, weiter vertiefend untersucht. Für den Schritt Erstellung mentaler Modelle wurden zwei Erstellungsmethoden, Teaching-Back und Retrospective Think-Aloud, mit blinden Benutzern untersucht. Dabei sind sowohl die Gestaltung vom Teaching-Back als auch der Vergleich beider Methoden von Interesse. Für den Schritt Modalitätsauswahl stand die Analyse des multimodalen Nutzerverhaltens blinder Benutzer im Mittelpunkt. Vier Eingabemodalitäten, Sprache, Touchscreen-Gesten, Touchscreen-Tastatur und Touchscreen-Braille bzw. deren Kombinationen wurden unter Einfluss von acht Aufgabentypen bei der Bedienung einer mobilen multimodalen Navigationsanwendung untersucht. In Hinblick auf die Usability-Evaluationsmethoden wurde zuerst das Augenmerk auf die Auswertung und die Erhebung mentaler Karten von blinden Benutzern gerichtet, da sie eine wichtige Rolle bei der Entwicklung von Navigationssystemen spielen. Zwei Auswertungsmethoden für mentale Karten hinsichtlich des Überblicks- und Routenwissens wurden entwickelt. Beide Methoden ermöglichen es, die mentalen Karten anhand speziell entwickelter Bewertungskriterien, wie Anzahl der Elemente und Eigenschaften der Straßen, quantitativ zu bewerten. Bezüglich der Erhebung mentaler Karten wurden zwei Erhebungsmethoden – Rekonstruktion mit Magnetstreifen und verbale Beschreibung – mit blinden Probanden hinsichtlich unterschiedlicher Aspekten untersucht. In zwei weiteren Untersuchungen wurden taktiles Paper-Prototyping und computerbasiertes Prototyping für die frühen Entwicklungsphasen bzw. Labor- und synchroner Remote-Test für die späteren Entwicklungsphasen mit blinden Benutzern verglichen. Dabei wurden die Effektivität der Evaluation, die Erkenntnisse und Erfahrungen der Probanden sowie des Testleiters als Vergleichskriterien in beiden Untersuchungen eingesetzt.

Multimodale Anwendungen bieten den blinden Benutzern neue Möglichkeiten und Chancen, die durch Verlust des Sehsinnes entstandenen Defizite über andere Sinneskanäle auszugleichen. Die benutzerorientierte Gestaltung ist der sicherste Weg, um interaktive Systeme gebrauchstauglich zu gestalten. Dabei sind die Benutzer hauptsächlich an zwei Aktivitäten beteiligt. Dies sind die Nutzungsanforderungsanalyse und die Evaluation. Hinsichtlich dieser zwei Aktivitäten wurden in der vorliegenden Arbeit Usability-Methoden untersucht bzw. neu entwickelt, um die nutzerzentrierte Gestaltung multimodaler Anwendungen für blinde Benutzer zu unterstützen. Bezogen auf die Aktivität Nutzungsanforderungsanalyse wurde ein Verfahren entwickelt, welches speziell die Besonderheiten blinder Benutzer und multimodaler Anwendungen bei der Nutzungsanforderungsanalyse berücksichtigt. Zusätzlich wurden zwei Schritte des Verfahrens, die Erstellung mentaler Modelle und die Modalitätsauswahl, die speziell auf den Kontext multimodaler Anwendungen für blinde Benutzer ausgerichtet sind, weiter vertiefend untersucht. Für den Schritt Erstellung mentaler Modelle wurden zwei Erstellungsmethoden, Teaching-Back und Retrospective Think-Aloud, mit blinden Benutzern untersucht. Dabei sind sowohl die Gestaltung vom Teaching-Back als auch der Vergleich beider Methoden von Interesse. Für den Schritt Modalitätsauswahl stand die Analyse des multimodalen Nutzerverhaltens blinder Benutzer im Mittelpunkt. Vier Eingabemodalitäten, Sprache, Touchscreen-Gesten, Touchscreen-Tastatur und Touchscreen-Braille bzw. deren Kombinationen wurden unter Einfluss von acht Aufgabentypen bei der Bedienung einer mobilen multimodalen Navigationsanwendung untersucht. In Hinblick auf die Usability-Evaluationsmethoden wurde zuerst das Augenmerk auf die Auswertung und die Erhebung mentaler Karten von blinden Benutzern gerichtet, da sie eine wichtige Rolle bei der Entwicklung von Navigationssystemen spielen. Zwei Auswertungsmethoden für mentale Karten hinsichtlich des Überblicks- und Routenwissens wurden entwickelt. Beide Methoden ermöglichen es, die mentalen Karten anhand speziell entwickelter Bewertungskriterien, wie Anzahl der Elemente und Eigenschaften der Straßen, quantitativ zu bewerten. Bezüglich der Erhebung mentaler Karten wurden zwei Erhebungsmethoden – Rekonstruktion mit Magnetstreifen und verbale Beschreibung – mit blinden Probanden hinsichtlich unterschiedlicher Aspekten untersucht. In zwei weiteren Untersuchungen wurden taktiles Paper-Prototyping und computerbasiertes Prototyping für die frühen Entwicklungsphasen bzw. Labor- und synchroner Remote-Test für die späteren Entwicklungsphasen mit blinden Benutzern verglichen. Dabei wurden die Effektivität der Evaluation, die Erkenntnisse und Erfahrungen der Probanden sowie des Testleiters als Vergleichskriterien in beiden Untersuchungen eingesetzt.

Für den Zugang zu grafischen Benutzungsoberflächen (GUIs) stehen blinden Menschen so genannte Screenreader und Braillezeilen zur Verfügung. Diese ermöglichen zwar das nicht-visuelle Wahrnehmen textueller Inhalte, allerdings kein effektives Arbeiten mit bildlichen Darstellungen. Neuartige taktile Flächendisplays können eine geeignete Lösung für den interaktiven Zugang zu tastbaren Grafiken darstellen und somit die Interaktionsmöglichkeiten blinder Benutzer im Umgang mit grafischen Anwendungen bereichern. Beispielsweise erlauben derartige Geräte nicht nur das Erkunden räumlicher Anordnungen, sondern darüber hinaus auch die kombinierte Ausgabe von Braille, Grafik und semi-grafischen Elementen. Um die deutlich größere Menge an gleichzeitig darstellbaren Informationen beherrschbar zu machen, sind neben entsprechenden Inhaltsaufbereitungen und Navigationsmechanismen auch geeignete Orientierungshilfen bereitzustellen. Im Rahmen der vorliegenden Arbeit wurde am Beispiel der BrailleDis Geräte der Metec AG, welche eine taktile Ausgabefläche von 120 mal 60 Stiften bereitstellen, untersucht, inwieweit flächige Brailledisplays blinden Menschen eine effektive und effiziente Bedienung grafischer Benutzungsoberflächen ermöglichen. Neben dem Zugang zur GUI selbst sowie dem Lesen von Texten stellt dabei insbesondere das Arbeiten mit Grafiken einen wichtigen Aspekt dar. Um die Bedienung auf einem taktilen Flächendisplay zu erleichtern, ist eine konsistente Organisation der Inhalte hilfreich. Hierfür wurde ein neuartiges taktiles Fenstersystem umgesetzt, welches die Ausgabe nicht nur in mehrere disjunkte Bereiche unterteilt, sondern auch verschiedene taktile Darstellungsarten unterstützt. Zur Systematisierung der Gestaltung und Evaluation derartiger taktiler Benutzungsoberflächen sowie der darin stattfindenden Benutzerinteraktionen wurde zunächst eine Taxonomie erarbeitet. Dabei wurden neben der Interaktion selber, welche durch die Ein-und Ausgabe sowie die Handbewegungen des Benutzers beschrieben werden kann, auch die Benutzerintention in Form von taktilen Elementaraufgaben sowie die technischen Spezifikationen des Geräts mit einbezogen. Basierend auf der Taxonomie wurden anschließend relevante Aspekte identifiziert, welche in mehreren Benutzerstudien mit insgesamt 46 blinden und hochgradig sehbehinderten Menschen untersucht wurden. Die betrachteten Untersuchungsfragen betrafen dabei einerseits die Effektivität der Ausgabe in Form verschiedener taktiler Ansichtsarten sowie die Eingabe und Erkundung durch den Benutzer, andererseits auch Aspekte zur Effizienz konkreter Interaktionstechniken. Als Ergebnis der einzelnen Studien wurden abschließend konkrete Empfehlungen zur Umsetzung von Benutzungsoberflächen auf flächigen Brailledisplays gegeben. Diese beinhalten insbesondere Aspekte zur Ergonomie von taktilen Flächendisplays, zur Anzeige von textuellen Inhalten, zur Darstellung und Interaktion mit grafischen Inhalten sowie zu Orientierungshilfen. Insgesamt konnte mit Hilfe der Benutzerstudien gezeigt werden, dass flächige Brailledisplays blinden Menschen einen effektiven und effizienten Zugang zu grafischen Benutzungsoberflächen ermöglichen. Verschiedene taktile Darstellungsarten können dabei das Lösen unterschiedlicher Aufgaben unterstützen. Generell erfordert die flächige Interaktion vom Benutzer allerdings auch die Erweiterung seiner konventionellen Erkundungs-und Eingabestrategien. Die Bereitstellung neuartiger Interaktionstechniken zur Unterstützung der Orientierung kann die Effizienz zusätzlich steigern. / Blind people normally use screen readers as well as single-lined refreshable Braille displays for accessing graphical user interfaces (GUIs). These technologies allow for a non-visual perception of textual content but not for an effective handling of visual illustrations. Novel two-dimensional tactile pin-matrix devices are an appropriate solution to interactively access tactual graphics. In this way, they can enrich the interaction possibilities of blind users in dealing with graphical applications. For instance, such devices enable the exploration of spatial arrangements and also combine output of Braille, graphics and semi-graphical elements. To make the high amount of simultaneously presented information perceivable and efficiently usable for blind users, an adequate preparation of content as well as adapted navigation and orientation mechanisms must be provided. In this thesis the BrailleDis devices of Metec AG, which have a tactile output area of 120 times 60 pins, were used. The goal was to investigate to what extent large pin-matrix devices enable blind people to use graphical user interfaces effectively and efficiently. Access to the GUI itself, reading text, and dealing with graphics are the main aspects of the application area of such devices. To facilitate the operation on a two-dimensional pin-matrix device a consistent organization of the content is helpful. Therefore, a novel tactile windowing system was implemented which divides the output area into multiple disjunctive regions and supports diverse tactile information visualizations. Moreover, a taxonomy was developed to systematize the design and evaluation of tactile user interfaces. Apart from interaction that can be described by input and output as well as hand movements, the taxonomy includes user intention in terms of interactive task primitives and technical specifications of the device. Based on the taxonomy, relevant aspects of tactile interaction were identified. These aspects were examined in multiple user studies with a total of 46 blind and visually impaired participants. The following research topics were considered during the user studies: 1. the effectiveness of diverse tactile view types (output), 2. user input and exploration, and 3. the efficiency of specific interaction techniques. As a result, practical recommendations for implementing user interfaces on two-dimensional pin-matrix devices were given. These recommendations include ergonomic issues of physical devices as well as design considerations for textual and graphical content as well as orientation aids. In summary, the user studies showed that two-dimensional pin-matrix devices enable blind people an effective and efficient access to graphical user interfaces. Diverse tactile information visualizations can support users to fulfill various tasks. In general, two-dimensional interaction requires the extension of conventional exploration and input strategies of users. The provision of novel interaction techniques for supporting orientation can help to increase efficiency even more.

Für den Zugang zu grafischen Benutzungsoberflächen (GUIs) stehen blinden Menschen so genannte Screenreader und Braillezeilen zur Verfügung. Diese ermöglichen zwar das nicht-visuelle Wahrnehmen textueller Inhalte, allerdings kein effektives Arbeiten mit bildlichen Darstellungen. Neuartige taktile Flächendisplays können eine geeignete Lösung für den interaktiven Zugang zu tastbaren Grafiken darstellen und somit die Interaktionsmöglichkeiten blinder Benutzer im Umgang mit grafischen Anwendungen bereichern. Beispielsweise erlauben derartige Geräte nicht nur das Erkunden räumlicher Anordnungen, sondern darüber hinaus auch die kombinierte Ausgabe von Braille, Grafik und semi-grafischen Elementen. Um die deutlich größere Menge an gleichzeitig darstellbaren Informationen beherrschbar zu machen, sind neben entsprechenden Inhaltsaufbereitungen und Navigationsmechanismen auch geeignete Orientierungshilfen bereitzustellen. Im Rahmen der vorliegenden Arbeit wurde am Beispiel der BrailleDis Geräte der Metec AG, welche eine taktile Ausgabefläche von 120 mal 60 Stiften bereitstellen, untersucht, inwieweit flächige Brailledisplays blinden Menschen eine effektive und effiziente Bedienung grafischer Benutzungsoberflächen ermöglichen. Neben dem Zugang zur GUI selbst sowie dem Lesen von Texten stellt dabei insbesondere das Arbeiten mit Grafiken einen wichtigen Aspekt dar. Um die Bedienung auf einem taktilen Flächendisplay zu erleichtern, ist eine konsistente Organisation der Inhalte hilfreich. Hierfür wurde ein neuartiges taktiles Fenstersystem umgesetzt, welches die Ausgabe nicht nur in mehrere disjunkte Bereiche unterteilt, sondern auch verschiedene taktile Darstellungsarten unterstützt. Zur Systematisierung der Gestaltung und Evaluation derartiger taktiler Benutzungsoberflächen sowie der darin stattfindenden Benutzerinteraktionen wurde zunächst eine Taxonomie erarbeitet. Dabei wurden neben der Interaktion selber, welche durch die Ein-und Ausgabe sowie die Handbewegungen des Benutzers beschrieben werden kann, auch die Benutzerintention in Form von taktilen Elementaraufgaben sowie die technischen Spezifikationen des Geräts mit einbezogen. Basierend auf der Taxonomie wurden anschließend relevante Aspekte identifiziert, welche in mehreren Benutzerstudien mit insgesamt 46 blinden und hochgradig sehbehinderten Menschen untersucht wurden. Die betrachteten Untersuchungsfragen betrafen dabei einerseits die Effektivität der Ausgabe in Form verschiedener taktiler Ansichtsarten sowie die Eingabe und Erkundung durch den Benutzer, andererseits auch Aspekte zur Effizienz konkreter Interaktionstechniken. Als Ergebnis der einzelnen Studien wurden abschließend konkrete Empfehlungen zur Umsetzung von Benutzungsoberflächen auf flächigen Brailledisplays gegeben. Diese beinhalten insbesondere Aspekte zur Ergonomie von taktilen Flächendisplays, zur Anzeige von textuellen Inhalten, zur Darstellung und Interaktion mit grafischen Inhalten sowie zu Orientierungshilfen. Insgesamt konnte mit Hilfe der Benutzerstudien gezeigt werden, dass flächige Brailledisplays blinden Menschen einen effektiven und effizienten Zugang zu grafischen Benutzungsoberflächen ermöglichen. Verschiedene taktile Darstellungsarten können dabei das Lösen unterschiedlicher Aufgaben unterstützen. Generell erfordert die flächige Interaktion vom Benutzer allerdings auch die Erweiterung seiner konventionellen Erkundungs-und Eingabestrategien. Die Bereitstellung neuartiger Interaktionstechniken zur Unterstützung der Orientierung kann die Effizienz zusätzlich steigern. / Blind people normally use screen readers as well as single-lined refreshable Braille displays for accessing graphical user interfaces (GUIs). These technologies allow for a non-visual perception of textual content but not for an effective handling of visual illustrations. Novel two-dimensional tactile pin-matrix devices are an appropriate solution to interactively access tactual graphics. In this way, they can enrich the interaction possibilities of blind users in dealing with graphical applications. For instance, such devices enable the exploration of spatial arrangements and also combine output of Braille, graphics and semi-graphical elements. To make the high amount of simultaneously presented information perceivable and efficiently usable for blind users, an adequate preparation of content as well as adapted navigation and orientation mechanisms must be provided. In this thesis the BrailleDis devices of Metec AG, which have a tactile output area of 120 times 60 pins, were used. The goal was to investigate to what extent large pin-matrix devices enable blind people to use graphical user interfaces effectively and efficiently. Access to the GUI itself, reading text, and dealing with graphics are the main aspects of the application area of such devices. To facilitate the operation on a two-dimensional pin-matrix device a consistent organization of the content is helpful. Therefore, a novel tactile windowing system was implemented which divides the output area into multiple disjunctive regions and supports diverse tactile information visualizations. Moreover, a taxonomy was developed to systematize the design and evaluation of tactile user interfaces. Apart from interaction that can be described by input and output as well as hand movements, the taxonomy includes user intention in terms of interactive task primitives and technical specifications of the device. Based on the taxonomy, relevant aspects of tactile interaction were identified. These aspects were examined in multiple user studies with a total of 46 blind and visually impaired participants. The following research topics were considered during the user studies: 1. the effectiveness of diverse tactile view types (output), 2. user input and exploration, and 3. the efficiency of specific interaction techniques. As a result, practical recommendations for implementing user interfaces on two-dimensional pin-matrix devices were given. These recommendations include ergonomic issues of physical devices as well as design considerations for textual and graphical content as well as orientation aids. In summary, the user studies showed that two-dimensional pin-matrix devices enable blind people an effective and efficient access to graphical user interfaces. Diverse tactile information visualizations can support users to fulfill various tasks. In general, two-dimensional interaction requires the extension of conventional exploration and input strategies of users. The provision of novel interaction techniques for supporting orientation can help to increase efficiency even more.