During the last thirty years the progress of multi-touch technology has been a hot topic of discussion. Despite this, it has not been deployed in anything more advanced than commercials, games and illustrations. We believe that the time has come for the technology to become a broader and more advanced field. It should even be feasible to introduce the multi-touch technology into important environments e.g. control rooms. Two project based case studies, involving multi-touch in different aspects, will be described and discussed respectively. The first case study discusses the introduction of a Microsoft Surface as a collaboration tool in a control room environment. A prototype was built and evaluated to see how well it could work in a stressful and complex area where collaboration between colleagues is vital. The second case study describes the development and possible deployment of a smaller multi-touch screen that would work as an extra input to the control system. Its purpose is to facilitate the navigation in a control system for the operators, thereby easing their cognitive load and making the control room a more comfortable working place. The research of the case studies was based on interviews with operators and developers. From the research result appliance methods and designs were developed, and prototypes were constructed out of the best ones. The prototypes were then analyzed and tested for later evaluation and discussion. To see, whether or not the new multi-touch prototypes would function well in a control system. The objective of this thesis is to attempt to introduce multi-touch technology in control systems

Les dispositifs à retour tactile sont utilisés pour créer un retour sensoriel à leurs utilisateurs. Par exemple, ils est possible de reproduire sous le doigt l'illusion de surfaces texturées par le contrôle de la friction entre une surface mise en vibration et le doigt de l'utilisateur parcourant la dalle. Pour la plupart de ces dispositifs, le principe de base consiste à utiliser un mode de résonance dont la fréquence et la forme sont imposées par la nature du matériau et la géométrie du dispositif. Le mode est sélectionné pour réaliser une stimulation homogène, et de ce fait elle est indifférenciée sur l'ensemble de la surface. En regard de certaines applications demandant une information plus variée, c'est un facteur limitant. On propose dans ce travail de thèse une nouvelle approche, basée sur la superposition de plusieurs modes de vibration. Les modes sont excités simultanément pour réaliser des déformées plus complexes et modulables, afin de générer une simulation à retour tactile multitouch. Cette approche a été validée pour le cas d'une poutre où deux modes de vibration ont été superposés pour générer une simulation tactile différenciée sous deux doigts, grâce au contrôle vectoriel de deux actionneurs piézoélectriques. Cette approche multimodale a été ensuite étendue au cas d'une plaque mince où différentes distributions spatiales du déplacement ont été imposées.L'approche développée dans ce travail nous a permis également de générer et de contrôler une onde progressive en amplitude et en direction. Pour cette raison, nous avons évalué l'intérêt des ondes progressives dans les interfaces tactiles. Les évaluations psychophysiques des dispositifs proposés montrent clairement l'intérêt d'exploiter plusieurs modes de vibration pour une simulation à retour tactile. / Tactile display devices are used for providing tactile feedback to their users. They can reproduce the illusion of textured surface by controlling the friction between a vibrating surface and a sliding finger on it. For most of these devices, the basic principle is to use a single resonant mode whose frequency and wave form are imposed by the nature of the material and the geometry of the device. The mode is selected to achieve a homogeneous stimulation, and thereby tactile sensation is undifferentiated over the entire surface. The single mode tactile devices are limited for applications which require more varied information on surface.This work introduces a novel approach for tactile feedback based on the superposition of several vibration modes. The modes are excited simultaneously to perform a more complex wave form and are capable to generate multitouch tactile feedback. This approach has been validated for the case of a beam where two vibration modes were superimposed to generate a differentiated tactile simulation with two fingers. Thanks to vector control method applied to a piezoacturator. A tracking system was implemented to give a multitouch illusion based on the positions of the two fingers. This multimodal approach was later extended to the case of a thin plate where different spatial distributions of the displacement have been imposed. The approach developed in this work is also capable to generate and control a travelling wave amplitude and direction. For this reason, we evaluated the interest of travelling waves in touch interfaces. Psychophysical assessments of proposed devices clearly show the interest to use several vibration modes in tactile feedback simulation.

Museen werden häufig von Gruppen wie z.B. Familien besucht, die ein Interesse daran haben, die Inhalte dieser Institutionen gemeinsam zu erkunden. Leider sind jedoch in vielen Museen interaktive oder gar gemeinschaftlich nutzbare Exponate weiterhin eine Seltenheit. Interaktive Tabletops können den Bedürfnissen von Besuchergruppen begegnen und kollaborative Gruppeninteraktionen ermöglichen.  Der Fokus dieser Arbeit liegt darauf, kollaborative Gruppeninteraktion an interaktiven Tischen für verschiedene Ausstellungskontexte einerseits herzustellen und andererseits detailliert zu untersuchen, um besondere Potentiale von interaktiven Tabletops für Gruppenkollaboration im Museum herauszuarbeiten.  Die Dissertation beschreibt dabei die iterative Entwicklung von zwei interaktiven Tabletop-Exponaten in ihrer physischen Gestaltung und ihren Anwendungen, die entwicklungsbegleitend durch drei In-the-wild-Studien unter realweltlichen Bedingungen weiterentwickelt wurden. In einer letzten In-the-wild-Studie wurden Gruppeninteraktionen am Tisch zum Zwecke der Interaktionsanalyse videografisch erfasst. Als Fundament für Entwicklung und Interaktionsanalyse dient eine Auseinandersetzung mit bestehenden Tabletopanwendungen in Museen hinsichtlich ihrer Potentiale für Gruppeninteraktionen. In der Interaktionsanalyse zeigte sich unter anderem, dass die Gestaltung der Anwendung als rundenbasiertes Spiel Einfluss auf die Gruppeninteraktion hat. Insbesondere konnte beobachtet werden, dass  Besucher*innen ihren Aufenthalt am Tabletopexponat sowohl mit ihrer Gruppe als auch mit dem Spielzustand koordinieren. Die Rundenbasiertheit der Anwendung motiviert Spieler*innen, ihre Gruppenmitglieder zu unterstützen und dadurch zudem das Voranschreiten des Spieles zu sichern. Aus den Ergebnissen der Interaktionsanalyse werden abschließend Implikationen für die Gestaltung von interaktiven Exponaten und ihre Anwendung für museale Kontexte abgeleitet.:Danksagung Einleitung Grundlagen Iterative Entwicklung eines Tabletopexponats Methodisches Vorgehen Interaktion am Tisch Gruppen- und Spielverpflichtung Intervention und Unterstützung Fazit Literatur / Museums are often visited by groups of people such as families, who commonly intend to explore and experience the museum space together. Unfortunately, many museums lack interactive exhibits that could facilitate such collaborative experiences. Interactive tabletops can satisfy such desires and enable collaborative group interactions. The focus of this thesis is on the facilitation and the analysis of collaborative group interactions on interactive tabletops in exhibition spaces. It identifies potentials of interactive tabletops for group collaboration in museums. The thesis describes the iterative development of two interactive tabletop exhibits in their physical form and their applications. This development was accompanied by three in-the-wild studies, which drove the evolution of hardware and software. In a final in-the-wild study group interactions on a tabletop exhibit were examined using interaction analysis. The development as well as the following analysis of group interactions on tabletop exhibits was based on the thorough analysis of existing tabletop exhibits and other studies of group interactions in museums. The detailed study of group interactions revealed among other things that the design of the application as a turn-based game had a significant influence on group interactions. Users coordinated their stay at the tabletop with their peers while considering the state of the game. The turn-based manner of the application motivated players to support their peers to advance through the game. The results of the interaction analysis lead to implications for the design of interactive exhibits and their application in museum spaces.:Danksagung Einleitung Grundlagen Iterative Entwicklung eines Tabletopexponats Methodisches Vorgehen Interaktion am Tisch Gruppen- und Spielverpflichtung Intervention und Unterstützung Fazit Literatur

Museums can be perceived as stuffy and forbidding; web technologies can enable museums to expand access to their collections and counterbalance these perceptions. Museums are searching for new ways to communicate with the public to better make a case for their continued relevance in the digital information age. With the emergence of multitouch computing, other diverse forms of digital access and the popularization of the user experience, challenge museum design professionals to synthesize the information seeking experience that occurs on multiple computing platforms. As a means of addressing these issues, this Master’s Report summarizes the One Butterfly design project. The project's goal was to create a design for a multitouch interface for federated search of Smithsonian collections. This report describes the project’s three major phases. First, an idea for an interface was developed and designs based on that idea were captured and clarified. Second, a formal review of related research was undertaken to ground these designs in the museum informatics, user interface design, and multitouch interaction design literatures. Finally, the report concludes with a review and reflection on the designs and their underlying ideas in light of things learned in the previous phases. / text

OpenSpace is an interactive data visualization software system that portrays the entire known universe in a 3D simulation. Current navigation interface requires explanations, which prohibits OpenSpace to be displayed effectively in public exhibitions. Research has been shown that using large tangible touch surfaces with a multi-touch navigation interface is more engaging to users than mouse and keyboard as well as enhances the understanding of navigation control, thus decreasing the required instructions to learn the systems user interface. This thesis shows that combining a velocity-based interaction model together with a screen-space direct-manipulation formulation produces a user-friendly interface. Giving the user precise control of objects and efficient travels in between in the vastness of space. This thesis presents the work of integrating a multi-touch navigation interface with a combined formulation of velocity-based interaction and screen-space direct-manipulation into the software framework OpenSpace.

All people need to communicate - but not all people have the same preconditions. Some are limited in their ability to speak, read and write, for example, people with severe learning difficulties.To help support this communities it is apparent that new tools need to be created to help enhance communication by providing alternative means. Promoting independence Communicative technologies can potentially increase independence amongst a group of people who rely on caregivers and assistance on a daily basis and provide opportunities of enhancing community and safety through social connectedness. Multi-Touch Devices The technology for multitouch tables and devices has existed for a few years and is continually improving. This opens new doors for interaction and can be a potential asset for people with Cognitive Disabilities.

Die komplexe Analysen großer Datensätze stellt in der Informationsvisualisierung eine zunehmende Herausforderung dar. Mit Hilfe von Magic Lenses wird die teilweise unübersichtliche Visualisierung dieser Datensätze lokal manipuliert und vereinfacht. Dabei spielen besonders der Umfang an Filterfunktionen und wie sie verändert werden können eine Rolle. Die Vorteile eines Multitouchdisplays im Vergleich zu herkömmlicher Maus- oder Keyboardinteraktion kommen dabei zum Einsatz. Es treten jedoch stetig Probleme bei der Adaption bisheriger Menüdesigns auf. Da Magic Lenses über Menüs parametrisiert werden sollen, stellt sich die Frage welche Menü- und Interaktionsarten besser dazu geeignet sind. In dieser Arbeit wird ein Multitouch-basiertes Kontextmenü für Magic Lenses evaluiert. Es befindet sich direkt am Linsenrand und ist kompakt jedoch neuartig. Es wird die Konkurrenzfähigkeit zu einem speziell für die Studie entworfenen und implementierten klassischen, globalen Menü getestet. Dieses ist für Nutzer vertrauter, aber distanziert sich von der Linse. Die Ergebnisse werden anschließend unter quantitativen und qualitativen Punkten zusammengefasst und ausgewertet. Es zeigt sich, dass klassische Menüs mit Touchinteraktion performanter waren. Das Multitouch-basierte Kontextmenü war allerdings bei den Probanden beliebter und wurde für die Arbeit mit Linsen bevorzugt. / The complex analysis of huge data sets is an increasing challenge in information visualization. With the help of emph{Magic Lenses} the somtimes confusing visualization of those data sets is being locally manipulated and simplified. Especially the amount of filter functions and how they can be altered matter. The advantages of multitouch displays in comparison to conventional mouse and keyboard interaction are used. However, there occur continual problems with the adaption of existing menu designs. Since emph{Magic Lenses} have to be parameterized with those menus the question arises which kind of menu and interaction are more fitting. In this work we evaluate a multitouch based context menu for emph{Magic Lenses}. It is located directly at the lens and compact but new to users. We test its competitiveness to a classical global menu specifically designed and implemented for this study. Users are more familiar with it but it is distanced from the lens. Finally, the results are summarized and analyzed under quantitative and qualitative points. It turns out that classical menus with touch interaction performed best. The multitouch-based context menu though was more popular with probands and was preferred for the work with lenses.

Multitouch technology allows the users to use both their hands and multiple fingers to manipulate digital content directly on the screen. This paper attempts to analyze the actual convenience of bimanual and multifinger manipulation on a multitouch display by conducting three observational experiments and studying how a group of volunteers use their hands and fingers when interacting with digital content on a touchscreen surface. In addition, the participants had to fill in a questionnaire where they give some additional insights on how they experienced the use of multitouch-based interface during the experiments. The results suggest that when participants were performing tasks in which they were instructed to manipulate the digital content as fast as they could, a high percentage of them resorted to the use of at least some level of bimanual manipulation of the digital content. However, when participants were told to perform the tasks calmly the big majority of participants decided to move the objects by using only one hand (unimanual). Same-hand multifinger manipulation was also used by a high percentage of participants when moving several objects simultaneously. Nevertheless, in all three experiments the most common way of moving objects across the screen was by dragging them one at a time (sequential move). Finally, in relation to the personal assessment made by the participants, a total of 70% feel that the possibility for engaging in bimanual interaction, that multitouch interface offers, is a clear benefit and advantage over traditional keyboard and mouse. However, 40% of the respondents feel that the use of mouse still is a more effective and natural form of interaction than multitouch technology.

Fallende Hardwarepreise sowie eine zunehmende Offenheit gegenüber neuartigen Interaktionsmodalitäten haben in den vergangen Jahren den Einsatz von wandgroßen interaktiven Displays möglich gemacht, und in der Folge ist ihre Anwendung, unter anderem in den Bereichen Visualisierung, Bildung, und der Unterstützung von Meetings, erfolgreich demonstriert worden. Aufgrund ihrer Größe sind Wanddisplays für die Interaktion mit mehreren Benutzern prädestiniert. Gleichzeitig kann angenommen werden, dass Zugang zu persönlichen Daten und Einstellungen — mithin personalisierte Interaktion — weiterhin essentieller Bestandteil der meisten Anwendungsfälle sein wird. Aktuelle Benutzerschnittstellen im Desktop- und Mobilbereich steuern Zugriffe über ein initiales Login. Die Annahme, dass es nur einen Benutzer pro Bildschirm gibt, zieht sich durch das gesamte System, und ermöglicht unter anderem den Zugriff auf persönliche Daten und Kommunikation sowie persönliche Einstellungen. Gibt es hingegen mehrere Benutzer an einem großen Bildschirm, müssen hierfür Alternativen gefunden werden. Die daraus folgende Forschungsfrage dieser Dissertation lautet: Wie können wir im Kontext von Mehrbenutzerinteraktion mit wandgroßen Displays personalisierte Schnittstellen zur Verfügung stellen? Die Dissertation befasst sich sowohl mit personalisierter Interaktion in der Nähe (mit Touch als Eingabemodalität) als auch in etwas weiterer Entfernung (unter Nutzung zusätzlicher mobiler Geräte). Grundlage für personalisierte Mehrbenutzerinteraktion sind technische Lösungen für die Zuordnung von Benutzern zu einzelnen Interaktionen. Hierzu werden zwei Alternativen untersucht: In der ersten werden Nutzer via Kamera verfolgt, und in der zweiten werden Mobilgeräte anhand von Ultraschallsignalen geortet. Darauf aufbauend werden Interaktionstechniken vorgestellt, die personalisierte Interaktion unterstützen. Diese nutzen zusätzliche Mobilgeräte, die den Zugriff auf persönliche Daten sowie Interaktion in einigem Abstand von der Displaywand ermöglichen. Einen weiteren Teil der Arbeit bildet die Untersuchung der praktischen Auswirkungen der Ausgabe- und Interaktionsmodalitäten für personalisierte Interaktion. Hierzu wird eine qualitative Studie vorgestellt, die Nutzerverhalten anhand des kooperativen Mehrbenutzerspiels Miners analysiert. Der abschließende Beitrag beschäftigt sich mit dem Analyseprozess selber: Es wird das Analysetoolkit für Wandinteraktionen GIAnT vorgestellt, das Nutzerbewegungen, Interaktionen, und Blickrichtungen visualisiert und dadurch die Untersuchung der Interaktionen stark vereinfacht. / An increasing openness for more diverse interaction modalities as well as falling hardware prices have made very large interactive vertical displays more feasible, and consequently, applications in settings such as visualization, education, and meeting support have been demonstrated successfully. Their size makes wall displays inherently usable for multi-user interaction. At the same time, we can assume that access to personal data and settings, and thus personalized interaction, will still be essential in most use-cases. In most current desktop and mobile user interfaces, access is regulated via an initial login and the complete user interface is then personalized to this user: Access to personal data, configurations and communications all assume a single user per screen. In the case of multiple people using one screen, this is not a feasible solution and we must find alternatives. Therefore, this thesis addresses the research question: How can we provide personalized interfaces in the context of multi-user interaction with wall displays? The scope spans personalized interaction both close to the wall (using touch as input modality) and further away (using mobile devices). Technical solutions that identify users at each interaction can replace logins and enable personalized interaction for multiple users at once. This thesis explores two alternative means of user identification: Tracking using RGB+depth-based cameras and leveraging ultrasound positioning of the users' mobile devices. Building on this, techniques that support personalized interaction using personal mobile devices are proposed. In the first contribution on interaction, HyDAP, we examine pointing from the perspective of moving users, and in the second, SleeD, we propose using an arm-worn device to facilitate access to private data and personalized interface elements. Additionally, the work contributes insights on practical implications of personalized interaction at wall displays: We present a qualitative study that analyses interaction using a multi-user cooperative game as application case, finding awareness and occlusion issues. The final contribution is a corresponding analysis toolkit that visualizes users' movements, touch interactions and gaze points when interacting with wall displays and thus allows fine-grained investigation of the interactions.

Die komplexe Analysen großer Datensätze stellt in der Informationsvisualisierung eine zunehmende Herausforderung dar. Mit Hilfe von Magic Lenses wird die teilweise unübersichtliche Visualisierung dieser Datensätze lokal manipuliert und vereinfacht. Dabei spielen besonders der Umfang an Filterfunktionen und wie sie verändert werden können eine Rolle. Die Vorteile eines Multitouchdisplays im Vergleich zu herkömmlicher Maus- oder Keyboardinteraktion kommen dabei zum Einsatz. Es treten jedoch stetig Probleme bei der Adaption bisheriger Menüdesigns auf. Da Magic Lenses über Menüs parametrisiert werden sollen, stellt sich die Frage welche Menü- und Interaktionsarten besser dazu geeignet sind. In dieser Arbeit wird ein Multitouch-basiertes Kontextmenü für Magic Lenses evaluiert. Es befindet sich direkt am Linsenrand und ist kompakt jedoch neuartig. Es wird die Konkurrenzfähigkeit zu einem speziell für die Studie entworfenen und implementierten klassischen, globalen Menü getestet. Dieses ist für Nutzer vertrauter, aber distanziert sich von der Linse. Die Ergebnisse werden anschließend unter quantitativen und qualitativen Punkten zusammengefasst und ausgewertet. Es zeigt sich, dass klassische Menüs mit Touchinteraktion performanter waren. Das Multitouch-basierte Kontextmenü war allerdings bei den Probanden beliebter und wurde für die Arbeit mit Linsen bevorzugt. / The complex analysis of huge data sets is an increasing challenge in information visualization. With the help of emph{Magic Lenses} the somtimes confusing visualization of those data sets is being locally manipulated and simplified. Especially the amount of filter functions and how they can be altered matter. The advantages of multitouch displays in comparison to conventional mouse and keyboard interaction are used. However, there occur continual problems with the adaption of existing menu designs. Since emph{Magic Lenses} have to be parameterized with those menus the question arises which kind of menu and interaction are more fitting. In this work we evaluate a multitouch based context menu for emph{Magic Lenses}. It is located directly at the lens and compact but new to users. We test its competitiveness to a classical global menu specifically designed and implemented for this study. Users are more familiar with it but it is distanced from the lens. Finally, the results are summarized and analyzed under quantitative and qualitative points. It turns out that classical menus with touch interaction performed best. The multitouch-based context menu though was more popular with probands and was preferred for the work with lenses.