This thesis explores new approaches to making and playing with programming materials, especially the forms provided with screen-based digital media. Designing with these media expressions can be very attractive to children, but they are usually not made available to them in the same degree as are physical materials. Inspired by children's play with physical materials, this work includes design explorations of how different resources alter, scaffold and support children in activities of making dynamic, screen-based systems. How tangibles turn the activity of programming into a more physical, social and collaborative activity is emphasised. A specific outcome concerns the importance of considering 'offline' and socially oriented action when designing tangible technologies. The work includes the design of a tangible programming system, Patcher, with which groups of children can program systems displayed on a large screen surface. The character of children's programming is conceptualised through the notion of a digital patchwork, emphasising (1) children's programming as media-sensitive design, (2) making programming more concrete by combining and reusing readily available programming constructs, and (3) the use of tangibles for social interaction.

Designing tangible objects for children’s development andlearning has been a common theme in the HCI community.However, studies involving designing of tangibles fortoddlers’ hedonic interaction and play experiences havebeen few. This paper explores how toddlers (between oneand three years old) behave when interacting with tangibleplay objects in the context of open-ended play. The aim ofthis study was to explore how the integration ofmultisensory stimuli and multimodal feedback in tangibleobjects can affect toddlers’ play, behaviors and engagementin the context of open-ended play. Furthermore, two playobjects called Sound Cubes were developed and used in aninteraction study conducted at a preschool in Stockholm.The results presented in this paper suggest that the openendedplay objects provided toddlers with opportunity formultiple manipulations that lead to interesting interactions.Moreover, multimodal feedback and multisensory stimulicreated a positive affect on toddlers’ engagement in play.

Dans ce manuscrit, je présente mes travaux visant à rendre les interfaces tangibles plus polyvalentes et plus physiques afin de réduire l’espace entre le réel et le virtuel. Pour ce faire, j'étudie et conçois des dispositifs technologiques permettant d’interagir avec le monde numérique exploitant au mieux le potentiel de nos mains. Je commence par examiner l’état de l’art et souligne le besoin d’approfondissement dans cette direction. J’y observe la spécificité des systèmes existants, limitant leur utilisation et diffusion, de même que l’utilisation récurrente d’écrans et autres dispositifs de projections comme moyen de représentation du monde numérique. Tirant les leçons de la recherche existante, je choisis d'orienter mes travaux autour de dispositifs physiques constitués uniquement de collections d’objets génériques et interactifs. Mon but est d’apporter plus de polyvalence aux interfaces purement tangibles. J’articule pour cela ma recherche en quatre temps. Je mène tout d’abord une étude comparant les interfaces tangibles et tactiles, dans le but d’évaluer de potentiels bénéfices de l’utilisation d’objets physiques. J’étudie conjointement l’influence de l’épaisseur des objets sur la manipulation. Les résultats suggèrent tout d’abord de modérer les conclusions de nombre d’études existantes, quant aux avantages de la tangibilité en terme de performances. Ces résultats confirment toutefois l’amélioration de l’agrément lors de l’utilisation de dispositifs physiques, expliquée par une plus grande variété ainsi qu’une plus grande fiabilité des manipulations réalisées. Je présente dans un deuxième temps SmartTokens, un dispositif à base de petits objets capable de détecter et reconnaître les manipulations auxquelles ils sont sujets. J’illustre les SmartTokens dans un scénario de gestion de notifications et de tâches personnelles. Je poursuis en introduisant les Interfaces en essaim, une sous-catégorie des interfaces tangibles, constituée de collections de nombreux robots autonomes et interactifs. Pour les illustrer, je présente les Zooids, une plateforme ouverte pour développer des Interfaces en essaim. Je démontre le potentiel quant à leur polyvalence avec un assortiment d’applications, et clarifie les règles de conception des Interfaces en essaim. Je définis les physicalisations de données composites, et les implémentent en utilisant les Zooids. Je termine en ouvrant perspectives et futures directions, et en tirant les conclusions des travaux réalisés au cours de cette thèse. / In this dissertation, I present my work aiming at making tangible user interfaces more versatile with a higher degree of physicality, in order to bridge the gap between digital and physical worlds. To this end, I study and design systems which support interaction with digital information while better leveraging human hand capabilities. I start with an examination of the current related work, and highlight the need for further research towards more versatility with a higher degree of physicality. I argue that the specificity of existing systems tends to impair their usability and diffusion and induce a dependence on screens and other projections as media to represent the digital world. Building on lessons learned from previous work, I choose to focus my work on physical systems made of collections of generic and interactive objects. I articulate my research in four steps. Firstly, I present a study that compares tangible and multitouch interfaces to help assess potential benefits of physical objects. At the same time, I investigate the influence of object thickness on how users manipulate objects. Results suggest that conclusions from numerous previous studies need to be tempered, in particular regarding the advantages of physicality in terms of performance. These results however confirm that physicality improves user experience, due to the higher diversity of possible manipulations. As a second step, I present SmartTokens, a system based on small objects capable of detecting and recognizing user manipulations. I illustrate SmartTokens in a notification and personal task management scenario. In a third step, I introduce Swarm User Interfaces as a subclass of tangible user interfaces that are composed of collections of many interactive autonomous robots. To illustrate them, I present Zooids, an open-source open-hardware platform for developing tabletop Swarm User Interfaces. I demonstrate their potential and versatility through a set of application scenarios. I then describe their implementation, and clarify design considerations for Swarm User Interfaces. As a fourth step, I define composite data physicalizations and implement them using Zooids. I finally draw conclusions from the presented work, and open perspectives and directions for future work.

Un nombre croissant de paradigmes d'interaction et de dispositifs ont été développés et étudiés pour les manipulations 3D.Ce développement bénéficie, en particulier, aux domaines scientifiques tels que la visualisation qui s'appuie sur la manipulation de données 3D.De nombreuses études ont démontré les avantages de chacun d'entre eux pour des tâches spécifiques liées à la visualisation. Pourtant, les interfaces utilisateur graphiques classiques ainsi que la souris et les claviers prédominent toujours dans la plupart des environnements interactifs: de tels environnements sont toujours utiles pour des tâches spécifiques et parce qu'ils sont facilement disponibles et accessibles par rapport aux nouveaux paradigmes d'interaction et aux dispositifs innovants. Contrairement à l'approche habituelle qui consiste à créer ou étudier un nouveau paradigme, une nouvelle technique ou un nouveau dispositif d'interaction, les travaux présentés dans cette thèse ouvrent la voie à un continuum d'interaction: la possibilité de passer d'un paradigme d'interaction à l'autre et de combiner deux ou plusieurs paradigmes d'interaction pour en tirer profit. Pour atteindre cet objectif, nous prenons plusieurs mesures. Tout d'abord, en se basant sur l'observation que la souris et le clavier, l'interaction tactile et l'interaction tangible sont maintenant des normes ou se rapprochent d'être des paradigmes d'interaction standard pour les cas d'utilisation occasionnelle ou spécifique, cette thèse étudie et compare leurs avantages et limites inhérents aux manipulations 3D.Sur la base de ce travail, nous créons ensuite un paradigme d'interaction hybride tactile et tangible. Basé sur les besoins de la visualisation scientifique pour la mécanique des fluides, nous mettons en œuvre des techniques spécifiques d'interaction exploratrice 3D avec le paradigme hybride et les évaluons avec des experts du domaine. La mise en œuvre prototypique de ce paradigme hybride est une tablette tactile capable de quantifier ses propres mouvements (rotations et translations). Sur la base des retours d'expérience des experts du domaine, une telle combinaison est plus flexible que l'état de l'art et permet des manipulations 3D précises. Avec le potentiel de ce paradigme hybride, nous abordons ensuite la tâche complexe de la sélection des sous-ensembles 3D ---une étape initiale majeure pour la compréhension des données. Alors que la sélection de sous-ensembles 3D est généralement effectuée avec une entrée 2D initiale étendue ultérieurement par la machine, notre combinaison d'interactions tactiles et tangibles permet aux utilisateurs d'avoir une technique de sélection entièrement manuelle avec la même tablette: un lasso 2D peut être dessiné avec une entrée tactile qui peut ensuite être étendue en 3D lors du déplacement de la tablette. Non seulement cette combinaison comble-t-elle un vide dans la taxonomie des techniques de sélection de sous-ensembles 3D, mais est, qui plus est, plus précise que les solutions partiellement automatisées, quoique plus lentes. Enfin, en nous appuyant sur l'observation selon laquelle une interaction tangible avec un dispositif localement couplé pourrait nécessiter des ajustements de facteur de gain, nous proposons d'utiliser un aspect spécifique de l'interaction tactile, la détection de pression, pour contrôler les facteurs de gain des manipulations tangibles. Les travaux présentés dans cette thèse démontrent donc le potentiel d'un continuum d'interaction pour la visualisation en proposant des paradigmes d'interaction hybrides dans une configuration facile à maintenir, facile à intégrer et abordable. Il fournit les premières étapes nécessaires pour un continuum d'interaction qui, espérons-le, inspirera la création de plus de techniques d'interaction hybrides pour l'interaction de données 3D. / An increasing number of interaction paradigms and devices are being developed and studied for 3D manipulations. This development benefits, in particular, scientific domains such as visualization which rely on manipulation of 3D data. Numerous studies have proven the benefits of each one of them for specific tasks involved in visualization. Yet, classical graphical user interfaces as well as mouse and keyboards still prevail in most interactive settings: such environments are still useful for specific tasks and because they are readily available and accessible when compared to innovative interaction paradigms and devices. In contrast to the usual approach to create or study a new interaction paradigm, technique, or device, the work presented in this thesis paves the way towards an interaction continuum: the possibility to transition between and combine two or more interaction paradigms to benefit from their inherent advantages. To achieve this goal we take several steps. First, building on the observation that mouse and keyboard, tactile interaction and tangible interaction are now standards or are getting close to being standard interaction paradigms for casual or specific use cases, this thesis studies and compares their inherent advantages and limitations for 3D manipulations. Based on this work, we then create a hybrid tactile/tangible interaction paradigm. Based on the needs of scientific visualization for fluid dynamics, we implement specific 3D explorative interaction techniques with the hybrid paradigm and evaluate them with domain experts. The prototypical implementation of this hybrid paradigm is a tactile-enabled and spatially-aware tablet. Based on the feedback from domain experts, such a combination is more flexible than the state of the art and still facilitates precise 3D manipulations. With the potential of this hybrid paradigm, we then tackle the complex task of 3D subsets selection---a major initial step for data understanding. While 3D subset selection is usually conducted with an initial 2D input later extended by the machine, our combination of tactile and tangible interaction allows users to have a fully manual selection technique with the same spatially-aware tablet: a 2D lasso can be drawn with tactile input which can then be extended into 3D when moving the tablet. Not only does this combination fill in an empty space in the taxonomy of 3D subset selection techniques, but we also found it to be more precise than partially-automated solutions---albeit being slower. Finally, building on the observation that tangible interaction with a locally-coupled device might need gain factor adjustments, we propose to use a specific aspect of tactile interaction, pressure-sensing, to control the gain factors of tangible manipulations. The work presented in this thesis thus demonstrates the potential of an interaction continuum for visualization by proposing hybrid interaction paradigms in an easy-to-maintain, easy-to-integrate, and affordable setup. It provides the necessary initial steps for an interaction continuum that will hopefully inspire the creation of more hybrid interaction techniques for 3D data interaction.

This project explores the internet of things (IoT) at home, especially the aspects related to the quantity and the quality of the of data collected by the smart devices and the violation of the users’ privacy this situation represents, since with the help of machine learning algorithms, these devices are capable of storing and analysing information related to the daily routine of each user at home. Therefore, this research enquires new ways to raise the user's’ awareness about the flow of the data within the IoT at home in order to empower them and give them back the status of administrators of this context by designing devices that are capable of obfuscating the data before it leaves the home.During this process, several methods were used together in order to reach the outcomes. From the use of annotated portfolios to evaluate the state of the art related with the field, to video sketching as a useful and quick tool to embrace the user’s perspective in parallel with the use of cultural probes in order to test some conceptual scenarios and find new ways to explore this project based on the experiences of the participants.As a result, this project’s outcome is based on the use of the materialization of the data as the proper way to bring the abstract process that happens in the background closer to the user's reality in order to display how this data is actually flowing through the environment and at the end generate a call­to­action to guide the user into the execution of the obfuscation of the data.This project opens up the discussion within the interaction design field about the way we are communicating with the technology and if it is the proper way to do it when this technology coexist with the user at home. Additionally, it questions the way in which the interfaces should be designed in order to create a transparent dialogue between the users, the objects and the vendors.

Les curseurs sont l'un des widgets les plus utilisés pour contrôler les paramètres continus - par exemple, luminosité, volume sonore, température d'une maison intelligente, etc. Sur les téléphones mobiles, les curseurs sont représentés graphiquement, nécessitant l'attention visuelle de l'utilisateur. Ils sont principalement exploités avec un seul pouce. Alors que les curseurs de grande taille offrent de meilleures performances, ils présentent des zones difficiles à atteindre pour le pouce. Cet article explore différentes conceptions de curseurs tangibles pour offrir une interaction sans yeux et efficace avec le pouce. Les nouveaux concepts que nous avons explorés sont basés sur un espace de conception englobant des solutions graphiques et des solutions tangibles inexplorées. Pour évaluer nos conceptions, nous avons construit des prototypes et les avons testés expérimentalement dans trois expériences. Dans notre première expérience, nous avons analysé l'impact sur la performance de la longueur du curseur tangible: soit dans la zone confortable du pouce ou non. Dans notre deuxième expérience, nous avons analysé la performance d'un design tangible extensible qui permet un fonctionnement dans la zone confortable du pouce. Dans notre troisième expérience, nous avons analysé la performance d'un design tangible bimodal déformable qui permet un fonctionnement dans la zone confortable du pouce, et au-delà de cette zone, avec l'index sur le dos de l'appareil. Ce travail contribue à la littérature en: premièrement, en fournissant un espace de conception pour une interaction à une main avec des éléments tangibles déformables. Deuxièmement, analyser l'impact sur la performance lors de la manipulation de curseurs tangibles en dehors de la zone confortable du pouce. Et troisièmement, analyser l'impact de la déformation lors de la manipulation / Sliders are one of the most used widgets to control continuous parameters - e.g., brightness, sound volume, the temperature of a smart house, etc. On mobile phones, sliders are represented graphically, requiring the user's visual attention. They are mostly operated with a single thumb. While large sliders offer better performance, they present areas difficult for the thumb to reach. This article explores different tangible slider designs to offer eyes-free and efficient interaction with the thumb. The novel designs that we explored are based on a design space encompassing graphical solutions and the unexplored tangible solutions. To evaluate our designs, we built prototypes and experimentally tested them in three experiments. In our first experiment, we analyzed the impact on the performance of the tangible slider's length: either within the thumb's comfortable area or not. In our second experiment, we analyzed the performance of an extensible tangible design that allows operation within the comfortable area of the thumb. In our third experiment, we analyzed the performance of a bi-modal deformable tangible design that allows operation within the comfortable area of the thumb, and beyond this area, with the index finger on the back of the device. This work contributes to the literature by: first, providing a design space for one-handed interaction with deformable tangible elements. Second, analyzing the impact on performance when manipulating tangible sliders outside the thumb's comfortable area. And third, analyzing the impact that deformation has during manipulation.

La « surface », dans les systèmes interactifs tactiles est à la fois le support du toucher et de l’image. Alors qu’au fil du temps les surfaces tactiles se sont transformées dans leur épaisseur, forme et rigidité, la modalité d’interaction se limite, comme sur les premiers dispositifs, à une mise en contact simple du doigt avec l’écran dans un geste qui feint de manipuler ce qui est affiché. Le sens du toucher, même pour des dispositifs tactiles installés dans des systèmes critiques comme dans l’aéronautique ou l’automobile, reste essentiellement sollicité en tant que prolongement de la vision, pour pointer et contrôler. Alors que les théories de la phénoménologie de la perception, de la perception écologique et des interactions tangibles et incarnées reconnaissent l’importance du corps, de la motricité et des interactions avec l’environnement dans les phénomènes perceptifs, il paraît réducteur de continuer à considérer la vision comme sens premier et principal de l’interaction tactile.Nous pensons que la transformation de la forme physique de l’interface tactile est un moyen efficace pour réincarner l’espace d’interaction tactile en utilisant mieux les capacités motrices des utilisateurs ainsi que leurs habiletés à négocier, manipuler et s’orienter dans leur environnement. A partir d’une caractérisation des risques potentiels du développement des interactions tactiles dans le contexte d’un cockpit d’avion de ligne (augmentation de la charge cognitive, sur-sollicitation du canal visuel, altération de la conscience de la situation, etc.), nous explorons les apports d’une interface tactile à changement de forme pour améliorer la collaboration pilotes-système au travers de la conception, la fabrication et l’évaluation de trois prototypes fonctionnels. Avec l’étude qualitative et quantitative du prototype GazeForm, nous montrons que le changement de forme d’une surface tactile en fonction de la position du regard permet de diminuer la charge de travail, améliorer la performance, réduire les mouvements oculaires et améliorer la distribution de l’attention visuelle comparativement à un écran tactile classique. Par l’élaboration du concept Multi-plié nous mettons en évidence les dimensions et propriétés de la transformation par pliure d’une surface d’affichage interactive. Avec les évaluations qualitatives des deux dispositifs illustrant le concept, le premier présentant une série d’écrans tactiles articulés et le deuxième une surface d'affichage tactile « plissable », nous démontrons qu’une surface tactile continue pliable offre un support pertinent à l'interaction incarnée et permet d’augmenter la sensation de contrôle pour la gestion d’un système critique. Enfin, pour généraliser la connaissance produite à d’autres contextes d’usages avec une forte division de l’attention visuelle (conduite automobile, salle de contrôle, appareil tactile portable en mobilité) nous proposons un espace de conception pour les interfaces tactiles reconfigurables. / The "surface" in interactive touch systems is both the support of touch and image. While over time touch surfaces have been transformed in their thicknesses, shapes and stiffness, the interaction modality is limited, as on the first devices, to a simple contact of the finger with the screen in a gesture that pretends to manipulate what is displayed. The sense of touch, even for touch devices installed in critical systems, such as in the aeronautics or automotive industries, remains mainly used as an extension of vision, to point and control. While the theories of the phenomenology of perception, ecological perception and tangible and embodied interactions recognize the importance of the body, motor skills and interactions with the environment in perceptual phenomena, it seems simplistic to consider vision as the first and main sense of touch interaction. We believe that transforming the physical form of the touch interface is an effective way to reincarnate the space of touch interaction by making better use of users' motor skills and their ability to negotiate, manipulate and orient themselves in their environment. Based on a characterization of the potential risks of developing touch interactions in the context of an airliner cockpit (increase in cognitive load, overload of the visual channel, alteration of situational awareness, etc.), we explore, through the design, manufacture and evaluation of three functional prototypes, the contributions of a touch interface with shape change to improve pilotes-system collaboration. With the qualitative and quantitative study of the GazeForm prototype, we show that changing the shape of a touch surface according to the position of the gaze makes it possible, compared to a conventional touch screen, to reduce the workload, improve performance, reduce eye movements and improve the distribution of visual attention. By qualitative evaluation of the two Multi-plié devices, the first with a series of articulated touch screens and the second with a "pleatable" touch display surface, we show that a transformable touch surface stabilizes touch action, promotes collaboration and improves situational awareness. In addition to these contributions, we find that changing the shape of the touch interaction surface increases the feeling and level of control for the management of a critical system. Finally, to generalize the knowledge produced to other contexts of use with a strong division of visual attention (driving, control room, portable touch device in mobility) we propose a design space for reconfigurable touch interfaces.

Innovative and interactive lighting has big opportunities to move from the classical switch to more tangible and embodied ways of interaction, types of interaction that have much more richness and expressivity to them. This will not be of any use if the output would still be just an on/off type of lamp; however, new mediums or output in the form of LED light provide much more flexibility in intensity, colour, multiple sources of light (that work together), etc. Therefore they need more rich ways of input than a switch can provide. This richness of and mapping between input and output should be designed in an adequate way, to create a pleasing and meaningful user experience. The knowledge contribution that is expected through this thesis will be specifically aimed at the area where lighting, aesthetics of interaction and tangible & embodied interaction meet. A framework will be developed that can help designers who want to design innovative and interactive lighting for the home environment in the future. The framework can assist with creating an aesthetic interactive experience with lighting in a more tangible or embodied way (than e.g. just pressing a button or rotating a dimmer). The framework will be exemplified by a lighting design prototype that shows how the framework can be used.

In recent years, Internet enabled objects (Internet of Things) and their augmentation through virtual reality has become both technically possible and increasingly advanced. This paper explores how interaction between physical IoTs and their virtual and digital twins can be advanced. Three virtual reality games focusing on three different interactions were created. One game focused on rotating, another on pushing and pulling, and a third on lifting and dropping. All games revolved around the use of real tracked cardboard boxes which were represented in the games by a virtual box in the same relative position and rotation to the player, allowing participants to manipulate the virtual boxes by manipulating the physical boxes. 14 participants were asked to play the games and were afterwards interviewed in regards to the games, their interactions with them, their enjoyability and their thoughts regarding them and the concept in general. The results were acquired from game performance, the reflections of the participants, and the subsequent analysis of recorded audio and video. The study presents the difficulties, challenges and opportunities of such a system, while also providing insight into lessons learned from the creation of the system and the games. The main contributions of the paper are the lessons learned in creating the games and experiences in addition to a few specific areas of interest for future research on the area, namely the importance of ergonomic consideration and affordance evaluation. / De senaste åren har föremål kopplade till Internet (Internet of Things eller Sakernas Internet) och deras augmentering genom virtuell verklighet både blivit möjligt och mer tekniskt avancerat. Denna rapport utforskar hur interaktioner mellan fysiska IoT föremål och deras virtuella och digitala tvillingar kan förbättras. Tre VR-spel med fokus på tre olika interaktioner utvecklades. Ett av spelen fokuserade på rotation, ett annat på rörelsen fram och tillbaka, och det tredje på rörelsen upp och ner. Alla spel involverade användandet av riktiga kartonglådor som representerades i spelet av en virtuell låda i samma position och rotation i relation till spelaren, vilket lät spelaren manipulera de virtuella lådorna genom att manipulera de fysiska lådorna. 14 deltagare ombads spela spelen och intervjuades i efterhand angående spelen, interaktionerna, underhållningsvärdet och deras tankar kring konceptet. Resultaten kom från deltagarnas prestationer i spelen, deras reflektioner och efterföljande analys av inspelad audio och video. Studien presenterar svårigheter, utmaningar och möjligheter hos det beskrivna systemet och delar med sig av insikter från skapandeprocessen av systemet och spelen. Studiens huvudsakliga bidrag är de nämnda insikterna från skapandeprocessen samt ett par specifika intresseområden för framtida forskning: vikten av hänsyn till ergonomi och utvärdering av affordans.

This thesis discusses commensality as a significant social activity, that helps to maintain and strengthen social bonds. It also examines the sense of touch as a communication channel, and provides an insight to how it can be used to communicate affect. Touch as contextualized medium and its relevance to interaction design is investigated. Based on studies made in psychology, physiology, sociology and communication it aims to find an answer to the question: ”How may we create togetherness -with the help of an interactive device- between loved ones separated by distance during dining, through remote communication?” In order to meet the objectives of the above question this research followed the Research Through Design methodology, with series of workshops and prototyping sessions.