Nous nous intéressons à l'interaction dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Le dispositif mobile est utilisé comme une lentille magique qui 'augmente' la perception de l'environnement physique avec du contenu numérique. Nous nous sommes particulièrement intéressés aux relations spatiales entre le contenu affiché à l'écran et l'environnement physique. En effet la combinaison des environnements physique et numérique repose sur ces relations spatiales, comme l'adaptation de l'augmentation numérique en fonction de la localisation de l'utilisateur. Mais ces relations spatiales définissent aussi des contraintes pour l'interaction. Par exemple l'effet des tremblements naturels de la main rend instable la vidéo affichée sur l'écran du dispositif mobile et par conséquent a un impact direct sur la précision d'interaction. La question est alors, comment peut-on relâcher ces contraintes spatiales pour améliorer l'interaction sans pour autant casser la co-localisation physique-numérique. Nous apportons trois contributions. Tout d'abord, nous avons établi un espace de conception décrivant le contenu affiché à l'écran dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Cet espace conceptuel met en exergue les relations spatiales entre les différents repères des composants le structurant. Cet espace permet d'étudier systématiquement la conception de techniques d'interaction dans le contexte de la Réalité Augmentée sur dispositifs mobiles. Deuxièmement, nous avons conçu des techniques de pointage améliorant la précision du pointage en Réalité Augmentée sur supports mobiles. Ces techniques de pointage ont été évaluées lors d'expériences utilisateur. Enfin, dans le cadre du projet en partenariat AIST-Tuskuba, Schneider France et Schneider Japon dans lequel s'inscrit cette thèse, nous avons développé une boîte à outils pour le développement d'applications de Réalité Augmentée sur dispositifs mobiles. Cette boîte à outils a été utilisée pour développer plusieurs démonstrateurs. / We explored interaction within the context of handheld Augmented Reality (AR), where a handheld device is used as a physical magic lens to 'augment' the physical surrounding. We focused, in particular, on the role of spatial relations between the on-screen content and the physical surrounding. On the one hand, spatial relations define opportunities for mixing environments, such as the adaptation of the digital augmentation to the user's location. On the other hand, spatial relations involve specific constraints for interaction such as the impact of hand tremor on on-screen camera image stability. The question is then, how can we relax spatial constraints while maintaining the feeling of digital-physical collocation. Our contribution is three-fold. First, we propose a design space for handheld AR on-screen content with a particular focus on the spatial relations between the different identified frames of reference. This design space defines a framework for systematically studying interaction with handheld AR applications. Second, we propose and evaluate different handheld AR pointing techniques to improve pointing precision. Indeed, with handheld AR set-up, both touch-screen input and the spatial relations between the on-screen content and the physical surrounding impair the precision of pointing. Third, as part of a collaborative research project involving AIST-Tsukuba and Schneider- France and Japan, we developed a toolkit supporting the development of handheld AR applications. The toolkit has been used to develop several demonstrators.

Les travaux de cette thèse s'inscrivent dans une collaboration avec l'entreprise Berger-Levrault, acteur majeur du développement de logiciels de gestion administrative pour les services publics. Ces travaux s'appuient sur deux constats. D'une part, la politique de numérisation des services publics induit la nécessité de disposer de logiciels adaptés aux métiers de l'ensemble des établissements publics. Ces logiciels sont complexes et particulièrement riches comparativement aux logiciels de bureautique classiquement utilisés. D'autre part, on observe que les dispositifs utilisés pour interagir avec ces logiciels n'évoluent que très peu. Depuis plusieurs décennies, la souris et le clavier restent la norme dans un environnement fixe. Or, ces dispositifs ne possèdent que peu de degrés de libertés en entrée. La manipulation de données multidimensionnelles avec ceux-ci induit un plus grand nombre d'étapes pour réaliser une tâche, rallongeant ainsi le chemin d'interaction. Dans ce contexte, l'objectif de ces travaux de thèse est de contribuer à la fluidification de l'interaction avec des données multidimensionnelles, contenues dans les logiciels du service public, au travers de l'augmentation des degrés de libertés en entrée proposés par les dispositifs. En effet, une plus grande quantité de degrés de libertés en entrée réduirait le nombre d'étapes nécessaires à la réalisation d'une tâche donnée, fluidifiant ainsi l'interaction. Nous proposons 3 contributions majeures : un dispositif à multiples degrés de libertés, la Roly-Poly Mouse ; un espace de conception, DECO ; ainsi qu'un ensemble de techniques d'interaction avec dispositifs mobiles basées sur le principe du stacking. Une première contribution de nos travaux consiste en la conception d'un nouveau dispositif à multiples degrés de liberté : la Roly-Poly Mouse (RPM). Ce dispositif, dont la base est arrondie, vise à remplacer la souris traditionnelle. Il possède 6 degrés de libertés (3 translations dont 2 exploitées et 3 rotations). Nous avons évalué ses performances et l'avons comparé à d'autres dispositifs pour une tâche nécessitant 6 degrés de libertés (manipulation d'objet 3D). Une seconde contribution de nos travaux consiste en la définition d'un espace de conception se focalisant sur l'aspect physique de la composition de dispositifs : DECO. DECO s'appuie sur deux axes : l'arrangement physique et la manipulation physique. À partir de cet espace de conception, nous avons conçu un dispositif composé : la Roly-Poly Mouse 2, un dispositif composé d'une Roly-Poly Mouse et d'une souris traditionnelle. Nous avons évalué ses performances et l'avons comparé à d'autres dispositifs au travers d'une tâche de RST (Rotate-Scale-Translate, tâche 5D). [...] / The work of this thesis is part of a collaboration with the company Berger-Levrault, a major actor in the development of administrative management software for public services. This work is based on two observations. On the first hand, the policy of digitization of public services induces the need for software adapted to the professions of all public institutions. These software are complex and particularly rich compared to classically used office software (Office, mailbox, etc.). On the other hand, we observe that the devices used to interact with these software did not evolve. Since several decades, the mouse and the keyboard remain the norm in a fixed environment. However, these devices have only few input degrees of freedom. The manipulation of multidimensional data with these devices induces a greater number of steps to perform a task, thus lengthening the interaction path. In this context, the objective of these thesis work is to improve the interaction flow with multidimensional data contained in the software of the public service through the increase of the input degrees of freedom proposed by the devices. Indeed, a larger amount of input degrees of freedom would reduce the number of steps necessary to the accomplishment of a given task, thus improving the interaction flow. We propose three major contributions: a device with multiple degrees of freedom, the Roly-Poly Mouse; a design space, DECO; as well as a set of interaction techniques with mobile devices based on the principle of stacking. A first contribution of our work is the design of a new device with multiple degrees of freedom: the Roly-Poly Mouse (RPM). This device, whose base is rounded, aims to replace the traditional mouse. It has 6 degrees of freedom (3 translations of which 2 exploited and 3 rotations). We evaluated its performance and compared it to other devices for a task requiring 6 degrees of freedom (3D object manipulation). A second contribution of our work is the definition of a design space focusing on the physical aspect of the composition of devices: DECO. DECO relies on two axes: physical arrangement and physical manipulation. From this design space, we designed a compound device: the Roly-Poly Mouse 2, a device consisting of the combination of a Roly-Poly Mouse and a traditional mouse. We evaluated its performance and compared it to other devices through a RST task (Rotate-Scale-Translate, 5D task). [...]