Cette thèse s'intéresse à comment utiliser les gestes dans l'air pour enrichir les l'interaction Homme-Machine en utilisant des espaces interactifs. Cette thèse s'inspire d'un concept de la communication non verbale : la proxémie. Cette théorie, introduite par Edward T. Hall, affirme entre autres que notre perception de l'espace est dynamique. Et s'accorde à l'environnement que nous percevons. En m'inspirant de cette théorie, je présente ici un nouveau concept d'interaction accompagné de son framework de design : Mimetic Interaction Space (MIS). Afin de montrer ce que le concept peut apporter à l'interaction, en plus d'une relecture de la littérature sur l'interaction dans les airs, je propose trois instanciations de ce concept autour des trois types d'utilisation du concept. La première instanciation est pour le contrôle indirect sur un écran distant en utilisant un MIS comme une interface à part entière. La seconde instanciation d'enrichir l'interaction sur tablette en utilisant un ou des MISs l'entourant. Deux propositions d'utilisation sont faites. Une première en subdivisant le MIS en plusieurs autour de la tablette. Puis une seconde utilisation du MIS comme étant la continuité de l'écran de la tablette. La troisième instanciation se fait dans le contexte de l'interaction sur très grands écrans tactiles. Ici, un MIS a pour rôle de faire la transition continue entre l'interaction tactile et l'interaction dans les airs. Pour finir, j'introduis quelques pistes de développement pour l'avenir des MIS et je propose une réflexion sur une facette du concept des MIS qui ouvre d'importantes questions sur l'interaction basée MIS. / This dissertation focuses on how to exploit gestural midair interaction to extend the possibilities of existing devices by using interactive spaces. The starting point is in the nonverbal communication theory of proxemics introduced by Eward T. Hall who stated that our perception of space is dynamic. From this, I argue that we could apply this dynamic understanding of space to interactive spaces. I propose a novel concept of interaction and an associated design framework for interactive spaces : Mimetic Interaction Space (MIS). To show the prospects MIS gives for midair interaction, I propose three instantiations of the concept that uses it in different ways. The first one is the use of MISs as a standalone interface the control of a remote display. The second instantiation is the use of one or several MIS tied up to the tablet in two ways. First by cutting out the MIS in multiple ones. The second way of using a MIS linked to the tablet is by considering it as a continuation of the tablet screen around it.The third instantiation is in the context of interaction on wall displays where a MIS is placed right in front of the screen and has the role of a transition space from touch to midair interaction. This MIS allows for a continuous transition between the physical and direct nature of touch interaction, and the more abstract nature of midair interaction. I finally conclude by discussing the future of interfaces regarding midair gestures. I also discuss a facet of MIS that opens a novel way to think about MIS interaction.

La proportion des personnes âgées au sein de notre société ne cesse d'augmenter à un rythme régulier. Ce phénomène, qui est partiellement explicable par les effets combinés d'une baisse du taux de natalité avec ceux d'une augmentation de l'espérance de vie, commence déjà à avoir un effet notable sur le système de la santé, tant au Canada qu'ailleurs dans le monde, et à soulever plusieurs questions d'ordre éthique, social, médical et économique. Le maintien à domicile le plus longtemps possible, dans des conditions sécuritaires pour l'occupant, est de loin préférable à l'institutionnalisation en milieu spécialisé. Par contre, comme le vieillissement va de pair avec plusieurs types de maladies, comment arriver à favoriser le maintien à domicile de nos aînés en perte d'autonomie cognitive? Nous croyons que les habitats intelligents en télé santé peuvent répondre en partie à cette question. Afin d'être «intelligents», de tels habitats devront être en mesure de déduire correctement les tâches que l'occupant effectue et, éventuellement, d'apprendre ses habitudes de vie. L'utilisation d'une combinaison de capteurs non invasifs (choisis en tenant compte de plusieurs considérations éthiques dont le respect de la vie privée et de la dignité de l'individu) et d'un module de reconnaissance d'activités basé sur les réseaux bayésiens devraient permettre à l'habitat intelligent de déterminer quelle AVQ (Activité de la Vie Quotidienne) et/ou quelle AIVQ (Activité Instrumentale à la Vie Quotidienne) l'occupant effectue. Un système complet de reconnaissance d'activité devrait, une fois complètement opérationnel, être en mesure non seulement de détecter les situations anormales et d'agir en conséquence, mais aussi de faire ressortir les changements inattendus dans la routine habituelle de l'occupant (ses habitudes de vie) pouvant indiquer un déclin des facultés cognitives de ce dernier ou l'apparition d'une nouvelle pathologie comme la diarrhée ou l'insomnie. Notre travail se concentre sur la reconnaissance d'un certain nombre d'activités pouvant être effectuées dans la salle de bain. Pour ce faire, nous utilisons des réseaux bayésiens spécialisés qui déduisent, en fonction des interactions de l'occupant avec son environnement, quelle est l'activité la plus probablement en cours. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Habitat intelligent, reconnaissance d'activité, habitudes de vie, réseaux bayésiens, perte d'autonomie, vieillissement, apprentissage, AVQ, «Aging in Place»

Dissertation--Fachbereich Philosophie und Geisteswissenschaften--Berlin--Freie Universität, 2001. / Bibliogr. p. 188-194.

Texte remanié de: Dissertation--Würzburg, 2004.

Reproduction de thèse : Thèse de doctorat : Psychologie : Angers : 2007. / Titre provenant de l'écran titre. Bibliogr. p. 261-283.

Diss.--Universität Köln, 1990. / Bibliogr. p. 204-237.

Diss.--Göteborg, 2000. / Résumé en anglais. Bibliogr. p. 315-321.

Le but des applications visées par l’interaction homme-système est de parvenir à une interaction naturelle qui simule l’interaction homme-homme.Comme dans la communication homme-homme,les gestes sont aussi très utilisés dans la communication homme-système. Cette thèse porte sur la reconnaissance de gestes pour l’interaction naturelle homme-système basée sur les gestes. L’objectif des travaux menés durant cette thèse est de proposer des approches de reconnaissance de différents types de geste dynamiques : gestes simples et gestes composés. Tous d'abord, nous avons proposé un nouveau descripteur 3D de gestes calculé par les angles des articulations du corps humain à partir d’un flux de profondeur fourni par le capteur Kinect. Ensuite, nous avons proposé deux approches pour la reconnaissance de gestes dynamiques : a)une approche de reconnaissance des gestes simples,b) une approche de reconnaissance des gestes composés.La première approche est basée sur les Modèles de Markov Cachés. Un modèle MMC pour chaque geste a été réalisé. La variation des angles entre les articulations est utilisée comme entrée des Modèles de Markov Cachés. Cette méthode a été combinée avec la méthode de la Déformation Temporelle Dynamique (Dynamic Time Warping) pour éliminer les mauvaises classifications. La deuxième approche traite le cas des gestes composés et successifs dans une même séquence. Cette approche combine la méthode de la Déformation Temporelle Dynamique avec une fenêtre glissante adaptative d’où le nom de l’approche: Adaptive Dynamic TimeWarping. Deux versions de cette approche ont été proposées : version Forward et version Backward pour la reconnaissance en ligne et hors ligne. / The goal of Human System Interaction(HSI) research is to increase the performance of human system interaction in order to make it similarto human-human interaction. As for communication between humans, gestural communication is also widely used in human system interaction. This thesis is about gesture recognition for natural human system interaction based on gestures. The objectif of works conducted in this thesis is to propose recognition approches for different kind of dynamic gesture: simple gesture and composed gesture. First of all, we proposed a novel 3D gesture descriptor computed by human body joints angles provided by Kinect sensor. Second, we proposed two dynamic gestures recognition approaches: a) simple gestures recognition approach, b) composed gestures recognition approach. The first approach is based on Hidden Markov Models (HMM). One HMM was created for each gesture. The joints angles variations have been used as input for HMMs. Then,this method has been combined with the Dynamic Time Warping algorithm in order to eliminate bad classification. The second approach treats the case of composed and successive gestures in the same sequence. This approach combines Dynamic Time Warping method with an adaptative window, hence the name: Adaptive Dynamic Time Warping. Two versions have been proposed: Forward and Backward version for online and offline recognition.

Dans cette thèse, nous nous intéressons à la reconnaissance de l'activité humaine. Nous commençons par proposer notre propre définition d'une action : une action est une séquence prédéfinie de gestes simples et concaténés. Ainsi, des actions similaires sont composées par les mêmes gestes simples. Chaque réalisation d'une action (enregistrement) est unique. Le corps humain et ses articulations vont effectuer les mêmes mouvements que celles d'un enregistrement de référence, avec des variations d'amplitude et de dynamique ne devant pas dépasser certaines limites qui conduiraient à un changement complet d'action. Pour effectuer nos expérimentations, nous avons capturé un jeu de données contenant des variations de base, puis fusionné certains enregistrements avec d'autres actions pour former un second jeu induisant plus de confusion au cours de la classification. Ensuite, nous avons capturé trois autres jeux contenant des propriétés intéressantes pour nos expérimentations avec la Fusion Tardive Asynchrone (ou Asynchronous Late Fusion notée ALF). Nous avons surmonté le problème des petits jeux non discriminants pour la reconnaissance d'actions en étendant un ensemble d'enregistrements effectués par différentes personnes et capturés par une caméra RGB-D. Nous avons présenté une nouvelle méthode pour générer des enregistrements synthétiques pouvant être utilisés pour l'apprentissage d'algorithmes de reconnaissance de l'activité humaine. La méthode de simulation a ainsi permis d'améliorer les performances des différents classifieurs. Un aperçu général de la classification des données dans un contexte audiovisuel a conduit à l'idée de l'ALF. En effet, la plupart des approches dans ce domaine classifient les flux audio et vidéo séparément, avec des outils différents. Chaque séquence temporelle est analysée séparément, comme dans l'analyse de flux audiovisuels, où la classification délivre des décisions à des instants différents. Ainsi, pour déduire la décision finale, il est important de fusionner les décisions prises séparément, d'où l'idée de la fusion asynchrone. Donc, nous avons trouvé intéressant d'appliquer l'ALF à des séquences temporelles. Nous avons introduit l'ALF afin d'améliorer la classification temporelle appliquée à des algorithmes de fusion tardive tout en justifiant l'utilisation d'un modèle asynchrone lors de la classification des données temporelles. Ensuite, nous avons présenté l'algorithme de l'ALF et les paramètres utilisés pour l'optimiser. Enfin, après avoir mesuré les performances de classifications avec différents algorithmes et jeux de données, nous avons montré que l'ALF donne de meilleurs résultats qu'une solution synchrone simple. Etant donné qu'il peut être difficile d'identifier les jeux de données compatibles avec l'ALF, nous avons construit des indicateurs permettant d'en extraire des informations statistiques. / In this thesis, we took interest in human action recognition. Thus, it was important to define an action. We proposed our own definition: an action is a predefined sequence of concatenated simple gestures. The same actions are composed of the same simple gestures. Every performance of an action (recording) is unique. Hence, the body and the joints will perform the same movements as the reference recording, with changes of dynamicity of the sequence and amplitude in the DOF. We note that the variations in the amplitude and dynamicity must not exceed certain boundaries in order not to lead to entirely different actions. For our experiments, we captured a dataset composed of actions containing basic variations. We merged some of those recordings with other actions to form a second dataset, consequently inducing more confusion than the previous one during the classification. We also captured three other datasets with properties that are interesting for our experimentations with the ALF (Asynchronous Late Fusion). We overcame the problem of non-discriminatory actions datasets for action recognition by enlarging a set of recordings performed by different persons and captured by an RGB-D camera. We presented a novel method for generating synthetic recordings, for training action recognition algorithms. We analyzed the parameters of the method and identified the most appropriate ones, for the different classifiers. The simulation method improved the performances while classifying different datasets. A general overview of data classification starting from the audio-visual context led to the ALF idea. In fact, most of the approaches in the domain classify sound and video streams separately with different tools. Every temporal sequence from a recording is analyzed distinctly, as in audiovisual stream analysis, where the classification outputs decisions at various time instants. Therefore, to infer the final decision, it is important to fuse the decisions that were taken separately, hence the idea of the asynchronous fusion. As a result, we found it interesting to implement the ALF in temporal sequences. We introduced the ALF model for improving temporal events classification applied on late fusion classification algorithms. We showed the reason behind the use of an asynchronous model when classifying datasets with temporal properties. Then, we introduced the algorithm behind the ALF and the parameters used to tune it. Finally, according to computed performances from different algorithms and datasets, we showed that the ALF improves the results of a simple Synchronous solution in most of the cases. As it can be difficult for the user of the ALF solution to determine which datasets are compatible with the ALF, we built indicators to compare the datasets by extracting statistical information from the recordings. We developed indexes: the ASI and the ASIP, combined into a final index (the ASIv) to provide information concerning the compatibility of the dataset with the ALF. We evaluated the performances of the ALF on the segmentation of action series and compared the results between synchronous and ALF solutions. The method that we proposed increased the performances. We analyzed the human movement and gave a general definition of an action. Later, we improved this definition and proposed a "visual definition" of an action. With the aid of the ALF model, we focus on the parts and joints of an action that are the most discriminant and display them in an image. In the end, we proposed multiple paths as future studies. The most important ones are : - Working on a process to find the ALF's number of parts using the ASIv. - Reducing the complexity by finding the discriminant joints and features thanks to the ALF properties - Studying the MD-DTW features in-depth since the algorithm depends on the choice of the features - Implementing a DNN for comparison purposes - Developing the confidence coefficient.

Aujourd'hui le téléphone portable est un outil multifonction qui sert à communiquer, s'informer, interagir, dans des contextes variés comme au domicile, dans la rue ou les transports. Cependant, le développement de nouvelles fonctionnalités est fortement contraint par les limitations de l'interface homme-machine (petit écran, clavier physique réduit ou absent, interaction à une main). L'amélioration de l'interface de ces dispositifs constitue donc un enjeu scientifique et industriel majeur comme nous le montre l'exemple de l'iPhone. Cette thèse s'inscrit dans ce contexte. Elle étudie tout d'abord les contraintes spécifiques aux dispositifs mobiles puis classe les techniques de l'état de l'art et les solutions qu'elles apportent pour répondre aux contraintes précédemment identifiées. Elle propose ensuite cinq nouvelles techniques d'interaction qui visent à résoudre des problèmes non entièrement résolus. TapTap et MagStick sont deux techniques qui répondent au problème de la sélection de petites cibles au pouce sur un écran tactile. Les claviers physiques étant souvent absents sur dispositifs mobiles, le LeafMenu augmente les menus linéaires en permettant de les activer via des raccourcis gestuels. Les MicroRolls proposent d'enrichir la bande passante interactionnelle des dispositifs mobiles au moyen de gestes de roulement du pouce. Ces gestes, différentiables des gestes de glissement habituels grâce à leur forme caractéristique, permettent d'augmenter le vocabulaire d'entrée des écrans tactiles, par exemple pour activer efficacement des commandes très fréquentes. Enfin la dernière contribution de cette thèse, propose d'utiliser les gestes en trois dimensions comme autre moyen d'enrichir le vocabulaire d'entrée. Elle est illustrée par TimeTilt, une technique combinant des gestes fluides et impulsifs pour faciliter la navigation entre plusieurs vues.