Cette thèse porte sur l'étude des méthodes de vision par ordinateur pour la reconnaissance de gestes naturels dans le contexte de l'annotation de la Langue des Signes. Les annotations de vidéo en LS sont réalisées manuellement par des linguistes ou experts en LS, ce qui est source d'erreur, non reproductible et extrêmement chronophage. De plus, la qualité des annotations dépend des connaissances en LS de l'annotateur. L'association de l'expertise de l'annotateur aux traitements automatiques facilite cette tâche et représente un gain de temps et de robustesse. Nous avons étudié un ensemble de méthodes permettant de réaliser l'annotation en glose. Dans un premier temps, nous cherchons à détecter les limites de début et fin de signe. Cette méthode d'annotation nécessite plusieurs traitements de bas niveau afin de segmenter les signes et d'extraire les caractéristiques de mouvement et de forme de la main. D'abord nous proposons une méthode de suivi des composantes corporelles robuste aux occultations basée sur le filtrage particulaire. Ensuite, un algorithme de segmentation des mains est développé afin d'extraire la région des mains même quand elles se trouvent devant le visage. Puis, les caractéristiques de mouvement sont utilisées pour réaliser une première segmentation temporelle des signes qui est par la suite améliorée grâce à l'utilisation de caractéristiques de forme. En effet celles-ci permettent de supprimer les limites de segmentation détectées en milieu des signes. Une fois les signes segmentés, on procède à l'extraction de caractéristiques visuelles pour leur reconnaissance en termes de gloses à l'aide de modèles phonologiques.

A partir de l'analyse d'un dispositif d'Atelier de géométrie en cycle 3, cette thèse montre comment les « jeux de langage » produits par la résolution de situations problématiques sur les solides peuvent favoriser la construction par les élèves de nouvelles connaissances relatives à un vocabulaire de géométrie spécifique. <br />Grâce à l'élaboration d'une méthodologie originale d'analyse des gestes de l'enseignant, cette recherche propose également de rendre compte du rôle et de la place de l'enseignant dans de telles interactions langagières. Pour ce faire, nous proposons d'expliciter ses modalités effectives d'intervention puis de modéliser son action en situation en termes de tutelle et de médiation.

La présente thèse a pour but d'approfondir l'étude du geste dans le cadre de l'interaction Homme Machine. Il s'agit de créer de nouveaux paradigmes d'interaction qui offrent à l'utilisateur de plus amples possibilités d'expression basées sur le geste. Un des vecteurs d'expression du geste, très rarement traité en Interaction Homme Machine, qui lui confère sa coloration et son aspect, est ce que les théoriciens et praticiens de la danse appellent " les qualités de mouvement ". Nous mettons à profit des collaborations avec le domaine de la danse pour étudier la notion de qualités de mouvement et l'intégrer à des paradigmes d'interaction gestuelle. Notre travail analyse les apports de l'intégration des qualités de mouvement comme modalité d'interaction, fournit les outils propices à l'élaboration de cette intégration (en termes de méthodes d'analyse, de visualisation et de contrôle gestuel), en développe et évalue certaines techniques d'interaction.Les contributions de la thèse se situent d'abord dans la formalisation de la notion de qualités de mouvement et l'évaluation de son intégration dans un dispositif interactif en termes d'expérience utilisateur. Sur le plan de la visualisation des qualités de mouvement, les travaux menés pendant la thèse ont permis de démontrer que les modèles physiques masses-ressorts offrent de grandes possibilités de simulation de comportements dynamiques et de contrôle en temps réel. Sur le plan de l'analyse, la thèse a permis de développer des approches novatrices de reconnaissance automatique des qualités de mouvement de l'utilisateur. Enfin, à partir des approches d'analyse et de visualisation des qualités de mouvement, la thèse a donné lieu à l'implémentation d'un ensemble de techniques d'interaction. Elle a appliqué et évalué ses techniques dans le contexte de la pédagogie de la danse et de la performance.

Mémoire en recherche-création / Creative dissertation / Cette thèse de maîtrise traite du processus créatif et de la recherche qui y est associée afin de produire deux performances en direct dans le domaine de la musique électroacoustique. À l’aide de ces deux œuvres, mon intention était de concevoir une pratique artistique qui réunit plusieurs modes autour de la gestuelle et du son, influencée par des algorithmes. Une tentative approfondie d’extraire un processus de composition à partir des réactions de la matière en vibration englobe une grande partie de la recherche. Cette recherche découle de ma transition d’une pratique artistique basée sur la représentation (soucieuse des haut-parleurs, manettes et boutons) vers une pratique imprégnée par la performance (soucieuse de la transformation continuelle du son en relation avec les modulations de la matière). Tout au long de cette recherche, j’ai mené un examen approfondi des rythmes au-delà de la pure mesure de leurs expressions musicales, pour considérer les nombreuses notions du rythme qui se dévoilent dans les interactions quotidiennes de l’expérience vécue. Les micro-rythmes perçus par l’oreille comme des textures, les gestes répétitifs perçus par l’œil comme un mouvement linéaire et les rythmes observés lors de circonstances sociales communes, comme la cadence de la conversation sont, parmi les caractéristiques du rythme qui ont suscité mon intérêt. Le tout se situe dans un récit historique éclairé qui étudie l’influence de l’algorithme et de la matière tout au long de la musique et de l’art sonore du XXe siècle. La recherche conceptuelle est enrichie par des expériences exhaustives en composition algorithmique, analyse gestuelle et modélisation gestuelle. Dans chacun de ces domaines, bien que soutenue par des lectures fondamentales en philosophie et en art, une approche primaire de la création s’est faite dans un processus « réfléchir-en-faisant » qui ont généré de nombreuses ex- périences tant avec la matière physique qu’avec la conception d’instruments numériques. Au- delà de la création des performances qui constituent la base des résultats de cette recherche, un vaste ensemble d’outils interopérables d’analyse gestuelle en temps réel, de modélisation, de composition algorithmique et de traitement du son a été développé et publié pour l’environnement Max/MSP. / This master’s thesis concerns the creative process and related research for the production of two live performances in the domain of electroacoustic music. Across the creation of the two works, my intention has been to develop a unified multi-modal gesture, sound, and algorithm influenced performance practise. Encompassing the largest portion of the research is an earnest attempt to derive compositional process from the behavior of vibrating matter. This research is precipitated by my movement from an artistic practice based on representation (concerned with speakers, knobs, and buttons) towards a practice steeped in performance (concerned with the continuous transformation of sound correlated to material modulation). Across this research, an in-depth investigation was conducted into rhythms beyond their purely metric musical manifestations, and into the numerous alternative notions of rhythm which are revealed through daily interactions and lived experience. Rhythmic artifacts of interest have included micro-rhythms perceived by the ear as textures, repetitive gestures perceived by the eye as linear motion, and rhythms observed in ordinary social situations such as the cadence of conversation. This is all situated within an informed historical narrative which considers the influence of the algorithm and material primarily across 20th century music and sound art. The conceptual research is augmented by extensive experiments in algorithmic composition, gesture analysis, and gesture mapping. In each of these areas, though tied to fundamental readings in philosophy and art, a primary approach to creation has been thinking-through-making, which has led to extensive experimentation with both physical materials and digital instrument design. Beyond the performance creations which form the basis of this research output, a large set of interoperable tools for real-time gesture analysis, mapping, algorithmic composition, and sound processing was developed and published for the Max/MSP environment.

La présente thèse a pour but d’approfondir l’étude du geste dans le cadre de l’interaction Homme Machine. Il s’agit de créer de nouveaux paradigmes d’interaction qui offrent à l’utilisateur de plus amples possibilités d’expression basées sur le geste. Un des vecteurs d’expression du geste, très rarement traité en Interaction Homme Machine, qui lui confère sa coloration et son aspect, est ce que les théoriciens et praticiens de la danse appellent « les qualités de mouvement ». Nous mettons à profit des collaborations avec le domaine de la danse pour étudier la notion de qualités de mouvement et l’intégrer à des paradigmes d’interaction gestuelle. Notre travail analyse les apports de l’intégration des qualités de mouvement comme modalité d’interaction, fournit les outils propices à l’élaboration de cette intégration (en termes de méthodes d’analyse, de visualisation et de contrôle gestuel), en développe et évalue certaines techniques d’interaction.Les contributions de la thèse se situent d’abord dans la formalisation de la notion de qualités de mouvement et l’évaluation de son intégration dans un dispositif interactif en termes d’expérience utilisateur. Sur le plan de la visualisation des qualités de mouvement, les travaux menés pendant la thèse ont permis de démontrer que les modèles physiques masses-ressorts offrent de grandes possibilités de simulation de comportements dynamiques et de contrôle en temps réel. Sur le plan de l’analyse, la thèse a permis de développer des approches novatrices de reconnaissance automatique des qualités de mouvement de l’utilisateur. Enfin, à partir des approches d’analyse et de visualisation des qualités de mouvement, la thèse a donné lieu à l’implémentation d’un ensemble de techniques d’interaction. Elle a appliqué et évalué ses techniques dans le contexte de la pédagogie de la danse et de la performance. / The thesis studies gesture in the context of Human-Computer interaction. It aims at creating new interaction paradigms that offer the user further expressive possibilities based on gestures. The theorists and practitioners of the dance call "movement qualities” (MQ), a notion that conveys expressive content describing the way a gesture is performed. This notion has been rarely taken into consideration in the field of HCI. Our work draws on collaborations with the field of dance to explore the notion of movement qualities and to integrate it as interaction modality. 

The contributions of the thesis are in the formalism of the notion of movement qualities and evaluation of its integration as interaction modality in terms of user experience. 

We also provide computational tools for considering MQ in interactive systems in terms of analysis, representation and gesture control methods. On the representational level, our work have demonstrated that physical models based on masses and springs systems offer great opportunities for simulating dynamics related to MQs and for real-time gesture control. On the analysis level, we developed innovative approaches to automatic real time recognition of movement qualities. Finally, we implemented of a set of interaction techniques based on movement qualities that we applied and evaluated in the context of dance pedagogy and performance.