La présente thèse a pour but d'approfondir l'étude du geste dans le cadre de l'interaction Homme Machine. Il s'agit de créer de nouveaux paradigmes d'interaction qui offrent à l'utilisateur de plus amples possibilités d'expression basées sur le geste. Un des vecteurs d'expression du geste, très rarement traité en Interaction Homme Machine, qui lui confère sa coloration et son aspect, est ce que les théoriciens et praticiens de la danse appellent " les qualités de mouvement ". Nous mettons à profit des collaborations avec le domaine de la danse pour étudier la notion de qualités de mouvement et l'intégrer à des paradigmes d'interaction gestuelle. Notre travail analyse les apports de l'intégration des qualités de mouvement comme modalité d'interaction, fournit les outils propices à l'élaboration de cette intégration (en termes de méthodes d'analyse, de visualisation et de contrôle gestuel), en développe et évalue certaines techniques d'interaction.Les contributions de la thèse se situent d'abord dans la formalisation de la notion de qualités de mouvement et l'évaluation de son intégration dans un dispositif interactif en termes d'expérience utilisateur. Sur le plan de la visualisation des qualités de mouvement, les travaux menés pendant la thèse ont permis de démontrer que les modèles physiques masses-ressorts offrent de grandes possibilités de simulation de comportements dynamiques et de contrôle en temps réel. Sur le plan de l'analyse, la thèse a permis de développer des approches novatrices de reconnaissance automatique des qualités de mouvement de l'utilisateur. Enfin, à partir des approches d'analyse et de visualisation des qualités de mouvement, la thèse a donné lieu à l'implémentation d'un ensemble de techniques d'interaction. Elle a appliqué et évalué ses techniques dans le contexte de la pédagogie de la danse et de la performance.

Dans cette thèse, nous voulons reconnaître les gestes (par ex. lever la main) et plus généralement les actions brèves (par ex. tomber, se baisser) effectués par un individu. De nombreux travaux ont été proposés afin de reconnaître des gestes dans un contexte précis (par ex. en laboratoire) à l'aide d'une multiplicité de capteurs (par ex. réseaux de cameras ou individu observé muni de marqueurs). Malgré ces hypothèses simplificatrices, la reconnaissance de gestes reste souvent ambigüe en fonction de la position de l'individu par rapport aux caméras. Nous proposons de réduire ces hypothèses afin de concevoir un algorithme général permettant de reconnaître des gestes d'un individu évoluant dans un environnement quelconque et observé à l'aide d'un nombre réduit de caméras. Il s'agit d'estimer la vraisemblance de la reconnaissance des gestes en fonction des conditions d'observation. Notre méthode consiste à classifier un ensemble de gestes à partir de l'apprentissage de descripteurs de mouvement. Les descripteurs de mouvement sont des signatures locales du mouvement de points d'intérêt associés aux descriptions locales de la texture du voisinage des points considérés. L'approche a été validée sur les bases de données de gestes publiques KTH et IXMAS; des résultats encourageants ont été obtenus.

Dans le secteur agroalimentaire, la caractérisation des gestes culinaires est considérée de plus en plus comme un levier d’innovation. En observant et en analysant la manière avec laquelle leurs produits sont appréhendés en cuisine par les usagers (consommateurs ou professionnels), les industriels peuvent en effet déceler des pistes d’amélioration ou des idées de nouveaux produits.Dans ce travail de recherche, nous proposons de nouvelles méthodes dédiées à la caractérisation des gestes culinaires. Leur caractère innovant repose sur le fait qu’elles relèvent d’une approche quantitative, et non d’une approche qualitative comme cela est usuellement le cas. Elles s’inspirent en partie de deux méthodes de caractérisation utilisées en analyse sensorielle : le tri libre et la Q-méthodologie binaireNous voyons comment des développements méthodologiques apportés à ces dernières permettent de caractériser des grands ensembles de stimuli. Ces développements sont liés à la fois à la procédure de recueil des données et à la procédure d’analyse statistique des données.En particulier, nous proposons plusieurs procédures statistiques permettant d’aborder des problématiques variées : l’analyse d’un ensemble de partitions contenant des données manquantes, la classification non supervisée de profils d’évaluations binaires basée sur la notion d’accord inter-évaluateurs, etc.Nous voyons ensuite que les deux méthodes de caractérisation quantitatives ‘améliorées’ sont applicables à des gestes culinaires / In the agri-food sector, the characterization of culinary techniques - through their observation and analysis - is increasingly seen as a lever for innovation. By analyzing how their products are used in the kitchen by the users (consumers or professionals), the manufacturers can detect improvement tracks or ideas for new products.In this research, we propose new methods dedicated to the characterization of culinary techniques. Their innovative nature is based on the fact that they are based on a quantitative approach, and not on a qualitative approach as is usually the case. They partially draw their inspiration in two methods of characterization used in sensory analysis: the free sorting and the binary Q-methodologyWe see how methodological developments brought to the latter make it possible to characterize large sets of stimuli. These developments are both related to the procedure of data collection and to the procedure of statistical analysis of the data. In particular, we propose several statistical procedures to address various issues: the statistical analysis of a set of partitions containing missing data, the unsupervised agreement-based clustering of a set of profiles of binary evaluations, etc.Then, we see that these two 'improved' quantitative methods of characterization can be successfully applicable to culinary techniques.

Un modèle tridimensionnel du visage a été élaboré, dans la perspective de contribuer à l'étude de questions importantes sur le contrôle moteur de la production de la parole. Ce modèle est construit sur un maillage constitué d'éléments hexahédraux et de clavettes, qui comporte 3 couches distinctes et est symétrique par rapport au plan medio-sagittal. Les muscles faciaux sont représentés dans le maillage par un sous-ensemble d'éléments contigus. Les propriétés élastiques des éléments du maillage sont décrites par une loi de comportement de type isotrope quasi incompressible et hyperélastique. Dans une première phase de ce travail, pour étudier les conséquences globales de l'activation des muscles oro-faciaux sur les mimiques faciales et les gestes labiaux, et plus particulièrement sur les gestes labiaux en parole, un modèle linéaire de muscle a été élaboré. L'influence des variations de la raideur des tissus mous sur les gestes faciaux a été étudiée. En effet, l'activation des muscles entraîne un raidissement des tissus mous musculaires concernés. Cet effet est pris en compte dans le modèle de muscle par un changement de la loi de comportement hyperélastique avec l'activation musculaire. Une attention particulière a été portée dans cette étude à la production du geste de protrusion/arrondissement des lèvres qui est un geste fondamental dans la production des voyelles arrondies, en particulier en Français. Nous montrons que le raidissement des tissus mous musculaires facilite la production précise de ce geste grâce à l'existence d'un effet de saturation dans la relation entre les activations musculaires et les paramètres géométriques des lèvres qui sont pertinents acoustiquement. Ce résultat souligne l'importance des propriétés dynamiques des articulateurs dans la production des gestes de la parole, et il nous a incités à améliorer encore la modélisation de la source principale de force en production de la parole, c'est-à-dire les muscles. C'est pourquoi, un modèle de muscles plus réaliste a été élaboré qui se fonde sur une loi de comportement transversalement isotrope quasi incompressible et hyperélastique et sur un modèle de muscle de type Hill. Ce modèle a été implémenté dans le logiciel éléments finis ANSYS® grâce à sa fonction de programmation USERMAT. La prise en compte supplémentaire d'une loi caractéristique force-vitesse a permis la modélisation complète d'un modèle de muscle de type Hill. Ceci a été fait sous ANSYS® grâce à sa fonction de programmation USERELEM. Cette loi caractéristique force-vitesse introduit un effet d'amortissement dans le mouvement du muscle du fait d'une atténuation croissante de la force musculaire lorsque la vitesse de compression du muscle augmente. Ce nouvel élément de type muscle a été conçu de manière telle qu'il est possible d'implémenter d'autres modèles de muscles que le modèle de type Hill. C'est pourquoi nous avons aussi implémenté le modèle de Feldman, qui a été utilisé de manière importante à Gipsa-lab dans les dernières années. L'intégration du modèle de Feldman dans une structure à éléments finis a nécessité une reformulation de façon à le rendre compatible avec une modélisation distribuée. Les modèles de Hill et de Feldman ont ensuite été incorporés dans le modèle de visage pour remplacer le modèle linéaire initial. Dans ces conditions les premières simulations du geste de protrusion/arrondissement labial ont donné des résultats réalistes. Finalement une comparaison des résultats obtenus avec le modèle de Hill avec ceux qui génère le modèle de Feldman montrent que les formes labiales finales sont très similaires pour les deux modèles. / Un modèle tridimensionnel du visage a été élaboré, dans la perspective de contribuer à l'étude de questions importantes sur le contrôle moteur de la production de la parole. Ce modèle est construit sur un maillage constitué d'éléments hexahédraux et de clavettes, qui comporte 3 couches distinctes et est symétrique par rapport au plan medio-sagittal. Les muscles faciaux sont représentés dans le maillage par un sous-ensemble d'éléments contigus. Les propriétés élastiques des éléments du maillage sont décrites par une loi de comportement de type isotrope quasi incompressible et hyperélastique. Dans une première phase de ce travail, pour étudier les conséquences globales de l'activation des muscles oro-faciaux sur les mimiques faciales et les gestes labiaux, et plus particulièrement sur les gestes labiaux en parole, un modèle linéaire de muscle a été élaboré. L'influence des variations de la raideur des tissus mous sur les gestes faciaux a été étudiée. En effet, l'activation des muscles entraîne un raidissement des tissus mous musculaires concernés. Cet effet est pris en compte dans le modèle de muscle par un changement de la loi de comportement hyperélastique avec l'activation musculaire. Une attention particulière a été portée dans cette étude à la production du geste de protrusion/arrondissement des lèvres qui est un geste fondamental dans la production des voyelles arrondies, en particulier en Français. Nous montrons que le raidissement des tissus mous musculaires facilite la production précise de ce geste grâce à l'existence d'un effet de saturation dans la relation entre les activations musculaires et les paramètres géométriques des lèvres qui sont pertinents acoustiquement. Ce résultat souligne l'importance des propriétés dynamiques des articulateurs dans la production des gestes de la parole, et il nous a incités à améliorer encore la modélisation de la source principale de force en production de la parole, c'est-à-dire les muscles. C'est pourquoi, un modèle de muscles plus réaliste a été élaboré qui se fonde sur une loi de comportement transversalement isotrope quasi incompressible et hyperélastique et sur un modèle de muscle de type Hill. Ce modèle a été implémenté dans le logiciel éléments finis ANSYS® grâce à sa fonction de programmation USERMAT. La prise en compte supplémentaire d'une loi caractéristique force-vitesse a permis la modélisation complète d'un modèle de muscle de type Hill. Ceci a été fait sous ANSYS® grâce à sa fonction de programmation USERELEM. Cette loi caractéristique force-vitesse introduit un effet d'amortissement dans le mouvement du muscle du fait d'une atténuation croissante de la force musculaire lorsque la vitesse de compression du muscle augmente. Ce nouvel élément de type muscle a été conçu de manière telle qu'il est possible d'implémenter d'autres modèles de muscles que le modèle de type Hill. C'est pourquoi nous avons aussi implémenté le modèle de Feldman, qui a été utilisé de manière importante à Gipsa-lab dans les dernières années. L'intégration du modèle de Feldman dans une structure à éléments finis a nécessité une reformulation de façon à le rendre compatible avec une modélisation distribuée. Les modèles de Hill et de Feldman ont ensuite été incorporés dans le modèle de visage pour remplacer le modèle linéaire initial. Dans ces conditions les premières simulations du geste de protrusion/arrondissement labial ont donné des résultats réalistes. Finalement une comparaison des résultats obtenus avec le modèle de Hill avec ceux qui génère le modèle de Feldman montrent que les formes labiales finales sont très similaires pour les deux modèles.

La place du silence est fondamentale dans le théâtre de Samuel Beckett. Touché par les horreurs d’Auschwitz, le dramaturge ne cesse de présenter des personnages au seuil de la mort et qui ont le sentiment que la communication est difficile, parfois vaine, et que pourtant il leur faut continuer à parler. Malgré son invisibilité, son caractère fluctuant et fuyant, le silence reste signifiant, ouvrant un espace vierge qui se remplit alors de sens. Protéiforme, le silence est ambivalent. La faillite du langage verbal entraîne le recours à d’autres langages. La présence des objets scéniques, le spectacle des gestes et de la danse, le jeu de l’ombre et de la lumière ont le rôle de pallier l’absence d’action et la désarticulation de la parole. Se taire chez Beckett devient un jeu scénique purement visuel. Le dramaturge dépasse toutes les limites pour mettre en scène un silence qui est à la fois le matériau et l’objet du jeu théâtral. / The place of silence is fundamental in the theater of Samuel Beckett. Touched by the horrors of Auschwitz, the playwright continues to present characters on the threshold of death and they have the feeling that communication is difficult, sometimes vain, and yet they must keep talking. Despite its invisibility, its fluctuating and fleeing character, the silence remains meaningful, opening a virgin space which then fills with meaning. Protean, the silence is ambivalent. The use of verbal language bankruptcy to other languages. The presence of scenic objects, the show of gestures and dance, the play of shadow and light have the role to compensate for the lack of action and the disarticulation of the word. Shut up at Beckett becomes a purely visual stage play. The playwright exceeds all limits for staging a silence as both the material and the object of the theatrical game.

Notre projet de recherche ambitionne de mesurer l’impact sur les activités d’apprentissage des élèves du recours, par les acteurs de la situation didactique, à un enchainement de canaux de communication. Ce phénomène d’enchaînement orchestrant les activités du faire apprendre et de l’apprendre, sont nommés transitions codiques. Il s’agit dans un premier temps d’en montrer l’enjeu scientifique dans le champ de la didactique. Ensuite, il est question d’en circonscrire les caractéristiques essentielles. Enfin, il s’agit d’étudier l’impact différentiel de ces caractéristiques sur les gestes d’étude des élèves. Cette étude, en s’inscrivant dans le paradigme de l’interactionnisme symbolique, exige l’exploitation croisée de trois cadres théoriques en didactique : celui de la théorie des situations didactiques (TSD) qui identifie des typologies de situations organisées autour d’étapes dans la construction d’une connaissance en jeu, celui de la théorie anthropologique du didactique (TAD) qui articule au savoir en jeu la notion de rapport au savoir, et qui substitue cette notion de savoir à celle de praxéologie, et enfin celui de la théorie de l’action conjointe en didactique (TACD), organisé autour de l’idée essentielle que le savoir scolaire ne se définit pas de façon descendante et prescriptive, mais relève aussi d’une transposition ascendante qui induit la nécessaire prise en compte des dimensions d’épistémologie pratique de l’enseignant dans son institution, des actions didactiques et de ces différents descripteurs. Le dispositif mis en place, nous inscrit dans les perspectives comparatistes en didactique selon une approche descriptive et compréhensive en croisant des entretiens, des observations vidéos, et traces prises au vol.Les résultats obtenus mettent en évidence que les transitions codiques constituent l’essentiel du temps d’interaction et s'organisent selon une charge directionnelle, des délais, des degrés d’ostension qui évoluent dans le temps et qui renseignent sur le registre d'action enseignante. Ces caractéristiques varient également selon le mode de convocation des savoirs qui les sous-tendent, à l’interface entre cognition consciente et intuition. Elles structurent une rythmique de l’intervention et de l’interaction différentielle au regard des niveaux de pratique et du genre. Elles pilotent en conséquence les gestes d’étude des élèves. / Our research project aims to measure the impact on pupils' learning activities of the use, by the actors of the didactic situation, of a series of channels of communication. This phenomenon of sequencing orchestrating the activities of learning and learning are called code transitions. It is a question of first showing the scientific stake in the field of didactics. Then, it is a question of circumscribing its essential characteristics. Finally, it is a question of studying the differential impact of these characteristics on the students' gestures of study.This study, in keeping with the paradigm of symbolic interactionism, requires the cross-exploitation of three theoretical frameworks in didactics: that of the theory of didactical situations (TSD) which identifies typologies of situations organized around stages in the construction of a knowledge at stake, that of the anthropological theory of didactics (TAD) which articulates to the knowledge at stake the notion of relation to knowledge, and which substitutes this notion of knowledge for that of praxeology, and finally that of the theory of joint action in didactics (TACD), organized around the essential idea that school knowledge is not defined in a top-down and prescriptive way, but is also an upward transposition which induces the necessary consideration of the dimensions of practical epistemology of the teacher in his institution, didactic actions and these different descriptors.The system put in place, inscribes us in the comparatist perspectives in didactics according to a descriptive and comprehensive approach by crossing interviews, video observations, and traces taken in flight.The results show that the codic transitions constitute the bulk of the interaction time and are organized according to a directional charge, delays, degrees of evolution which evolve over time and which inform the action register. teacher. These characteristics also vary according to the mode of convocation of the knowledge that underlies them, at the interface between conscious cognition and intuition. They structure a rhythm of intervention and differential interaction in terms of levels of practice and gender. They pilot the pupils' gestures of study accordingly

La LPC ou Cued Speech est un augment manuel qui permet au sourd de désambiguïser l'information phonologique visible sur le visage. L'efficacité de ce système pour l'acquisition de la phonologie de la langue est bien établie. Mais la production du code LPC n'avait jamais été étudiée, et nous l'avons fait par une technique de suivi des mouvements labiaux et manuels de quatre codeuses professionnelles. Notre résultat comportemental majeur est que le geste de la main - contre toute attente - précède le geste des lèvres. Cette anticipation donne un rôle inattendu à la parole visible: celui de venir désambiguïser le geste manuel, conçu au départ pour désambiguïser la parole... Notre hypothèse est que le système de Cornett a été recodé en termes neuralement compatibles pourle contrôle des gestes des voyelles et des consonnes dans la LPC et la parole. Ainsi le contrôle des contavts vocaliques manuels va se trouver en phase avec celui des contacts consonantiques visibles. Ce phasage est assez précis pour que, quelles que soient les variations de la durée de l aproduction de la syllabe CV, l'aboutissement de la détente (stroke) du système main-bras se produise dans la phase de tenue de l'attaque consonantique. L'icorporation de la main et de la face dans un espace de contrôle neural commun peut être ainsi pleinement réalisée dans la LPC.

La Langue Française Parlée Complétée (LPC) héritée du Cued Speech (CS) a été conçue pour compléter la lecture labiale par nature ambigüe et ainsi améliorer la perception de la parole par les sourds profonds. Dans ce système, le locuteur pointe des positions précises sur le côté de son visage ou à la base du cou en présentant de dos des formes de main bien définies. La main et les lèvres portent chacune une partie complémentaire de l'information phonétique. Cette thèse présente tout d'abord une modélisation du flux manuel pour le codage automatique des positions de la main et de la configuration. Puis les travaux sont centrés sur le flux labial en discutant la classification des voyelles et des consonnes du Français. Le flux labial est composé des variations temporelles de paramètres caractéristiques issus du contour interne et externe des lèvres. Dans le cas des voyelles la méthode de classification utilise la modélisation gaussienne et les résultats montrent une performance moyenne de 89 % en fonction de la position de la main LPC. Le contexte vocalique est pris en compte dans le cas des consonnes par une modélisation HMM de la transition labiale de la consonne vers la voyelle avec un taux d'identification de 80 % en termes de visèmes CV. Un modèle de fusion « Maître-Esclave » piloté par le flux manuel est présenté et discuté dans le cadre de la reconnaissance des voyelles et des consonnes produites en contexte LPC. Le modèle de fusion prend en compte les contraintes temporelles de la production et la perception du LPC, ce qui constitue aussi une première contribution à la modélisation du système LPC du point de vue perceptif.

Le travail présenté dans ce mémoire est sous-tendu par trois observations majeures. D'abord, de nombreux travaux ont mis en évidence que la parole n'était pas uniquement de nature auditive mais aussi visuelle. D'autre part, la prosodie, domaine de l'intonation, du rythme et du phrasé joue un rôle crucial en parole. Enfin, la deixis ou monstration est un phénomène au coeur de la communication parlée et de son acquisition par les jeunes enfants. Or celle-ci peut, entre autre, s'exprimer uniquement avec la parole : il est possible de « montrer de la voix » par la focalisation prosodique par exemple. Ces observations et constatations permettent d'émettre l'hypothèse que la focalisation contrastive prosodique se manifesterait non seulement par la modalité auditive ,comme il a déjà été largement exploré, mais aussi par la modalité visuelle. C'est la piste que les travaux de ce mémoire visent à explorer pour le cas particulier du français. Plusieurs analyses en production de la parole ont ainsi permis, grâce aux enregistrements de six locuteurs avec deux systèmes de mesure différents et complémentaires, de mettre en évidence les stratégies de signalisation visuelle de la focalisation. Il semble que les locuteurs produisent des indices articulatoires visibles selon deux stratégies principales : la stratégie de signalisation absolue et la stratégie de signalisation différentielle. Les analyses ont également permis de montrer que d'autres gestes faciaux non articulatoires (mouvements des sourcils et de la tête) pourraient être liés à la production de la focalisation mais de façon très variable non seulement d'un locuteur à l'autre mais aussi pour un même locuteur. Par ailleurs, des analyses parallèles en perception, ont permis de montrer que les indices visuels mis en évidence en production, étaient effectivement utilisés en perception et qu'ils permettent d'extraire l'information de focalisation quand la modalité auditive est indisponible ou dégradée. Il a été mis en évidence que les indices visuels identifiés en production correspondent au moins en partie à ceux utilisés en perception audiovisuelle. Ces travaux montrent ainsi que la focalisation contrastive en français est « visible » et est « vue ». Ces résultats permettent d'esquisser un modèle cognitif de la production et de la perception audiovisuelles de la focalisation contrastive en français.

La recherche de modèles d'intérêt contenus dans des s'séquences de vues multiples d'une scène reste l'un des principaux problèmes de la vision par ordinateur actuellement. En dépit des grands progrès observés au cours des 40 dernières années, la vision par ordinateur ne parvient pas encore à répondre adéquatement quant à la manière d'inférer et de détecter des modèles d'intérêt dans des scènes pour lesquelles un ou plusieurs objet(s) sont vus depuis différents points de vue. Afin de surmonter ce problème, cette thèse propose de nouveaux algorithmes et prototypes capables de caractériser, d'inférer et de détecter des modèles d'intérêt en séquences avec des vues multiples de manière non calibrée, c'est-'a-dire sans connaissance à priori de la position du/des objet(s) par rapport ła (aux) caméra(s). Le travail réalisé s'articule autour de trois axes, divis'es en six articles qui constituent le corps de la thèse. (1) L'analyse de correspondances point par point à travers de marqueurs explicites et implicites sur les objets. (2) L'estimation de correspondances point par point 'a travers de multiples relations géométriques indépendantes du/des objet(s) qui composent la scène. (3) La prédiction du flux dynamique du déplacement généré par le mouvement de la caméra autour de l'objet. L'objectif principal de cette thèse est d'appuyer la prise de décision 'a travers d'une analyse dynamique et/ou géométrique du mouvement du/des objet(s) ou de la (des) caméra(s) pendant que ceux-ci se déplacent. Grâce à cette analyse, il est possible d'accroitre l'information sur la scène et l'(les) objet(s) 'a travers d'un processus inférentiel spécifique pour chaque cas. Il ressort des thématiques exposées qu'il est possible, par exemple, d'assister le processus d'inspection réalisé par un opérateur humain, de déterminer la qualité d'un produit de manière autonome, ou d'exécuter une action spécifique dans un acteur robotique. Bien que ces thématiques présentent des approches différentes, celles-ci ont le même ensemble de pas en ce qui concerne: (1) la détermination de la relation de correspondance de points ou de régions sur plusieurs images, (2) la détermination de la relation géométrique et/ou dynamique existante entre les correspondances estimées précédemment, (3) l'inférence de nouvelles relations sur les points dont la correspondance est inconnue en vue de caractériser le mouvement. Les variations les plus fortes correspondent 'a la manière dont la correspondance est estimée; au calcul de la dynamique et la géométrie entre les points correspondants; et enfin 'a la manière dont nous inférons une action particulière suite 'a un mouvement spécifique. Parmi les principaux résultats, on trouve le développement d'une méthodologie d'inspection non calibrée 'a vues multiples appliquée 'a l'analyse de la qualité des jantes de véhicules, le développement d'un prototype fonctionnel appliqué à l'inspection des cols de bouteilles de vin, une méthodologie de correspondance point par point géométrique capable de résoudre le problème de correspondance en deux et trois vues pour tout point d'intérêt, et enfin la reconnaissance de l'intention humaine pour les tâches de 'grasping' 'a travers de l'analyse du mouvement des yeux et de la main. 'A l'avenir, il restera encore 'a analyser les correspondances dynamiques 'a travers de caractéristiques invariantes, employer des méthodes d'analyse géométriques en séquences d'images radiologiques, et utiliser des modèles de détection d'intentions pour évaluer la qualité des objets.