Les technologies de l'interaction personne-machine se centrent de plus en plus sur l'humain. Le statut informatif des expressions présentes massivement en dehors des tours de parole, dans les micro-événements visibles ou audibles, inscrit le sujet dans une communication permanente du Feeling of Thinking (états physiologiques, mentaux, émotionnels, intentionnels et attitudinaux). Ce travail a été mené sur un corpus induit émotionnellement et restreignant l'interaction personne-machine au minima langagier. Une méthodologie empirique, sur des principes éthologiques, a d'abord été construite pour annoter les micro-gestes audibles et visibles de 6 sujets. Une analyse perceptive a ensuite mesuré la pertinence communicative de certaines icônes gestuelles. Puis a été menée une étude des occurrences des micro-gestes dans l'organisation temporelle de la tâche et des tours de parole, traçant ainsi le comportement des sujets. Enfin a été proposée une qualification impressionniste des nombreux sons vocaux non lexicaux qui ponctuent les performances (bruits de bouche, grunts, bursts, fillers, interjections).

La recherche s'organise autour de séances d'enseignement apprentissages de lecture d'un texte court de littérature de jeunesse en cycle 3. Elle a pour objet d'étudier les façons de faire des maîtres. Comment modalisent-ils le cadrage des disciplines du français et de la littérature, comment appliquent-ils les orientations des prescriptions ministérielles et comment travaillent-ils conjointement avec les élèves ? Peut-on en tirer des constantes afin de transposer ces données en ressources pour la formation initiale et continue ? La méthode d'analyse des données est comparative entre les quatre maîtres expérimentés et à travers une unique séance de lecture d'un texte court Archimémé de B. Friot. Cette recherche vise à structurer une conception méthodologique qui combine les approches didactiques et ergonomiques à l'aide d'outils d'analyse comme le scénario et les tâches doxiques de l'enseignement du texte littéraire à l'école. Elle établit des points d'ancrage d'observation à l'aide de différentes grilles d'analyse selon des niveaux macro et microméthodologiques. Cette recherche récolte aussi les discours des enseignants sur leur mode de faire et les intègrent à la matrice méthodologique. Ce qui est expérimenté ici, c'est de repérer des savoirs professionnels à partir des pratiques ordinaires des maîtres pour envisager de les traduire à la fois pour la recherche didactique et pour l'élaboration de ressources de formation professionnelle. Mots clefs : enseignement de la lecture, didactique du français, didactique de la littérature, travail de l'enseignant, tâche doxique, gestes professionnels.

Les travaux décrits dans cette thèse concernent l'applicabilité d'une combinaison de modalités pour l'interaction avec les objets 3D d'un environnement virtuel afin de leur appliquer des repositionnements géométriques. L'approche « top-down » adoptée s'inspire des modalités observables au sein des expressions de commande d'utilisateurs au cours d'activités «d'inspection de prototype » du domaine de la conception vestimentaire. A partir d'un ensemble sélectionné de tâches, l'examen de combinaisons tâches vs modalités d'entrée permet d'établir des scénarios d'expressions de commande homogènes. La définition de profils de dispositifs conduit ensuite à la construction d'un système interactif sur lequel tester ces affectations de modalités avec des utilisateurs lors d'une expérience de type « Magicien d'Oz ». L'étude de la variabilité d'expression permet alors de poser les bases d'une grammaire d'interaction. Les résultats obtenus semblent confirmer la pertinence de ce style d'interaction.

Les robots sont des agents artificiels qui peuvent agir dans le monde des humains grâce aux capacités de perception. Dans un contexte d'interaction homme-robot, les humains et les robots partagent le même espace de communication. En effet, les robots compagnons sont censés communiquer avec les humains d'une manière naturelle et intuitive: l'une des façons les plus naturelles est basée sur les gestes et les mouvements réactifs du corps. Pour rendre cette interaction la plus conviviale possible, un robot compagnon doit, donc, être doté d'une ou plusieurs capacités lui permettant de percevoir, de reconnaître et de réagir aux gestes humains. Cette thèse a été focalisée sur la conception et le développement d'un système de reconnaissance gestuelle dans un contexte d'interaction homme-robot. Ce système comprend un algorithme de suivi permettant de connaître la position du corps lors des mouvements et un module de niveau supérieur qui reconnaît les gestes effectués par des utilisateurs humains. De nouvelles contributions ont été apportées dans les deux sujets. Tout d'abord, une nouvelle approche est proposée pour le suivi visuel des membres du haut du corps. L'analyse du mouvement du corps humain est difficile, en raison du nombre important de degrés de liberté de l'objet articulé qui modélise la partie supérieure du corps. Pour contourner la complexité de calcul, chaque membre est suivi avec un filtre particulaire à recuit simulé et les différents filtres interagissent grâce à la propagation de croyance. Le corps humain en 3D est ainsi qualifié comme un modèle graphique dans lequel les relations entre les parties du corps sont représentées par des distributions de probabilité conditionnelles. Le problème d'estimation de la pose est donc formulé comme une inférence probabiliste sur un modèle graphique, où les variables aléatoires correspondent aux paramètres des membres individuels (position et orientation) et les messages de propagation de croyance assurent la cohérence entre les membres. Deuxièmement, nous proposons un cadre permettant la détection et la reconnaissance des gestes emblématiques. La question la plus difficile dans la reconnaissance des gestes est de trouver de bonnes caractéristiques avec un pouvoir discriminant (faire la distinction entre différents gestes) et une bonne robustesse à la variabilité intrinsèque des gestes (le contexte dans lequel les gestes sont exprimés, la morphologie de la personne, le point de vue, etc). Dans ce travail, nous proposons un nouveau modèle de normalisation de la cinématique du bras reflétant à la fois l'activité musculaire et l'apparence du bras quand un geste est effectué. Les signaux obtenus sont d'abord segmentés et ensuite analysés par deux techniques d'apprentissage : les chaînes de Markov cachées et les Support Vector Machine. Les deux méthodes sont comparées dans une tâche de reconnaissance de 5 classes de gestes emblématiques. Les deux systèmes présentent de bonnes performances avec une base de données de formation minimaliste quels que soient l'anthropométrie, le sexe, l'âge ou la pose de l'acteur par rapport au système de détection. Le travail présenté ici a été réalisé dans le cadre d'une thèse de doctorat en co-tutelle entre l'Université "Pierre et Marie Curie" (ISIR laboratoire, Paris) et l'Université de Gênes (IIT - Tera département) et a été labelisée par l'Université Franco-Italienne.

L’objectif de ce travail vise l’approfondissement des connaissances sur le traitement des gestes sans signification en mémoire de travail. Cette recherche se décompose en 5 études réparties sur trois temps : la caractérisation de la structure dédiée à ces stimuli ; les stratégies utilisées spontanément ; l’optimalisation des performances par des stratégies induites. Nos deux premières études montrent que les gestes sans signification sont traités par une composante dédiée en mémoire de travail. Celle-ci fonctionnerait à la manière de la boucle phonologique de Baddeley, Allen et Hitch (2011) tout en étant distincte d’elle. Les deux études suivantes mettent en évidence l'utilisation spontanée d’une verbalisation qui sert à l’évaluation des performances, sans pour autant les améliorer. À la vision des gestes, des traitements mnésiques verbaux et moteurs opèreraient en parallèle, sans pour autant que les traces mnésiques se combinent. Enfin, la dernière étude établit que le rappel gestuel est facilité par l’utilisation d’une stratégie verbale induite. En revanche, les performances ne sont pas améliorées par une stratégie de répétition gestuelle. Une combinaison entre différentes traces mnésiques peut donc s’effectuer en cas d’induction d’une stratégie permettant la concordance entre geste et mot. La discussion de la thèse s’articule autour d’une mise à jour du modèle de Baddeley et al. (2011), par l’addition d’une nouvelle composante nommée « boucle motrice ». Les gestes semblant être particulièrement sujets au contexte, nous ouvrons également le cadre de cette recherche sur les théories de cognitions ancrées et incarnées (Wilson, 2002 ; Barsalou, 2008), ainsi que sur le modèle des processus imbriqués (Cowan, 2001) / The objective of this work is to improve knowledge on the treatment of meaningless gestures in working memory. This research is based on five studies divided into three phases: the characterization of the structure dedicated to these stimuli; strategies used spontaneously; and optimization of performance due to induced strategies. Our first two studies show that meaningless gestures are processed by a dedicated working memory component. This component operates like the phonological loop of Baddeley, Allen and Hitch (2011) whilst being distinct from it. The next two studies highlight spontaneous verbalization, which is used in metacognitive judgments of performances, yet without improving the latter. When participants are watching gestures, both verbal and motor encoding could operate at the same time, though without combination of memory traces. The last study shows that the recall of gestures is facilitated by the use of an induced verbal strategy. However, performance is not improved by a gestural strategy. By consequence, a combination of the different memory traces is possible when words match gestures. The discussion of the thesis is structured around an update of Baddeley’s model (Baddeley et al., 2011) by adding a new component called the "motoric loop". As the gestures seem to be particularly prone to context, we are also opening the framework of this research on theories of embodied cognition (Wilson, 2002) and grounded cognition (Barsalou, 2008), as well as the embedded processes model of working memory (Cowan, 2001)

La recherche porte sur les gestes professionnels des formateurs accompagnant des enseignants nouvellement nommés. L‘entrée dans le métier est une période cruciale pour nombre d’enseignants. A l’école primaire, les modalités spécifiques d’accompagnement mises en œuvre sous la forme d’un tutorat, visent à développer la professionnalité de l’enseignant en devenir. Cette recherche rend compte d’une étude longitudinale de l’accompagnement de quatre maitres formateurs auprès d’enseignants stagiaires ou contractuels, durant l’année scolaire 2013-2014. Dans l’entretien post observation de classe, dispositif support de cette étude, l’activité du formateur est analysée sous l’angle des gestes professionnels, mobilisés dans leurs dimensions opératoires et symboliques, et, enrichis par la notion d’amplitude professionnelle. Cette dernière suppose que le geste professionnel n’a pas une dimension axiologique en lui-même mais qu’il est fortement dépendant de la relation d’accompagnement construite entre les deux partenaires de l’entretien. Dans la continuité des travaux mobilisant les gestes professionnels, Jorro (1998, 2002, 2006, 2011), Alin (2006, 2010) et Bucheton (2008, 2009), la thèse étudie les gestes professionnels du formateur pendant l’entretien post observation de classe, rendant possible une lecture d’un agir professionnel situé.Le geste professionnel, conçu comme un mouvement du corps envers autrui, est redéfini comme une interaction verbale et/ou corporelle, intentionnelle et conscientisée par le formateur, d’amplitude variable. Les résultats permettent de mettre en évidence sept gestes professionnels des formateurs. Par leurs spécificités, ces gestes sont les témoins d’un agir opératoire professionnel en situation. Nommés et clairement identifiés, ils constitueraient des savoirs conscientisés qui permettraient d’enrichir les pratiques des formateurs. Ainsi, outre les deux visées principales, descriptive et compréhensive, la recherche s’inscrit dans une perspective praxéologique, visant le développement professionnel des formateurs d’enseignants en situation d’accompagnement individualisé. / This research is about the professional gestures of tutors accompanying newly appointed teachers. In the interview that follows the observation of a class, which we based our study on, the tutor’s activity is analysed through the lens of professional gestures, mobilised in their operating and symbolic dimensions, and enriched by the notion of professional amplitude.This last one supposes that the professional gesture does not have an axiological dimension in itself, but that it strongly depends on the accompanying relation built between the two partners of the interview. In the continuity of works concerning professional gestures, Jorro (1998, 2002, 2006, 2011), Alin (2006, 2010) and Bucheton (2008, 2009), this thesis studies the professional gestures of the tutor during the interview post class observation and makes possible a reading of a situated professional acting. The professional gesture, seen as a body movement towards the other, is redefined as a verbal and/or corporeal interaction, intended and conscientised by the tutor, of variable amplitude. The results allow us to highlight seven professional gestures from the tutors.

Le développement de l'image numérique et des outils associés ces dernières années a entraîné une évolution dans les attentes des utilisateurs et des changements dans leurs habitudes de travail. Cette évolution apporte de nouvelles possibilités d'utilisation ouvrant l'usage à un public très large, allant des interactions gestuelles aux jeux vidéo, en passant par le suivi d'activités à domicile, la surveillance, ... Pour qu'elles puissent être performantes et attractives, ces nouvelles technologies nécessitent la mise en œuvre d'outils de reconnaissance et d'interprétation des gestes humains, par des méthodes efficaces, rapides et ouvertes. Actuellement, les méthodes proposées en reconnaissance d'actions peuvent être regroupées en trois catégories principales : les approches de type apprentissage automatique (Machine Learning), les modélisations stochastique ou encore les méthodes utilisant le paradigme des examplars. Les travaux développés dans cette thèse se rattachent à cette dernière catégorie : " méthodes à base d'exemples " (examplar-based) où l'apprentissage peut être fait à partir de quelques instances représentatives. Nous avons fait le choix d'une démarche qui limite le recours à des grandes bases de données, et qui permet la reconnaissance d'action de façon anticipée, c'est-à-dire avant que cette dernière ne soit finie. Pour ce faire, nos travaux ont été menés selon deux visions complémentaires, avec le soucis constant d'aboutir à des traitements qui soient temps réel, précis et ouverts à la reconnaissance de nouvelles actions / With the success of new interactive solution, like the Wii-Remote or the Sony Eyetoy, and more recently the Microsoft Kinect, we work on new interactions between game and gamers, with a video-based system. The motion recognition will be used to control the game character or the interaction inside a game, an application, etc. My subject concerns interaction between real and virtual characters. We try to enlarge game actions, with movements - spontaneous or not - from gamers, for example. We working on two points. First, we release constraint on the learning of action, i.e. an action has to be learnt quickly (one shot learning), even in uncontrolled environment: person's living room, cybercafes, etc. Second is understanding motions with new solutions. The more motion capture techniques are reliable, the more new metaphors could be invented linking real actions to virtual ones. These new interactions will allow access to gestural applications by an larger public, usually not interested in, or not familiar with. We propose new interaction video-based: full body motion capture in uncontrolled environment; motion understanding; intention transfer to an avatar and new controls production. The possibilities will be wider than only video games or home entertainment

Dans les années 1960/1970, toutes les études ont montré que les élèves issus de milieux défavorisés ont de moins bons résultats que ceux issus de milieux favorisés (Coleman, 1966 ; Bourdieu & Passeron, 1964 et 1970 ; Baudelot & Establet, 1971). Les recherches menées durant les années 1990/2000 ont démontré que les élèves des écoles rurales obtiennent de bonnes performances scolaires (Oeuvrard, 1993 ; Lebossé, 1998, les travaux de l’Observatoire de l’École Rurale, 2001 et 2005). Or, les territoires ruraux sont majoritairement composés de familles issues de milieux défavorisés. Quelles sont alors les raisons de ces bons résultats ? La présente étude a pour objectif de vérifier les hypothèses selon lesquelles un effet-établissement, un effet-classe et un effet-maître, spécifiques aux écoles rurales expliquent ces performances. Afin de valider ces hypothèses, une enquête est menée concernant les résultats aux évaluations nationales de 2011, des 1 810 élèves de CM2 des écoles du département des Alpes de Haute-Provence. Elle est exploitée au moyen de calculs statistiques et d’une analyse de contenu des rapports d’inspection des enseignants de ces élèves. Les conclusions de cette recherche révèlent que ce sont des effets structurels, liés à la spécificité des écoles rurales qui sont les déterminants de ces résultats scolaires. Ce sont en effet, les écoles primaires, celles de moins de cinq classes, les classes à plusieurs cours, le peu d’élèves scolarisés dans une classe ainsi que les gestes professionnels spécifiques et les qualités professionnelles des enseignants qui expliquent ces performances. / In the 1960s/1970s, all the studies have reported that pupils from disadvantaged backgrounds perform less well in school than those from advantaged backgrounds (Coleman, 1966 ; Bourdieu & Passeron, 1964 et 1970 ; Baudelot & Establet, 1971).Research during the 1990s/2000s has shown that pupils from rural schools get good performance (Oeuvrard, 1993 ; Lebossé, 1998, the works of the Rural School Observatory, 2001 et 2005).Yet rural territories are mostly composed of families who come from disadvantaged backgrounds. So, what are the reasons for these good results ?The objective of this study is to test the hypotheses that the effect of the establishment, the effect of the class and the effect of the teacher, which are specific to rural school, explain this good performance.To validate these hypotheses, a survey was conducted concerning the results of national assessments in 2011, for the 1810 pupils in CM2 of the schools situated in the department of Alpes de Haute-Provence. The data is used by means of statistical calculations and a content analysis of the inspection reports of these pupils' teachers.The findings of this research reveal that it is structural effects which are linked to the specificity of rural schools that are the determinants of these educational outcomes. These are in fact primary schools, those less than five classes, multigrade classrooms, only a few pupils enrolled in a class as well as teachers' specific professional acts and professional skills that explain this good performance.

Lorsque nous parlons, nous bougeons nos mains, nous faisons des gestes. Les gestes aident à communiquer avec les autres mais aussi à mieux exprimer notre pensée. Les gestes et la parole sont donc deux dimensions qui s’intègrent dans un système de communication unifié, reposant sur des représentations cognitives communes : quand un locuteur produit un message, la plupart des informations qu’il veut partager est certes véhiculée par le discours, mais également par les gestes (McNeil, 1992). Parfois, cette information entre les gestes et la parole est non-concordante. Garbert et Goldin-Meadow (2002) ont montré que lorsque les participants expliquent leur résolution de la tâche de la Tour de Hanoï, ces non-concordances entre l’information transmise par les gestes et celle transmise par la parole, peuvent se produire soit aux moments incertains, preuve que les participants hésitent entre plusieurs stratégies de résolution soit aux moments-clés, indiquant la capacité à planifier deux stratégies de résolution, l’une par les gestes, l’autre par la parole. La planification à travers les « mismatches » gestes-parole n’a pas été étudié malgré les nombreuses recherches de Goldin-Meadow à ce sujet. Nous avons mené une étude en Colombie auprès de 144 participants issus de deux milieux socio-économiques contrastés. Nous avons tenté de combler cette lacune en étudiant les effets de l’âge, du milieu socio-économique et de la complexité de la tâche de la Tour de Hanoï sur les non-concordances gestes-paroles lors des explications anticipant sa résolution. Nos résultats suggèrent l’existence d’un effet de la complexité de la tâche et des effets limités de l’âge et du milieu socio-économique. / When we speak, we move our hands, we make gestures. Gestures help to communicate with others but also to better express our thoughts. Gestures and speech are two dimensions that are part of a unified system of communication based on shared cognitive representations: when a speaker produces a message, most of the information he wants to share is certainly conveyed by speech, but also by gestures (McNeil, 1992). Sometimes this information between gestures and speech is discordant. Goldin-Meadow and Garbert (2002) showed that when participants explain their resolution of the Tower of Hanoi task, the mismatch between the information conveyed by the gesture and the information transmitted orally, may occur either at key moments, indicating the ability to provide two problem-solving strategies, or at uncertain times, showing that participants are torn between several solving strategies. We conducted a study in Colombia among to 144 participants from two contrasting socio-economic backgrounds. The study of the development of planning through the gesture-speech "mismatch" remains understudied despite wide research conducted by Goldin-Meadow. We tried to fill this gap by examining the effects of age, socio-economic background and the complexity of the Tower of Hanoi task upon gesture-speech “mismatches” regarding explanations anticipating the resolution. Our results suggest the existence of an effect of the complexity of the task and limited age and socio-economic background effects.

Cette thèse a pour but d'améliorer la tâche de reconnaître des gestes de main en utilisant des techniques d'apprentissage par ordinateur et de traitement du signal. Les principales contributions de la thèse sont dédiés à la théorie de l'apprentissage par ordinateur et à l'interaction homme-machine. L'objectif étant d'implanter toutes méthodes en temps réel, toute méthode employé au cours de cette thèse était un compromis entre puissance et temps de calcul nécessaire.Plusieurs pistes ont été poursuivi : au début, la fusion des informations fournies par plusieurs capteurs tu type « time-of-flight » a été étudiée, dans le but d'améliorer le taux de reconnaissances correctes par rapport au cas avec un seul capteur. En particulier, l'impact des différentes caractéristiques calculés à partir d'une nuage de points, et de ses paramètres, a été évalué. Egalement, la performance des réseaux multi-couches (MLP) à été comparé avec celle d'un séparateur à vaste marge (SVM).En s'appuyant sur ces résultats, l'implantation du système dans une voiture a eté effectuée. Tout d'abord, nous avons montré que le système n'est pas du tout gêné par le fait d'être exposé aux conditions d'éclairage « outdoor ». L'extension de la base d'entraînement et une modification des caractéristiques calculé de la nuage des points a pu augmenter le taux de bonnes reconnaissances de façon très significative, ainsi que le rajout des mesures de confiance à la classification.Afin d'améliorer la performance des classifieurs à la base des réseaux multi-couche (MLP), une nouvelle méthode assez simple a été mise au point ensuite. Cette méthode met au profit des informations déjà présentes dans la dernière couche du réseau. En combinant cette nouvelle approche avec une technique de fusion, le taux de bonnes reconnaissances est amélioré, et surtout pour le cas des échantillons « difficiles ». Ces résultats ont été analysés et comparés de façon approfondie en comparant des différentes possibilités de fusion dans un tel contexte. L'exploitation du fait que les données traitées dont des séquences, et qu'il y a par conséquent une cohérence temporelle dans des échantillons successifs, a également été abordée un utilisant les mêmes techniques de fusion. Un système de « infotainment » implanté sur un smartphone, qui utilise les techniques décrites ici, a également été réalisé.Dans un dernier temps, un modèle simplifié de la reconnaissance des gestes dynamiques a été proposé et validé dans un contexte applicatif. Il a été montré que un geste peut être défini de façon assez robuste par une pose initiale et une pose finale, qui sont classé par le système décrit ci-dessus. / This thesis aims at improving the complex task of hand gesture recognition by utilizing machine learning techniques to learn from features calculated from 3D point cloud data. The main contributions of this work are embedded in the domains of machine learning and in the human-machine interaction. Since the goal is to demonstrate that a robust real-time capable system can be set up which provides a supportive means of interaction, the methods researched have to be light-weight in the sense that descriptivity balances itself with the calculation overhead needed to, in fact, remain real-time capable. To this end several approaches were tested:Initially the fusion of multiple ToF-sensors to improve the overall recognition rate was researched. It is examined, how employing more than one sensor can significantly boost recognition results in especially difficult cases and get a first grasp on the influence of the descriptors for this task as well as the influence of the choice of parameters on the calculation of the descriptor. The performance of MLPs with standard parameters is compared with the performance of SVMs for which the parameters have been obtained via grid search.Building on these results, the integration of the system into the car interior is shown. It is demonstrated how such a system can easily be integrated into an outdoor environment subject to strongly varying lighting conditions without the need for tedious calibration procedures. Furthermore the introduction of a modified light-weight version of the descriptor coupled with an extended database significantly boosts the frame rate for the whole recognition pipeline. Lastly the introduction of confidence measures for the output of the MLPs allows for more stable classification results and gives an insight on the innate challenges of this multiclass problem in general.In order to improve the classification performance of the MLPs without the need for sophisticated algorithm design or extensive parameter search a simple method is proposed which makes use of the existing recognition routines by exploiting information already present in the output neurons of the MLPs. A simple fusion technique is proposed which combines descriptor features with neuron confidences coming from a previously trained net and proves that augmented results can be achieved in nearly all cases for problem classes and individuals respectively.These findings are analyzed in-depth on a more theoretical scale by comparing the effectiveness of learning solely on neural activities in the output layer with the previously introduced fusion approach. In order to take into account temporal information, the thesis describes a possible approach on how to exploit the fact that we are dealing with a problem within which data is processed in a sequential manner and therefore problem-specific information can be taken into account. This approach classifies a hand pose by fusing descriptor features with neural activities coming from previous time steps and lays the ground work for the following section of making the transition towards dynamic hand gestures. Furthermore an infotainment system realized on a mobile device is introduced and coupled with the preprocessing and recognition module which in turn is integrated into an automotive setting demonstrating a possible testing environment for a gesture recognition system.In order to extend the developed system to allow for dynamic hand gesture interaction a simplified approach is proposed. This approach demonstrates that recognition of dynamic hand gesture sequences can be achieved with the simple definition of a starting and an ending pose based on a recognition module working with sufficient accuracy and even allowing for relaxed restrictions in terms of defining the parameters for such a sequence.