Dans le cadre de la formation initiale, cette recherche cible les traitements accordés aux imprévus par des enseignants novices et experts en technologie. Pour cela, nous essayons de clarifier les concepts d'imprévus et d'événements pour proposer un triptyque modélisant les transformations opérées entre imprévus, phénomènes et événements. Les analyses proposées repèrent les gestes professionnels d'ajustement déployés pour traiter les perturbations apportées. Ces travaux sont alimentés par le modèle des gestes professionnels d'ajustement, celui des mondes discursifs, l'énonciation et les actes de langage. Nous adoptons une approche résolument tournée vers l'action située, l'analyse du travail, la didactique disciplinaire et la didactique professionnelle. Cette recherche centrée sur l'analyse à grain fin de l'activité d'enseignants débutants a pour but d'améliorer leur formation initiale. Nous avons travaillé avec la collaboration vingt-et-un professeurs de technologie stagiaires autour d'un dispositif appelé " visites à visée formative " et de deux professeurs de technologie dits experts. Dix situations imprévues en technologie au collège ont été décrites et analysées. Les résultats montrent que les imprévus jouent un rôle important dans l'activité des enseignants de technologie. Les analyses conduites apportent également une contribution à la description des gestes d'ajustement lors de traitements d'imprévus. Elles précisent les modalités selon lesquelles l'agir langagier de l'enseignant de technologie réalise l'ajustement de l'intention didactique à la situation imprévue et à la dynamique de la classe. Nous montrons également que les activités langagières convoquées par les enseignants au travers des gestes professionnels d'ajustement ont tendance à caractériser les novices et les experts. Nous proposons la notion de combinaisons de gestes d'ajustement qui permet de mieux saisir les stratégies développées et les ré-ajustements des prescriptions opérées dans l'action. Les analyses montrent enfin qu'un certain nombre de gestes d'ajustement et de combinaisons de gestes semblent attachés à la discipline " technologie au collège " et aux activités proposées aux élèves.

Cette thèse s'inscrit dans le cadre de la génération automatique de Langue des Signes Française et plus particulièrement la génération des Gestes Non Manuels (GNM). La génération nécessite une description précise des GNM. Actuellement, nous ne disposons que de notations de nature symbolique. Nous proposons une nouvelle méthodologie d'annotation permettant une description fine et précise des mouvements, tout en tenant compte de la structure temporelle des GNM. Cette méthodologie comporte une annotation qualitative et une annotation quantitative. Nous avons appliqué notre méthodologie aux mouvements des sourcils et aux clignements des yeux et obtenons ainsi des données numériques et symboliques à partir desquelles nous menons l'analyse. Celle-ci permet de dégager une typologie de ces mouvements. Pour chaque catégorie nous précisons son rôle, l'emplacement du mouvement par rapport aux signes avoisinants et sa structure. Nous formalisons chacune des catégories pour une génération ultérieure et proposons des perspectives de poursuites de l'étude.

Dans le cadre de la robotique d'assistance, cette thèse a pour but de fusionner deux canaux d'informations (visuelles et auditives) dont peut disposer un robot afin de compléter et/ou confirmer les données qu'un seul canal aurait pu fournir, et ce, en vue d'une interaction avancée entre homme et robot. Pour ce faire, nos travaux proposent une interface perceptuelle pour l'interaction multimodale ayant vocation à interpréter conjointement parole et geste, notamment pour le traitement des références spatiales. Nous décrivons dans un premier temps la composante parole de nos travaux qui consiste en un système embarqué de reconnaissance et d'interprétation de la parole continue. Nous détaillons ensuite la partie vision composée d'un traqueur visuel multi-cibles chargé du suivi en 3D de la tête et des deux mains, ainsi que d'un second traqueur chargé du suivi de l'orientation du visage. Ces derniers alimentent un système de reconnaissance de gestes par DBNs décrit par la suite. Nous poursuivons par la description d'un module chargé de la fusion des données issues de ces sources d'informations dans un cadre probabiliste. Enfin, nous démontrons l'intérêt et la faisabilité d'une telle interface multimodale à travers un certains nombre de démonstrations sur les robots du LAAS-CNRS. L'ensemble de ces travaux est fonctionnel en quasi-temps réel sur ces plateformes robotiques réelles.

Cette thèse porte sur l'étude des méthodes de vision par ordinateur pour la reconnaissance de gestes naturels dans le contexte de l'annotation de la Langue des Signes. Les annotations de vidéo en LS sont réalisées manuellement par des linguistes ou experts en LS, ce qui est source d'erreur, non reproductible et extrêmement chronophage. De plus, la qualité des annotations dépend des connaissances en LS de l'annotateur. L'association de l'expertise de l'annotateur aux traitements automatiques facilite cette tâche et représente un gain de temps et de robustesse. Nous avons étudié un ensemble de méthodes permettant de réaliser l'annotation en glose. Dans un premier temps, nous cherchons à détecter les limites de début et fin de signe. Cette méthode d'annotation nécessite plusieurs traitements de bas niveau afin de segmenter les signes et d'extraire les caractéristiques de mouvement et de forme de la main. D'abord nous proposons une méthode de suivi des composantes corporelles robuste aux occultations basée sur le filtrage particulaire. Ensuite, un algorithme de segmentation des mains est développé afin d'extraire la région des mains même quand elles se trouvent devant le visage. Puis, les caractéristiques de mouvement sont utilisées pour réaliser une première segmentation temporelle des signes qui est par la suite améliorée grâce à l'utilisation de caractéristiques de forme. En effet celles-ci permettent de supprimer les limites de segmentation détectées en milieu des signes. Une fois les signes segmentés, on procède à l'extraction de caractéristiques visuelles pour leur reconnaissance en termes de gloses à l'aide de modèles phonologiques.

Le développement de l'image numérique et des outils associés ces dernières années a entraîné une évolution dans les attentes des utilisateurs et des changements dans leurs habitudes de travail. Cette évolution apporte de nouvelles possibilités d'utilisation ouvrant l'usage à un public très large, allant des interactions gestuelles aux jeux vidéo, en passant par le suivi d'activités à domicile, la surveillance, ... Pour qu'elles puissent être performantes et attractives, ces nouvelles technologies nécessitent la mise en œuvre d'outils de reconnaissance et d'interprétation des gestes humains, par des méthodes efficaces, rapides et ouvertes. Actuellement, les méthodes proposées en reconnaissance d'actions peuvent être regroupées en trois catégories principales : les approches de type apprentissage automatique (Machine Learning), les modélisations stochastique ou encore les méthodes utilisant le paradigme des examplars. Les travaux développés dans cette thèse se rattachent à cette dernière catégorie : " méthodes à base d'exemples " (examplar-based) où l'apprentissage peut être fait à partir de quelques instances représentatives. Nous avons fait le choix d'une démarche qui limite le recours à des grandes bases de données, et qui permet la reconnaissance d'action de façon anticipée, c'est-à-dire avant que cette dernière ne soit finie. Pour ce faire, nos travaux ont été menés selon deux visions complémentaires, avec le soucis constant d'aboutir à des traitements qui soient temps réel, précis et ouverts à la reconnaissance de nouvelles actions

Mes activités de recherche portent sur l'analyse et l'interprétation des mouvements humains à partir de données visuelles avec comme application principale l'amélioration du processus de communication entre l'homme et la machine. L'idée sous-jacente est de tendre vers une communication homme machine non pas par l'intermédiaire des traditionnels écran/clavier/souris mais vers un processus plus « humain » de communication. Ceci suppose que la machine est capable de reconnaître et d'interpréter tous les signes de communication humaine à savoir le langage verbal mais aussi tous les signes de communication non verbale. Nous nous plaçons donc en amont de la problématique des interactions homme-machine proprement dites. Ces travaux se focalisent sur l'interprétation des gestes humains de communication non verbale et en particulier sur l'interprétation des expressions faciales, des mouvements de la tête rigides (hochements...) ou non rigides (clignements, bâillement...), de certains gestes de mains (langage parlé complété destiné aux malentendants) ainsi que de certaines postures (assis, debout...).

Mémoire d'orthophonie : Médecine : Nantes : 2008. / Bibliogr.

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d'interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. Ce travail vise à animer l'avatar à partir d'une acquisition 3D des gestes de l'utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d'un PC grand public équipé d'une webcam. L'approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d'une part et de l'image d'autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d'images monoculaires provient des ambiguïtés 3D/2D et de l'absence d'information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d'hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l'attitude des bras par l'extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l'incertitude sur la profondeur. Enfin, l'évaluation est accélérée par calcul sur GPU. En conclusion, l'algorithme proposé permet un suivi 3D robuste en temps-réel à partir d'une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur.

Le travail présenté dans cette thèse vise à étudier la coordination entre gestes manuels et parole lors de la production d'énoncés multimodaux. Les études menées s'intéressent plus particulièrement aux relations temporelles entre les deux modalités. Cette coordination a été étudiée plus précisément dans le cadre de la désignation qui est réalisable à la fois dans la modalité manuelle (geste de pointage) et dans la modalité parole (" montrer avec la voix ", en utilisant la focalisation et/ou les démonstratifs par exemple). Les études présentées ont été menées dans un environnement contrôlé de laboratoire afin d'obtenir des mesures précises et reproductibles en minimisant les facteurs extérieurs de variations intra- et inter-participants. Les productions des locuteurs peuvent ainsi être comparées entre-elles en se focalisant sur les facteurs d'intérêt toutes choses maintenues le plus possible égales par ailleurs. Un travail particulier de mise en place des protocoles a néanmoins permis de maintenir une tâche assez naturelle afin de ne pas induire des productions trop artificielles. Les deux premières études se sont intéressées à la production conjointe de gestes manuels et de parole contenant de la focalisation. Plusieurs types de gestes ont été comparés (geste de pointage, geste de battement et geste d'appui sur un bouton) lors d'une tâche de désignation. Il a été montré que la production de focalisation attire le geste manuel quel que soit son type mais que l'attraction est plus " précise " et fine pour le pointage. Par ailleurs, l'apex du geste de pointage semble être cooccurent à une cible articulatoire plutôt qu'acoustique. La seconde étude manipule le lien de désignation le geste de pointage et la parole. Elle montre, en exhibant deux stratégies adoptées par les participants, la complexité des mécanismes mis en jeu dans cette coordination. Finalement, une troisième étude s'intéresse à la coordination dans une tâche interactive et collaborative plus naturelle. Dans cette tâche les locuteurs utilisent naturellement des gestes de pointage pour désigner à leur interlocuteur l'emplacement d'une carte à poser grâce à une phrase porteuse contenant un démonstratif. Les résultats montrent une cooccurrence de la partie du geste qui montre avec l'information qui lui est complémentaire en parole, i.e. avec le nom de l'objet à poser à l'endroit désigné par le geste de pointage, plutôt qu'avec la partie de la parole qui désigne, i.e. le démonstratif. L'effet de la perturbation de l'interaction par un bruit ambiant est également testé et il est montré que, si la parole subit un effet Lombard classique, la production de gestes est peu modifiée mis à part une adaptation de la durée de la partie du geste qui montre à l'allongement de la parole. Ce mémoire propose par ailleurs une exploration des procédés d'annotation multimodaux mis en place pour l'annotation de tâches semi-contrôlées mais applicables à des cas plus généraux. Le manuscrit se conclut par une mise en perspective des résultats pour l'amélioration de certains modèles de production conjointe gestes manuels/parole et fournit quelques pistes utilisables dans le domaine des agents conversationnels ainsi que pour la détection de pathologies.

Cette étude renouvelle en profondeur notre perception des pratiques funéraires des premiers agro-pasteurs vivant en Italie et en France méridionale au début du Néolithique. L’hypothèse de leur uniformité, qui n’avait jusqu’ici jamais été véritablement questionnée, est désormais invalidée.Au contraire, l’essence même de l’idéologie funéraire portée et pérennisée durant plus d’un millénaire par ces groupes est la diversité des pratiques mortuaires. La variabilité des pratiques qui incluent différentes formes de dépôts du cadavre (primaire, secondaire, individuel, pluriel) a livré néanmoins des codes qui varient d’une culture à une autre, d’un groupe à un autre, d’un site à un autre et d’un individu à un autre, formant un système diversifié, mais cohérent. Cette étude a aussi dévoilé des pratiques symboliques exploitant des restes humains et en a révélé les modalités.En s’appuyant sur une vision raisonnée des processus de néolithisation et de la nature du complexe Impresso-cardial, ma réflexion aborde également le rôle de la sphère funéraire du début du Néolithique dans la complémentarité polymorphe existant entre les sites et le caractère innovant des gestes funéraires, dont l’ascendance mésolithique apparaît limitée. Adopter une approche archéothanotologique et mobiliser un large panel de témoins archéologiques de l’après morts ur un corpus étendu (45 sites, 87 unités funéraires, 128 individus) a donc permis non seulement, de cerner le système funéraire des groupes étudiés, mais plus largement d’étudier et de décrire le(s) comportement(s) qu’ils ont adopté(s) face à un cadavre et face à la Mort. / This study deeply renews our understanding of the funerary practices of the first farmers living in Italy and in southern France at the dawn of Neolithic. The hypothesis of their uniformity, which has been not truly questioned so far, is now invalidated. On the contrary, the very essence of the funerary ideology, that was spread and perpetuated by these societies during more than one millennium, is the diversity of the funerary practices. Indeed, this variability including variousforms of corpse deposits (primary, secondary, individual, plural) nevertheless displays codesvarying from a culture to another, a group to another, a site to another and from an individual toanother, creating a diverse but coherent system. This study has also highlighted symbolic practices exploiting human remains, and revealed their procedures. Relying on a reasoned visionof the neolithisation process and on the nature of the Impresso-cardial complex, this approach also reaches the role occupied by the funerary system within the multifaceted complementarity between sites as well as the innovation degree of burial gestures, whose Mesolithic origin appears limited. Following an archaeothanatological approach and mobilizing a broad panel of after-death archaeological testimonies on a wide corpus (45 sites, 87 funerary units, 128 individuals) has therefore not only allowed accessing the funerary system of the considered societies, but on the top of that, studying and describing the behaviours they adopted in regard of the corpse and towards Death.