La robotique humanoide arrive a maturité avec des robots plus rapides et plus précis. Pour faire face à la complexité mécanique, la recherche a commencé à regarder au-delà du cadre habituel de la robotique, vers les sciences de la vie, afin de mieux organiser le contrôle du mouvement. Cette thése explore le lien entre mouvement humain et le contrôle des systèmes anthropomorphes tels que les robots humanoides. Tout d'abord, en utilisant des méthodes classiques de la robotique, telles que l'optimisation, nous étudions les principes qui sont à la base de mouvements répétitifs humains, tels que ceux effectués lorsqu'on joue au yoyo. Nous nous concentrons ensuite sur la locomotion en nous inspirant de résultats en neurosciences qui mettent en évidence le rôle de la tête dans la marche humaine. En développant une interface permettant à un utilisateur de commander la tête du robot, nous proposons une méthode de contrôle du mouvement corps-complet d'un robot humanoide, incluant la production de pas et permettant au corps de suivre le mouvement de la tête. Cette idée est poursuivie dans l'étude finale dans laquelle nous analysons la locomotion de sujets humains, dirigée vers une cible, afin d'extraire des caractéristiques du mouvement sous forme invariants. En faisant le lien entre la notion "d'invariant" en neurosciences et celle de "tâche cinématique" en robotique humanoide, nous développons une méthode pour produire une locomotion réaliste pour d'autres systèmes anthropomorphes. Dans ce cas, les résultats sont illustrés sur le robot humanoide HRP2 du LAAS-CNRS. La contribution générale de cette thèse est de montrer que, bien que la planification de mouvement pour les robots humanoides peut être traitée par des méthodes classiques de robotique, la production de mouvements réalistes nécessite de combiner ces méthodes à l'observation systématique et formelle du comportement humain.

Face aux limites auxquelles doivent faire face les systèmes optoélectroniques (matériel lourd, champ de mesure limité), les capteurs inertiels constituent une alternative prometteuse pour la mesure du mouvement humain. Grâce aux dernières avancées techniques, notamment en termes de miniaturisation des capteurs, leur utilisation en ambulatoire c’est-à-dire de façon autonome et embarquée est devenue possible. Mais ces opérations de miniaturisation ne sont pas sans effet sur les performances de ces capteurs. En effet, une telle mesure est dégradée par différents types de perturbations (stochastiques et déterministes) qui sont alors propagées au cours du processus dit de fusion des données visant à estimer l'orientation des segments humains. Classiquement, cette opération est réalisée à l'aide d'un filtre de Kalman dont le rôle est justement d'estimer une grandeur à partir d'une mesure bruitée en la confrontant à un modèle d'évolution.Dans ce contexte, nous proposons diverses méthodologies dans le but d'accéder à une mesure suffisamment précise pour être exploitée dans le cadre de l'analyse du mouvement humain. La première partie de cette thèse se focalise sur les capteurs. Tout d'abord, nous étudions les bruits de mesure issus des capteurs inertiels, puis nous leur attribuons un modèle afin de les prendre en compte au sein du filtre de Kalman. Ensuite, nous analysons les procédures de calibrage et évaluons leurs effets réels sur la mesure afin d'émettre quelques propositions en termes de compromis performance/facilité de réalisation.Dans une seconde partie, nous nous consacrons à l'algorithme de fusion des données. Après avoir proposé un filtre de Kalman adapté à la mesure du mouvement humain, nous nous focalisons sur un problème récurrent à ce stade : l'identification des matrices de covariance dont le rôle est d'attribuer une caractérisation globale aux erreurs de mesure. Cette méthode, basée sur une confrontation de la mesure avec une référence issue d'un système optoélectronique, met en évidence la nécessité de traiter ce problème rigoureusement.Dans une troisième partie, nous commençons à aborder les problèmes liés à l'utilisation des capteurs inertiels pour la mesure du mouvement humain, notamment le calibrage anatomique et le positionnement des capteurs.En conclusion, les gains apportés par les diverses propositions avancées dans cette thèse sont évalués et discutés. / To face the limits of optoelectronic systems (heavy device, restricted measurement field), inertial sensors are a promising alternative for human motion analysis. Thanks to the latest technical advancements like sensor miniaturization, they can now work autonomously which makes possible to directly embed them on the human segments. But, as a counterpart of these developments, inertial sensor measurement still suffers from both stochastic and deterministic perturbations. The induced errors then propagate over the so-called fusion algorithm used to estimate human segment orientation. A common tool to perform such an operation is the Kalman filter that estimates unknown variables by correcting noisy measurements by the use of a dynamic model.With the aim of achieving a sufficiently accurate measurement to perform human motion analysis, various methodologies are proposed in the present work. The first part of this thesis focuses on the sensors. First, inertial sensor noises are studied and modeled in order to be integrated into the Kalman filter. Calibration processes as their effects over the measurement are for that purposed analyzed. Some recommendations are thus proposed to reach a compromise between calibration performance and complexity.In a second part, the data fusion algorithm is approached. A specific Kalman filter dedicated to human motion measurement is first proposed. Then, a recurrent problem is studied in details: the definition of the covariance matrix that represents a globalcharacterization of the measurement errors. Considering an optoelectronic system as a reference to compare inertial measurement, a method is proposed for this covariance matrix identification, which also highlights the need to address this problem rigorously.In a third part, we begin to address the use of inertial sensors for human motion analysis by focusing on models and IMU-to-segment calibration.To conclude, the benefits made by the proposed methodologies are evaluated and discussed.

L'objectif de ce travail est de développer des méthodes avancées d'apprentissage pour l’analyse et l'interprétation automatique du mouvement humain à partir de sources d'information diverses, telles que les images, les vidéos, les cartes de profondeur, les données de type “MoCap” (capture de mouvement), les signaux audio et les données issues de capteurs inertiels. A cet effet, nous proposons plusieurs modèles neuronaux et des algorithmes d’entrainement associés pour l’apprentissage supervisé et semi-supervisé de caractéristiques. Nous proposons des approches de modélisation des dépendances temporelles, et nous montrons leur efficacité sur un ensemble de tâches fondamentales, comprenant la détection, la classification, l’estimation de paramètres et la vérification des utilisateurs (la biométrie). En explorant différentes stratégies de fusion, nous montrons que la fusion des modalités à plusieurs échelles spatiales et temporelles conduit à une augmentation significative des taux de reconnaissance, ce qui permet au modèle de compenser les erreurs des classifieurs individuels et le bruit dans les différents canaux. En outre, la technique proposée assure la robustesse du classifieur face à la perte éventuelle d’un ou de plusieurs canaux. Dans un deuxième temps nous abordons le problème de l’estimation de la posture de la main en présentant une nouvelle méthode de régression à partir d’images de profondeur. Dernièrement, dans le cadre d’un projet séparé (mais lié thématiquement), nous explorons des modèles temporels pour l'authentification automatique des utilisateurs de smartphones à partir de leurs habitudes de tenir, de bouger et de déplacer leurs téléphones. Dans ce contexte, les données sont acquises par des capteurs inertiels embraqués dans les appareils mobiles. / The research goal of this work is to develop learning methods advancing automatic analysis and interpreting of human motion from different perspectives and based on various sources of information, such as images, video, depth, mocap data, audio and inertial sensors. For this purpose, we propose a several deep neural models and associated training algorithms for supervised classification and semi-supervised feature learning, as well as modelling of temporal dependencies, and show their efficiency on a set of fundamental tasks, including detection, classification, parameter estimation and user verification. First, we present a method for human action and gesture spotting and classification based on multi-scale and multi-modal deep learning from visual signals (such as video, depth and mocap data). Key to our technique is a training strategy which exploits, first, careful initialization of individual modalities and, second, gradual fusion involving random dropping of separate channels (dubbed ModDrop) for learning cross-modality correlations while preserving uniqueness of each modality-specific representation. Moving forward, from 1 to N mapping to continuous evaluation of gesture parameters, we address the problem of hand pose estimation and present a new method for regression on depth images, based on semi-supervised learning using convolutional deep neural networks, where raw depth data is fused with an intermediate representation in the form of a segmentation of the hand into parts. In separate but related work, we explore convolutional temporal models for human authentication based on their motion patterns. In this project, the data is captured by inertial sensors (such as accelerometers and gyroscopes) built in mobile devices. We propose an optimized shift-invariant dense convolutional mechanism and incorporate the discriminatively-trained dynamic features in a probabilistic generative framework taking into account temporal characteristics. Our results demonstrate, that human kinematics convey important information about user identity and can serve as a valuable component of multi-modal authentication systems.

La simulation du geste humain est une thématique de recherche importante et trouve notamment une application dans l'analyse ergonomique pour l'aide à la conception de postes de travail. Le sujet de cette thèse concerne la génération automatique de tâches d'atteinte dans le plan horizontal pour un humanoïde. Ces dernières, à partir d'un objectif exprimé dans l'espace de la tâche, requièrent une coordination de l'ensemble des liaisons. L'une des principales difficultés rencontrées lors de la simulation de gestes réalistes est liée à la redondance naturelle de l'humain. Notre démarche est focalisée principalement sur deux aspects : - le mouvement de la main dans l'espace opérationnel (trajectoire spatiale et profil temporel), - la coordination des différentes sous-chaînes cinématiques. Afin de caractériser le mouvement humain, nous avons mené une campagne de capture de mouvements pour des gestes d'atteinte contraignant la position et l'orientation de la main dans le plan horizontal. Ces acquisitions nous ont permis de connaître l'évolution spatiale et temporelle de la main dans l'espace de la tâche, en translation et en rotation. Ces données acquises couplées à une méthode de rejeu ont également permis d'analyser les relations intrinsèques qui lient l'espace de la tâche à l'espace articulaire du mannequin. Le schéma de génération automatique de mouvements réalistes est basé sur une pile de tâche avec une approche cinématique. L'hypothèse retenue pour simuler le geste est de suivre le chemin le plus court dans l'espace de la tâche tout en bornant le coût dans l'espace articulaire. Un ensemble de paramètres permet de régler le schéma. Il en résulte une cartographie de réglages qui permet de simuler une classe de mouvements réalistes. Enfin, ce schéma de génération automatique de mouvements réalistes est validé par une comparaison quantitative et qualitative entre la simulation et le geste humain. / The simulation of human movement is an active theme of research, particularly in ergonomic analysis to aid in the design of workstations. The aim of this thesis concerns the automatic generation of reaching tasks in the horizontal plane for a virtual humanoid. An objective expressed in the task space, requires coordination of all joints of the mannequin. The main difficulties encountered in the simulation of realistic movements is related to the natural redundancy of the human. Our approach is focused mainly on two aspects: - Motion of the hand's operator in the task space (spatial and temporal aspect), - Coordination of all kinematic chains. To characterize human movement, we conducted a set of motion capture with position and orientation constraints of the hand in the horizontal plane. These acquisitions allowed to know the spatial and temporal evolution of the hand in the task space, for translation and rotation aspects. These acquired data were coupled with a playback method to analyze the intrinsic relations that link the task space to joint space of the model. The automatic generation scheme of realistic motion is based on a stack of task with a kinematic approach. The assumption used to simulate the action is to follow the shortest path in the task space while limiting the cost in the joint space. The scheme is characterized by a set of parameters. A global map of parameter adjustment enables the simulation of a class of realistic movements. Finally, this scheme is validated quantitatively and qualitatively with comparison between the simulation and the human gesture.

Le travail de recherche présenté dans ce mémoire concerne la simulation cinématique du mouvement d'entrée dans un véhicule automobile. Plus spécialement, il vise à simuler le mouvement d'entrée des membres inférieurs et du tronc pour des sujets d'anthropométrie variable dans un habitacle fixe. La démarche proposée pour résoudre ce problème complexe se décline en 4 étapes. La première étape consiste à construire une base de mouvements « cohérents ». Pour cela, les angles articulaires estimés lors de l'entrée dans un véhicule sont corrigés de façon à faire suivre aux pieds, après reconstruction du mouvement, leurs trajectoires expérimentales. Dans la seconde étape, les mouvements d'entrée dans un véhicule automobile sont analysés afin d'identifier et de caractériser des classes de mouvements. Chaque classe est alors représentée par un sujet caractéristique. La troisième étape exploite cette connaissance sur le mouvement afin de modéliser une « partie » du mouvement à simuler. Cette partie regroupe les trajectoires tridimensionnelles des pieds et du centre de masse du tronc, ainsi que l'orientation spatiale du tronc qui peuvent ainsi être simulées pour un nouveau sujet. Enfin, sur cette base, la dernière étape consiste à déterminer par cinématique inverse l'évolution des angles articulaires permettant l'animation du modèle squelettique.<br />Des mouvements d'entrée dans un véhicule automobile ont été simulés pour les sujets caractéristiques et d'autres sujets de la base de mouvements. La comparaison avec les mouvements mesurés montre une bonne similarité, qui néanmoins se dégrade avec l'éloignement du sujet par rapport au sujet caractéristique. Des simulations de sujets fictifs montrent enfin les limites de l'outil développé.<br />Ce travail ouvre de nombreuses perspectives de recherche allant de l'amélioration du modèle squelettique de l'homme à la prise en compte de la dynamique pour estimer l'inconfort d'un mouvement généré par la simulation.

Le travail de recherche présenté dans ce mémoire de thèse est dédié à l'analyse et à l'interprétation du mouvement humain avec application à la reconnaissance de postures. L'analyse et l'interprétation du mouvement humain en vision par ordinateur ont de nombreux domaines d'applications tels que la vidéosurveillance, les applications de réalité mixte et les interfaces homme-machine avancées. Nous proposons ici un système temps-réel permettant une analyse et une interprétation du mouvement humain.<br /><br />L'analyse du mouvement humain fait intervenir plusieurs processus de traitement d'images tels que la segmentation d'objets en mouvement, le suivi temporel, la détection de peau, les modèles de corps humain et la reconnaissance d'actions ou de postures. Nous proposons une méthode de suivi temporel en deux étapes permettant de suivre au cours du temps une ou plusieurs personnes même si elles s'occultent entre elles. Cette méthode est basée sur un calcul d'intersection de boîtes englobantes rectangulaires et sur un filtrage partiel de Kalman. Puis nous explicitons une méthode de détection de peau par une approche couleur afin de localiser leurs visages et leurs mains. Toutes ces étapes préliminaires donnent accès à de nombreuses informations bas-niveau. Dans une dernière partie, nous utilisons une partie de ces informations pour reconnaître les postures statiques de personnes parmi les quatre postures suivantes: debout, assis, accroupi et couché. De nombreux résultats illustrent les avantages et les limitations des méthodes proposées, ainsi que leur efficacité et robustesse.

Les travaux présentés dans ce mémoire concernent la génération automatique de postures et mouvements humains sur poste de travail industriel. L'objectif poursuivi est d'animer de façon réaliste un mannequin numérique a n de simuler un opérateur dans l'exécution de sa tâche. Cette animation doit permettre d'aider à l'analyse des facteurs biomécaniques pouvant engendrer des Troubles Musculo-Squelettiques. Dans un premier temps, des choix de modélisation sont proposés en fonction de ce contexte spécifique. Le modèle retenu se base sur une représentation squelettique du haut du corps composé de corps rigides et de liaisons idéales et intègre des données anthropométriques. Ensuite, un schéma général de lois de commande à base de modèle cinématique est développé. Il est décliné en plusieurs stratégies qui sont testées sur des mouvements caractéristiques et sur poste de travail. Ces tests et la comparaison aux mesures effectuées sur sujet humain permettent d'évaluer les performances du schéma de commande et les choix réalisés. Ces travaux ont donné naissance à un outil logiciel, baptisé OLARGE-TMS, de simulation de mouvement humain sur poste de travail.

Thèse (D. en psychologie)--Université du Québec à Montréal, 2005. / En tête du titre: Université du Québec à Montréal. Comprend des réf. bibliogr. Publié aussi en version électronique.

La rééducation neuromotrice est un des nouveaux champs d'application de la robotique en interaction physique. Dans ce domaine, on cherche à concevoir des machines pouvant assister les mouvements de patients atteints de troubles neuromoteurs dans la réalisation d'exercices physiques. Un des enjeux importants est de pouvoir proposer des machines capables de maîtriser des efforts mécaniques distribués le long des membres du patient durant les mouvements. Ceci a conduit la communauté à travailler au développement de structure exosquelettiques. L'essentiel des recherches en cours est focalisé sur les aspects cinématiques plus que sur le problème des transmissions d'efforts. C'est au contraire à ces aspects cruciaux qu'est consacrée la présente thèse. Pour améliorer la qualité du contrôle des efforts dans la mise en oeuvre des exosquelettes robotiques, les principales contributions se situent dans les domaines de la conception et de la commande. S'agissant de la conception, nous avons exploité des résultats existants dans la littérature pour la structure mécanique et la mécatronique d'actionnement, en utilisant l'exosquelette réversible ABLE conçu au CEA LIST. Partant de ce modèle, représentatif de l'existant, nous avons travaillé sur le problème du couplage mécanique entre le robot et le bras. Ce travail a permis de proposer une méthode générale pour synthétiser des mécanismes de fixation articulés passifs entre un exosquelette et un membre humain. Les fixations ainsi conçues garantissent l'isostaticité globale de l'ensemble. L'étude théorique générale est appliquée à ABLE, montrant une amélioration nette de la qualité de l'interaction. S'agissant de la commande, nous avons déployé une commande en efforts multi-contacts, ce qui constitue en soit une originalité, puis proposé de faciliter l'accompagnement des mouvements du sujet en exploitant une anticipation de trajectoire, grâce à un contrôleur mixte force/position. Là encore, l'apport expérimental évalué sur l'exosquelette ABLE est probant. Un dernier résultat important de la thèse concerne l'évaluation de la qualité de l'interaction homme-exosquelette dans des tâches de comanipulation. En effet, pour pouvoir quantifier l'apport des différentes propositions dans le domaine de la conception et de la commande, nous avons dû établir une méthode permettant d'étudier de manière reproductible l'interaction physique homme-robot, en analysant simultanément les efforts et la cinématique des gestes.

Lors de l'analyse 3D du mouvement humain basée sur des marqueurs cutanés, la position des os ne peut être qu'indirectement estimée. Au cours d'une tâche, les déformations des tissus mous génèrent des déplacements des marqueurs par rapport à l'os : les artefacts de tissus mous (STA), entraînant des effets dévastateurs sur l'estimation de la position. La compensation des STA demeure une question ouverte. L'objectif de cette thèse est de contribuer à la solution de cette question cruciale. La modélisation des STA en utilisant des variables spécifiques mesurables est une condition préalable à son élimination. Un modèle corrigeant les trajectoires individuelles de marqueurs de la cuisse, calibré par des mesures directes des STA, est d'abord présenté. Les STA sont modélisés comme une combinaison linéaire des angles articulaires impliqués. Trois représentations des STA par une série de modes sont proposées : déplacements de marqueurs individuels, transformations géométriques de clusters de marqueurs (MCGT), et variations de forme de l'enveloppe de peau. Le MCGT permet de dissocier les composantes rigides et non rigides. Il a été démontré que seule la composante rigide affecte la cinématique articulaire. Un modèle de cette composante est alors défini pour les clusters cuisse et jambe. Un compromis acceptable entre la correction des STA et le nombre de paramètres a ainsi été obtenu. Les principales applications sont de générer une simulation réaliste des STA ; et surtout, en se concentrant sur la composante rigide, le modèle permet une reconstruction satisfaisante des STA avec moins de paramètres, ce qui facilite son incorporation dans un algorithme d'estimation de la position osseuse / In 3D human movement analysis performed using stereophotogrammetry and skin markers, bone pose can be only indirectly estimated. During a task, soft tissue deformations make the markers move with respect to the underlying bone generating soft tissue artefacts (STA), causing devastating effects on pose estimation and its compensation remains an open issue. The thesis’ aim was to contribute to the solution of this crucial issue. Modelling STA using measurable trial-specific variables is a prerequisite for its removal from marker trajectories. Two STA model architectures are proposed. A thigh marker-level model is first presented. STA was modeled as a linear combination of joint angles involved in the task. The model was calibrated with direct STA measures. The considerable number of model parameters led to defining STA approximations. Three definitions were proposed to represent STA as series of modes : individual marker displacements, marker-cluster geometrical transformations (MCGT), and skin envelope shape variations. Modes were selected using two criteria : modal energy and selecting them a priori. The MCGT allows to select either rigid or non-rigid components. It was also demonstrated that only the rigid component affects joint kinematics. A model of thigh and shank rigid component at cluster-level was then defined. An acceptable trade-off between STA compensation and number of parameters was obtained. These results lead to two main potential applications : generate realistic STAs for simulation