Un nombre croissant de systèmes d'analyse tridimensionnelle du mouvement sont utilisés dans des domaines aussi variés que l'ergonomie, l'entraînement sportif ou encore l'évaluation médicale. Cependant, de réelles difficultés persistent quant à l'intégration des résultats numériques de ces systèmes dans le processus de prise de décision. L'objet de ce travail est de proposer une méthodologie permettant une étude rigoureuse d'un mouvement et une intégration des résultats numériques au processus de prise de décision. Cette méthodologie est ensuite appliquée à la marche du sujet hémiplégique. Ce mémoire développe la méthodologie et son application en cinq chapitres. Une synthèse des principales difficultés à franchir tant au niveau humain que matériel pour une contribution effective de l'analyse tridimensionnelle du mouvement au processus de prise de décision est réalisée. A ceci s'ajoute une présentation des principales contraintes et finalités communes à l'analyse du mouvement (chapitre I). La proposition méthodologique est constituée de cinq étapes : 1) l'élaboration de la base de connaissances indispensables, 2) l'identification des indicateurs qualifiés à mesurer, 3) l'élaboration de leurs conditions d'enregistrement, 4) la définition des pré-traitements et de la mise en forme des données et 5) la définition des modalités de présentation et d'accès aux informations (chapitre II). La méthode est ensuite appliquée à l'analyse de la marche du sujet hémiplégique dans la perspective d'en améliorer l'évaluation fonctionnelle (chapitre III). La méthodologie proposée a permis de mettre en évidence les lacunes de la démarche d'analyse généralement appliquées. Elle a également permis de définir les principes de fonctionnement et la maquette d'une interface graphique d'aide à l'évaluation fonctionnelle de la marche du sujet hémiplégique (chapitre IV). Enfin, un bilan de l'ensemble de ce travail de thèse et des perspectives qui s'en dégagent est réalisé (chapitre V). L'élaboration d'une méthodologie générale d'analyse du mouvement humain qui regroupe toutes les étapes d'analyse, du recueil d'informations jusqu'à leur présentation, adaptée à l'utilisateur des résultats, permet donc des applications dans des domaines très variés.

Je présenterai mes activités de recherche en vision par ordinateur effectuées au sein des équipes MOVI et LEAR du laboratoire GRAVIR depuis l'année 2000, sur l'estimation de la pose et du mouvement articulaire humain à partir d'images monoculaires, et sur d'autres sujets liés au traitement d'image, à la vision géométrique et à l'apprentissage statistique. Les travaux sur le mouvement humain se divisent en trois parties : l'approche par modélisation 3-D explicite, où notre contribution porte sur l'optimisation non-convexe de la pose ; l'approche 2-D où nous contribuons un détecteur de personnes et un modèle dynamique du mouvement ; et une approche 3-D par apprentissage, sans modèle explicite.

Face aux limites auxquelles doivent faire face les systèmes optoélectroniques (matériel lourd, champ de mesure limité), les capteurs inertiels constituent une alternative prometteuse pour la mesure du mouvement humain. Grâce aux dernières avancées techniques, notamment en termes de miniaturisation des capteurs, leur utilisation en ambulatoire c’est-à-dire de façon autonome et embarquée est devenue possible. Mais ces opérations de miniaturisation ne sont pas sans effet sur les performances de ces capteurs. En effet, une telle mesure est dégradée par différents types de perturbations (stochastiques et déterministes) qui sont alors propagées au cours du processus dit de fusion des données visant à estimer l'orientation des segments humains. Classiquement, cette opération est réalisée à l'aide d'un filtre de Kalman dont le rôle est justement d'estimer une grandeur à partir d'une mesure bruitée en la confrontant à un modèle d'évolution.Dans ce contexte, nous proposons diverses méthodologies dans le but d'accéder à une mesure suffisamment précise pour être exploitée dans le cadre de l'analyse du mouvement humain. La première partie de cette thèse se focalise sur les capteurs. Tout d'abord, nous étudions les bruits de mesure issus des capteurs inertiels, puis nous leur attribuons un modèle afin de les prendre en compte au sein du filtre de Kalman. Ensuite, nous analysons les procédures de calibrage et évaluons leurs effets réels sur la mesure afin d'émettre quelques propositions en termes de compromis performance/facilité de réalisation.Dans une seconde partie, nous nous consacrons à l'algorithme de fusion des données. Après avoir proposé un filtre de Kalman adapté à la mesure du mouvement humain, nous nous focalisons sur un problème récurrent à ce stade : l'identification des matrices de covariance dont le rôle est d'attribuer une caractérisation globale aux erreurs de mesure. Cette méthode, basée sur une confrontation de la mesure avec une référence issue d'un système optoélectronique, met en évidence la nécessité de traiter ce problème rigoureusement.Dans une troisième partie, nous commençons à aborder les problèmes liés à l'utilisation des capteurs inertiels pour la mesure du mouvement humain, notamment le calibrage anatomique et le positionnement des capteurs.En conclusion, les gains apportés par les diverses propositions avancées dans cette thèse sont évalués et discutés. / To face the limits of optoelectronic systems (heavy device, restricted measurement field), inertial sensors are a promising alternative for human motion analysis. Thanks to the latest technical advancements like sensor miniaturization, they can now work autonomously which makes possible to directly embed them on the human segments. But, as a counterpart of these developments, inertial sensor measurement still suffers from both stochastic and deterministic perturbations. The induced errors then propagate over the so-called fusion algorithm used to estimate human segment orientation. A common tool to perform such an operation is the Kalman filter that estimates unknown variables by correcting noisy measurements by the use of a dynamic model.With the aim of achieving a sufficiently accurate measurement to perform human motion analysis, various methodologies are proposed in the present work. The first part of this thesis focuses on the sensors. First, inertial sensor noises are studied and modeled in order to be integrated into the Kalman filter. Calibration processes as their effects over the measurement are for that purposed analyzed. Some recommendations are thus proposed to reach a compromise between calibration performance and complexity.In a second part, the data fusion algorithm is approached. A specific Kalman filter dedicated to human motion measurement is first proposed. Then, a recurrent problem is studied in details: the definition of the covariance matrix that represents a globalcharacterization of the measurement errors. Considering an optoelectronic system as a reference to compare inertial measurement, a method is proposed for this covariance matrix identification, which also highlights the need to address this problem rigorously.In a third part, we begin to address the use of inertial sensors for human motion analysis by focusing on models and IMU-to-segment calibration.To conclude, the benefits made by the proposed methodologies are evaluated and discussed.

L'objectif de ce travail est de développer des méthodes avancées d'apprentissage pour l’analyse et l'interprétation automatique du mouvement humain à partir de sources d'information diverses, telles que les images, les vidéos, les cartes de profondeur, les données de type “MoCap” (capture de mouvement), les signaux audio et les données issues de capteurs inertiels. A cet effet, nous proposons plusieurs modèles neuronaux et des algorithmes d’entrainement associés pour l’apprentissage supervisé et semi-supervisé de caractéristiques. Nous proposons des approches de modélisation des dépendances temporelles, et nous montrons leur efficacité sur un ensemble de tâches fondamentales, comprenant la détection, la classification, l’estimation de paramètres et la vérification des utilisateurs (la biométrie). En explorant différentes stratégies de fusion, nous montrons que la fusion des modalités à plusieurs échelles spatiales et temporelles conduit à une augmentation significative des taux de reconnaissance, ce qui permet au modèle de compenser les erreurs des classifieurs individuels et le bruit dans les différents canaux. En outre, la technique proposée assure la robustesse du classifieur face à la perte éventuelle d’un ou de plusieurs canaux. Dans un deuxième temps nous abordons le problème de l’estimation de la posture de la main en présentant une nouvelle méthode de régression à partir d’images de profondeur. Dernièrement, dans le cadre d’un projet séparé (mais lié thématiquement), nous explorons des modèles temporels pour l'authentification automatique des utilisateurs de smartphones à partir de leurs habitudes de tenir, de bouger et de déplacer leurs téléphones. Dans ce contexte, les données sont acquises par des capteurs inertiels embraqués dans les appareils mobiles. / The research goal of this work is to develop learning methods advancing automatic analysis and interpreting of human motion from different perspectives and based on various sources of information, such as images, video, depth, mocap data, audio and inertial sensors. For this purpose, we propose a several deep neural models and associated training algorithms for supervised classification and semi-supervised feature learning, as well as modelling of temporal dependencies, and show their efficiency on a set of fundamental tasks, including detection, classification, parameter estimation and user verification. First, we present a method for human action and gesture spotting and classification based on multi-scale and multi-modal deep learning from visual signals (such as video, depth and mocap data). Key to our technique is a training strategy which exploits, first, careful initialization of individual modalities and, second, gradual fusion involving random dropping of separate channels (dubbed ModDrop) for learning cross-modality correlations while preserving uniqueness of each modality-specific representation. Moving forward, from 1 to N mapping to continuous evaluation of gesture parameters, we address the problem of hand pose estimation and present a new method for regression on depth images, based on semi-supervised learning using convolutional deep neural networks, where raw depth data is fused with an intermediate representation in the form of a segmentation of the hand into parts. In separate but related work, we explore convolutional temporal models for human authentication based on their motion patterns. In this project, the data is captured by inertial sensors (such as accelerometers and gyroscopes) built in mobile devices. We propose an optimized shift-invariant dense convolutional mechanism and incorporate the discriminatively-trained dynamic features in a probabilistic generative framework taking into account temporal characteristics. Our results demonstrate, that human kinematics convey important information about user identity and can serve as a valuable component of multi-modal authentication systems.

La rééducation neuromotrice est un des nouveaux champs d'application de la robotique en interaction physique. Dans ce domaine, on cherche à concevoir des machines pouvant assister les mouvements de patients atteints de troubles neuromoteurs dans la réalisation d'exercices physiques. Un des enjeux importants est de pouvoir proposer des machines capables de maîtriser des efforts mécaniques distribués le long des membres du patient durant les mouvements. Ceci a conduit la communauté à travailler au développement de structure exosquelettiques. L'essentiel des recherches en cours est focalisé sur les aspects cinématiques plus que sur le problème des transmissions d'efforts. C'est au contraire à ces aspects cruciaux qu'est consacrée la présente thèse. Pour améliorer la qualité du contrôle des efforts dans la mise en oeuvre des exosquelettes robotiques, les principales contributions se situent dans les domaines de la conception et de la commande. S'agissant de la conception, nous avons exploité des résultats existants dans la littérature pour la structure mécanique et la mécatronique d'actionnement, en utilisant l'exosquelette réversible ABLE conçu au CEA LIST. Partant de ce modèle, représentatif de l'existant, nous avons travaillé sur le problème du couplage mécanique entre le robot et le bras. Ce travail a permis de proposer une méthode générale pour synthétiser des mécanismes de fixation articulés passifs entre un exosquelette et un membre humain. Les fixations ainsi conçues garantissent l'isostaticité globale de l'ensemble. L'étude théorique générale est appliquée à ABLE, montrant une amélioration nette de la qualité de l'interaction. S'agissant de la commande, nous avons déployé une commande en efforts multi-contacts, ce qui constitue en soit une originalité, puis proposé de faciliter l'accompagnement des mouvements du sujet en exploitant une anticipation de trajectoire, grâce à un contrôleur mixte force/position. Là encore, l'apport expérimental évalué sur l'exosquelette ABLE est probant. Un dernier résultat important de la thèse concerne l'évaluation de la qualité de l'interaction homme-exosquelette dans des tâches de comanipulation. En effet, pour pouvoir quantifier l'apport des différentes propositions dans le domaine de la conception et de la commande, nous avons dû établir une méthode permettant d'étudier de manière reproductible l'interaction physique homme-robot, en analysant simultanément les efforts et la cinématique des gestes.

Lors de l'analyse 3D du mouvement humain basée sur des marqueurs cutanés, la position des os ne peut être qu'indirectement estimée. Au cours d'une tâche, les déformations des tissus mous génèrent des déplacements des marqueurs par rapport à l'os : les artefacts de tissus mous (STA), entraînant des effets dévastateurs sur l'estimation de la position. La compensation des STA demeure une question ouverte. L'objectif de cette thèse est de contribuer à la solution de cette question cruciale. La modélisation des STA en utilisant des variables spécifiques mesurables est une condition préalable à son élimination. Un modèle corrigeant les trajectoires individuelles de marqueurs de la cuisse, calibré par des mesures directes des STA, est d'abord présenté. Les STA sont modélisés comme une combinaison linéaire des angles articulaires impliqués. Trois représentations des STA par une série de modes sont proposées : déplacements de marqueurs individuels, transformations géométriques de clusters de marqueurs (MCGT), et variations de forme de l'enveloppe de peau. Le MCGT permet de dissocier les composantes rigides et non rigides. Il a été démontré que seule la composante rigide affecte la cinématique articulaire. Un modèle de cette composante est alors défini pour les clusters cuisse et jambe. Un compromis acceptable entre la correction des STA et le nombre de paramètres a ainsi été obtenu. Les principales applications sont de générer une simulation réaliste des STA ; et surtout, en se concentrant sur la composante rigide, le modèle permet une reconstruction satisfaisante des STA avec moins de paramètres, ce qui facilite son incorporation dans un algorithme d'estimation de la position osseuse / In 3D human movement analysis performed using stereophotogrammetry and skin markers, bone pose can be only indirectly estimated. During a task, soft tissue deformations make the markers move with respect to the underlying bone generating soft tissue artefacts (STA), causing devastating effects on pose estimation and its compensation remains an open issue. The thesis’ aim was to contribute to the solution of this crucial issue. Modelling STA using measurable trial-specific variables is a prerequisite for its removal from marker trajectories. Two STA model architectures are proposed. A thigh marker-level model is first presented. STA was modeled as a linear combination of joint angles involved in the task. The model was calibrated with direct STA measures. The considerable number of model parameters led to defining STA approximations. Three definitions were proposed to represent STA as series of modes : individual marker displacements, marker-cluster geometrical transformations (MCGT), and skin envelope shape variations. Modes were selected using two criteria : modal energy and selecting them a priori. The MCGT allows to select either rigid or non-rigid components. It was also demonstrated that only the rigid component affects joint kinematics. A model of thigh and shank rigid component at cluster-level was then defined. An acceptable trade-off between STA compensation and number of parameters was obtained. These results lead to two main potential applications : generate realistic STAs for simulation