Travail organisé autour du thème de la vision tridimensionnelle. Le problème de la modélisation automatique d'objets est abordé, ainsi que celui de la collaboration d'un capteur 3D et d'un capteur 2D. Cette modélisation est effectué en 3 temps : acquisition d'une image 3D grâce a un capteur réalisé au cours de ce travail : obtention de modèles partiels grâce a un procédé de segmentation d'images 3D : obtention de modèles complets grâce à une unité de génération d'hypothèses de correspondances 3D et à une unité de fusion de modèles partiels

Les méthodes modernes d'entraînement utilisent des appareillages spécifiques appelés ergomètres sur lesquels, en particulier, des programmes d'entraînement et d'évaluation sont proposés par les entraîneurs. De tels dispositifs favorisent la continuité d'un entraînement pendant les périodes peu favorables à une pratique sportive. De même, lorsque ces outils sont instrumentés, ils apportent à l'entraîneur des informations difficilement accessibles en situation réelle de pratique. Ce travail s'inscrit dans cette problématique scientifique dont l'objet est la conception d'un ergomètre pour la pratique du kayak en ligne. Les travaux réalisés ont conduit à la conception d'un ergomètre kayak capable de reproduire les conditions d'une pratique écologique aussi précisément que possible tant d'un point de vue de la gestuelle (cinématique) que des efforts générés (dynamique) d'une part, de proposer et de valider une instrumentation afin de recueillir l'ensemble des efforts d'interaction kayakiste/ergomètre, d'autre part. De plus, cette instrumentation doit être suffisamment exigeante en termes de poids et d'encombrement pour être installée dans un kayak K1 pour réaliser des mesures in situ. Les moyens mis en œuvre donnent accès aux variables biomécaniques permettant de quantifier les éléments de base de la technique de pagayage qui constituent l'ensemble des facteurs déterminants de la performance (force, endurance, technique, etc.). Scientifiques et entraineurs ont ainsi à leur disposition un outil pour une évaluation objective des performances du kayakiste. Ce travail a été réalisé dans le cadre d'une collaboration entre l'axe RoBioss, le CAIPS et la société SENSIX. / The modern training methods developed during the last 20 years involve specific equipments named ergometer. These devices allow semi-specific training sessions on a sheltered environment to develop strength during unfavorable periods of in situ practice. They are also more and more used by coaches to evaluate athlete’s skills and aptitudes. Ergometers provide numerical information that cannot be easily measured during in situ sessions. This work is a significant contribution of the following scientific problems; firstly the design of a flat-water kayak ergometer that reproduces accurately on-water conditions, both kinematics and forces generated (dynamic) during the throughout the whole kayaking cycle, secondly, to propose and validate an instrumentation to collect every dynamic interactions between the ergometer and kayaker (hands, seat, feet). In addition, this instrumentation must be design in terms of weight, size and watertightness to be installed in a kayak K1 for in situ measurements. This instrumentation quantifies the basic biomechanics parameters of the kayaking performance such as external forces, endurance, technique, etc. As a result, researchers and coaches will be able to evaluate kayakers’ performance using an unbiased device. This work was conducted as part of a scientific collaboration between the RoBioSS research team, CAIPS and SENSIX compagny.

Cette thèse a pour but d'améliorer la tâche de reconnaître des gestes de main en utilisant des techniques d'apprentissage par ordinateur et de traitement du signal. Les principales contributions de la thèse sont dédiés à la théorie de l'apprentissage par ordinateur et à l'interaction homme-machine. L'objectif étant d'implanter toutes méthodes en temps réel, toute méthode employé au cours de cette thèse était un compromis entre puissance et temps de calcul nécessaire.Plusieurs pistes ont été poursuivi : au début, la fusion des informations fournies par plusieurs capteurs tu type « time-of-flight » a été étudiée, dans le but d'améliorer le taux de reconnaissances correctes par rapport au cas avec un seul capteur. En particulier, l'impact des différentes caractéristiques calculés à partir d'une nuage de points, et de ses paramètres, a été évalué. Egalement, la performance des réseaux multi-couches (MLP) à été comparé avec celle d'un séparateur à vaste marge (SVM).En s'appuyant sur ces résultats, l'implantation du système dans une voiture a eté effectuée. Tout d'abord, nous avons montré que le système n'est pas du tout gêné par le fait d'être exposé aux conditions d'éclairage « outdoor ». L'extension de la base d'entraînement et une modification des caractéristiques calculé de la nuage des points a pu augmenter le taux de bonnes reconnaissances de façon très significative, ainsi que le rajout des mesures de confiance à la classification.Afin d'améliorer la performance des classifieurs à la base des réseaux multi-couche (MLP), une nouvelle méthode assez simple a été mise au point ensuite. Cette méthode met au profit des informations déjà présentes dans la dernière couche du réseau. En combinant cette nouvelle approche avec une technique de fusion, le taux de bonnes reconnaissances est amélioré, et surtout pour le cas des échantillons « difficiles ». Ces résultats ont été analysés et comparés de façon approfondie en comparant des différentes possibilités de fusion dans un tel contexte. L'exploitation du fait que les données traitées dont des séquences, et qu'il y a par conséquent une cohérence temporelle dans des échantillons successifs, a également été abordée un utilisant les mêmes techniques de fusion. Un système de « infotainment » implanté sur un smartphone, qui utilise les techniques décrites ici, a également été réalisé.Dans un dernier temps, un modèle simplifié de la reconnaissance des gestes dynamiques a été proposé et validé dans un contexte applicatif. Il a été montré que un geste peut être défini de façon assez robuste par une pose initiale et une pose finale, qui sont classé par le système décrit ci-dessus. / This thesis aims at improving the complex task of hand gesture recognition by utilizing machine learning techniques to learn from features calculated from 3D point cloud data. The main contributions of this work are embedded in the domains of machine learning and in the human-machine interaction. Since the goal is to demonstrate that a robust real-time capable system can be set up which provides a supportive means of interaction, the methods researched have to be light-weight in the sense that descriptivity balances itself with the calculation overhead needed to, in fact, remain real-time capable. To this end several approaches were tested:Initially the fusion of multiple ToF-sensors to improve the overall recognition rate was researched. It is examined, how employing more than one sensor can significantly boost recognition results in especially difficult cases and get a first grasp on the influence of the descriptors for this task as well as the influence of the choice of parameters on the calculation of the descriptor. The performance of MLPs with standard parameters is compared with the performance of SVMs for which the parameters have been obtained via grid search.Building on these results, the integration of the system into the car interior is shown. It is demonstrated how such a system can easily be integrated into an outdoor environment subject to strongly varying lighting conditions without the need for tedious calibration procedures. Furthermore the introduction of a modified light-weight version of the descriptor coupled with an extended database significantly boosts the frame rate for the whole recognition pipeline. Lastly the introduction of confidence measures for the output of the MLPs allows for more stable classification results and gives an insight on the innate challenges of this multiclass problem in general.In order to improve the classification performance of the MLPs without the need for sophisticated algorithm design or extensive parameter search a simple method is proposed which makes use of the existing recognition routines by exploiting information already present in the output neurons of the MLPs. A simple fusion technique is proposed which combines descriptor features with neuron confidences coming from a previously trained net and proves that augmented results can be achieved in nearly all cases for problem classes and individuals respectively.These findings are analyzed in-depth on a more theoretical scale by comparing the effectiveness of learning solely on neural activities in the output layer with the previously introduced fusion approach. In order to take into account temporal information, the thesis describes a possible approach on how to exploit the fact that we are dealing with a problem within which data is processed in a sequential manner and therefore problem-specific information can be taken into account. This approach classifies a hand pose by fusing descriptor features with neural activities coming from previous time steps and lays the ground work for the following section of making the transition towards dynamic hand gestures. Furthermore an infotainment system realized on a mobile device is introduced and coupled with the preprocessing and recognition module which in turn is integrated into an automotive setting demonstrating a possible testing environment for a gesture recognition system.In order to extend the developed system to allow for dynamic hand gesture interaction a simplified approach is proposed. This approach demonstrates that recognition of dynamic hand gesture sequences can be achieved with the simple definition of a starting and an ending pose based on a recognition module working with sufficient accuracy and even allowing for relaxed restrictions in terms of defining the parameters for such a sequence.

Pour assurer la navigation autonome d’un robot mobile, les traitements effectués pour sa localisation doivent être faits en ligne et doivent garantir une précision suffisante pour permettre au robot d’effectuer des tâches de haut niveau pour la navigation et l’évitement d’obstacles. Les auteurs de travaux basés sur le SLAM visuel (Simultaneous Localization And Mapping) tentent depuis quelques années de garantir le meilleur compromis rapidité/précision. La majorité des solutions SLAM visuel existantes sont basées sur une représentation éparse de l’environnement. En suivant des primitives visuelles sur plusieurs images, il est possible d’estimer la position 3D de ces primitives ainsi que les poses de la caméra. La communauté du SLAM visuel a concentré ses efforts sur l’augmentation du nombre de primitives visuelles suivies et sur l’ajustement de la carte 3D, afin d’améliorer l’estimation de la trajectoire de la caméra et les positions 3D des primitives. Cependant, la localisation par SLAM visuel présente souvent des dérives dues au cumul d’erreurs, et dans le cas du SLAM visuel monoculaire, la position de la caméra n’est connue qu’à un facteur d’échelle près. Ce dernier peut être fixé initialement mais dérive au cours du temps. Pour faire face à ces limitations, nous avons centré nos travaux de thèse sur la problématique suivante : intégrer des informations supplémentaires dans un algorithme de SLAM visuel monoculaire afin de mieux contraindre la trajectoire de la caméra et la reconstruction 3D. Ces contraintes ne doivent pas détériorer les performances calculatoires de l’algorithme initial et leur absence ne doit pas mettre l’algorithme en échec. C’est pour cela que nous avons choisi d’intégrer l’information de profondeur fournie par un capteur 3D (e.g. Microsoft Kinect) et des informations géométriques sur la structure de la scène. La première contribution de cette thèse est de modifier l’algorithme SLAM visuel monoculaire proposé par Mouragnon et al. (2006b) pour prendre en compte la mesure de profondeur fournie par un capteur 3D, en proposant particulièrement un ajustement de faisceaux qui combine, d’une manière simple, des informations visuelles et des informations de profondeur. La deuxième contribution est de proposer une nouvelle fonction de coût du même ajustement de faisceaux qui intègre, en plus des contraintes sur les profondeurs des points, des contraintes géométriques d’appartenance aux plans de la scène. Les solutions proposées ont été validées sur des séquences de synthèse et sur des séquences réelles, représentant des environnements variés. Ces solutions ont été comparées aux récentes méthodes de l’état de l’art. Les résultats obtenus montrent que les différentes contraintes développées permettent d’améliorer significativement la précision de la localisation du SLAM. De plus les solutions proposées sont faciles à déployer et peu couteuses en temps de calcul. / To guarantee autonomous and safely navigation for a mobile robot, the processing achieved for its localization must be fast and accurate enough to enable the robot to perform high-level tasks for navigation and obstacle avoidance. The authors of Simultaneous Localization And Mapping (SLAM) based works, are trying since year, to ensure the speed/accuracy trade-off. Most existing works in the field of monocular (SLAM) has largely centered around sparse feature-based representations of the environment. By tracking salient image points across many frames of video, both the positions of the features and the motion of the camera can be inferred live. Within the visual SLAM community, there has been a focus on both increasing the number of features that can be tracked across an image and efficiently managing and adjusting this map of features in order to improve camera trajectory and feature location accuracy. However, visual SLAM suffers from some limitations. Indeed, with a single camera and without any assumptions or prior knowledge about the camera environment, rotation can be retrieved, but the translation is up to scale. Furthermore, visual monocular SLAM is an incremental process prone to small drifts in both pose measurement and scale, which when integrated over time, become increasingly significant over large distances. To cope with these limitations, we have centered our work around the following issues : integrate additional information into an existing monocular visual SLAM system, in order to constrain the camera localization and the mapping points. Provided that the high speed of the initial SLAM process is kept and the lack of these added constraints should not give rise to the failure of the process. For these last reasons, we have chosen to integrate the depth information provided by a 3D sensor (e.g. Microsoft Kinect) and geometric information about scene structure. The primary contribution of this work consists of modifying the SLAM algorithm proposed by Mouragnon et al. (2006b) to take into account the depth measurement provided by a 3D sensor. This consists of several rather straightforward changes, but also on a way to combine the depth and visual data in the bundle adjustment process. The second contribution is to propose a solution that uses, in addition to the depth and visual data, the constraints lying on points belonging to the plans of the scene. The proposed solutions have been validated on a synthetic sequences as well as on a real sequences, which depict various environments. These solutions have been compared to the state of art methods. The performances obtained with the previous solutions demonstrate that the additional constraints developed, improves significantly the accuracy and the robustness of the SLAM localization. Furthermore, these solutions are easy to roll out and not much time consuming.