Cette thèse présente des nouvelles approches de modélisation, de tracking et de commande des robots parallèles en utilisant des droites. Un robot parallèle est composé de plusieurs chaînes cinématiques fermées. Par conséquent, un fort couplage de comportement apparait durant le mouvement du robot. La géométrie (squelette) d’un robot parallèle peut être définie en considérant les jambes de ce robot comme des droites 3D. C’est ainsi que la modélisation, le suivi visuel et la commande d’un robot parallèle devient plus simple et que sa représentation géométrique et physique est plus intuitive. Le point commun des méthodes proposées est l’observation des orientations 3D des jambes avec précision et à des grandes vitesses. Cela permet de commander les robots parallèles rapides avec précision. Pour la modélisation cinématique et dynamique des robots parallèles, nous avons développé une représentation basée sur les éléments cinématiques. Cette représentation rend la modélisation simple et immédiate. Les modèles obtenus sont basés sur les mesures des orientations des jambes et leurs vitesses. Par conséquent, nous avons ainsi proposé un observateur d’état dynamique à haute vitesse qui peut fournir les orientations des jambes et leurs vitesses. Cette procédure consiste à observer d’une manière séquentielle une portion de chaque jambe. Nous avons utilisé ces contours pour construire une consigne spatio-temporelle. Par conséquent, nous avons pu écrire des contraintes géométriques minimisées en une seule itération d’une tâche d’asservissement visuel virtuel. Ensuite, nous avons proposé une commande dynamique pour contrôler un robot parallèle dans différents espaces de commande. Ce qui nous a permis de mener des analyses pour identifier l’espace le plus adéquat pour réaliser une tâche spécifique. Ces nouvelles approches sont validées en simulation et, partiellement, en expérimentation. Les résultats obtenus sont satisfaisants et ouvrent des perspectives dans le domaine de la modélisation, du suivi visuel et de la commande des robots parallèles basé sur l’observation des jambes. / This thesis presents novel methods for modeling, tracking and control of parallel robots by means of lines. A parallel robot is composed of several closed-loop kinematic chains which cause a highly coupled-motion behavior. By treating the legs of a parallel robot as 3D lines and representing the geometry with a skeleton constructed from these 3D lines of the legs, the modeling, tracking and control of a parallel robot become geometrically and physically simpler and more intuitive. The common key point for the simplicity and accuracy of all these methods is the precise observation of the 3D orientation vectors of the legs at high speed. This is because of parallel robots are designed for high speed applications. Thus, we first developed a body-based linear scheme both for kinematic and dynamic modeling of parallel robots. This body-based linear modeling scheme is so simple such that one can work out all the equations even for the most complex parallel robot by pen and paper. The simplicity and feasibility of this modeling scheme are conditioned on that the 3D leg direction vectors and their velocities are known. Therefore, secondly we proposed a high-speed vision based dynamic state observer which can provide these 3D leg direction vectors of a parallel robot and their velocities at each sampling time. We achieved this by sequentially observing small portions of the legs in order to form a spatio-temporal reference signal and then by minimizing the constraints written from the geometric shapes of the legs in a single-iteration virtual visual servoing scheme. Afterwards, we constructed a versatile computed-torque control scheme which allows us to control the parallel robot for a given task in different control spaces. We defined this versatile control scheme so that we can analyse and then choose the best control space for better control of parallel robots for a given specific task. These proposed novel methods are validated by the first promising simulation and experimental results. Obtained results encourage us to explore more the modeling, tracking and control of parallel robots by means of lines.

La thèse traite du problème de la reconnaissance des gestes avec des accents particuliers orientés vers la modélisation des trajectoires de mouvement ainsi que vers l’estimation de la variabilité présente dans l’exécution gestuelle. Les gestes sont acquis dans un scénario typique pour la vision par ordinateur qui approche les particularités des surfaces interactives. On propose un modèle flexible pour les commandes gestuelles à partir d’une représentation par courbes splines et des analogies avec des éléments de la théorie d’élasticité de la physique classique. On utilise les propriétés du modèle pour la reconnaissance des gestes dans un contexte d’apprentissage supervisé. Pour adresser le problème de la variation présente dans l’exécution des gestes, on propose un modèle qui mesure dans une manière quantitative et objective les tendances locales que les utilisateurs sont tentés d'introduire dans leurs exécutions. On utilise ce modèle pour proposer une solution à un problème reconnu comme difficile dans la communauté : la segmentation automatique des trajectoires continues de mouvement et l’identification invariante a l’échelle des commands gestuelles. On démontre aussi l’efficacité du modèle pour effectuer des analyses de type ergonomique pour les dictionnaires de gestes. / We address in this thesis the problem of gesture recognition with specific focus on providing a flexible model for movement trajectories as well as for estimating the variation in execution that is inherently present when performing gestures. Gestures are captured in a computer vision scenario which approaches somewhat the specifics of interactive surfaces. We propose a flexible model for gesture commands based on a spline representation which is enhanced with elastic properties in a direct analogy with the theory of elasticity from classical physics. The model is further used for achieving gesture recognition in the context of supervised learning. In order to address the problem of variability in execution, we propose a model that measures objectively and quantitatively the local tendencies that users introduce in their executions. We make use of this model in order to address a problem that is considered hard by the community: automatic segmentation of continuous motion trajectories and scale invariant identification of gesture commands. We equally show the usefulness of our model for performing ergonomic analysis on gesture dictionaries.

Les réseaux de neurones multicouches ont été proposés pour la première fois il y a plus de trois décennies, et diverses architectures et paramétrages ont été explorés depuis. Récemment, les unités de traitement graphique ont permis une formation très efficace sur les réseaux neuronaux et ont permis de former des réseaux beaucoup plus grands sur des ensembles de données plus importants, ce qui a considérablement amélioré le rendement dans diverses tâches d'apprentissage supervisé. Cependant, la généralisation est encore loin du niveau humain, et il est difficile de comprendre sur quoi sont basées les décisions prises. Pour améliorer la généralisation et la compréhension, nous réexaminons les problèmes de paramétrage du poids dans les réseaux neuronaux profonds. Nous identifions les problèmes les plus importants, à notre avis, dans les architectures modernes : la profondeur du réseau, l'efficacité des paramètres et l'apprentissage de tâches multiples en même temps, et nous essayons de les aborder dans cette thèse. Nous commençons par l'un des problèmes fondamentaux de la vision par ordinateur, le patch matching, et proposons d'utiliser des réseaux neuronaux convolutifs de différentes architectures pour le résoudre, au lieu de descripteurs manuels. Ensuite, nous abordons la tâche de détection d'objets, où un réseau devrait apprendre simultanément à prédire à la fois la classe de l'objet et l'emplacement. Dans les deux tâches, nous constatons que le nombre de paramètres dans le réseau est le principal facteur déterminant sa performance, et nous explorons ce phénomène dans les réseaux résiduels. Nos résultats montrent que leur motivation initiale, la formation de réseaux plus profonds pour de meilleures représentations, ne tient pas entièrement, et des réseaux plus larges avec moins de couches peuvent être aussi efficaces que des réseaux plus profonds avec le même nombre de paramètres. Dans l'ensemble, nous présentons une étude approfondie sur les architectures et les paramétrages de poids, ainsi que sur les moyens de transférer les connaissances entre elles / Multilayer neural networks were first proposed more than three decades ago, and various architectures and parameterizations were explored since. Recently, graphics processing units enabled very efficient neural network training, and allowed training much larger networks on larger datasets, dramatically improving performance on various supervised learning tasks. However, the generalization is still far from human level, and it is difficult to understand on what the decisions made are based. To improve on generalization and understanding we revisit the problems of weight parameterizations in deep neural networks. We identify the most important, to our mind, problems in modern architectures: network depth, parameter efficiency, and learning multiple tasks at the same time, and try to address them in this thesis. We start with one of the core problems of computer vision, patch matching, and propose to use convolutional neural networks of various architectures to solve it, instead of manual hand-crafting descriptors. Then, we address the task of object detection, where a network should simultaneously learn to both predict class of the object and the location. In both tasks we find that the number of parameters in the network is the major factor determining it's performance, and explore this phenomena in residual networks. Our findings show that their original motivation, training deeper networks for better representations, does not fully hold, and wider networks with less layers can be as effective as deeper with the same number of parameters. Overall, we present an extensive study on architectures and weight parameterizations, and ways of transferring knowledge between them

L'analyse de la structure et du mouvement permet d'estimer la forme d'objets 3D et la position de la caméra à partir de photos ou de vidéos. Le plus souvent, elle est réalisée au moyen des étapes suivantes : 1) L'extraction de points d'intérêt, 2) La mise en correspondance des points d'intérêt entre les images à l'aide de descripteurs photométriques des voisinages de point, 3) Le filtrage des appariements produits à l'étape précédente afin de ne conserver que ceux compatibles avec une contrainte géométrique fixée, dont on peut alors calculer les paramètres. Cependant, la ressemblance photométrique seule utilisée en deuxième étape ne suffit pas quand plusieurs points ont la même apparence. Ensuite, la dernière étape est effectuée par un algorithme de filtrage robuste, Ransac, qui nécessite de fixer des seuils, ce qui se révèle être une opération délicate. Le point de départ de ce travail est l'approche A Contrario Ransac de Moisan et Stival, qui permet de s'abstraire des seuils. Ensuite, notre première contribution a consisté en l'élaboration d'un modèle a contrario qui réalise la mise en correspondance à l'aide de critères photométrique et géométrique, ainsi que le filtrage robuste en une seule étape. Cette méthode permet de mettre en correspondance des scènes contenant des motifs répétés, ce qui n'est pas possible par l'approche habituelle. Notre seconde contribution étend ce résultat aux forts changements de point de vue, en améliorant la méthode ASift de Morel et Yu. Elle permet d'obtenir des correspondances plus nombreuses et plus densément réparties, dans des scènes difficiles contenant des motifs répétés observés sous des angles très différents / The analysis of structure from motion allows one to estimate the shape of 3D objects and the position of the camera from pictures or videos. It usually follows these three steps: 1) Extracting points of interest, 2) Matching points of interest using photometric descriptors computed on point neighborhoods, 3) Filtering previous matches so as to retain only those compatible with a geometric constraint, whose parameters can then be computed. However, for the second step, the photometric criterion is not enough on its own when several points are alike. As for the third step, it uses the Ransac robust filtering scheme, which requires setting thresholds, and that can be a difficult task. This work is based on Moisan and Stival's A Contrario Ransac approach, which allows one to set thresholds automatically. After assessing that method, the first contribution was the elaboration an a contrario model, which simultaneously achieves robust filtering and matching through both geometric and photometric criteria. That method allows one to match scenes with repeated patterns, which is impossible with the usual approach. The second contribution extended that result to strong viewpoint changes, improving the ASift method. The matches obtained are both more numerous and more densely distributed, in scenes containing many repeated patterns seen from very different angles.

Les dernières décennies ont vu le développement important de la chirurgie mini-invasive. L'acte mini-invasif apporte de nombreux avantages pour les patients: séjour plus court à l'hôpital, réduction des coûts, un traumatisme réduit et la diminution des complications postopératoires. Dans ce contexte, l'assistance robotique est capable de rendre l'acte chirurgical plus intuitif et plus sûr pour les chirurgiens. Dans le domaine de la chirurgie cardiaque mini-invasive, les mouvements respiratoires et cardiaques sont deux sources de perturbations importantes pour les chirurgiens. Malgré l'existence de versions miniaturisées de stabilisateurs cardiaques mécaniques, le mouvement résiduel est encore considérable et doit être manuellement compensé par le chirurgien. Dans ces travaux de thèse, des techniques de suivi visuel pour l'estimation du mouvement 3D du coeur ont été développées. Pour la compensation active des mouvements physiologiques, seules les structures naturelles sur la surface du coeur sont utilisées. Deux contributions dans le domaine de la compensation des mouvements physiologiques pour la chirurgie cardiaque robotisée ont été proposées. La première est une méthode de suivi visuel 3D basée sur un modèle déformable de type ``plaque mince'' et une paramétrisation efficace pour le suivi 3D en images stéréo-endoscopiques. La seconde contribution est une méthode de suivi robuste qui prédit le mouvement futur du coeur pour contourner des problèmes comme les occlusions par les instruments chirurgicaux et les éventuelles réflexions spéculaires. La méthode de prédiction est basée sur une série de Fourier estimée à travers un filtre de Kalman étendu. / The past decades have witnessed the notable development of minimally invasive surgery (MIS). The benefits of this modality of surgery for patients are numerous, shortening convalescence, reducing trauma and surgery costs. In this context, robotic assistance aims to make the surgical act more intuitive and safer. In the domain of cardiac MIS, heartbeat and respiration represent two important sources of disturbances. Even though miniaturized versions of heart stabilizers have been conceived for the MIS scenario, residual motion is still considerable and has to be manually canceled by the surgeon. In this thesis, the focus is put on computer vision techniques for estimating the 3D motion of the heart relying solely on natural structures on the heart surface for active compensation of physiological motions. Two main contributions on the subject of motion compensation for robotized cardiac MIS are proposed. The first is a visual tracking method for estimating the 3D deformation of a region of interest on the heart surface. A thin-plate spline model is used for representing the heart surface deformations and a novel efficient parameterization for 3D tracking using stereo endoscopic images is proposed. The method is robust to illumination variations and large tissue deformations. The second contribution is a robust visual tracking method using motion prediction. A time-varying dual Fourier series for modeling the quasi-periodic beating heart motion is proposed. For estimating the parameters of the Fourier series, a probabilistic framework is based on the Extended Kalman filter (EKF) is used. The visual tracking method is integrated in the heart motion prediction framework, creating an unified framework for estimating the temporal motion and spatial deformation of the heart surface. Experimental results have shown the effectiveness of the proposed methods.

En imageant une scène à partir de différents points de vue, un champ de lumière permet de capturer de nombreuses informations sur la géométrie de la scène. Grâce aux récents progrès de ses dispositifs d’acquisition, l’imagerie par champs de lumière est devenue une alternative sérieuse à la capture de contenu 3D et à d’autres problèmes connexes. Le but de cette thèse est double. L'une des principales applications de l'imagerie par champs de lumière est sa capacité à produire de nouvelles vues à partir d'une capture unique. Dans une première partie, nous proposons de nouvelles techniques de rendu d’image dans deux cas qui s’écartent des cas usuels. Nous proposons d’abord un pipeline complet pour les caméras plénoptiques focalisées, traitant la calibration, l’estimation de profondeur et le rendu de l’image. Nous passons ensuite au problème de la synthèse des vues, nous cherchons à générer des vues intermédiaires à partir d’un ensemble de 4 vues seulement. La retouche d'image est une étape commune de la production de média. Pour les images et les vidéos 2D, de nombreux outils commerciaux existent. Cependant, le problème est plutôt inexploré pour les champs de lumière. Dans une seconde partie, nous proposons des techniques d’édition de champs de lumière à la fois nouvelles et efficaces. Nous proposons tout d’abord une nouvelle méthode de segmentation niveau pixel basée sur des graphes, qui à partir d’un ensemble limité d’entrées utilisateur, segmente simultanément toutes les vues d’un champ de lumière. Nous proposons ensuite une approche de segmentation automatique des champs de lumière qui utilise la puissance de calcul des GPUs. Cette approche diminue encore les besoins en calcul et nous étendons l'approche pour la segmentation de champs de lumières vidéo. / By imaging a scene from different viewpoints, a light field allows capturing a lot of information about the scene geometry. Thanks to the recent development of its acquisition devices (plenoptic camera and camera arrays mainly), light field imaging is becoming a serious alternative for 3D content capture and other related problems. The goal of this thesis is twofold. One of the main application for light field imaging is its ability to produce new views from a single capture. In a first part, we propose new image rendering techniques in two cases that deviate from the mainstream light field image rendering. We first propose a full pipeline for focused plenoptic cameras, addressing calibration, depth estimation, and image rendering. We then move to the problem of view synthesis, we seek to generate intermediates views given a set of only 4 corner views of a light field. Image editing is a common step of media production. For 2D images and videos, a lot of commercial tools exist. However, the problem is rather unexplored for light fields. In a second part, we propose new and efficient light field editing techniques. We first propose a new graph-based pixel-wise segmentation method that, from a sparse set of user input, segments simultaneously all the views of a light field. Then we propose an automatic light field over-segmenting approach that makes use of GPUs computational power. This approach further decreases the computational requirement for light field segmentation and we extend the approach for light field video segmentation.

La conception de systèmes robotiques complètement autonomes est une des grandes ambitions de l'humanité. De nos jours des progrès théoriques et technologiques ont permis aux ingénieurs de concevoir des systèmes robotiques complexes qui peuvent remplacer les êtres humains dans de nombreuses applications qui peuvent être répétitives ou dangereuses. Toutefois, afin d'étendre la flexibilité et le domaine d'application de ces systèmes autonomes, nous devons encore résoudre plusieurs problèmes scientifiques qui sont à la croisée de plusieurs domaines tels que l'intelligence artificielle, le traitement du signal et la théorie de la commande. Parmi ces défis scientifiques, la perception de l'environnement et l'interaction d'un système robotique avec son environnement sont des problèmes fondamentaux dans la conception de tels systèmes autonomes. En effet, les performances<br />d'un robot autonome dépendent non seulement de la précision, de la continuité et de la fiabilité de sa perception mais aussi de son habilité à utiliser l'information perçue dans des boucles de commande afin d'interagir de manière sûre avec son environnement malgré les inévitables erreurs de modélisation et de mesure. Pour ces raisons, la modélisation et la perception de l'environnement et la commande référencée capteur robuste sont des problèmes scientifiques majeurs en robotique.<br /><br />Plusieurs capteurs extéroceptifs sont couramment utilisés en robotique: GPS, capteurs optiques, capteurs de contacts, sonars, télémètres lasers, et même des capteurs auditifs et olfactifs. Toutefois, la vision artificielle a un intérêt et une importance particulière principalement due à sa versatilité. Elle peut être utilisée à la fois pour la modélisation et la perception et pour la commande du robot. Dans ce contexte, l'étendue des recherches est très vaste. Dans ce memoire, je ferai un état des lieux de mes travaux de recherche, menés depuis une dizaine d'années dans les domaines de l'estimation et de la commande à partir d'un système de vision. <br /><br />L'estimation à partir de la vision concerne des méthodes dédiées à l'extraction des informations qui peuvent être utilisées à la fois pour la modélisation de l'environnement et pour la commande des robots. Dans le cas des applications robotiques, les défis majeurs sont d'augmenter l'efficacité, la précision et la robustesse de l'estimation à partir des données capteurs. La commande référencée vision concerne des méthodes dédiées à l'utilisation des informations visuelles dans des boucles de commande. Les défis sont le choix approprié de l'information et la conception de lois de commande stables et robustes aux erreurs de modélisation et de mesure.

Un défi majeur de la Robotique aujourd'hui est sans doute celui du robot personnel. Un objectif sous-jacent est de permettre à un robot mobile de naviguer de manière autonome dans un environnement de grandes dimensions en présence de public. Lors de son évolution, le robot doit pouvoir détecter et prendre en compte la présence d'humains dans son voisinage, par exemple pour les éviter, leur céder le passage, faciliter ou sécuriser leurs déplacements. Cependant, pour une interaction active, le robot doit également être capable de percevoir et d'interpréter leurs postures, leurs démarches ou leurs gestes. Dans ce but, nous souhaitons mettre en place un système de suivi visuel des mouvements humains à partir des caméras embarquées sur le robot. Une représentation 3D fruste de l'enveloppe corporelle est proposée à partir de considérations biomécaniques et anthropomorphes. La démarche consiste alors à recaler ce modèle dans les images obtenues en exploitant plusieurs indices visuels 2D (contours, couleur, mouvements) complétés par une reconstruction 3D éparse de la scène. Pour estimer les paramètres de situation et de configuration du modèle 3D, nous exploitons les techniques de filtrage particulaire, bien connues en suivi visuel. Des évolutions de l'algorithme générique de filtrage sont cependant envisagées afin de répondre plus efficacement au problème posé et de satisfaire des contraintes temporelles cohérentes avec le contexte applicatif. Afin d'aborder les problèmes de manière graduelle, deux contextes sont étudiés. Le premier, de type robotique ubitquiste, repose sur l'utilisation de caméras d'ambiance fixes proposant des points de vue différents et complémentaires de la scène à étudier. Le second, de type robotique mobile, exploite des caméras stéréoscopiques embarquées sur le robot.Ce travail a été effectué au sein du groupe Robotique Action Perception (RAP) du LAAS-CNRS.

Largement poussés par l'industrie vidéoludique, la recherche et le développement d'outils matériels destinés à la génération d'images de synthèse, tels les cartes graphiques (ou GPU, Graphics Processing Units), ont connu un essor formidable ces dernières années. L'augmentation de puissance et de

Des applications en vision artificielle exploitent des caméras très variées : fish-eye, systèmes catadioptriques et multi-caméras, etc. Ces caméras ont des caractéristiques intéressantes, dont surtout un champ de vue étendu. Le calibrage et la reconstruction 3D sont deux problèmes fondamentaux en vision artificielle. Les modèles et algorithmes pour ces problèmes sont habituellement de nature paramétrique, s'appliquent à un seul type de caméra et sont rarement capables de gérer des réseaux de caméras hétérogènes. Afin de résoudre ces problèmes, nous introduisons un modèle de formation d'image générique, dans lequel toute caméra est modélisée par l'ensemble de ses pixels et l'ensemble de lignes de vue associées. Nous proposons des méthodes de calibrage générique pour ce modèle, qui calculent toutes ces lignes de vue et permettent de calibrer toute caméra avec la même approche. Nous proposons également des algorithmes génériques pour la reconstruction 3D et l'auto-calibrage.