Cette thèse s'intéresse au problème de la navigation autonome au long cours de robots mobiles à roues dans des environnements dynamiques. Elle s'inscrit dans le cadre du projet FUI Air-Cobot. Ce projet, porté par Akka Technologies, a vu collaborer plusieurs entreprises (Akka, Airbus, 2MORROW, Sterela) ainsi que deux laboratoires de recherche, le LAAS et Mines Albi. L'objectif est de développer un robot collaboratif (ou cobot) capable de réaliser l'inspection d'un avion avant le décollage ou en hangar. Différents aspects ont donc été abordés : le contrôle non destructif, la stratégie de navigation, le développement du système robotisé et de son instrumentation, etc. Cette thèse répond au second problème évoqué, celui de la navigation. L'environnement considéré étant aéroportuaire, il est hautement structuré et répond à des normes de déplacement très strictes (zones interdites, etc.). Il peut être encombré d'obstacles statiques (attendus ou non) et dynamiques (véhicules divers, piétons, ...) qu'il conviendra d'éviter pour garantir la sécurité des biens et des personnes. Cette thèse présente deux contributions. La première porte sur la synthèse d'un asservissement visuel permettant au robot de se déplacer sur de longues distances (autour de l'avion ou en hangar) grâce à une carte topologique et au choix de cibles dédiées. De plus, cet asservissement visuel exploite les informations fournies par toutes les caméras embarquées. La seconde contribution porte sur la sécurité et l'évitement d'obstacles. Une loi de commande basée sur les spirales équiangulaires exploite seulement les données sensorielles fournies par les lasers embarqués. Elle est donc purement référencée capteur et permet de contourner tout obstacle, qu'il soit fixe ou mobile. Il s'agit donc d'une solution générale permettant de garantir la non collision. Enfin, des résultats expérimentaux, réalisés au LAAS et sur le site d'Airbus à Blagnac, montrent l'efficacité de la stratégie développée. / This thesis is directed towards the autonomous long range navigation of wheeled robots in dynamic environments. It takes place within the Air-Cobot project. This project aims at designing a collaborative robot (cobot) able to perform the preflight inspection of an aircraft. The considered environment is then highly structured (airport runway and hangars) and may be cluttered with both static and dynamic unknown obstacles (luggage or refueling trucks, pedestrians, etc.). Our navigation framework relies on previous works and is based on the switching between different control laws (go to goal controller, visual servoing, obstacle avoidance) depending on the context. Our contribution is twofold. First of all, we have designed a visual servoing controller able to make the robot move over a long distance thanks to a topological map and to the choice of suitable targets. In addition, multi-camera visual servoing control laws have been built to benefit from the image data provided by the different cameras which are embedded on the Air-Cobot system. The second contribution is related to obstacle avoidance. A control law based on equiangular spirals has been designed to guarantee non collision. This control law, based on equiangular spirals, is fully sensor-based, and allows to avoid static and dynamic obstacles alike. It then provides a general solution to deal efficiently with the collision problem. Experimental results, performed both in LAAS and in Airbus hangars and runways, show the efficiency of the developed techniques.

Cette thèse s'intéresse à l'asservissement visuel, une technique de commande à retour d'information visuelle permettant de contrôler le mouvement de systèmes équipées de caméras tels que des robots. Pour l'asservissement visuel, il est essentiel de synthétiser les informations obtenues via la caméra et ainsi établir la relation entre l'évolution de ces informations et le déplacement de la caméra dans l'espace. Celles-ci se basent généralement sur l'extraction et le suivi de primitives géométriques comme des points ou des lignes droites dans l'image. Il a été montré que le suivi visuel et les méthodes de traitement d'images restent encore un frein à l'expansion des techniques d'asservissement visuel. C'est pourquoi la distribution de l'intensité lumineuse de l'image a également été utilisée comme caractéristique visuelle. Finalement, les caractéristiques visuelles basée sur les moments de l'image ont permis de définir des lois de commande découplées. Cependant ces lois de commande sont conditionnées par l'obtention d'une région parfaitement segmentée ou d'un ensemble discret de points dans la scène. Ce travail propose donc une stratégie de capture de l'intensité lumineuse de façon indirecte, par le biais des moments calculés sur toute l'image. Ces caractéristiques globales sont dénommées moments photométriques. Les développements théoriques établis dans cette thèse tendent à définir une modélisation analytique de la matrice d'interaction relative aux moments photométriques. Ces derniers permettent de réaliser une tâche d'asservissement visuel dans des scènes complexes sans suivi visuel ni appariement. Un problème pratique rencontré par cette méthode dense d'asservissement visuel est l'apparition et la disparition de portions de l'image durant la réalisation de la tâche. Ce type de problème peut perturber la commande, voire dans le pire des cas conduire à l’échec de la réalisation de la tâche. Afin de résoudre ce problème, une modélisation incluant des poids spatiaux est proposée. Ainsi, la pondération spatiale, disposant d'une structure spécifique, est introduite de telle sorte qu'un modèle analytique de la matrice d'interaction peut être obtenue comme une simple fonction de la nouvelle formulation des moments photométriques. Une partie de ce travail apporte également une contribution au problème de la commande simultanée des mouvements de rotation autour des axes du plan image. Cette approche définit les caractéristiques visuelles de façon à ce que l'asservissement soit optimal en fonction de critères spécifiques. Quelques critères de sélection basées sur la matrice d'interaction ont été proposés. Ce travail ouvre donc sur d'intéressantes perspectives pour la sélection d'informations visuelles pour l'asservissement visuel basé sur les moments de l'image. / This thesis is concerned with visual servoing, a feedback control technique for controlling camera-equipped actuated systems like robots. For visual servoing, it is essential to synthesize visual information from the camera image in the form of visual features and establish the relationship between their variations and the spatial motion of the camera. The earliest visual features are dependent on the extraction and visual tracking of geometric primitives like points and straight lines in the image. It was shown that visual tracking and image processing procedures are a bottleneck to the expansion of visual servoing methods. That is why the image intensity distribution has also been used directly as a visual feature. Finally, visual features based on image moments allowed to design decoupled control laws but they are restricted by the availability of a well-segmented regions or a discrete set of points in the scene. This work proposes the strategy of capturing the image intensities not directly, but in the form of moments computed on the whole image plane. These global features have been termed photometric moments. Theoretical developments are made to derive the analytical model for the interaction matrix of the photometric moments. Photometric moments enable to perform visual servoing on complex scenes without visual tracking or image matching procedures, as long as there is no severe violation of the zero border assumption (ZBA). A practical issue encountered in such dense VS methods is the appearance and disappearance of portions of the scene during the visual servoing. Such unmodelled effects strongly violate the ZBA assumption and can disturb the control and in the worst case, result in complete failure to convergence. To handle this important practical problem, an improved modelling scheme for the moments that allows for inclusion of spatial weights is proposed. Then, spatial weighting functions with a specific structure are exploited such that an analytical model for the interaction matrix can be obtained as simple functions of the newly formulated moments. A part of this work provides an additional contribution towards the problem of simultaneous control of rotational motions around the image axes. The approach is based on connecting the design of the visual feature such that the visual servoing is optimal with respect to specific criteria. Few selection criteria based on the interaction matrix was proposed. This contribution opens interesting possibilities and finds immediate applications in the selection of visual features in image moments-based VS.

Les robots légers utilisés pour la télé-échographie robotisée permettent, à l'expert médical, d'orienter à distance une sonde ultrasonore 2D. L'analyse en temps réel de l'image ultrasonore du patient, reçue via un lien de communication, permet à l'expert de définir un diagnostic. Les validations cliniques du concept de télé-échographie robotisée montrent qu'il est ainsi possible de pallier le manque d'experts en ultrasonographie sur des sites médicalement isolés. Le robot porte-sonde est positionné et maintenu sur le corps du patient par un assistant à partir des informations communiquées par le spécialiste via visioconférence. Cependant, la faible masse du robot, le fait qu'il soit maintenu par un assistant sur le corps du patient et les mouvements physiologiques du patient provoquent des perturbations dans la position de la sonde et engendrent ainsi des pertes des sections d'intérêt des organes étudiés. Les travaux de cette thèse ont consisté à développer une approche par asservissement visuel basé sur les moments d'image ultrasonore 2D. Le calcul des moments 2D étant basé sur les points du contour de la section d'intérêt, un algorithme de traitement d'images efficace est nécessaire pour détecter et suivre le contour d'intérêt en mouvement. Pour cela, une méthode de contour actif paramétrique basée sur les descripteurs de Fourier est présentée. Les lois de commandes correspondant à trois tâches autonomes autorisant la recherche et le maintien de visibilité d'un organe lors de l'acte médical télé-opéré sont implémentées et validées sur la plateforme robotique du projet ANR Prosit. / The light weight robots used for robotized tele-echography allow the medical expert to remotely operate a 2D-ultrasound probe. The real-time analysis of the patient's ultrasound images, received via a standard communication link, provides the expert with relevant information to define a diagnosis. The clinical validations of the robotized tele-echography concept show that it is possible to overcome the lack of sonographers in medically isolated sites. The robot probe-holder is usually positioned and held on the patient's body by a paramedical staff based on information provided by the specialist via videoconferencing. However, the small mass of the robot, the fact that it is held by an assistant on the patient's body and the patient's physiological movements cause disturbances in the position of the probe ; this thus can generate a loss of the region of interest of the organ being under investigation during the teleoperated medical act. This thesis work focuses on the development of a visual servoing approach based on 2D ultrasound image moments. 2D moments calculation is based on the contour points of the image section of interest, therefore an image-processing algorithm is needed to effectively detect and follow the contour of interest in motion. For this reason, a parametric active contour method based on Fourier descriptors is presented. The control laws, corresponding to three independent autonomous tasks to search and maintain the visibility of an organ within a given ultrasound plane during the tele-operated medical act are implemented and validated on robotic platform project ANR Prosit.

L'objectif de la thèse est de concevoir et développer un système numérique de combinaison de signaux d'horloges hétérogènes (PPS, horloges atomiques, quartz, ...). Le signal résultant possède une meilleure stabilité que chacune des entrée quelque soit la durée d'intégration et il peut détecter des défaillances chez une des entrées. / The goal of the PhD is to design and build a numerical system capable of combining clock signals from various sources (PPS, atomic clocks, quartz, ...). The output signal will have a better stability at each integration time than any single input signal and it could detect failures in input sources.

Dans cette thèse, nous nous concentrons sur les techniques d'asservissement visuel (AV), critiques pour de nombreuses applications de vision robotique et insistons principalement sur les AV directs. Afin d'améliorer l'état de l'art des méthodes directes, nous nous intéressons à plusieurs composantes des lois de contrôle d'AV traditionnelles. Nous proposons d'abord un cadre générique pour considérer l'histogramme comme une nouvelle caractéristique visuelle. Cela permet de définir des lois de contrôle efficaces en permettant de choisir parmi n'importe quel type d'histogramme pour décrire des images, depuis l'histogramme d'intensité à l'histogramme couleur, en passant par les histogrammes de Gradients Orientés. Une nouvelle loi d'asservissement visuel direct est ensuite proposée, basée sur un filtre particulaire pour remplacer la partie optimisation des tâches d'AV classiques, permettant d'accomplir des tâches associées à des fonctions de coûts hautement non linéaires et non convexes. L'estimation du filtre particulaire peut être calculée en temps réel à l'aide de techniques de transfert d'images permettant d'évaluer les mouvements de caméra associés aux déplacements des caractéristiques visuelles considérées dans l'image. Enfin, nous présentons une nouvelle manière de modéliser le problème de l'AV en utilisant l'apprentissage profond et les réseaux neuronaux convolutifs pour pallier à la difficulté de modélisation des problèmes non convexes via les méthodes analytiques classiques. En utilisant des techniques de transfert d'images, nous proposons une méthode permettant de générer rapidement des ensembles de données d'apprentissage de grande taille afin d'affiner des architectures de réseau pré-entraînés sur des tâches connexes, et résoudre des tâches d'AV. Nous montrons que cette méthode peut être appliquée à la fois pour modéliser des scènes connues, et plus généralement peut être utilisée pour modéliser des estimations de pose relative entre des couples de points de vue pris de scènes arbitraires. / In this thesis we focus on visual servoing (VS) techniques, critical for many robotic vision applications and we focus mainly on direct VS. In order to improve the state-of-the-art of direct methods, we tackle several components of traditional VS control laws. We first propose a method to consider histograms as a new visual servoing feature. It allows the definition of efficient control laws by allowing to choose from any type of his tograms to describe images, from intensity to color histograms, or Histograms of Oriented Gradients. A novel direct visual servoing control law is then proposed, based on a particle filter to perform the optimization part of visual servoing tasks, allowing to accomplish tasks associated with highly non-linear and non-convex cost functions. The Particle Filter estimate can be computed in real-time through the use of image transfer techniques to evaluate camera motions associated to suitable displacements of the considered visual features in the image. Lastly, we present a novel way of modeling the visual servoing problem through the use of deep learning and Convolutional Neural Networks to alleviate the difficulty to model non-convex problems through classical analytic methods. By using image transfer techniques, we propose a method to generate quickly large training datasets in order to fine-tune existing network architectures to solve VS tasks.We shows that this method can be applied both to model known static scenes, or more generally to model relative pose estimations between couples of viewpoints from arbitrary scenes.

L'asservissement visuel est un procédé consistant à utiliser l'information visuelle obtenue par un capteur afin de commander un système robotique. Ces informations, appelées primitives visuelles peuvent être d'ordre 2D ou 3D. Le travail présenté ici porte sur une nouvelle approche 2D utilisant des primitives directes : les décompositions de l'image en ondelettes ou en shearlets. Ces représentations présentent en effet l'avantage de décrire l'image sous différentes formes, mettant l'accent soit sur les basses fréquences de l'image, soit sur les hautes fréquences selon plusieurs directions. Les zones de l'image contenant beaucoup d'information, comme les contours ou les points singuliers, possèdent alors de forts coefficients dans la transformée en ondelettes ou en shearlets de l'image, tandis que les zones uniformes possèdent des coefficients proches de zéro. Les travaux de cette thèse montrent la précision et la robustesse de l'approche utilisant la décomposition en shearlets dans le cadre de l'imagerie échographique. Néanmoins, sa contribution majeure est l'élaboration d'une commande permettant d'utiliser au choix les ondelettes ou les shearlets ainsi que la validation de cette méthode sur caméra monoculaire et sur capteur de type tomographie par cohérence optique dans différentes conditions d'utilisation. Cette méthode présente des performances significatives en termes de précision et de robustesse et ouvre la porte vers une utilisation couplée de l'asservissement visuel et de l'acquisition comprimée. / A visual servoing scheme consists of a closed-loop control approach which uses visual information feedback to control the movement of a robotic system. This data, called visual features, can be 2D or 3D. This thesis deals with the development of a new generation of 2D direct visual servoing methods in which the signal control inputs are the coefficients of a multiscale image representation. Specially, we consider the use of multiscale image representations that are based on discrete wavelet and shearlet transformations. This kind of representations allows us to obtain several descriptions of the image based on either low or high frequencies levels. Indeed, high coefficients in the wavelet or in the shearlet transformation of the image correspond to image singularities. This thesis has begun with the development of a shearlet-based visual servoing for ultrasound imaging that has performed well in precision and robustness for this medical application. Nevertheless, the main contribution is a framework allowing us to use several multi-scale representations of the image. It was then tested with conventional white light camera and with an optical coherence tomography imaging system with nominal and unfavorable conditions. Then, the wavelet and the shearlet based methods showed their accuracy and their robustness in several conditions and led to the use of both visual servoing and compressed sensing as the main perspective of this work.

Dans le domaine du développement d'outils de micromanipulation de haute précision pour le biomédical, les microrobots mobiles immergés font figures de technologie émergente prometteuse pour des applications in-vitro, puis à plus long terme pour l'in-vivo. Mes travaux portent sur l'étude de la propulsion de microrobots par voie magnétique dans des fluides circulant dans des microcanaux, à une échelle où les phénomènes d'adhérence et d'amortissement prévalent. Leur application pour des opérations de transduction est développée dans un deuxième volet.Un dispositif d'asservissement par vision à haute fréquence d’échantillonnage (~5kHz) a été développé rendant possible le contrôle sous champ magnétique uniforme ou gradient. Les performances du système ont notamment demandé l’implémentation d'une interface multi-tâches afin de pouvoir acquérir et traiter les images en parallèle de l'actuation du robot. L'analyse de la dynamique permet de mieux appréhender les phénomènes parfois imprévisibles liés au déplacement du robot, MagPol, intégré dans une puce microfluidique. Il peut réciproquement servir de capteur dans son environnement fluidique.Ce design original de robot a été conçu pour la micromanipulation et permet également d'explorer des nouvelles stratégies de déplacement. Ces capacités ont été éprouvées sur des objets de même taille qu'en biologie cellulaire (billes, bulles).Enfin, une démonstration de l'asservissement visuel en planification de tâche a été effectuée. Sous réserve de posséder un algorithme suffisamment performant, l'échantillonnage haute fréquence en temps réel devient possible et l'observation de performances sur des trajectoires complexes est démontrée. Les performances, la portabilité et la reproductibilité du système démontrent des capacités de transduction à haut débit qui sont très prometteuses pour l'aspect applicatif. / In the research for new high performances tool for micrometric scale manipulation, mobile microrobots immersed are considered as a promising technology for in-vitro applications, and with a long term view in-vivo. My work focuses on the propulsion study of mobile microrobots immersed in microfluidic channels controlled through electromagnets. At this scale, surface and damping phenomena predominates. Application for transduction operation is developed in a second part.A high sampling rate (≈5kHz) visual servoing setup have been developed making a control possible through uniform and gradient magnetic field. Performances of the system have notably required a multi-thread programmed user interface to acquire and analyze the frame in parallel of the robot actuation. Dynamic analysis allow to better apprehend the perturbation dynamics of the robot MagPol, integrated in a microfluidic chip. It can reciprocally serve as a sensor for in fluidic environment.MagPol design has been originally conceived for micromanipulation, and also allows to explore new displacement strategies. Its capacities have been tested on beads and bubbles equivalent to cell biology characteristic size (10µm – 100µm).Finally, a demonstration of planned trajectory using visual servoing was accomplished. Though it has required an algorithm sufficiently efficient, high frequency real-time sampling is possible and lead to control and post observation on complex trajectory. Global performances, repeatability and portability of our system has demonstrated its capacities as a high-throughput transducer, promising for single microagent applications.

Cette thèse s'inscrit dans le cadre d'un projet national nommé SRDViand dont le but fut de développer un système robotisé pour le désossage et la découpe des animaux de boucherie. Afin de déterminer les trajectoires de découpe de manière intelligente, un système de lumière structurée a été développé. Il se réfère à des systèmes de vision qui utilisent des modèles de projection de lumière pour des tâches de reconstruction 3D. Afin d'obtenir les meilleurs résultats, la définition d'une nouvelle méthode d'étalonnage pour les systèmes de lumière structurée a été établie. Basé sur un large état de l'art et également sur la proposition d'une classification de ces méthodes, il a été proposé d'étalonner une paire caméra projecteur en utilisant l'asservissement visuel. La validité et les résultats de cette méthode ont été éprouvés sur la base de nombreux tests expérimentaux menés dans le cadre du projet SRDViand. Suite à l'élaboration de cette méthode, un prototype permettant la découpe des bovins a été réalisé. / This thesis is part of a national project named SRDViand whose aim was to develop a robotic system for the deboning and cutting of animals meat. To determine the cut paths, a structured light system has been developed. It refers to vision systems that use light projection models for 3D reconstruction tasks. To achieve best results, the definition of a new calibration method for structured light systems was established . Based on a large state of the art and also with a proposed classification of these methods, it has been proposed to calibrate a camera projector pair using visual servoing . The validity and the results of this method were tested on the basis of numerous experimental tests conducted under the SRDViand project. Following the development of this method, a prototype bovine cutting was performed .

La manipulation et le micro-assemblage de composants de taille micrométrique (1 µm ->1 mm) afin de réaliser des microsystèmes posent énormément de problèmes. À cette échelle les composants sont quasiment invisibles à l'oeil nu et on constate une inversion de l'importante des forces : les forces surfaciques (capillarité, Van der Waals, électrostatiques, ...) deviennent prépondérantes par rapport aux forces volumiques (poids, inertie). Il est ainsi nécessaire et indispensable de mettre en oeuvre des stratégies novatrices appropriées tant du point de vue de l'imagerie et de la vision que de la manipulation et de la commande pour la fabrication des microsystèmes. Le micro-assemblage comporte des tâches de micromanipulation (positionnement, prise, transfert, dépose, ...) ainsi que tâches plus complexes (orientation dans l'espace, insertion, ...). Nos travaux répondent clairement à ces attentes c'est-à-dire utiliser un système de vision (un microscope optique) pour automatiser des tâches simples de manipulation de microcomposants et des tâches plus complexes d'assemblage de MEMS. Plusieurs lois de commande ont été développées telles qu'un asservissement visuel 2D multi-échelle pour la manipulation et un asservissement visuel 3D pour l'assemblage. Pour les deux approches développées, la précision et la répétabilité obtenues sur les processus de manipulation et d'assemblage sont satisfaisantes. Cependant, avant toute chose, le système de vision doit être calibré pour atteindre de meilleures performances. Dans cet objectif, une méthode de calibrage multi-échelle de microscopes photoniques a été présentée et détaillée. À partir de l'étude des contraintes liées à l'utilisation de ce genre d'imageur, des techniques de vision 3D telles le depth-from-focus et le pose-from-focus ont été pensées et intégrées pour aboutir à une station de micro-assemblage entièrement automatisée.

Les capteurs généralement utilisés pour le contrôle commande de véhicules (ou robots mobiles) sous-marins sont mal adaptés à la réalisation de tâches de type « point fixe », lorsque le robot doit rester stationnaire vis-à-vis d'une cible. Ces capteurs conventionnels présentent plusieurs limitations comme par exemple, une faible fréquence d'échantillonnage, une basse résolution, une dérive de la mesure, une utilisation malaisée ou encore un coût élevé. Les caméras vidéo sous-marines, en revanche, fournissent des mesures de position locales et relatives à l'environnement d'un robot sous-marin mobile. La vision sous-marine impose deux contraintes principales : la portée visuelle est limitée et les conditions de visibilité en mer sont médiocres. En outre, l'estimation du mouvement par traitement d'image nécessite une puissance de calcul importante incompatible avec les ressources embarquées sur la plupart des robots sous-marins mobiles.<br /><br />L‘objectif principal de cette thèse était donc d'étudier des méthodes d'asservissement visuel pour réaliser le positionnement dynamique d'un véhicule sous-marin typique par rapport à un objet immobile (ou cible). Les méthodes envisagées devaient être compatibles, en terme de puissance de calcul, avec les capacités des ordinateurs embarqués standards intégrables à des véhicules sous-marins opérationnels.<br />Une technique d'asservissement visuel hybride, dérivée de la méthode d'asservissement visuel 2 D ½ a été proposée. Ces performances ont été évaluées en simulation en utilisant un modèle dynamique, non linéaire, à 6 degrés de liberté, d'un robot sous-marin téléopéré . En particulier, les effets des perturbations de courant, l'impact de l'orientation de la cible sur la stabilité de l'asservissement , et celui du bruit appliqué au module de poursuite de points d'intérêt, ont été analysés et quantifiés. La méthode proposée s'est avérée stable dans les conditions d'opération usuelles d'un robot sous-marin. Elle a permis aussi de prendre en compte la contrôlabilité restreinte du robot (4 degrés de liberté seulement sont contrôlables). <br />Une méthode d'asservissement visuel de type 2-D qui utilise le tracker de points de Shi,Tomasi et Kanade a été étudié sur des cibles non marquées placées au fond d'un bassin d'essai. Cette méthode avait pour but d'asservir un robot cartésien planaire de type portique qui simulait le comportement dynamique de deux degrés de liberté (avance et cavalement) d'un robot sous-marin mobile typique. L'impact de courants marins sur la stabilité et la performance du schéma d'asservissement a aussi été étudié.<br /><br />Enfin, l'évaluation expérimentale du tracker de points de Shi, Tomasi et Kanade dans diverses conditions d'éclairage et de mouvement relatif de la caméra sous-marine par rapport à la scène, a été réalisée dans le bassin d'essai.