Le calibrage des caméras est l'une des pierres angulaires de la plupart des systèmes de vision artificielle car c'est cette opération qui établit le lien entre le monde physique et l'image. On dispose aujourd'hui de plusieurs techniques bien établies pour réaliser cette opération. Il existe toutefois certaines situations pour lesquelles les techniques usuelles ne sont pas assez précises. C'est le cas notamment des systèmes de vision 3D actifs. Les systèmes dits ``actifs'' disposent d'un mécanisme d'entraînement qui leur permet repositionner leurs caméras en temps réel. Puisque les mesures 3D en vision reposent sur la connaissance de la position relative des caméras, les déplacements de celles-ci à l'intérieur d'un système actif doivent être modélisés et calibrés afin que leur position exacte puisse être mise à jour en continue. Mener à bien ce type de calibrage exige que les déplacements des caméras puissent être mesurés avec une très grande précision. Cette thèse propose une approche pour le calibrage géométrique de caméras qui répond aux besoins en précision des systèmes actifs. L'originalité de cette approche vient du fait qu'elle exploite les propriétés du speckle laser. Les bases théoriques sur lesquelles elle s'appuie sont tirées du domaine de la mesure par speckle (``speckle metrology''). C'est la première fois que les principes de la mesure par speckle sont appliqués au domaine de la vision artificielle. L'intérêt de faire intervenir le speckle laser dans le calibrage est qu'il permet de découpler les composantes en rotation de celles en translation du mouvement des caméras. Dans le contexte des systèmes actifs, ce découplage des deux types de mouvements permet d'atteindre un niveau de précision de calibrage qu'il est impossible d'atteindre avec les approches classiques basées sur l'observation d'une cible de calibrage conventionnelle. Outre le calibrage de systèmes actifs, l'approche proposée peut s'appliquer à d'autres aspects du calibrage de caméras. En particulier, on démontre comment celle-ci peut être utilisée pour calibrer une paire de caméras stéréoscopiques classique. La méthode proposée permet d'obtenir un calibrage dont la précision est équivalente à celle des méthodes conventionnelles tout en offrant deux avantages pratiques importants. Le premier est que le dispositif permettant d'effectuer le calibrage est compact et le second est que le calibrage peut être réalisé sans qu'il ne soit nécessaire d'avoir accès au volume de travail de la paire stéréo. %Outre le calibrage de systèmes actifs, l'approche proposée peut s'appliquer à d'autres aspects du calibrage de caméras. En particulier, on démontre comment celle-ci peut être utilisée pour calibrer une paire de caméras stéréoscopiques classique. La méthode proposée permet d'obtenir un calibrage dont la précision est équivalente à celle des méthodes conventionnelles tout en offrant les avantages pratiques suivant. Le dispositif permettant d'effectuer le calibrage est compact. Le calibrage peut être complété avec moins de manipulations. Enfin, le calibrage peut être réalisé sans qu'il ne soit nécessaire d'avoir accès au volume de travail de la paire stéréo. / Because it establishes the link between image coordinates and the physical world, camera calibration is one of the corner stones of computer vision systems. Several existing techniques can perform this operation, but these are not always accurate enough, depending on circumstances. This is particularly the case for ``active'' 3D systems that incorporate mechanisms to allow real time repositioning of cameras. Since 3D measurements in computer vision rely on the knowledge of the relative camera positions, their exact movements within the active system must be updated in a continuous fashion. Calibrating such systems is only feasible when camera movements can be measured very accurately, which is not possible using current techniques. In this thesis, an original approach is proposed for the geometric camera calibration of active vision systems, based on the theoretical foundations of speckle metrology. It exploits the unique properties of laser speckle to meet the special requirements of active vision systems. It also represents the first use of laser speckle in this field. The main benefit of laser speckle is that it allows the measurement of rotational component of the camera movements independently from its translational component. The ability to perform independent measurements of these two components is what gives this new approach a much improved accuracy compared to conventional techniques based on the use of calibration targets. Besides the calibration of active vision systems, the proposed approach can be applied to other types of vision systems as well. In particular, the thesis shows that the proposed approach can also be applied to calibrate a classical pair of static stereoscopic cameras. The proposed technique show equivalent accuracy compared to conventional techniques while providing two major practical advantages. First, the calibration device is very compact and second, the calibration procedure doesn't require the working area of the stereo pair to be accessed.

La spasticité affecte entre 67 et 78% des individus vivant avec une lésion médullaire (LM) d'origine traumatique, ainsi qu'entre 15 et 56% des individus ayant une LM non-traumatique. Ce phénomène s'identifie comme étant un désordre moteur caractérisé par une augmentation vélo-dépendante (vitesse-dépendante) du réflexe tonique d'étirement avec une exagération du réflexe ostéotendineux, résultant d'une hyperexcitabilité du réflexe d'étirement. L'impact de la spasticité des membres inférieurs sur la fonction locomotrice fait l'objet de vifs débats dans la littérature scientifique existante. Cette disparité pourrait être expliquée, en partie, par les limites des outils cliniques utilisés pour mesurer la spasticité. Les outils cliniques sont régulièrement basés sur une échelle ordinale de la résistance perçue par l'évaluateur lors d'un mouvement passif du segment évalué, ce qui soulève des questionnements quant aux qualités métrologiques de ces outils. Il a été suggéré qu'une évaluation de la spasticité basée sur des données neurophysiologiques, tel que le réflexe d'étirement, et effectuée pendant la marche, pourrait procurer une approche plus directe pour étudier la relation entre ce désordre et la fonction locomotrice. L'objectif principal de mes études de maîtrise consistait à décrire la réponse réflexe des muscles fléchisseurs plantaires (FP) à l'étirement, mesurée avec un protocole d'évaluation pendant la marche, chez des individus ayant subi une LM incomplète. Également, la relation entre la spasticité des FP et la fonction locomotrice a été étudiée. Pour atteindre ces buts, une orthèse robotisée électrohydraulique a été utilisée pour induire des étirements contrôlés des muscles FP, pendant la phase d'appui et la phase d'oscillation de la marche. Les résultats de cette étude pourront permettre de mieux comprendre le phénomène de la spasticité, et ainsi d'établir des bases solides pour justifier le développement et l'utilisation de protocoles d'évaluation de la spasticité basés sur des données neurophysiologiques ET effectués pendant la marche. À plus long terme, l'utilisation de ce type de protocole pourrait contribuer à démontrer l'efficacité de certaines interventions utilisées en physiothérapie ciblant la spasticité. / Spasticity affects approximately 67 to 78% of individuals living with a traumatic spinal cord injury (SCI), in addition to between 15 to 56% of individuals living with a non-traumatic SCI. This phenomenon is defined as a motor disorder characterized by a velocity-dependent increase in tonic stretch reflexes with exaggerated tendon jerks, resulting from hyperexcitability of the stretch reflex. Existing literature presents equivocal results regarding the impact of lower limb spasticity on locomotor function. These divergent results may be explained, at least partly, by the limitations of the clinical assessment tools used to measure spasticity. Clinical tools are regularly based on an ordinal scale and are focused on the perceived resistance to passive stretching, which raise questions about the metrological qualities of these tools. It has been suggested that an assessment of spasticity including neurophysiological data, such as stretch reflex (SR), performed during gait may provide a more direct approach to study the relationship between this disorder and locomotor function. The main objective of my master studies was to investigate plantarflexors SR response to stretching, using an assessment while walking among individuals living with an incomplete SCI. In addition, relationship between spasticity and locomotor function was studied. To achieve these goals, a robotic electrohydraulic orthosis was used to induce controlled plantarflexor stretches during the stance and swing phases of gait. Results of this study will allow to better understand spasticity, to establish solid justifications to develop and use assessment protocols based on neurophysiological data AND during gait. In the long term, the use of this type of assessment could contribute to demonstrating the effectiveness of interventions used in physical therapy targeting spasticity

La thermographie par courants de Foucault (ECT) est une méthode de thermographie active. L’excitation inductive génère des courants de Foucault dans les spécimens conducteurs. En présence de défauts, la circulation des courants est affectée par ces discontinuités produisant un changement dans la distribution de la température autour des défauts. Ces changements sont observés avec une caméra infrarouge. Dans ce travail, on présente une application robotique de la thermographie par courants de Foucault. Une interface robotique a été développée et tous les capteurs utilisés ont été intégrés à la plateforme. Des simulations ont été achevées avec COMSOL Multiphysics en variant différents paramètres. Des expériences ont été menées sur plusieurs spécimens (de différents matériaux) avec des défauts de différents types et tailles. La linescan thermographie est principalement étudiée et d’autres modes d’inspections ont été explorés. Les images résultantes sont reconstruites avec un algorithme dédié. Finalement, les résultats de la méthode sont comparés à ceux de la thermographie optique (par halogène) pour montrer les capacités de la méthode. / Eddy current thermography (ECT) is an active thermography method. The inductive excitation generates Eddy currents in electrically-conductive specimen. In a presence of defects, the eddy current flow is affected by these discontinuities leading to changes in the temperature distribution in the specimen around the defects. These changes are observed by an infrared camera. In this work, we present a robotic application of the method. A robotic interface is developed and all the sensors needed are integrated to the platform. Simulations are performed using COMSOL Multiphysics by varying different parameters. Experiments are realised on different specimens (made of different materials) with defects of different sizes. The linescan Eddy current thermography is studied and other modes are explored. The resulting images are reconstructed with a dedicated algorithm. Finally, the method’s results are compared to optical thermography to show the capability of the method.

En télémédecine aussi bien qu'en téléchirurgie, où les délais de communication entre l'opérateur et le patient sont trop importants pour percevoir le retour d'effort en temps réel, il est crucial de développer des outils intelligents autonomes capables de s'adapter aux changements locaux de géométrie et aux perturbations d'efforts. Dans ce mémoire, il est proposé de développer un nouveau préhenseur capable d'une prise autonome sur des objets de tout acabit. La pierre angulaire de ce nouveau préhenseur miniature est l'utilisation du sous-actionnement pour limiter le nombre d'actionneurs et l'utilisation d'articulations flexibles pour faciliter la miniaturisation du principe. Le bon fonctionnement du mécanisme repose sur une définition appropriée des critères de performance, sur un modèle mathématique juste et sur une optimisation adéquate.

Les véhicules autonomes se mouvant dans un environnement quelconque peuvent être confrontés à la présence de nombreux objets mobiles, dont la localisation et la trajectoire sont indépendantes. Cette problématique est particulièrement présente dans la thématique du transport en milieu urbain, mais sa portée est plus générale. On présente dans cette thèse une solution de perception d'un environnement dynamique, à partir d'une paire de caméra, qui vise à fournir en temps réel une cartographie en trois dimensions de l'environnement courant, ainsi que la vitesse indépendante des points suivis. Cette solution propose par ailleurs des algorithmes de détection, segmentation et suivi des objets mobiles, et fourni donc une liste des objets mobiles de l'environnement, dont les positions, dimensions et vitesses sont connues.

La problématique scientifique abordée concerne la reconnaissance visuelle d'objets s'inscrivant dans une scène observée. Nous proposons une méthodologie qui va de la définition et la construction du modèle de l'objet, jusqu'à la définition de la stratégie pour la reconnaissance ultérieure de celui-ci. Du point de vue de la représentation, cette approche est capable de modéliser aussi bien la structure de l'objet que son apparence ; à partir de caractéristiques multiples. Celles-ci servent d'indices d'attention lors de la phase de reconnaissance. Dans ce cadre, reconnaître l'objet revient à " instancier " ce modèle dans la scène courante. La tâche de reconnaissance correspond à un processus actif de génération/vérification d'hypothèses régi par le principe de focalisation. Ce dernier agissant sur quatre niveaux du " spectre attentionnel " : la sélection des opérateurs pour le traitement bas niveau, la sélection de l'intervalle d'action de ceux-ci, la sélection de la résolution et la sélection de la région d'intérêt dans l'image. Le fait d'agir sur tous ces niveaux, entraîne une diminution de la combinatoire implicite dans une problématique de recherche visuelle. Sous un regard plutôt unifié, le mécanisme de contrôle de l'attention, du type bottom-up$top-down, reste implicite dans la stratégie globale de reconnaissance. La " focalisation progressive " et la représentation hybride du modèle, permettent de tirer profit des deux types de représentation classiques. D'une part, la structure de l'objet permet de focaliser le processus de reconnaissance à partir d'observations locales, d'autre part, une fois détectée la région probable de l'objet, la décision finale est faite à partir de l'apparence de celui-ci. Dans le cadre proposé, en intégrant des connaissances sur la structure de la scène (paramètres 3D), d'autres tâches comme celles de la localisation et du suivi sont intégrées d'une façon naturelle. La prise en compte de ces paramètres permet d'estimer l'évolution de la zone d'intérêt dans l'image, lorsque l'objet évolue dans le monde 3D. La méthodologie proposée a été testée pour la reconnaissance, la localisation et le suivi de visages et de piétons.

Les dernières décennies ont vu le développement important de la chirurgie mini-invasive. L'acte mini-invasif apporte de nombreux avantages pour les patients: séjour plus court à l'hôpital, réduction des coûts, un traumatisme réduit et la diminution des complications postopératoires. Dans ce contexte, l'assistance robotique est capable de rendre l'acte chirurgical plus intuitif et plus sûr pour les chirurgiens. Dans le domaine de la chirurgie cardiaque mini-invasive, les mouvements respiratoires et cardiaques sont deux sources de perturbations importantes pour les chirurgiens. Malgré l'existence de versions miniaturisées de stabilisateurs cardiaques mécaniques, le mouvement résiduel est encore considérable et doit être manuellement compensé par le chirurgien. Dans ces travaux de thèse, des techniques de suivi visuel pour l'estimation du mouvement 3D du coeur ont été développées. Pour la compensation active des mouvements physiologiques, seules les structures naturelles sur la surface du coeur sont utilisées. Deux contributions dans le domaine de la compensation des mouvements physiologiques pour la chirurgie cardiaque robotisée ont été proposées. La première est une méthode de suivi visuel 3D basée sur un modèle déformable de type ''plaque mince'' et une paramétrisation efficace pour le suivi 3D en images stéréo-endoscopiques. La seconde contribution est une méthode de suivi robuste qui prédit le mouvement futur du coeur pour contourner des problèmes comme les occlusions par les instruments chirurgicaux et les éventuelles réflexions spéculaires. La méthode de prédiction est basée sur une série de Fourier estimée à travers un filtre de Kalman étendu.

Le sujet principal de cette thèse est le développement d’un contrôle commande intelligentpour une prothèse de main robotique avec des parties souples qui comporte: (i) uneinterface homme–machine permettant de contrôler notre prothèse, (ii) et des stratégiesde contrôle améliorant les performances de la main robotique. Notre approche tientcompte : 1. du développement d’une interaction intuitive entre l'homme et la prothèse facilitantl'utilisation de la main, d'un système d’interaction entre l’utilisateur et la mainreposant sur l'acquisition de signaux ElectroMyoGrammes superficiels (sEMG) aumoyen d'un dispositif placé sur l'avant-bras du patient. Les signaux obtenus sontensuite traités avec un algorithme basé sur l'intelligence artificielle, en vued'identifier automatiquement les mouvements désirés par le patient.2. du contrôle de la main robotique grâce à la détection du contact avec l’objet et de lathéorie du contrôle hybride.Ainsi, nous concentrons notre étude sur : (i) l’établissement d’une relation entre lemouvement du membre supérieur et les signaux sEMG, (ii) les séparateurs à vaste margepour classer les patterns obtenues à partir des signaux sEMG correspondant auxmouvements de préhension, (iii) le développement d'un système de reconnaissance depréhension à partir d'un dispositif portable MyoArmbandTM, (iv) et des stratégieshybrides de contrôle commande de force-position de notre main robotique souple. / The target of this thesis disertation is to develop a new Smart control of a soft robotic hand prosthesis for the soft robotic hand prosthesis called ProMain Hand, which is characterized by:(i) flexible interaction with grasped object, (ii) and friendly-intuitive interaction between human and robot hand. Flexible interaction results from the synergies between rigid bodies and soft bodies, and actuation mechanism. The ProMain hand has three fingers, each one is equipped with three phalanges: proximal, medial and distal. The proximal and medial are built with rigid bodies,and the distal is fabricated using a deformable material. The soft distal phalange has a new smart force sensor, which was created with the aim to detect contact and force in the fingertip, facilitating the control of the hand. The friendly intuitive human-hand interaction is developed to facilitate the hand utilization. The human-hand interaction is driven by a controller that uses the superficial electromyographic signals measured in the forearm employing a wearable device. The wearable device called MyoArmband is placed around the forearm near the elbow joint. Based on the signals transmitted by the wearable device, the beginning of the movement is automatically detected, analyzing entropy behavior of the EMG signals through artificial intelligence. Then, three selected grasping gesture are recognized with the following methodology: (i) learning patients entropy patterns from electromyographic signals captured during the execution of selected grasping gesture, (ii) performing a support vector machine classifier, using raw entropy data extracted in real time from electromyographic signals.

Un défi central en robotique est la construction de représentations du monde exploitables. Pour accomplir des tâches complexes, les robots doivent construire une représentation 3D de leur environnement qui représente les informations géométriques, visuelles et sémantiques de la scène, et qui est efficace à utiliser. Les approches existantes encodent les informations sémantiques en utilisant un ensemble (fini) d’étiquettes de classes sémantiques, tels que “personne” et “chaise”. Cependant, pour des instructions ambiguës données à un robot, telles que “apporte-moi une collation saine”, cette approche est insuffisante. En conséquence, des travaux récents ont exploité de grands réseaux de neurones pré-entraînés appelés “modèles de fondation”, dont les représentations latentes apprises offrent plus de flexibilité que les étiquettes de classe, mais ces approches peuvent être inefficaces. Dans ce travail, nous construisons des représentations de scènes 3D qui tirent parti des modèles de fondation pour encoder la sémantique, permettant des requêtes à vocabulaire ouvert et multimodales, tout en restant évolutives et efficaces. Nous présentons initialement ConceptFusion, qui construit des cartes 3D à vocabulaire ouvert en assignant à chaque point 3D un vecteur de caractéristiques qui encode la sémantique, permettant des requêtes nuancées et multimodales, mais à un coût de mémoire élevé. Nous présentons ensuite ConceptGraphs, qui s’appuie sur l’approche précédente avec une structure de graphe de scène qui assigne des vecteurs de caractéristiques sémantiques aux objets au lieu des points, augmentant ainsi l’efficacité, tout en permettant la planification sur le graphe de scène construit. Les deux systèmes ne nécessitent pas d’entraînement supplémentaire ni de réglage fin des modèles, mais permettent aux robots d’effectuer des tâches de recherche et de navigation inédites, comme le montrent nos expériences dans le monde réel. / A central challenge in robotics is building actionable world representations. To perform complex tasks, robots need to build a 3D representation of their environment that represents the geometric, visual, and semantic information of the scene, and is efficient to use. Existing approaches encode semantic information using a (finite) set of semantic class labels, such as “person” and “chair”. However, for ambiguous instructions to a robot, such as “get me a healthy snack”, this approach is insufficient. As a result, recent works have leveraged large pre-trained neural networks called “foundation models”, whose learned latent representations offer more flexibility than class labels, but these approaches can be inefficient. For example, they may require prohibitive amounts of video memory, or an inability to edit the map. In this work, we construct 3D scene representations that leverage foundation models to encode semantics, allowing for open-vocabulary and multimodal queries, while still being scalable and efficient. We initially present ConceptFusion, which builds open-vocabulary 3D maps by assigning each 3D point a feature vector that encodes semantics, enabling nuanced and multimodal queries, but at high memory cost. We then present ConceptGraphs, which builds upon the previous approach with a scene graph structure that assigns semantic feature vectors to objects instead of points, increasing efficiency, while also enabling planning over the constructed scene graph. Both systems do not require any additional training or fine-tuning of models, yet enable novel search and navigation tasks to be performed by robots, as shown by our real world experiments.

Ce travail propose de nouvelles structures de contrôle pour la téléopération bilatérale à travers des réseaux de communication non dédiés. L'enjeu est donc de concevoir et calculer des structures de commande garantissant la stabilisation et un bon degré de performance en termes de synchronisation (suivi des positions et vitesse) et de transparence (ressenti des forces) sous les retards variables et asymétriques.Nous faisons tout d'abord un tour d'horizon des recherches récentes dans le domaine des systèmes de téléopération et de leurs caractéristiques. Puis, nous considérons des modèles linéaires à plusieurs retards variables pour lesquels nous proposons une approche d'analyse de stabilité par fonctionnelles de Lyapunov-Krasovskii et contrôle robuste H [infinity symbol . Ensuite, trois structures de téléopération seront proposées en temps continu, la comparaison de ces architectures montre que, pour un retard de réseau maximum donné ou calculé, toutes garantissent un suivi de position et vitesse. Les deux dernières, qui utilisent les forces mesurées ou estimées de l'opérateur humain et de l'environnement, garantissent de plus un suivi en force. Au final, la troisième structure (avec proxy) présente la meilleure performance, même si elle demande un peu plus de calcul. Puis, afin d'analyser et d'améliorer les performances de la troisième structure pour des modèles encore plus réalistes, une étude est menée en temps discret, mais aussi sur un modèle non linéaire ou non stationnaire sous perturbations bornées en norme. L'implantation sur la plate-forme est décrite dans un quatrième et dernier chapitre, et puis l'analyse des résultats expérimentaux est alors menée