Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

Les dernières années, la taille des collections vidéo a connu une forte augmentation. La recherche et la navigation efficaces dans des telles collections demande une indexation avec des termes pertinents, ce qui nous amène au sujet de cette thèse, l'indexation sémantique des vidéos. Dans ce contexte, le modèle Sac de Mots (BoW), utilisant souvent des caractéristiques SIFT ou SURF, donne de bons résultats sur les images statiques. Notre première contribution est d'améliorer les résultats des descripteurs SIFT/SURF BoW sur les vidéos en pré-traitant les vidéos avec un modèle de rétine humaine, ce qui rend les descripteurs SIFT/SURF BoW plus robustes aux dégradations vidéo et qui leurs donne une sensitivité à l'information spatio-temporelle. Notre deuxième contribution est un ensemble de descripteurs BoW basés sur les trajectoires. Ceux-ci apportent une information de mouvement et contribuent vers une description plus riche des vidéos. Notre troisième contribution, motivée par la disponibilité de descripteurs complémentaires, est une fusion tardive qui détermine automatiquement comment combiner un grand ensemble de descripteurs et améliore significativement la précision moyenne des concepts détectés. Toutes ces approches sont validées sur les bases vidéo du challenge TRECVid, dont le but est la détection de concepts sémantiques visuels dans un contenu multimédia très riche et non contrôlé.

La connaissance de l'attitude, de l'altitude, de la segmentation du sol et du mouvement est essentielle pour la navigation d'un drone, en particulier durant les phases critiques de décollage et d'atterrissage. Dans ce travail de thèse, nous présentons un système stéréoscopique hybride composé d'une caméra fisheye et d'une caméra perspective pour estimer les paramètres de navigation d'un drone. À partir de ce capteur, une approche systémique est proposée. Contrairement aux méthodes classiques de stéréovision basées sur l'appariement de primitives, nous proposons des méthodes qui évitent toute mise en correspondance entre les vues hybrides. Une technique de plane-sweeping est suggérée pour déterminer l'altitude et détecter le plan du sol. La rotation et la translation du mouvement sont ensuite découplés : la vue fisheye contribue à évaluer l'attitude et l'orientation tandis que la vue perspective contribue à apporter l'échelle métrique de la translation. Le mouvement peut ainsi être estimé de façon robuste et à l'échelle métrique grâce à la connaissance de l'altitude. Cette méthode repose sur l'algorithme des 2-points complété par un filtre de Kalman. Nous proposons des approches robustes, temps réel et précises, exclusivement basées sur la vision avec une implémentation C++. Bien que cette approche évite l'utilisation de capteurs autres que les caméras, ce système peut également être appuyé par une centrale inertielle.

Dans le domaine de la robotique, la vision omnidirectionnelle est privilégiée car elle augmente le champ de vision des capteurs ce qui permet une meilleur navigation et localisation des robots. Les capteurs catadioptriques (combinaison de miroir(s) + caméra(s)) représentent une solution simple et rapide pour atteindre une vue large satisfaisante. Cependant, à cause de la géométrie des miroirs de révolution utilisés, ces capteurs fournissent des images possédant une résolution non uniforme et entrainent des distorsions géométriques. Deux approches sont présentées dans la littérature pour remédier à ces désagréments. La première consiste à traiter les images omnidirectionnelles comme étant des images perspectives, tandis que la seconde utilise des méthodes adaptées à la géométrie des capteurs en travaillant sur des espaces équivalents (Sphère, cylindre). Le principal atout de la première approche est le gain en temps de traitement par contre la qualité des résultats est souvent dépassée par celle des méthodes adaptées. Dans le cadre des travaux de cette thèse, nous avons choisi la voie de la première catégorie. L'objectif est de proposer des méthodes (mise en correspondance, détection de contour et détection de coin) permettant d'améliorer les résultats des traitements des images omnidirectionnelles. Les méthodes proposées sont basées sur des mesures statistiques. Elles présentent l'avantage de parcourir les images omnidirectionnelles par des voisinages (fenêtres) de taille fixe, sans passer par leurs adaptations aux caractéristiques intrinsèques du capteur et à la géométrie du miroir utilisé. Elle présente également l'avantage de ne pas faire appel à la dérivation qui accentue l'effet du bruit aux hautes fréquences de l'image. Les méthodes proposées ont été d'abord validées sur des images perspectives avant d'être appliquées sur les images omnidirectionnelles. Les résultats comparatifs obtenus sont satisfaisants.

Une nouvelle approche pour la mise en correspondance des objets 3D en présence des transformations non-rigides et des modèles partiellement similaires est proposée dans le cadre de cette thèse. L'approche est composée de deux phases. Une première phase pour la description d'objets et une deuxième phase de mesure de similarité. Pour décrire un objet 3D, nous avons choisi une méthode basée sur des descripteurs locaux. La méthode consiste à extraire d'un objet 3D un ensemble de points caractéristiques pour lesquels deux descripteurs locaux sont calculés. Le premier descripteur Geodesic cord descriptor représente la distribution des distances géodésiques entre un point caractéristique et l'ensemble des points de la surface de l'objet 3D. Le deuxième descripteur Curve based descriptor permet de représenter la surface 3D de l'objet par un ensemble de courbes. La forme de ces courbes est analysée à l'aide d'outils issus de la géométrie Riemannienne. Pour mesurer la similarité entre les objets 3D, nous avons utilisé deux techniques différentes dont l'une est basée sur les fonctions de croyance et l'autre est basée sur les sac-de-mots. Afin de valider notre approche nous l'avons adaptée à deux applications différentes à savoir la recherche et la classification d'objets 3D. Les résultats obtenus sur différent benchmarks montrent une efficacité et une pertinence comparés avec les autres méthodes de l'état-de-l'art.

Les développements récents de la robotique et des technologies d'imagerie médicale pré- et per-opératoires ont permis de réaliser des progrès considérables dans l'assistance aux gestes médicaux et chirurgicaux. Ces progrès, qui associent également de nouvelles techniques, permettent d'envisager de nouvelles formes d'interventions chirurgicales, de moins en moins invasives et de plus en plus sûres, mais aussi de prévoir une meilleure planification de ces interventions. Je présente dans ce mémoire les activités de recherches scientifiques dont le thème principal est le guidage d'instruments de chirurgie par vision, activités menées à la fois dans l'équipe Automatique, Vision et Robotique (AVR) du LSIIT (UMR CNRS-ULP 7005) et également en collaboration avec d'autres acteurs de la recherche au sein du consortium Imagerie et Robotique Médicale et Chirurgicale (IRMC), à Strasbourg, en particulier avec ceux de l'Institut de Recherche contre les Cancers de l'Appareil Digestif (IRCAD). Plus généralement, les activités présentées ainsi que leur synthèse, seront concentrées autour de la perception visuelle de scènes dynamiques, et inclueront : - le recalage et le positionnement 3-D à partir de plusieurs types de dispositifs d'imagerie, - la vision active, l'endoscopie active, - les asservissements visuels en robotique, - la segmentation d'indices visuels géométriques dans des environnements non maîtrisés, en temps réel, pour des objets d'intérêt marqués et non marqués. Pour résumer la part essentielle de ces travaux, le problème de l'estimation de pose et plus généralement du recalage 2-D/3-D rigide sera donc abordé en empruntant plusieurs approches et différentes représentations, en fonction du contexte. Que ce soit à partir du filtre estimateur de Kalman avec des primitives géométriques non-linéaires, ou à partir des invariants projectifs avec des spots lasers et des marqueurs optiques, ou encore par une approche d'optimisation numérique basée sur les asservissements visuels virtuels et combinant des primitives géométriques différentes, de la modélisation des quadriques dégénérées pour la pose des instruments cylindriques, ou finalement qu'il s'agisse du recalage stéréotaxique par une estimation robuste avec des primitives linéaires, le recalage 2-D/3-D rigide sera exposé, pour plusieurs types de dispositifs d'imagerie (caméra classique, caméra endoscopique, scanner à rayons X). Des applications telles que la commande de robot par vision laparoscopique, l'assistance informatique et robotique de la suture ou encore le positionnement automatique d'aiguille de radio-fréquence en radiologie interventionnelle viendront illustrer et animer cet exposé. Le guidage 3-D sera également décrit par l'approche du suivi visuel pouvant être mis en oeuvre dans un environnement complexe (sous quelques hypothèses) sans passer par une étape de recalage, en tenant compte des contraintes de mouvements inhérentes à la chirurgie laparoscopique. Il permet d'effectuer, dans ce cas, un positionnement relatif d'un instrument ou d'un endoscope et offre une assistance au chirurgien, par exemple, par le suivi automatique d'une surface des organes de l'abdomen à l'aide d'un endoscope articulé ou la récupération d'instruments. La présentation se poursuivra par un bilan et finira par l'exposé de perspectives suggérant des orientations de recherches dans ce domaine fortement multidisciplinaire, en particulier, dans la gestion des tâches visuelles en vision robotique, dans une meilleure compréhension des déformations des tissus vivants ainsi que de leurs interactions avec les instruments de chirurgie, ou encore dans l'apport de la vision active codée à l'endoscopie rigide et flexible.

Le travail présenté dans cette thèse s'inscrit dans le cadre de la modélisation d'images texturées à l'aide des représentations multi-échelles et multi-orientations. Partant des résultats d'études en neurosciences assimilant le mécanisme de la perception humaine à un schéma sélectif spatio-fréquentiel, nous proposons de caractériser les images texturées par des modèles probabilistes associés aux coefficients des sous-bandes. Nos contributions dans ce contexte concernent dans un premier temps la proposition de différents modèles probabilistes permettant de prendre en compte le caractère leptokurtique ainsi que l'éventuelle asymétrie des distributions marginales associées à un contenu texturée. Premièrement, afin de modéliser analytiquement les statistiques marginales des sous-bandes, nous introduisons le modèle Gaussien généralisé asymétrique. Deuxièmement, nous proposons deux familles de modèles multivariés afin de prendre en compte les dépendances entre coefficients des sous-bandes. La première famille regroupe les processus à invariance sphérique pour laquelle nous montrons qu'il est pertinent d'associer une distribution caractéristique de type Weibull. Concernant la seconde famille, il s'agit des lois multivariées à copules. Après détermination de la copule caractérisant la structure de la dépendance adaptée à la texture, nous proposons une extension multivariée de la distribution Gaussienne généralisée asymétrique à l'aide de la copule Gaussienne. L'ensemble des modèles proposés est comparé quantitativement en terme de qualité d'ajustement à l'aide de tests statistiques d'adéquation dans un cadre univarié et multivarié. Enfin, une dernière partie de notre étude concerne la validation expérimentale des performances de nos modèles à travers une application de recherche d'images par le contenu textural. Pour ce faire, nous dérivons des expressions analytiques de métriques probabilistes mesurant la similarité entre les modèles introduits, ce qui constitue selon nous une troisième contribution de ce travail. Finalement, une étude comparative est menée visant à confronter les modèles probabilistes proposés à ceux de l'état de l'art.

Les systèmes d'aide à la conduite (ADAS) ont pour objectif d'assister le conducteur et en particulier d'améliorer la sécurité routière. Pour cela, différents capteurs sont généralement embarqués dans les véhicules afin, par exemple, d'avertir le conducteur en cas de danger présent sur la route. L'utilisation de capteurs de type caméra est une solution économiquement avantageuse et de nombreux ADAS à base de caméra voient le jour. Malheureusement, les performances de tels systèmes se dégradent en présence de conditions météorologiques défavorables, notamment en présence de brouillard ou de pluie, ce qui obligerait à les désactiver temporairement par crainte de résultats erronés. Hors, c'est précisément dans ces conditions difficiles que le conducteur aurait potentiellement le plus besoin d'être assisté. Une fois les conditions météorologiques détectées et caractérisées par vision embarquée, nous proposons dans cette thèse de restaurer l'image dégradée à la sortie du capteur afin de fournir aux ADAS un signal de meilleure qualité et donc d'étendre la gamme de fonctionnement de ces systèmes. Dans l'état de l'art, il existe plusieurs approches traitant la restauration d'images, parmi lesquelles certaines sont dédiées à nos problématiques de brouillard ou de pluie, et d'autres sont plus générales : débruitage, rehaussement du contraste ou de la couleur, "inpainting"... Nous proposons dans cette thèse de combiner les deux familles d'approches. Dans le cas du brouillard notre contribution est de tirer profit de deux types d'approches (physique et signal) afin de proposer une nouvelle méthode automatique et adaptée au cas d'images routières. Nous avons évalué notre méthode à l'aide de critères ad hoc (courbes ROC, contraste visibles à 5 %, évaluation sur ADAS) appliqués sur des bases de données d'images de synthèse et réelles. Dans le cas de la pluie, une fois les gouttes présentes sur le pare-brise détectées, nous reconstituons les parties masquées de l'image à l'aide d'une méthode d'"inpainting" fondée sur les équations aux dérivées partielles. Les paramètres de la méthode ont été optimisés sur des images routières. Enfin, nous montrons qu'il est possible grâce à cette approche de construire trois types d'applications : prétraitement, traitement et assistance. Dans chaque famille, nous avons proposé et évalué une application spécifique : détection des panneaux dans le brouillard ; détection de l'espace navigable dans le brouillard ; affichage de l'image restaurée au conducteur.

Ce mémoire s'inscrit dans le domaine de la vision par ordinateur. Elle s'intéresse à la calibration de systèmes de caméras stéréoscopiques, à la mise en correspondance caméra-projecteur, à la reconstruction 3D, à l'alignement photométrique de projecteurs, au maillage de nuages de points, ainsi qu'au paramétrage de surfaces. Réalisé dans le cadre du projet LightTwist du laboratoire Vision3D, elle vise à permettre la projection sur grandes surfaces arbitraires à l'aide de plusieurs projecteurs. Ce genre de projection est souvent utilisé en arts technologiques, en théâtre et en projection architecturale. Dans ce mémoire, on procède au calibrage des caméras, suivi d'une reconstruction 3D par morceaux basée sur une méthode active de mise en correspondance, la lumière non structurée. Après un alignement et un maillage automatisés, on dispose d'un modèle 3D complet de la surface de projection. Ce mémoire introduit ensuite une nouvelle approche pour le paramétrage de modèles 3D basée sur le calcul efficace de distances géodésiques sur des maillages. L'usager n'a qu'à délimiter manuellement le contour de la zone de projection sur le modèle. Le paramétrage final est calculé en utilisant les distances obtenues pour chaque point du modèle. Jusqu'à maintenant, les méthodes existante ne permettaient pas de paramétrer des modèles ayant plus d'un million de points. / This thesis falls within the field of computer vision. It focuses on stereoscopic camera calibration, camera-projector matching, 3D reconstruction, projector blending, point cloud meshing, and surface parameterization. Conducted as part of the LightTwist project at the Vision3D laboratory, the work presented in this thesis aims to facilitate video projections on large surfaces of arbitrary shape using more than one projector. This type of projection is often seen in theater, digital arts, and architectural projections. To this end, we begin with the calibration of the cameras, followed by a piecewise 3D reconstruction using an active unstructured light scanning method. An automated alignment and meshing of the partial reconstructions yields a complete 3D model of the projection surface. This thesis then introduces a new approach for the parameterization of 3D models based on an efficient computation of geodesic distances across triangular meshes. The only input required from the user is the manual selection of the boudaries of the projection area on the model. The final parameterization is computed using the geodesic distances obtained for each of the model's vertices. Until now, existing methods did not permit the parameterization of models having a million vertices or more.

No description available.