Cette thèse aborde quelques-uns des problèmes qui surviennent dans la conception d'un système complet de vision par ordinateur : de l'échantillonnage à la détection de structures et leur interprétation. La motivation principale pour traiter ces problèmes a été fournie par le CNES et la conception des satellites d'observation terrestre, ainsi que par les applications de photogrammétrie et vidéo-surveillance chez Cognitech, Inc. pendant les étapes finales de ce travail, mais les techniques développées sont d'une généralité suffisante pour présenter un intérêt dans d'autres systèmes de vision par ordinateur. Dans une première partie nous abordons une étude comparative des différents systèmes d'échantillonnage d'images sur un réseau régulier, soit carré soit hexagonal, à l'aide d'une mesure de résolution effective, qui permet de déterminer la quantité d'information utile fournie par chaque pixel du réseau, une fois que l'on a séparé les effets du bruit et du repliement spectral. Cette mesure de résolution est utilisée à son tour pour améliorer des techniques de zoom et de restauration basées sur la minimisation de la variation totale. Ensuite l'étude comparative est poursuivie en analysant dans quelle mesure chacun des systèmes permet d'éliminer les perturbations du réseau d'échantillonnage dues aux micro-vibrations du satellite pendant l'acquisition. Après une présentation des limites théoriques du problème, nous comparons les performances des méthodes de reconstruction existantes avec un nouvel algorithme, mieux adapté aux conditions d'échantillonnage du CNES. Dans une deuxième partie nous nous intéressons à l'interpolation de modèles d'élévation de terrain, dans deux cas particuliers: l'interpolation de lignes de niveau, et l'étude des zones dans lesquelles une méthode de corrélation à partir de paires stéréo ne fournit pas des informations fiables. Nous étudions les liens entre les méthodes classiques utilisées en sciences de la terre tels que Krigeage ou distances géodésiques, et la méthode AMLE, et nous proposons une extension de la théorie axiomatique de l'interpolation qui conduit à cette dernière. Enfin une évaluation expérimentale permet de conclure qu'une nouvelle combinaison du Krigeage avec l'AMLE fournit les meilleures interpolations pour les modèles de terrain. Enfin nous nous intéressons à la détection d'alignements et de leurs points de fuite dans une image, car ils peuvent être utilisés aussi bien pour la construction de modèles d'élévation urbains, que pour résoudre des problèmes de photogrammétrie et calibration de caméras. Notre approche est basée sur la théorie de la Gestalt, et son implémentation effective récemment proposée par Desolneux-Moisan-Morel à l'aide du principe de Helmholtz. Le résultat est un détecteur de points de fuite sans paramètres, qui n'utilise aucune information a priori sur l'image ou la caméra.

Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

Les dernières années, la taille des collections vidéo a connu une forte augmentation. La recherche et la navigation efficaces dans des telles collections demande une indexation avec des termes pertinents, ce qui nous amène au sujet de cette thèse, l'indexation sémantique des vidéos. Dans ce contexte, le modèle Sac de Mots (BoW), utilisant souvent des caractéristiques SIFT ou SURF, donne de bons résultats sur les images statiques. Notre première contribution est d'améliorer les résultats des descripteurs SIFT/SURF BoW sur les vidéos en pré-traitant les vidéos avec un modèle de rétine humaine, ce qui rend les descripteurs SIFT/SURF BoW plus robustes aux dégradations vidéo et qui leurs donne une sensitivité à l'information spatio-temporelle. Notre deuxième contribution est un ensemble de descripteurs BoW basés sur les trajectoires. Ceux-ci apportent une information de mouvement et contribuent vers une description plus riche des vidéos. Notre troisième contribution, motivée par la disponibilité de descripteurs complémentaires, est une fusion tardive qui détermine automatiquement comment combiner un grand ensemble de descripteurs et améliore significativement la précision moyenne des concepts détectés. Toutes ces approches sont validées sur les bases vidéo du challenge TRECVid, dont le but est la détection de concepts sémantiques visuels dans un contenu multimédia très riche et non contrôlé.

La connaissance de l'attitude, de l'altitude, de la segmentation du sol et du mouvement est essentielle pour la navigation d'un drone, en particulier durant les phases critiques de décollage et d'atterrissage. Dans ce travail de thèse, nous présentons un système stéréoscopique hybride composé d'une caméra fisheye et d'une caméra perspective pour estimer les paramètres de navigation d'un drone. À partir de ce capteur, une approche systémique est proposée. Contrairement aux méthodes classiques de stéréovision basées sur l'appariement de primitives, nous proposons des méthodes qui évitent toute mise en correspondance entre les vues hybrides. Une technique de plane-sweeping est suggérée pour déterminer l'altitude et détecter le plan du sol. La rotation et la translation du mouvement sont ensuite découplés : la vue fisheye contribue à évaluer l'attitude et l'orientation tandis que la vue perspective contribue à apporter l'échelle métrique de la translation. Le mouvement peut ainsi être estimé de façon robuste et à l'échelle métrique grâce à la connaissance de l'altitude. Cette méthode repose sur l'algorithme des 2-points complété par un filtre de Kalman. Nous proposons des approches robustes, temps réel et précises, exclusivement basées sur la vision avec une implémentation C++. Bien que cette approche évite l'utilisation de capteurs autres que les caméras, ce système peut également être appuyé par une centrale inertielle.

Dans le domaine de la robotique, la vision omnidirectionnelle est privilégiée car elle augmente le champ de vision des capteurs ce qui permet une meilleur navigation et localisation des robots. Les capteurs catadioptriques (combinaison de miroir(s) + caméra(s)) représentent une solution simple et rapide pour atteindre une vue large satisfaisante. Cependant, à cause de la géométrie des miroirs de révolution utilisés, ces capteurs fournissent des images possédant une résolution non uniforme et entrainent des distorsions géométriques. Deux approches sont présentées dans la littérature pour remédier à ces désagréments. La première consiste à traiter les images omnidirectionnelles comme étant des images perspectives, tandis que la seconde utilise des méthodes adaptées à la géométrie des capteurs en travaillant sur des espaces équivalents (Sphère, cylindre). Le principal atout de la première approche est le gain en temps de traitement par contre la qualité des résultats est souvent dépassée par celle des méthodes adaptées. Dans le cadre des travaux de cette thèse, nous avons choisi la voie de la première catégorie. L'objectif est de proposer des méthodes (mise en correspondance, détection de contour et détection de coin) permettant d'améliorer les résultats des traitements des images omnidirectionnelles. Les méthodes proposées sont basées sur des mesures statistiques. Elles présentent l'avantage de parcourir les images omnidirectionnelles par des voisinages (fenêtres) de taille fixe, sans passer par leurs adaptations aux caractéristiques intrinsèques du capteur et à la géométrie du miroir utilisé. Elle présente également l'avantage de ne pas faire appel à la dérivation qui accentue l'effet du bruit aux hautes fréquences de l'image. Les méthodes proposées ont été d'abord validées sur des images perspectives avant d'être appliquées sur les images omnidirectionnelles. Les résultats comparatifs obtenus sont satisfaisants.

Une nouvelle approche pour la mise en correspondance des objets 3D en présence des transformations non-rigides et des modèles partiellement similaires est proposée dans le cadre de cette thèse. L'approche est composée de deux phases. Une première phase pour la description d'objets et une deuxième phase de mesure de similarité. Pour décrire un objet 3D, nous avons choisi une méthode basée sur des descripteurs locaux. La méthode consiste à extraire d'un objet 3D un ensemble de points caractéristiques pour lesquels deux descripteurs locaux sont calculés. Le premier descripteur Geodesic cord descriptor représente la distribution des distances géodésiques entre un point caractéristique et l'ensemble des points de la surface de l'objet 3D. Le deuxième descripteur Curve based descriptor permet de représenter la surface 3D de l'objet par un ensemble de courbes. La forme de ces courbes est analysée à l'aide d'outils issus de la géométrie Riemannienne. Pour mesurer la similarité entre les objets 3D, nous avons utilisé deux techniques différentes dont l'une est basée sur les fonctions de croyance et l'autre est basée sur les sac-de-mots. Afin de valider notre approche nous l'avons adaptée à deux applications différentes à savoir la recherche et la classification d'objets 3D. Les résultats obtenus sur différent benchmarks montrent une efficacité et une pertinence comparés avec les autres méthodes de l'état-de-l'art.

Le travail présenté dans cette thèse s'inscrit dans le cadre de la modélisation d'images texturées à l'aide des représentations multi-échelles et multi-orientations. Partant des résultats d'études en neurosciences assimilant le mécanisme de la perception humaine à un schéma sélectif spatio-fréquentiel, nous proposons de caractériser les images texturées par des modèles probabilistes associés aux coefficients des sous-bandes. Nos contributions dans ce contexte concernent dans un premier temps la proposition de différents modèles probabilistes permettant de prendre en compte le caractère leptokurtique ainsi que l'éventuelle asymétrie des distributions marginales associées à un contenu texturée. Premièrement, afin de modéliser analytiquement les statistiques marginales des sous-bandes, nous introduisons le modèle Gaussien généralisé asymétrique. Deuxièmement, nous proposons deux familles de modèles multivariés afin de prendre en compte les dépendances entre coefficients des sous-bandes. La première famille regroupe les processus à invariance sphérique pour laquelle nous montrons qu'il est pertinent d'associer une distribution caractéristique de type Weibull. Concernant la seconde famille, il s'agit des lois multivariées à copules. Après détermination de la copule caractérisant la structure de la dépendance adaptée à la texture, nous proposons une extension multivariée de la distribution Gaussienne généralisée asymétrique à l'aide de la copule Gaussienne. L'ensemble des modèles proposés est comparé quantitativement en terme de qualité d'ajustement à l'aide de tests statistiques d'adéquation dans un cadre univarié et multivarié. Enfin, une dernière partie de notre étude concerne la validation expérimentale des performances de nos modèles à travers une application de recherche d'images par le contenu textural. Pour ce faire, nous dérivons des expressions analytiques de métriques probabilistes mesurant la similarité entre les modèles introduits, ce qui constitue selon nous une troisième contribution de ce travail. Finalement, une étude comparative est menée visant à confronter les modèles probabilistes proposés à ceux de l'état de l'art.

L'essor des interfaces homme-machine permettant la saisie d'informations à l'aide d'un stylo électronique est accompagné par le développement de méthodes automatiques pour interpréter des données de plus en plus riches et complexes : texte manuscrit, mais aussi expressions mathématiques, schémas, prise de notes libre... Pour interpréter efficacement ces documents manuscrits, il est nécessaire de considérer conjointement les formes des objets qui les constituent et leur positionnement spatial. Nos recherches se concentrent sur la modélisation du positionnement spatial entre des objets manuscrits, en partant du constat qu'il n'est pas exploité dans toute sa richesse par les méthodes actuelles. Nous introduisons le concept de méta-modèle spatial, une modélisation générique pour décrire des relations spatiales entre des objets de nature, complexité et formes variables. Ces modèles, qui peuvent être appris à partir de données, offrent une richesse et une précision inédite car ils autorisent la conduite d'un raisonnement spatial directement dans l'espace image. L'appui sur le cadre de la théorie des sous-ensembles flous et de la morphologie mathématique permet la gestion de l'imprécision et offre une description des relations spatiales conforme à l'intuition. Un méta-modèle est doté d'un pouvoir de prédiction qui permet de décrire la relation spatiale modélisée au sein de l'image, par rapport à un objet de référence. Cette capacité rend possible la visualisation des modèles et fournit un outil pour segmenter les tracés en fonction de leur contexte. En exploitant ces modèles, nous proposons une représentation pour des objets manuscrits à la structure complexe. Cette représentation repose uniquement sur la modélisation de leurs informations spatiales, afin de démontrer l'importance de ces informations pour l'interprétation d'objets manuscrits structurés. La segmentation des tracés en primitives structurelles est guidée par les modèles de positionnement, via leur capacité de prédiction. Les résultats expérimentaux, portant sur des objets de complexité et de natures diverses (caractères chinois, gestes d'édition, symboles mathématiques, lettres), confirment la bonne qualité de description du positionnement offerte par les méta-modèles. Les tests de reconnaissance de symboles par l'exploitation de leur information spatiale attestent d'une part de l'importance de cette information et valident d'autre part la capacité des méta-modèles à la représenter avec une grande précision. Ces résultats témoignent donc de la richesse de l'information spatiale et du potentiel des méta-modèles spatiaux pour l'amélioration des techniques de traitement du document manuscrit.

Ces travaux se situent dans la problématique d'élaboration d'outils de mesure adaptés aux caractéristiques des écoulements fluides. Le développement de l'imagerie digitale, associée à l'utilisation de techniques de visualisation d'écoulements en mécanique des fluides, permet d'envisager l'extraction, à l'aide de méthodes de vision par ordinateur, du mouvement d'écoulements perçu dans des séquences d'images. L'objectif consiste ici à proposer une nouvelle approche de type " flux optique " pour l'estimation multiéchelle de mouvements de fluides, en s'appuyant sur une représentation en ondelettes du mouvement recherché. Cette formulation en ondelettes introduit un formalisme multiéchelle, intéressant tant du point de vue de l'estimation du flux optique que de la représentation de champs de vitesse turbulents. Elle permet en outre la construction de bases à divergence nulle, respectant ainsi une contrainte issue de la physique des fluides. Plusieurs types de régularisation sont présentés; la plus simple procède par troncature de la base aux petites échelles, la plus complexe utilise les coefficients de connexion de la base d'ondelette pour construire des schémas d'ordre élevé. Les approches proposées sont évaluées sur des images synthétiques dans un premier temps, puis sur des images expérimentales d'écoulements caractéristiques. Les résultats obtenus sont comparés à ceux fournis par la méthode usuelle des " corrélations croisées ", mettant en avant les intérêts et les limites de l'estimateur.

Le développement de la chirurgie laparoscopique entraîne de nouveaux défis pour le chirurgien, sa perception visuelle et tactile du site opératoire étant modifiée par rapport à son expérience antérieure. De nombreux dispositifs ont été développés autour de la procédure chirurgicale afin d'aider le chirurgien à réaliser le geste avec la meilleure qualité possible. Ces dispositifs visent à permettre au chirurgien de mieux percevoir le contexte dans lequel il intervient, à planifier de façon optimale la stratégie opératoire et à l'assister lors de la réalisation de son geste. La conception d'un système d'analyse de la procédure chirurgicale, permettant d'identifier des situations à risque et d'améliorer la qualité du geste, est un enjeu majeur du domaine des Gestes Médico-Chirurgicaux Assistés par Ordinateur. L'évaluation de la qualité du geste explore plusieurs composantes de sa réalisation : les habiletés techniques du chirurgien, ainsi que ses connaissances théoriques et sa capacité de jugement. L'objectif de cette thèse était de développer une méthode d'évaluation de la qualité technique des gestes du chirurgien à partir de connaissances à priori, qui soit adaptée aux contraintes spécifiques du bloc opératoire sans modifier l'environnement du chirurgien. Cette évaluation s'appuie sur la définition de métriques prédictives de la qualité du geste chirurgical, dérivées des trajectoires des instruments au cours de la procédure. La première étape de ce travail a donc consisté en la mise au point d'une méthode de suivi de la position des instruments laparoscopiques dans la cavité abdominale au cours de la chirurgie, à partir des images endoscopiques et sans ajout de marqueurs. Ce suivi combine des modèles géométriques de la caméra, de l'instrument et de son orientation, ainsi que des modèles statistiques décrivant les évolutions de cette dernière. Cette méthode permet le suivi de plusieurs instruments de laparoscopie dans des conditions de banc d'entraînement, en temps différé pour le moment. La seconde étape a consisté à extraire des trajectoires des paramètres prédictifs de la qualité du geste chirurgical, à partir de régressions aux moindres carrés partiels et de classifieurs k-means. Plusieurs nouvelles métriques ont été identifiées, se rapportant à la coordination des mains du chirurgien ainsi qu'à l'optimisation de son espace de travail. Ce dispositif est destiné à s'intégrer dans un système plus large, permettant d'apporter au chirurgien, en temps réel, des informations contextualisées concernant son geste, en fusionnant par exemple les données issues de la trajectoire à des données multi-modales d'imagerie per-opératoire.