Cette thèse porte sur la segmentation des tumeurs du foie sur des images tomodensitométriques. Ce sujet présente un intérêt certain pour le domaine médical puisque les médecins pourraient ainsi bénéficier d'une méthode reproductible et fiable pour segmenter de telles lésions. Une segmentation précise des tumeurs du foie permettrait en effet d'aider les médecins lors de l'évaluation des lésions (détection, localisation, quantification), du choix d'un traitement, et de sa planification. Les méthodes développées dans ce cadre doivent faire face à trois principales difficultés scientifiques: (i) la grande variabilité de l'apparence et de la forme des structures recherchées, (ii) leur ressemblance avec les régions environnantes et finalement (iii) la faiblesse du rapport signal sur bruit observé dans les images dans lesquelles on travaille. Ce problème est abordé dans une optique d'application clinique et est résolu en suivant une approche en deux temps commençant par le calcul d'une enveloppe du foie, avant de segmenter les tumeurs présentes à l'intérieur de cette enveloppe. Nous commençons par proposer une approche basée sur des atlas pour le calcul d'une enveloppe des foies pathologiques. Tout d'abord, un outil de traitement d'image a été développé pour calculer une enveloppe autour d'un masque binaire, afin d'essayer d'obtenir une enveloppe du foie à partir d'une estimation du parenchyme sain. Un nouvel atlas statistique a ensuite été introduit, puis utilise pour la segmentation à travers son recalage difféomorphique avec une image. La segmentation est finalement réalisée en combinant les coûts d'appariement des images avec des a priori spatiaux et d'apparence, le tout en suivant une approche multi échelle basée sur des MRFs. La deuxième étape de notre approche porte sur la segmentation des lésions continues dans ces enveloppes en combinant des techniques d'apprentissage par ordinateur avec de méthodes basées sur des graphes. Un espace d'attributs approprié est tout d'abord défini en considérant des descripteurs de textures déterminés à travers des filtres de diverses tailles et orientations. Des méthodes avancées d'apprentissage automatique sont ensuite utilisées pour déterminer les attributs pertinents, ainsi que l'hyperplan qui sépare les voxels tumoraux des voxels correspondant à des tissus sains dans cet espace d'attributs. Pour finir, la segmentation est réalisée en minimisant une énergie sous forme de MRF, laquelle combine les probabilités d'appartenance de chaque voxel à une classe, avec celles de ses voisins. Des résultats prometteurs montrent les potentiels de notre méthode.

L'analyse de la structure et du mouvement permet d'estimer la forme d'objets 3D et la position de la caméra à partir de photos ou de vidéos. Le plus souvent, elle est réalisée au moyen des étapes suivantes : 1) L'extraction de points d'intérêt, 2) La mise en correspondance des points d'intérêt entre les images à l'aide de descripteurs photométriques des voisinages de point, 3) Le filtrage des appariements produits à l'étape précédente afin de ne conserver que ceux compatibles avec une contrainte géométrique fixée, dont on peut alors calculer les paramètres. Cependant, la ressemblance photométrique seule utilisée en deuxième étape ne suffit pas quand plusieurs points ont la même apparence. Ensuite, la dernière étape est effectuée par un algorithme de filtrage robuste, Ransac, qui nécessite de fixer des seuils, ce qui se révèle être une opération délicate. Le point de départ de ce travail est l'approche A Contrario Ransac de Moisan et Stival, qui permet de s'abstraire des seuils. Ensuite, notre première contribution a consisté en l'élaboration d'un modèle a contrario qui réalise la mise en correspondance à l'aide de critères photométrique et géométrique, ainsi que le filtrage robuste en une seule étape. Cette méthode permet de mettre en correspondance des scènes contenant des motifs répétés, ce qui n'est pas possible par l'approche habituelle. Notre seconde contribution étend ce résultat aux forts changements de point de vue, en améliorant la méthode ASift de Morel et Yu. Elle permet d'obtenir des correspondances plus nombreuses et plus densément réparties, dans des scènes difficiles contenant des motifs répétés observés sous des angles très différents.

Cette thèse s'intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d'intérêt identifié par l'usager. Nous reprenons une des méthodes les plus robustes à cet effet et l'améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu'effectue l'objet d'intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s'agit là, d'estimer des paramètres intrinsèques qui décrivent la projection d'entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les caméras linéaires (pushbroom) et les vidéo projecteurs lesquels étaient, jusque là, calibrés de fa¸con laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra.

La vision stéréoscopique apparaît dans de nombreuses applications comme le moyen le plus évident pour obtenir des informations tridimensionnelles à partir d'images. Les approches employées reposent généralement sur des modèles euclidiens et nécessitent un étalonnage fort des systèmes stéréoscopiques utilisés, ce qui implique que les paramètres internes des caméras ainsi que la position relative entre les caméras doivent être connues. Or un étalonnage fort et précis nécessite généralement une intervention humaine. Cependant une aide extérieure n'est pas toujours possible et l'utilisation de systèmes faiblement étalonnés (systèmes dont seule la géométrie épipolaire est connue) apparaît alors comme une alternative. Un étalonnage faible est très facile à obtenir mais la difficulté est qu'alors les informations tridimensionnelles obtenues sont projectives et non plus euclidiennes. Ce document s'inscrit dans une approche basée sur un étalonnage faible et s'intéresse à l'étude d'un système stéréoscopique faiblement étalonné évoluant dans un environnement a priori inconnu. Il montre comment, en pratique, on peut tirer partie du mouvement d'un système stéréoscopique pour remonter à la structure métrique de la scène (par auto-étalonnage) et détecter des objets en mouvement. L'espace projectif est utilisé ici pour représenter l'information visuelle issue du système. En particulier, on étudie les transformations projectives 3D -appelées également homographies 3D- qui relient les reconstructions projectives d'une scène rigide. On s'intéresse au problème d'estimation de ces homographies 3D et on montre comment celles-ci entrent en jeu dans des applications telles que l'auto-étalonnage ou la segmentation du mouvement

<p>Cette thèse s'intéresse à la reconnaissance des actions humaines dans des données vidéo réalistes, tels que les films. À cette fin, nous développons des algorithmes d'extraction de caractéristiques visuelles pour la classification et la localisation d'actions.</p> <p>Dans une première partie, nous étudions des approches basées sur les sacs-de-mots pour la classification d'action. Dans le cas de vidéo réalistes, certains travaux récents qui utilisent le modèle sac-de-mots pour la représentation d'actions ont montré des résultats prometteurs. Par conséquent, nous effectuons une comparaison approfondie des méthodes existantes pour la détection et la description des caractéristiques locales. Ensuite, nous proposons deux nouvelles approches pour la descriptions des caractéristiques locales en vidéo. La première méthode étend le concept d'histogrammes sur les orientations de gradient dans le domaine spatio-temporel. La seconde méthode est basée sur des trajectoires de points d'intérêt détectés spatialement. Les deux descripteurs sont évalués avec une représentation par sac-de-mots et montrent une amélioration par rapport à l'état de l'art pour la classification d'actions.</p> <p>Dans une seconde partie, nous examinons comment la détection de personnes peut contribuer à la reconnaissance d'actions. Tout d'abord, nous développons une approche qui combine la détection de personnes avec une représentation sac-de-mots. La performance est évaluée pour la classification d'actions à plusieurs niveaux d'échelle spatiale. Ensuite, nous explorons la localisation spatio-temporelle des actions humaines dans les films. Nous étendons une approche de suivi de personnes pour des vidéos réalistes. En outre, nous développons une représentation d'actions qui est adaptée aux détections de personnes. Nos expériences suggèrent que la détection de personnes améliore significativement la localisation d'actions. De plus, notre système montre une grande amélioration par rapport à l'état de l'art actuel.</p>

Lorsque nous explorons une scène visuelle nous focalisons notre attention et notre regard sur certaines régions de la scène dites saillantes an d'étudier ces régions plus en détail. L'objectif de cette thèse était de mieux comprendre les processus attentionnels qui guident le regard lorsque nous regardons une vidéo et de modéliser ces processus. Deux approches complémentaires ont été adoptées : une approche comportementale, à l'aide d'expériences d'oculométrie, pour mieux comprendre comment les personnes regardent une vidéo et une approche de modélisation afin de proposer un modèle, inspiré du système visuel humain, permettant de mettre en évidence les régions saillantes dans des vidéos. Deux modèles ont été proposés. Le premier modèle de saillance à deux voies, extrait des cartes statiques et dynamiques à partir des informations sur la luminance et le mouvement. Les traitements de ces deux voies, bien que relativement indépendants, sont réalisés par des modules communs (filtre "rétinien" et filtres "corticaux") à l'instar de ce qui est fait dans le système visuel. Un deuxième modèle de saillance, à trois voies, intègre au modèle précédent une voie dédiée à la détection des visages, les visages étant connus pour attirer les regards. Des expériences d'oculométrie ont permis d'étudier et d'évaluer ces modèles de saillance en détail.

Au cours des dernières années, l'intérêt pour des algorithmes de reconnaissance fondés sur l'apparence à considérablement augmenté. Ces algorithmes utilisent directement des informations d'images. A partir des images d'objets ces approches construisent des "modèles fondés sur l'apparence", car chaque image représentée correspond à une apparence particulière d'un objet. La fiabilité, la vitesse et le taux de reconnaissance élevé de ces techniques en constituent les intérêts majeurs. Le succès de ces méthodes est considérable pour la reconnaissance de visages, dans le contexte de l'interface homme-machine et pour l'accès à des bases d'images par leurs contenus. Cette thèse propose une technique ou les objets sont représentés par des statistiques sur des opérateurs locaux et robustes. On veut montrer qu'une telle représentation fondée sur l'apparence est fiable et extrêmement discriminante pour la reconnaissance d'objets. La motivation initiale de cette étude était la reconnaissance rapide d'objets par la méthode des histogrammes de couleurs. Cette méthode utilise les statistiques de couleurs comme modèle d'objets. La première partie de la thèse généralise cette approche en modélisant des objets par les statistiques de leurs caractéristiques locales. La technique généralisée - que l'on appelle "histogrammes multidimensionnels de champs" réceptifs - permet de discriminer un grand nombre d'objets. Les faiblesses de cette approche sont liées aux "défis des modèles fondés sur l'apparence". Ces défis concernent la reconnaissance en présence d'occultation partielle, la reconnaissance d'objets 3D à partir des images 2D et la classification d'objets comme généralisation en dehors de la base d'objets. La deuxième partie de la thèse examine chacun de ces défis et propose une extension appropriée de notre technique. L'intérêt principal de cette thèse est le développement d'un modèle de représentation d'objets qui utilise les statistiques de vecteurs de champs réceptifs. Plusieurs algorithmes de l'identification et aussi de la classification d'objets sont proposés. En particulier, un algorithme probabiliste est defini : il ne dépend pas de la correspondance entre les images de test et les objets de la base de données. Des expériences obtiennent des taux de reconnaissance élevés en utilisant le modèle de représentation proposé. dans un état de l'art on décrit brièvement des techniques qui ont étés sources d'inspiration : des techniques de histogrammes de couleurs, des algorithmes de reconnaissance fondée sur des descripteurs locaux et des approches de la représentation et reconnaissance statistique d'objet. Afin de généraliser la technique de la comparaison d'histogrammes de couleurs, des descripteurs locaux sont discutés. Différentes techniques de comparaison d'histogrammes sont proposées et leur robustesse par rapport au bruit et au changement de l'intensité d'éclairage est analysée. Dans des expérimentations de l'identification d'une centaine d'objets les différents degrés de liberté de la reconnaissance d'objets sont considérés : changements d'échelle et de la rotation d'image, variations du point de vue et occultation partielle. Un algorithme probabiliste est proposé, qui ne dépend pas de la correspondance entre les images de test et les objets de la base de données. Des expériences obtiennent des taux de reconnaissance élevés en utilisant seulement une petite partie visible d'objet. Enfin une extension de cet algorithme fondée sur une table de hachage dynamique est proposée pour la reconnaissance de plusieurs objets dans les scènes complexes. Deux algorithmes actifs de reconnaissance d'objets sont proposés. Un algorithme calcule des régions d'intérêt pour le contrôle de fixation d'une caméra en 2D. Le deuxième algorithme propose la planification de points de vue pour la reconnaissance des objets 3D à partir des apparence d'objets en 2D. Un dernier chapître propose le concept des classes visuelles définis par des similarites d'objets comme cadre général pour la classification d'objets. Une technique selon le maximum de vraisemblance est proposé pour la reconnaissance des classes visuelles et appliquée pour obtenir des images visuellement similaire d'une base d'images.

L'utilisation de droites en asservissement visuel pose, contrairement au cas des points, un problème de représentation. Nous y avons répondu en nous basant sur les coordonnées de Plücker d'une droite, ce qui nous a permis d'introduire la notion d'alignement en coordonnées de Plücker binormées. Grâce à ces dernières, nous avons défini deux lois de commande voisines qui réalisent le nouvel alignement ; sont explicites et partiellement découplées entre rotation et translation ; mélangent informations 2D et 3D ; et enfin, ne nécessitent pas d'estimation de profondeur. Nous avons exhibé des résultats de convergence de ces lois et caractérisé leurs singularités. Nous avons ensuite appliqué ces lois au positionnement d'une caméra face à un trièdre orthogonal. Cette configuration ne permet pas d'observer la profondeur. Pour compenser ce manque, nous avons adjoint un pointeur laser non étalonné à la caméra. En reformulant le problème d'étalonnage pince-caméra par un système purement linéaire, nous avons produit une analyse algébrique du système et une classification des mouvements d'étalonnage. Les procédures classiques sont contraignantes puisqu'elles nécessitent l'observation d'une mire et/ou l'interruption de la tâche effectuée par le robot. Afin de lever ces contraintes, nous avons adapté notre méthode linéaire pour proposer une méthode d'auto-étalonnage, qui se passe de mire, et une méthode d'étalonnage en ligne, qui n'interrompt pas la tâche.

Cette thèse se place dans le domaine de la modélisation et de la reconnaissance d'objets par leur apparence. Chaque objet est modélisé par une collection d'images et la reconnaissance est obtenue par l'appariement d'une nouvelle image avec une image modèle. Les images sont modélisées par des mesures sur des caractéristiques locales. Plusieurs bases de descripteurs locaux sont évaluées théoriquement et expérimentalement et la base des dérivées de Gaussiennes est sélectionnée pour ses propriétés de discriminabilité avec une description très concise et son paramétrage en orientation et en échelle. Une invariance à l'orientation de la caméra par rapport à l'objet est obtenue par un calage des dérivées sur la direction du gradient et une invariance à l'échelle est obtenue par une technique novatrice qui consiste à sélectionner en chaque point une échelle caractéristique pour décrire son voisinage. Cette échelle caractéristique correspond au maximum en échelle d'un opérateur Laplacien. Ces invariances sont validées par des expérimentations systématiques. Dans notre système, une image est décomposée en une grille de fenêtres recouvrantes puis représentée par une grille de descripteurs locaux calculés sur ces fenêtres. Cette représentation très redondante nous a permis de définir deux stratégies de reconnaissance robustes~: l'une fondée sur un vote et l'autre fondée sur une stratégie par prédiction--vérification qui consiste à découper la reconnaissance en une phase de génération d'hypothèses d'appariement pour une fenêtre suivi d'une phase de vérification de ces hypothèses sur les fenêtres voisines en incluant des contraintes de cohérence spatiale à cette vérification.

Le travail de cette thèse s'inscrit dans le cadre de la modélisation et de la reconnaissance d'objets par leur apparence et par des descripteurs locaux. Nous partons, dans une première partie de cette thèse, d'images d'où sont extraits des contours puis des segments approchant ces derniers. À partir de ces segments, nous calculons des descripteurs locaux, appelés quasi-invariants, qui ont la particularité d'être très stables par rapport à des changements modérés de point de vue. En stockant ces quasi-invariants dans une structure adaptée, et en modélisant un objet 3D par un ensemble limité de vues 2D, nous montrons qu'il est possible de reconnaître des objets sous tout angle de vue. La reconnaissance est obtenue en deux étapes. D'abord les quasi-invariants locaux entre image et modèles sont mis en correspondance en utilisant une méthode d'indexation. Ensuite, une vérification globale exprimant une cohérence géométrique permet de filtrer des appariements erronés et de sélectionner le modèle le plus semblable à l'image. Constatant des faiblesses dans l'extraction et dans le pouvoir discriminant des descripteurs initiaux, nous étendons ensuite notre approche pour fournir une méthode d'intégration avec toute une classe de méthodes locales existantes. Les résultats expérimentaux fournis par cette extension forment une validation complète de notre travail. Dans un deuxième temps, nous analysons le problème de la complexité algorithmique soulevé par le genre d'approches utilisées. En effet, nous montrons formellement que certaines méthodes d'indexation sont très mal adaptées à la reconnaissance par descripteurs locaux dès lors que ces descripteurs évoluent dans un espace de dimension élevée. La complexité est telle, que, dans certains cas, elle peut dépasser celle d'une comparaison séquentielle de tous les modèles et leurs descripteurs. Nous montrons quels sont ces cas, et ce qui peut être fait pour les éviter.