Dans cette thèse, nous étudions des modèles semi-paramétriques dits de forme invariante. Ces modèles consistent en l'observation d'un nombre fixés de fonctions de régression identiques à un opérateur de déformation paramétriques près. Ce type de modèles trouve des applications dans les problèmes d'alignement de signaux continus (images 2D, rythmes biologiques, ...) ou discrets (electroencéphalogramme, ...). Pour différents groupes de déformations, nous proposons des M-estimateurs pour les paramètres caractérisant les opérateurs associés aux fonctions de régression. Ces estimateurs minimisent ou maximisent des fonctions de contraste, construites à partir de la moyenne synchronisée des transformées de Fourier des données. De plus, pour l'un des modèles étudiés, nous prouvons l'efficacité semi-paramétrique de cet estimateur ainsi défini, et nous proposons un test d'adéquation du modèle de forme invariante construit à partir d'une des fonctions de contraste.

La vision permet aux animaux de recueillir une information riche et détaillée sur leur environnent proche ou lointain. Les machines ont aussi accès à cette information riche via leurs caméras. Mais, elles n'ont pas encore le logiciel adéquat leur permettant de la traiter pour transformer les valeurs brutes des pixels de l'image en information plus utile telle que la nature, la position, et la fonction des objets environnants. Voilà une des raisons pour laquelle il leur est difficile de se mouvoir dans un environnement inconnu, et d'interagir avec les humains ou du matériel dans des scénarios non-planifiés. Cependant, la conception de ce logiciel comporte de multiples défis. Parmi ceux-ci, il est difficile de comparer deux images entre elles, par exemple, afin que la machine puisse reconnaître que ce qu'elle voit est similaire à une image qu'elle a déjà vue et identifiée. Une des raisons de cette difficulté est que la machine ne sait pas, a priori, quelles parties des deux images se correspondent, et ne sait donc pas quoi comparer avec quoi. Cette thèse s'attaque à ce problème et propose une série d'algorithmes permettant de trouver les parties correspondantes entre plusieurs images, ou en d'autre terme d'aligner les images. La première méthode proposée permet d'apparier ces parties de manière cohérente en prenant en compte les interactions entre plus de deux d'entre elles. Le deuxième algorithme proposé applique avec succès une méthode d'alignement pour déterminer la catégorie d'un objet centré dans une image. Le troisième est optimisé pour la vitesse et tente de détecter un objet d'une catégorie donné où qu'il soit dans l'image.

La vision permet aux animaux de recueillir une information riche et détaillée sur leur environnent proche ou lointain. Les machines ont aussi accès à cette information riche via leurs caméras. Mais, elles n'ont pas encore le logiciel adéquat leur permettant de la traiter pour transformer les valeurs brutes des pixels de l'image en information plus utile telle que la nature, la position, et la fonction des objets environnants. Voilà une des raisons pour laquelle il leur est difficile de se mouvoir dans un environnement inconnu, et d'interagir avec les humains ou du matériel dans des scénarios non-planifiés. Cependant, la conception de ce logiciel comporte de multiples défis. Parmi ceux-ci, il est difficile de comparer deux images entre elles, par exemple, afin que la machine puisse reconnaître que ce qu'elle voit est similaire à une image qu'elle a déjà vue et identifiée. Une des raisons de cette difficulté est que la machine ne sait pas, a priori, quelles parties des deux images se correspondent, et ne sait donc pas quoi comparer avec quoi. Cette thèse s'attaque à ce problème et propose une série d'algorithmes permettant de trouver les parties correspondantes entre plusieurs images, ou en d'autre terme d'aligner les images. La première méthode proposée permet d'apparier ces parties de manière cohérente en prenant en compte les interactions entre plus de deux d'entre elles. Le deuxième algorithme proposé applique avec succès une méthode d'alignement pour déterminer la catégorie d'un objet centré dans une image. Le troisième est optimisé pour la vitesse et tente de détecter un objet d'une catégorie donné où qu'il soit dans l'image. / Seeing allows animals and people alike to gather information from a distance, often with high spatial and temporal resolution. Machines have access to this rich pool of information thanks to their cameras. But, they still do not have the software to process it, in order to transform the raw pixel values into useful information such as nature, position, and function of the surrounding objects. That is one of the reasons why it is still difficult for them to naviguate in an unknown environment and interract with people and objects in an un-planned fashion. However, the design of such a software implies many challenges. Among them, it is hard to compare two images, for insance, in order to recognize that the seen image is similar to another which has been previously seen and identified. One of the difficulties here is that the software cannot know --a priori-- which parts of the two images match. So, it cannot know which parts it should compare. This thesis tackles that problem, and presents a set of algorithm to find correspondences in images, or in other words, to align them. The first proposed method match parts in images, in a coherent fachion, taking into account higher order interactions between more than to of them. The second proposed algorithm apply with success alignment technique to discover the category of an object centered in an image. The third one is optimized for speed and try to detect objects of a given category, which can be anywhere in an image.

Nous proposons dans cette thèse une méthode robuste de détection d’objets mobiles depuis une caméra en mouvement montée sur un vecteur aérien de type drone ou hélicoptère. Nos contraintes industrielles sont particulièrement fortes : robustesse aux grands mouvements de la caméra, robustesse au flou de focus ou de bougé, et précision dans la détection et segmentation des objets mobiles. De même, notre solution doit être optimisée afin de ne pas être trop consommatrice en termes de puissance de calcul. Notre solution consiste en la compensation du mouvement global, résultant du mouvement de la caméra, puis en l’analyse du mouvement résiduel existant entre les images pour détecter et segmenter les cibles mobiles. Ce domaine a été particulièrement exploré dans la littérature, ce qui se traduit par une richesse des méthodes proposées fondamentalement différentes. Après en avoir étudié un certain nombre, nous nous sommes aperçus qu’elles avaient toutes un domaine d’applications restreint, malheureusement incompatible avec nos préoccupations industrielles. Pour pallier à ce problème, nous proposons une méthodologie consistant à analyser les résultats des méthodes de l’état de l’art de manière à en comprendre les avantages et inconvénients de chacune. Puis, des hybridations de ces méthodes sont alors mis en place. Ainsi, nous proposons trois étapes successives : la compensation du mouvement entre deux images successives, l’élaboration d’un arrière plan de la scène afin de pouvoir segmenter de manière correcte les objets mobiles dans l’image et le filtrage de ces détections par confrontation entre le mouvement estimé lors de la première étape et le mouvement résiduel estimé par un algorithme local. La première étape consiste en l’estimation du mouvement global entre deux images à l’aide d’une méthode hybride composée d’un algorithme de minimisation ESM et d’une méthode de mise en correspondance de points d’intérêt Harris. L’approche pyramidale proposée permet d’optimiser les temps de calcul et les estimateursrobustes (M-Estimateur pour l’ESM et RANSAC pour les points d’intérêt) permettent de répondre aux contraintes industrielles. La deuxième étape établit un arrière plan de la scène à l’aide d’une méthode couplant les résultats d’une différence d’images successives (après compensation) et d’une segmentation en régions. Cette méthode réalise une fusion entre les informations statiques et dynamiques de l’image. Cet arrière plan est ensuite comparé avec l’image courante afin de détecter les objets mobiles. Enfin, la dernière étape confronte les résultats de l’estimation de mouvement global avec le mouvement résiduel estimé par un flux optique local Lucas-Kanade afin de valider les détections obtenues lors de la seconde étape. Les expériences réalisées dans ce mémoire sur de nombreuses séquences de tests (simulées ou réelles) permettent de valider la solution retenue. Nous montrons également diverses applications possibles de notre méthode proposée. / We propose a robust method about moving target detection from a moving UAV-mounted or helicopter-mounted camera. The industrial solution has to be robust to large motion of the camera, focus and motion blur in the images, and need to be accurate in terms of the moving target detection and segmentation. It does not have to need a long computation time. The proposed solution to detect the moving targets consists in the global camera motion compensation, and the residual motion analysis, that exists between the successive images. This research domain has been widely explored in the literature, implying lots of different proposed methods. The study of these methods show us that they all have a different and limited application scope, incompatible with our industrial constraints. To deal with this problem, we propose a methodology consisting in the analysis of the state-of-the-art method results, to extract their strengths and weaknesses. Then we propose to hybrid them. Therefore, we propose three successive steps : the inter-frame motion compensation, thecreation of a background in order to correctly detect the moving targets in the image and then the filtering of these detections by a comparison between the estimated global motion of the first step and the residual motion estimated by a local algorithm. The first step consists in the estimation of the global motion between two successive images thanks to a hybrid method composed of a minimization algorithm (ESM) and a feature-based method (Harris matching). The pyramidal implementation allows to optimize the computation time and the robust estimators (M-Estimator for the ESM algorithm and RANSAC for the Harris matching) allow to deal with the industrial constraints. The second step createsa background image using a method coupling the results of an inter-frame difference (after the global motion compensation) and a region segmentation. This method merges the static and dynamic information existing in the images. This background is then compared with the current image to detect the moving targets. Finally, the last step compares the results of the global motion estimation with the residual motion estimated by a Lucas-Kanade optical flow in order to validate the obtained detections of the second step. This solution has been validated after an evaluation on a large number of simulated and real sequences of images. Additionally, we propose some possible applications of theproposed method.

La réalité augmentée consiste en l'insertion d'éléments virtuels dans une scène réelle, observée à travers un écran. Les systèmes de réalité augmentée peuvent prendre des formes différentes pour obtenir l'équilibre désiré entre trois critères : précision, latence et robustesse. On identifie trois composants principaux : localisation, reconstruction et affichage. Nous nous concentrons sur l'affichage et la reconstruction. Pour certaines applications, l'utilisateur ne peut être isolé de la réalité. Nous proposons un système sous forme de "tablette augmentée" avec un écran semi transparent, au prix d'un étalonnage adapté. Pour assurer l'alignement entre augmentations et réalité, il faut connaître les poses relatives de l'utilisateur et de la scène observée par rapport à l'écran. Deux dispositifs de localisation sont nécessaires et l'étalonnage consiste à calculer la pose de ces dispositifs par rapport à l'écran. Le protocole d'étalonnage est le suivant : l'utilisateur renseigne les projections apparentes dans l'écran de points de référence d'un objet 3D connu ; les poses recherchées minimisent la distance 2D entre ces projections et celles calculées par le système. Ce problème est non convexe et difficile à optimiser. Pour obtenir une estimation initiale, nous développons une méthode directe par l'étalonnage intrinsèque et extrinsèque de caméras virtuelles. Ces dernières sont définies par leurs centres optiques, confondus avec les positions de l'utilisateur, ainsi que leur plan focal, constitué par l'écran. Les projections saisies par l'utilisateur constituent alors les observations 2D des points de référence dans ces caméras virtuelles. Un raisonnement symétrique permet de considérer des caméras virtuelles centrées sur les points de référence de l'objet, "observant" les positions de l'utilisateur. Ces estimations initiales sont ensuite raffinées par ajustement de faisceaux. La reconstruction 3D est basée sur la triangulation de correspondances entre images. Ces correspondances peuvent être éparses lorsqu'elles sont établies par détection, description et association de primitives géométriques ou denses lorsqu'elles sont établies par minimisation d'une fonction de coût sur toute l'image. Un champ dense de correspondance est préférable car il permet une reconstruction de surface, utile notamment pour une gestion réaliste des occultations en réalité augmentée. Les méthodes d'estimation d'un tel champ sont basées sur une optimisation variationnelle, précise mais sensible aux minimums locaux et limitée à des images peu différentes. A l'opposé, l'emploi de descripteurs discriminants peut rendre les correspondances éparses très robustes. Nous proposons de combiner les avantages des deux approches par l'intégration d'un coût basé sur des correspondances éparses de primitives à une méthode d'estimation variationnelle dense. Cela permet d'empêcher l'optimisation de tomber dans un minimum local sans dégrader la précision. Notre terme basé correspondances éparses est adapté aux primitives à coordonnées non entières, et peut exploiter des correspondances de points ou de segments tout en filtrant implicitement les correspondances erronées. Nous proposons aussi une détection et gestion complète des occultations pour pouvoir mettre en correspondance des images éloignées. Nous avons adapté et généralisé une méthode locale de détection des auto-occultations. Notre méthode produit des résultats compétitifs avec l'état de l'art, tout en étant plus simple et plus rapide, pour les applications de flot optique 2D et de stéréo à large parallaxe. Nos contributions permettent d'appliquer les méthodes variationnelles à de nouvelles applications sans dégrader leur performance. Le faible couplage des modules permet une grande flexibilité et généricité. Cela nous permet de transposer notre méthode pour le recalage de surfaces déformables avec des résultats surpassant l'état de l'art, ouvrant de nouvelles perspectives. / Augmented reality is the process of inserting virtual elements into a real scene, observed through a screen. Augmented Reality systems can take different forms to get the desired balance between three criteria: accuracy, latency and robustness. Three main components can be identified: localization, reconstruction and display. The contributions of this thesis are focused on display and reconstruction. Most augmented reality systems use non-transparent screens as they are widely available. However, for critical applications such as surgery or driving assistance, the user cannot be ever isolated from reality. We answer this problem by proposing a new “augmented tablet” system with a semi-transparent screen. Such a system needs a suitable calibration scheme:to correctly align the displayed augmentations and reality, one need to know at every moment the poses of the user and the observed scene with regard to the screen. Two tracking devices (user and scene) are thus necessary, and the system calibration aims to compute the pose of those devices with regard to the screen. The calibration process set up in this thesis is as follows: the user indicates the apparent projections in the screen of reference points from a known 3D object ; then the poses to estimate should minimize the 2D on-screen distance between those projections and the ones computed by the system. This is a non-convex problem difficult to solve without a sane initialization. We develop a direct estimation method by computing the extrinsic parameters of virtual cameras. Those are defined by their optical centers which coincide with user positions, and their common focal plane consisting of the screen plane. The user-entered projections are then the 2D observations of the reference points in those virtual cameras. A symmetrical thinking allows one to define virtual cameras centered on the reference points, and “looking at” the user positions. Those initial estimations can then be refined with a bundle adjustment. Meanwhile, 3D reconstruction is based on the triangulation of matches between images. Those matches can be sparse when computed by detection and description of image features or dense when computed through the minimization of a cost function of the whole image. A dense correspondence field is better because it makes it possible to reconstruct a 3D surface, useful especially for realistic handling of occlusions for augmented reality. However, such a field is usually estimated thanks to variational methods, minimizing a convex cost function using local information. Those methods are accurate but subject to local minima, thus limited to small deformations. In contrast, sparse matches can be made very robust by using adequately discriminative descriptors. We propose to combine the advantages of those two approaches by adding a feature-based term into a dense variational method. It helps prevent the optimization from falling into local minima without degrading the end accuracy. Our feature-based term is suited to feature with non-integer coordinates and can handle point or line segment matches while implicitly filtering false matches. We also introduce comprehensive handling of occlusions so as to support large deformations. In particular, we have adapted and generalized a local method for detecting selfocclusions. Results on 2D optical flow and wide-baseline stereo disparity estimation are competitive with the state of the art, with a simpler and most of the time faster method. This proves that our contributions enables new applications of variational methods without degrading their accuracy. Moreover, the weak coupling between the components allows great flexibility and genericness. This is the reason we were able to also transpose the proposed method to the problem of non-rigid surface registration and outperforms the state of the art methods.

L'alignement d'images paramétrique a de nombreuses applications pour la réalité augmentée, la compression vidéo ou encore le suivi d'objets. Dans cette thèse, nous nous intéressons notamment aux techniques de recalage d'images (template matching) reposant sur l'optimisation locale d'une fonctionnelle d'erreur. Ces approches ont conduit ces dernières années à de nombreux algorithmes efficaces pour le suivi d'objets. Cependant, les performances de ces algorithmes ont été peu étudiées lorsque les images sont dégradées par un bruit important comme c'est le cas, par exemple, pour des captures réalisées dans des conditions de faible luminosité. Dans cette thèse, nous proposons un nouveau formalisme, appelé formalisme bidirectionnel, qui unifie plusieurs approches de l'état de l'art. Ce formalisme est utilisé dans un premier temps pour porter un éclairage nouveau sur un grand nombre d'approches de la littérature et en particulier sur l'algorithme ESM (Efficient Second-order Minimization). Nous proposons ensuite une étude théorique approfondie de l'influence du bruit sur le processus d'alignement. Cette étude conduit à la définition de deux nouvelles familles d'algorithmes, les approches ACL (Asymmetric Composition on Lie Groups) et BCL (Bidirectional Composition on Lie Groups) qui permettent d'améliorer les performances en présence de niveaux de bruit asymétriques (Rapport Signal sur Bruit différent dans les images). L'ensemble des approches introduites sont validées sur des données synthétiques et sur des données réelles capturées dans des conditions de faible luminosité.

L’alignement d’images paramétrique a de nombreuses applications pour la réalité augmentée, la compression vidéo ou encore le suivi d’objets. Dans cette thèse, nous nous intéressons notamment aux techniques de recalage d’images (template matching) reposant sur l’optimisation locale d’une fonctionnelle d’erreur. Ces approches ont conduit ces dernières années à de nombreux algorithmes efficaces pour le suivi d’objets. Cependant, les performances de ces algorithmes ont été peu étudiées lorsque les images sont dégradées par un bruit important comme c’est le cas, par exemple, pour des captures réalisées dans des conditions de faible luminosité. Dans cette thèse, nous proposons un nouveau formalisme, appelé formalisme bidirectionnel, qui unifie plusieurs approches de l’état de l’art. Ce formalisme est utilisé dans un premier temps pour porter un éclairage nouveau sur un grand nombre d’approches de la littérature et en particulier sur l’algorithme ESM (Efficient Second-order Minimization). Nous proposons ensuite une étude théorique approfondie de l’influence du bruit sur le processus d’alignement. Cette étude conduit à la définition de deux nouvelles familles d’algorithmes, les approches ACL (Asymmetric Composition on Lie Groups) et BCL (Bidirectional Composition on Lie Groups) qui permettent d’améliorer les performances en présence de niveaux de bruit asymétriques (Rapport Signal sur Bruit différent dans les images). L’ensemble des approches introduites sont validées sur des données synthétiques et sur des données réelles capturées dans des conditions de faible luminosité. / Parametric image alignment is a fundamental task of many vision applications such as object tracking, image mosaicking, video compression and augmented reality. To recover the motion parameters, direct image alignment works by optimizing a pixel-based difference measure between a moving image and a fixed-image called template. In the last decade, many efficient algorithms have been proposed for parametric object tracking. However, those approaches have not been evaluated for aligning images of low SNR (Signal to Noise ratio) such as images captured in low-light conditions. In this thesis, we propose a new formulation of image alignment called Bidirectional Framework for unifying existing state of the art algorithms. First, this framework allows us to produce new insights on existing approaches and in particular on the ESM (Efficient Second-order Minimization) algorithm. Subsequently, we provide a theoretical analysis of image noise on the alignment process. This yields the definition of two new approaches : the ACL (Asymmetric Composition on Lie Groups) algorithm and the BCL (Bidirectional Composition on Lie Groups) algorithm, which outperform existing approaches in presence of images of different SNR. Finally, experiments on synthetic and real images captured under low-light conditions allow to evaluate the new and existing approaches under various noise conditions.