Les caméras sphériques et 360 deviennent populaires et sont utilisées notamment pour la création de vidéos immersives et la génération de contenu pour la réalité virtuelle. Elles sont souvent composées de plusieurs caméras grand-angles/fisheyes pointant dans différentes directions et rigidement liées les unes aux autres. Cependant, il n'est pas si simple de les calibrer complètement car ces caméras grand public sont rolling shutter et peuvent être mal synchronisées. Cette thèse propose des méthodes permettant de calibrer ces multi-caméras à partir de vidéos sans utiliser de mire de calibration. On initialise d'abord un modèle de multi-caméra grâce à des hypothèses appropriées à un capteur omnidirectionnel sans direction privilégiée : les caméras ont les mêmes réglages (dont la fréquence et l'angle de champs de vue) et sont approximativement équiangulaires. Deuxièmement, sachant que le module de la vitesse angulaire est le même pour deux caméras au même instant, nous proposons de synchroniser les caméras à une image près à partir des vitesses angulaires estimées par structure-from-motion monoculaire. Troisièmement, les poses inter-caméras et les paramètres intrinsèques sont estimés par structure-from-motion et ajustement de faisceaux multi-caméras avec les approximations suivantes : la multi-caméra est centrale, global shutter ; et la synchronisation précédant est imposée.Enfin, nous proposons un ajustement de faisceaux final sans ces approximations, qui raffine notamment la synchronisation (à précision sous-trame), le coefficient de rolling shutter et les autres paramètres (intrinsèques, extrinsèques, 3D). On expérimente dans un contexte que nous pensons utile pour des applications comme les vidéos 360 et la modélisation 3D de scènes : plusieurs caméras grand public ou une caméra sphérique fixée(s) sur un casque et se déplaçant le long d'une trajectoire de quelques centaines de mètres à quelques kilomètres. / 360 degree and spherical multi-cameras built by fixing together several consumer cameras become popular and are convenient for recent applications like immersive videos, 3D modeling and virtual reality. This type of cameras allows to include the whole scene in a single view.When the goal of our applications is to merge monocular videos together into one cylinder video or to obtain 3D informations from environment,there are several basic steps that should be performed beforehand.Among these tasks, we consider the synchronization between cameras; the calibration of multi-camera system including intrinsic and extrinsic parameters (i.e. the relative poses between cameras); and the rolling shutter calibration. The goal of this thesis is to develop and apply user friendly method. Our approach does not require a calibration pattern. First, the multi-camera is initialized thanks to assumptions that are suitable to an omnidirectional camera without a privileged direction:the cameras have the same setting (frequency, image resolution, field-of-view) and are roughly equiangular.Second, a frame-accurate synchronization is estimated from instantaneous angular velocities of each camera provided by monocular Structure-from-Motion.Third, both inter-camera poses and intrinsic parameters are refined using multi-camera Structure-from-Motion and bundle adjustment.Last, we introduce a bundle adjustment that estimates not only the usual parameters but also a subframe-accurate synchronization and the rolling shutter. We experiment in a context that we believe useful for applications (3D modeling and 360 videos):several consumer cameras or a spherical camera mounted on a helmet and moving along trajectories of several hundreds of meters or kilometers.

Cette thèse concerne principalement l'intégration des fonctionnalités d'un système de vision avec celles d'un système robotique. Cette intégration apporte beaucoup d'avantages pour l'interaction d'un robot avec son environnement. Dans un premier temps, nous nous intéressons aux aspects de modélisation. Deux sujets liés à cette modélisation ont été traités : <br /> i) le calibrage caméra/pince et <br /> ii) la localisation caméra/objet. <br /> Pour le premier, nous proposons une méthode de calibrage non linéaire qui s'avère robuste en présence des erreurs de mesure ; pour le second, nous proposons une méthode linéaire très rapide et bien adaptée aux applications temps-réel puisqu'elle est basée sur des approximations successives par une projection para-perspective.<br /> Dans un deuxième temps, nous nous intéressons au contrôle visuel de robots. Nous adaptons la méthode "commande référencée capteur" à une caméra indépendante du robot asservi. De plus, dans le cas d'un positionnement relatif, nous montrons que le calcul de la position de référence ne dépend pas de l'estimation explicite des paramètres intrinsèques et extrinsèques de la caméra. Pour une tâche donnée, le problème de la commande peut alors se traduire sous la forme d'une régulation d'une erreur dans l'image. Nous montrons que la localisation temps-réel caméra/robot améliore le comportement dynamique de l'asservissement. Cette méthode de contrôle a été expérimentée dans la réalisation de tâches de saisie avec un robot manipulateur à six degrés de liberté. Toutes les méthodes proposées sont validées avec des mesures réelles et simulées.

La vision stéréoscopique apparaît dans de nombreuses applications comme le moyen le plus évident pour obtenir des informations tridimensionnelles à partir d'images. Les approches employées reposent généralement sur des modèles euclidiens et nécessitent un étalonnage fort des systèmes stéréoscopiques utilisés, ce qui implique que les paramètres internes des caméras ainsi que la position relative entre les caméras doivent être connues. Or un étalonnage fort et précis nécessite généralement une intervention humaine. Cependant une aide extérieure n'est pas toujours possible et l'utilisation de systèmes faiblement étalonnés (systèmes dont seule la géométrie épipolaire est connue) apparaît alors comme une alternative. Un étalonnage faible est très facile à obtenir mais la difficulté est qu'alors les informations tridimensionnelles obtenues sont projectives et non plus euclidiennes. Ce document s'inscrit dans une approche basée sur un étalonnage faible et s'intéresse à l'étude d'un système stéréoscopique faiblement étalonné évoluant dans un environnement a priori inconnu. Il montre comment, en pratique, on peut tirer partie du mouvement d'un système stéréoscopique pour remonter à la structure métrique de la scène (par auto-étalonnage) et détecter des objets en mouvement. L'espace projectif est utilisé ici pour représenter l'information visuelle issue du système. En particulier, on étudie les transformations projectives 3D -appelées également homographies 3D- qui relient les reconstructions projectives d'une scène rigide. On s'intéresse au problème d'estimation de ces homographies 3D et on montre comment celles-ci entrent en jeu dans des applications telles que l'auto-étalonnage ou la segmentation du mouvement

L'utilisation de droites en asservissement visuel pose, contrairement au cas des points, un problème de représentation. Nous y avons répondu en nous basant sur les coordonnées de Plücker d'une droite, ce qui nous a permis d'introduire la notion d'alignement en coordonnées de Plücker binormées. Grâce à ces dernières, nous avons défini deux lois de commande voisines qui réalisent le nouvel alignement ; sont explicites et partiellement découplées entre rotation et translation ; mélangent informations 2D et 3D ; et enfin, ne nécessitent pas d'estimation de profondeur. Nous avons exhibé des résultats de convergence de ces lois et caractérisé leurs singularités. Nous avons ensuite appliqué ces lois au positionnement d'une caméra face à un trièdre orthogonal. Cette configuration ne permet pas d'observer la profondeur. Pour compenser ce manque, nous avons adjoint un pointeur laser non étalonné à la caméra. En reformulant le problème d'étalonnage pince-caméra par un système purement linéaire, nous avons produit une analyse algébrique du système et une classification des mouvements d'étalonnage. Les procédures classiques sont contraignantes puisqu'elles nécessitent l'observation d'une mire et/ou l'interruption de la tâche effectuée par le robot. Afin de lever ces contraintes, nous avons adapté notre méthode linéaire pour proposer une méthode d'auto-étalonnage, qui se passe de mire, et une méthode d'étalonnage en ligne, qui n'interrompt pas la tâche.

L’objectif de ce travail est d’obtenir un modèle 3D d’un objet à partir d’une série d’images prisesavec un Microscope Electronique à Balayage (MEB). Pour cela, nous utilisons la technique dereconstruction 3D qui est une application bien connue du domaine de vision par ordinateur.Cependant, en raison des spécificités de la formation d’images dans le MEB et dans la microscopieen général, les techniques existantes ne peuvent pas être appliquées aux images MEB. Lesprincipales raisons à cela sont la projection parallèle et les problèmes d’étalonnage de MEB entant que caméra. Ainsi, dans ce travail, nous avons développé un nouvel algorithme permettant deréaliser une reconstruction 3D dans le MEB tout en prenant en compte ces difficultés. De plus,comme la reconstruction est obtenue par auto-étalonnage de la caméra, l’utilisation des mires n’estplus requise. La sortie finale des techniques présentées est un nuage de points dense, pouvant donccontenir des millions de points, correspondant à la surface de l’objet. / The goal of this work is to obtain a 3D model of an object from its multiple views acquired withScanning Electron Microscope (SEM). For this, the technique of 3D reconstruction is used which isa well known application of computer vision. However, due to the specificities of image formation inSEM, and in microscale in general, the existing techniques are not applicable to the SEM images. Themain reasons for that are the parallel projection and the problems of SEM calibration as a camera.As a result, in this work we developed a new algorithm allowing to achieve 3D reconstruction in SEMwhile taking into account these issues. Moreover, as the reconstruction is obtained through cameraautocalibration, there is no need in calibration object. The final output of the presented techniques isa dense point cloud corresponding to the surface of the object that may contain millions of points.

Dans cette thèse, en collaboration avec l'entreprise AéroDRONES, le Laboratoire Bordelais de Recherche en Informatique et l'INRIA, nous abordons le problème de la perception de l'environnement à partir d'une caméra embarquée sur un drone léger. Nous avons conçu, développé et validé de nouvelles méthodes de traitement qui optimisent l'exploitation des données produites par des systèmes de prise de vue aéroportés bas coût. D'une part, nous présentons une méthode d'autocalibrage de la caméra et de la tourelle d'orientation, sans condition spécifique sur l'environnement observé. Ensuite nous proposons un nouvel algorithme pour extraire la rotation de la caméra calibrée entre deux images (gyroscope visuel) et l'appliquons à la stabilisation vidéo en temps réel. D'autre part, nous proposons une méthode de géoréférencement des images par fusion avec un fond cartographique existant. Cette méthode permet d'enrichir des bases de données de photos aériennes, en gérant les cas de non-planéité du terrain. / The last decade has seen the emergence of many Unmanned Aerial Vehicles (UAV) which are becoming increasingly cheap and miniaturized. A mounted video-camera is standard equipment and can be found on any such UAVs. In this context, we present robust techniques to enhance autonomy levels of airborne vision systems based on mini-UAV technologies. First, we present a camera autocalibration method based on central projection based image \dimension{2}-invariants analysis and we compare it to classical Dual Image of the Absolute Conic (DIAC) technique. We present also a method to detect and calibrate turret's effectors hierarchy. Then, we propose a new algorithm to extract a calibrated camera self-rotation (visual gyroscope) and we apply it to propose a real-time video stabilizer with full perspective correction.