Dans un premier chapitre, nous décrivons un modèle de formation d’image affichée sur un écran en revenant sur les concepts que sont la lumière, la géométrie et l’optique. Nous détaillons ensuite les différentes techniques d’affichage stéréoscopique utilisées à l’heure actuelle, en parcourant la stéréoscopie, l’autostéréoscopie et plus particulièrement le principe d’imagerie intégrale. Le deuxième chapitre introduit un nouveau modèle de formation d’image stéréoscopique. Ce dernier nous permet d’observer deux images d’une paire stéréoscopique soumises à des éventuelles transformations et à l’effet d’une ou de plusieurs optiques particulières, pour reproduire la perception de trois dimensions. Nous abordons l’aspect unificateur de ce modèle. En effet il permet de décrire et d’expliquer de nombreuses techniques d’affichage stéréoscopique existantes. Enfin, dans un troisième chapitre nous discutons d’une méthode particulière de création de paires d’images stéréoscopiques à l’aide d’un champ lumineux.

L’analyse vidéo pour la vidéo-surveillance nécessite d’avoir une bonne résolution pour pouvoir analyser les flux vidéo avec un maximum de robustesse. Dans le contexte de la détection d’objets stationnaires dans les grandes zones, telles que les parkings, le compromis entre la largeur du champ d’observation et la bonne résolution est difficile avec un nombre limité de caméras. Nous allons utiliser une paire de caméras à focale variable de type Pan-Tilt-Zoom (PTZ). Les caméras parcourent un ensemble de positions (pan, tilt, zoom) prédéfinies afin de couvrir l’ensemble de la scène à une résolution adaptée. Chacune de ces positions peut être vue comme une caméra stationnaire à très faible taux de rafraîchissement. Dans un premier temps notre approche considère les positions des PTZ comme des caméras indépendantes. Une soustraction de fond robuste aux changements de luminosité reposant sur une grille de descripteurs SURF est effectuée pour séparer le fond du premier plan. La détection des objets stationnaires est effectuée par ré-identification des descripteurs à un modèle du premier plan. Dans un deuxième temps afin de filtrer certaines fausses alarmes et pouvoir localiser les objets en 3D une phase de mise en correspondance des silhouettes entre les deux caméras et effectuée. Les silhouettes des objets stationnaires sont placées dans un repère commun aux deux caméras en coordonnées rectifiées. Afin de pouvoir gérer les erreurs de segmentation, des groupes de silhouettes s’expliquant mutuellement et provenant des deux caméras sont alors formés. Chacun de ces groupes (le plus souvent constitué d’une silhouette de chaque caméra, mais parfois plus) correspond à un objet stationnaire. La triangulation des points frontière haut et bas permet ensuite d’accéder à sa localisation 3D et à sa taille. / Video analysis for video surveillance needs a good resolution in order to analyse video streams with a maximum of robustness. In the context of stationary object detection in wide areas a good compromise between a limited number of cameras and a high coverage of the area is hard to achieve. Here we use a pair of Pan-Tilt-Zoom (PTZ) cameras whose parameter (pan, tilt and zoom) can change. The cameras go through a predefined set of parameters chosen such that the entire scene is covered at an adapted resolution. For each triplet of parameters a camera can be assimilated to a stationary camera with a very low frame-rate and is referred to as a view. First each view is considered independently. A background subtraction algorithm, robust to changes in illumination and based on a grid of SURF descriptors, is proposed in order to separate background from foreground. Then the detection and segmentation of stationary objects is done by reidentifying foreground descriptor to a foreground model. Then in order to filter out false alarms and to localise the objects in the3D world, the detected stationary silhouettes are matched between the two cameras. To remain robust to segmentation errors, instead of matched a silhouette to another, groups of silhouettes from the two cameras and mutually explaining each other are matched. Each of the groups then correspond to a stationary object. Finally the triangulation of the top and bottom points of the silhouettes gives an estimation of the position and size of the object.

Les systèmes d’imagerie infrarouge suivent depuis plusieurs années la même tendance de miniaturisation que les systèmes d’imagerie visible. Aujourd’hui cette miniaturisation se rapproche d’une limite physique qui amène la communauté à se tourner vers une nouvelle approche : la fonctionnalisation, c’est-à-dire l’apport de fonctions d’imagerie avancées aux systèmes telles que l’imagerie 3D.En infrarouge, la fonction d’imagerie 3D est très recherchée car elle pourrait apporter à un fantassin un outil de télémétrie passive fonctionnant de nuit comme de jour, ou encore permettre l’autonomie en environnements complexes à des systèmes tels que les drones. Cependant, le cout d’une caméra infrarouge hautes-performances est élevé. Multiplier le nombre de cameras n’est donc pas une solution acceptable pour répondre à ce besoin.C’est dans ce contexte que se situe ce travail qui consiste à apporter une fonction de vision 3D à des caméras infrarouges possédant un unique plan focal.Au cours de cette thèse, j’ai identifié la technologie d’imagerie 3D la plus adaptée à ce besoin : la camera plénoptique. J’ai montré que cette dernière permet de proposer, en intégrant une matrice de microlentilles dans le cryostat, un bloc de détection infrarouge avec une fonction d’imagerie 3D. L’environnement scellé du bloc de détection m’a amené à développer un modèle de dimensionnement rigoureux que j’ai appliqué pour concevoir et réaliser une camera plénoptique infrarouge refroidie. J’ai ensuite mis au point une méthode de caractérisation originale et intégré les mesures dans une série d’algorithmes de traitement d’image afin de remonter à la distance des objets observés. / For a few years now, infrared cameras have been following the same miniaturization trend introduced with visible cameras. Today, this miniaturization is nearing a physical limit, leading the community to take a different approach called functionalization: that is bringing an advanced imaging capability to the system.For infrared cameras, one of the most desired functions is 3D vision. This could be used to bring soldiers a passive telemetry tool or to help UAVs navigate a complex environment, even at night. However, high performance infrared cameras are expensive. Multiplying the number of cameras would thus not be an acceptable solution to bring 3D vision to these systems.That is why this work focuses on bringing 3D vision to cooled infrared cameras using only a single focal plane array.During this PhD, I have first identified the plenoptic technology as the most suitable for our need of 3D vision with a single cooled infrared sensor. I have shown that integrating a microlens array inside the dewar could bring this function to the infrared region. I have then developed a complete design model for such a camera and used it to design and build a cooled infrared plenoptic camera. I have created a method to characterize our camera and integrated this method into the image processing algorithms necessary to generate refocused images and derive the distance of objects in the scene.

L'imagerie plénoptique est souvent présentée comme une révolution par rapport à l'imagerie standard. En effet, elle apporte plus de contrôle à l'utilisateur sur l'image finale puisque les dimensions spatiales et angulaires du champ de lumière offrent la possibilité de changer le point de vue ou de refaire la mise au point après coup ainsi que de calculer la carte de profondeur de la scène. Cependant, cela complique le travail du concepteur optique du système pour deux raisons. La première est qu'il existe une multitude d'appareils de capture plénoptique différents, chacun avec sa propre spécificité. La deuxième est qu'il n'existe pas de modèle qui relie le design de la caméra à ses propriétés optiques d'acquisition et qui puisse guider le concepteur dans sa tâche. Cette thèse répond à ces observations en proposant un modèle optique du premier ordre pour représenter n'importe quel appareil d'acquisition plénoptique. Ce modèle abstrait une caméra plénoptique par un réseau équivalent de caméras virtuelles existant en espace objet et qui effectue un échantillonnage identique de la scène. Ce modèle est utilisé pour étudier et comparer plusieurs caméras plénoptiques ainsi qu'un microscope plénoptique monté en laboratoire, ce qui révèle des lignes directrices pour la conception de systèmes plénoptiques. Les simulations du modèle sont aussi validées par l'expérimentation avec une caméra et le microscope plénoptique. / Light field imaging is often presented as a revolution of standard imaging. Indeed, it does bring more control to the user over the final image as the spatio-angular dimensions of the light field offer the possibility to change the viewpoint and refocus after the shot and compute the scene depth map.However, it complicates the work of the optical designer of the system for two reasons. The first is that there exist a multitude of different light field acquisition devices, each with its own specific design. The second is that there is no model that relates the camera design to its optical properties of acquisition and that would guide the designer in his task. This thesis addresses these observations by proposing a first-order optical model to represent any light field acquisition device. This model abstracts a light field camera as en equivalent array of virtual cameras that exists in object space and that performs the same sampling of the scene. The model is used to study and compare several light field cameras as well as a light field microscope setup which reveals guidelines for the conception of light field optical systems. The simulations of the model are also validated through experimentation with a light field camera and a light field microscope that was constructed in our laboratory.

Ce travail de thèse s'inscrit dans une collaboration entre le groupe Application et Valorisation des Interactions Rayonnement-Matière et l'entreprise Hamamatsu pour l'étude d'une électronique dédiée et fortement intégrée destinée à équiper un photomultiplicateur multianodes de type H8500. De par leur faible zone morte et leur configuration multianodes, ces photomultiplicateurs permettent d'améliorer les performances des gamma-caméras utilisées en particulier pour le dépistage du cancer du sein (scintimammographie). Après avoir élaboré un cahier des charges à partir des tests effectués sur ces tubes photomultiplicateurs, une électronique d'acquisition spécifique est proposée. Elle est composée d'un préamplificateur de courant multigain, d'un intégrateur commuté et d'un convertisseur analogique-numérique à rampe. L'ensemble est autodéclenché sur le signal. Cette électronique à fait l'objet de plusieurs prototypes multivoies dont la conception et les résultats de tests sont présentés.

Les environnements 3D immersifs et collaboratifs en ligne sont en pleine émergence. Ils posent les problématiques du sentiment de présence au sein des mondes virtuels, de l'immersion et des capacités d'interaction. Les systèmes 3D multi-caméra permettent, sur la base d'une information photométrique, d'extraire une information géométrique (modèle 3D) de la scène observée. Il est alors possible de calculer un modèle numérique texturé en temps-réel qui est utilisé pour assurer la présence de l'utilisateur dans l'espace numérique. Dans le cadre de cette thèse nous avons étudié comment coupler la capacité de présence fournie par un tel système avec une immersion visuelle et des interactions co-localisées. Ceci a mené à la réalisation d'une application qui couple un visio-casque, un système de suivi optique et un système multi-caméra. Ainsi l'utilisateur peut visualiser son modèle 3D correctement aligné avec son corps et mixé avec les objets virtuels. Nous avons aussi mis en place une expérimentation de télépresence sur 3 sites (Bordeaux, Grenoble, Orléans) qui permet à plusieurs utilisateurs de se rencontrer en 3D et de collaborer à distance. Le modèle 3D texturé donne une très forte impression de présence de l'autre et renforce les interactions physiques grâce au langage corporel et aux expressions faciales. Enfin, nous avons étudié comment extraire une information de vitesse à partir des informations issues des caméras, grâce au flot optique et à des correspondances 2D et 3D, nous pouvons estimer le déplacement dense du modèle 3D. Cette donnée étend les capacités d'interaction en enrichissant le modèle 3D.

Le laboratoire de robotique CAOR de Mines ParisTech a mis au point une technique de numérisation 3D d'environnements extérieurs, utilisant un système mobile appelé LARA3D. Il s'agit d'une voiture équipée de capteurs de localisation (GPS, Centrale Inertielle) et de capteurs de modélisation (lidars et caméras). Ce dispositif permet de construire des nuages de points 3D denses et des images géo-référencées de l'environnement traversé. Dans le cadre de cette thèse, nous avons développé une chaîne de traitement de ces nuages de points et de ces images capable de générer des modèles 3D photo-réalistes. Cette chaîne de modélisation est composée d'une succession d'étapes avec dans l'ordre : le calcul des normales, le débruitage des données, la segmentation en zones planes, la triangulation, la simplification et la texturation. Nous avons testé notre méthode de modélisation sur des données simulées et des données réelles acquises dans le cadre du projet TerraNumerica (en environnement urbain) et du projet Divas (en environnement routier).

Cette thèse s'attaque au problème général de la calibration d'une caméra mobile en utilisant uniquement des vues quelconques de l'environnement, donc sans utiliser de mire, ni de connaissance a priori sur le mouvement de la caméra. La méthode, appelée autocalibration, est fondée sur des propriétés algébriques de géométrie projective. Elle implique dans un premier temps le calcul de la transformation épipolaire grâce à la matrice fondamentale, notion que nous avons définie, qui est d'une importance primordiale pour tous les problèmes de vision où nous ne disposons pas déjà d'une calibration métrique complète. La détermination sans ambiguïté de cette matrice nécessite un minimum de huit correspondances de points. Les premières techniques que nous avons étudiées sont fondées sur la conservation du birapport et une méthode due à Sturm. Elles visent à calculer les épipoles. Nous avons ensuite introduit de multiples critères et paramétrages permettant l'estimation robuste de la matrice fondamentale par des techniques dérivées de l'algorithme de Longuet-Higgins, que nous avons comparées. Nous mettons en évidence le fait qu'une configuration de points particulière, les ensembles de plans, se prête à d'autres méthodes de calcul qui leur sont propres, mais rend de toutes manières l'estimation moins précise. L'influence du choix des mouvements eux-mêmes sur la stabilité du calcul est importante, nous le caractérisons par des calculs de covariance, et expliquons certaines situations grâce à la surface critique dont nous proposons une étude opérationnelle. Dans un second temps, lorsqu'un minimum de trois mouvements a été effectué, nous pouvons obtenir les paramètres intrinsèques de la caméra au moyen d'un système d'équations polynomiales dites de Kruppa, dont nous avons établi quelques importantes propriétés. Nous proposons d'abord une méthode semi-analytique de résolution, puis une approche itérative performante qui nous permet de prendre en compte des longues séquences d'images, ainsi que l'incertitude. Le calcul des paramètres extrinsèques, et une extension de la méthode à la calibration d'un système stéréo par une nouvelle méthode complètent ce travail, dont la partie expérimentale comporte de très nombreuses simulations, ainsi que des exemples réels.

Le contrôle de caméra virtuelle est aujourd'hui un composant essentiel dans beaucoup d'applications d'infographie. Malgré cette importance, les approches actuelles restent limitées en terme d'expressivité, d'interactivité et de performances. Typiquement, les éléments de style ou de genre cinématographique sont difficiles à modéliser et à simuler dû à l'incapacité des systèmes actuels de calculer simultanément des points de vues, des trajectoires et d'effectuer le montage. Deuxièmement, elles n'explorent pas assez le potentiel créatif offert par le couplage potentiel d'un humain et d'un système intelligent pour assister les utilisateurs dans une tâche complexe de construction de séquences cinématographiques. Enfin, la plupart des approches existantes se basent sur des techniques d'optimisation dans un espace de recherche 6D, qui s'avèrent coûteuses et donc inadaptées à un contexte interactif. Dans cette thèse, nous proposons tout d'abord un cadre unique intégrant les quatre aspects clés de la cinématographie (le calcul de point de vue, la planification de trajectoires, le montage et la visibilité). Ce cadre expressif permet de simuler certaines dimensions de style cinématographique. Nous proposons ensuite une méthodologie permettant de combiner les capacités d'un système automatique avec une interaction utilisateur. Enfin, nous présentons un modèle de contrôle de caméra efficace qui réduit l'espace de recherche de 6D à 3D. Ce modèle a le potentiel pour remplacer un certain nombre de formulations existantes.

L'analyse vidéo pour la vidéo-surveillance nécessite d'avoir une bonne résolution pour pouvoir analyser les flux vidéo avec un maximum de robustesse. Dans le contexte de la détection d'objets stationnaires dans les grandes zones, telles que les parkings, le compromis entre la largeur du champ d'observation et la bonne résolution est difficile avec un nombre limité de caméras. Nous allons utiliser une paire de caméras à focale variable de type Pan-Tilt-Zoom (PTZ). Les caméras parcourent un ensemble de positions (pan, tilt, zoom) prédéfinies afin de couvrir l'ensemble de la scène à une résolution adaptée. Chacune de ces positions peut être vue comme une caméra stationnaire à très faible taux de rafraîchissement. Dans un premier temps notre approche considère les positions des PTZ comme des caméras indépendantes. Une soustraction de fond robuste aux changements de luminosité reposant sur une grille de descripteurs SURF est effectuée pour séparer le fond du premier plan. La détection des objets stationnaires est effectuée par ré-identification des descripteurs à un modèle du premier plan. Dans un deuxième temps afin de filtrer certaines fausses alarmes et pouvoir localiser les objets en 3D une phase de mise en correspondance des silhouettes entre les deux caméras et effectuée. Les silhouettes des objets stationnaires sont placées dans un repère commun aux deux caméras en coordonnées rectifiées. Afin de pouvoir gérer les erreurs de segmentation, des groupes de silhouettes s'expliquant mutuellement et provenant des deux caméras sont alors formés. Chacun de ces groupes (le plus souvent constitué d'une silhouette de chaque caméra, mais parfois plus) correspond à un objet stationnaire. La triangulation des points frontière haut et bas permet ensuite d'accéder à sa localisation 3D et à sa taille.