L'imagerie plénoptique est souvent présentée comme une révolution par rapport à l'imagerie standard. En effet, elle apporte plus de contrôle à l'utilisateur sur l'image finale puisque les dimensions spatiales et angulaires du champ de lumière offrent la possibilité de changer le point de vue ou de refaire la mise au point après coup ainsi que de calculer la carte de profondeur de la scène. Cependant, cela complique le travail du concepteur optique du système pour deux raisons. La première est qu'il existe une multitude d'appareils de capture plénoptique différents, chacun avec sa propre spécificité. La deuxième est qu'il n'existe pas de modèle qui relie le design de la caméra à ses propriétés optiques d'acquisition et qui puisse guider le concepteur dans sa tâche. Cette thèse répond à ces observations en proposant un modèle optique du premier ordre pour représenter n'importe quel appareil d'acquisition plénoptique. Ce modèle abstrait une caméra plénoptique par un réseau équivalent de caméras virtuelles existant en espace objet et qui effectue un échantillonnage identique de la scène. Ce modèle est utilisé pour étudier et comparer plusieurs caméras plénoptiques ainsi qu'un microscope plénoptique monté en laboratoire, ce qui révèle des lignes directrices pour la conception de systèmes plénoptiques. Les simulations du modèle sont aussi validées par l'expérimentation avec une caméra et le microscope plénoptique. / Light field imaging is often presented as a revolution of standard imaging. Indeed, it does bring more control to the user over the final image as the spatio-angular dimensions of the light field offer the possibility to change the viewpoint and refocus after the shot and compute the scene depth map.However, it complicates the work of the optical designer of the system for two reasons. The first is that there exist a multitude of different light field acquisition devices, each with its own specific design. The second is that there is no model that relates the camera design to its optical properties of acquisition and that would guide the designer in his task. This thesis addresses these observations by proposing a first-order optical model to represent any light field acquisition device. This model abstracts a light field camera as en equivalent array of virtual cameras that exists in object space and that performs the same sampling of the scene. The model is used to study and compare several light field cameras as well as a light field microscope setup which reveals guidelines for the conception of light field optical systems. The simulations of the model are also validated through experimentation with a light field camera and a light field microscope that was constructed in our laboratory.

Dans ce mémoire de maîtrise de type recherche, nous discutons essentiellement de la formation d’image. Dans un premier chapitre, nous décrivons les modèles classiques de formation d'image. Nous commençons par une description de la lumière voyageant dans la scène pour arriver à l'image formée sur le capteur. Ensuite, nous critiquons ces modèles sur le fait que le capteur entraine une perte d’informations sur la structure de la scène. De plus, pour un point donné du plan image, tous les rayons provenant de la scène ne sont pas pris en compte pour la formation d'une image. Nous essayons alors de combler ces défauts en introduisant la notion de champ lumineux dans le deuxième chapitre. Nous décrivons le modèle des champs lumineux d'une scène. Ce dernier permet alors d'estimer le champ lumineux à partir d'une image à l'aide de deux méthodes : la méthode des moindres carrés et une méthode variationnelle. Celles-ci sont présentées dans le troisième chapitre. Enfin, dans un quatrième chapitre, nous abordons un autre aspect de la formation d'image. En effet, nous travaillons sur une nouvelle matrice de filtres couleurs (color filter arrays, CFA) que nous nommons CFA de Burtoni. Dans ce chapitre, nous comparons, selon une mesure d'aliasing et de résolution, ce CFA avec d'autres CFAs existant dans la littérature, sans faire appel au démosaïquage. Afin d'effectuer ces comparaisons, nous introduisons également des classes d'images correspondantes à différents contenus comme les textures, les zoneshomogènes et les lignes.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Les systèmes d’imagerie infrarouge suivent depuis plusieurs années la même tendance de miniaturisation que les systèmes d’imagerie visible. Aujourd’hui cette miniaturisation se rapproche d’une limite physique qui amène la communauté à se tourner vers une nouvelle approche : la fonctionnalisation, c’est-à-dire l’apport de fonctions d’imagerie avancées aux systèmes telles que l’imagerie 3D.En infrarouge, la fonction d’imagerie 3D est très recherchée car elle pourrait apporter à un fantassin un outil de télémétrie passive fonctionnant de nuit comme de jour, ou encore permettre l’autonomie en environnements complexes à des systèmes tels que les drones. Cependant, le cout d’une caméra infrarouge hautes-performances est élevé. Multiplier le nombre de cameras n’est donc pas une solution acceptable pour répondre à ce besoin.C’est dans ce contexte que se situe ce travail qui consiste à apporter une fonction de vision 3D à des caméras infrarouges possédant un unique plan focal.Au cours de cette thèse, j’ai identifié la technologie d’imagerie 3D la plus adaptée à ce besoin : la camera plénoptique. J’ai montré que cette dernière permet de proposer, en intégrant une matrice de microlentilles dans le cryostat, un bloc de détection infrarouge avec une fonction d’imagerie 3D. L’environnement scellé du bloc de détection m’a amené à développer un modèle de dimensionnement rigoureux que j’ai appliqué pour concevoir et réaliser une camera plénoptique infrarouge refroidie. J’ai ensuite mis au point une méthode de caractérisation originale et intégré les mesures dans une série d’algorithmes de traitement d’image afin de remonter à la distance des objets observés. / For a few years now, infrared cameras have been following the same miniaturization trend introduced with visible cameras. Today, this miniaturization is nearing a physical limit, leading the community to take a different approach called functionalization: that is bringing an advanced imaging capability to the system.For infrared cameras, one of the most desired functions is 3D vision. This could be used to bring soldiers a passive telemetry tool or to help UAVs navigate a complex environment, even at night. However, high performance infrared cameras are expensive. Multiplying the number of cameras would thus not be an acceptable solution to bring 3D vision to these systems.That is why this work focuses on bringing 3D vision to cooled infrared cameras using only a single focal plane array.During this PhD, I have first identified the plenoptic technology as the most suitable for our need of 3D vision with a single cooled infrared sensor. I have shown that integrating a microlens array inside the dewar could bring this function to the infrared region. I have then developed a complete design model for such a camera and used it to design and build a cooled infrared plenoptic camera. I have created a method to characterize our camera and integrated this method into the image processing algorithms necessary to generate refocused images and derive the distance of objects in the scene.

Nous présentons un nouveau type d'imageur plénoptique appelé LOFI (Laser Optical Feedback Imaging). Le grand avantage de cette technique est qu'elle est auto-alignée, car le laser sert à la fois de source et de détecteur de photons. De plus, grâce à un effet d'amplification intra-cavité produit par la dynamique du laser, et grâce à un marquage acoustique des photons réinjectés, ce dispositif possède une sensibilité ultime au photon unique. Cette sensibilité est nécessaire si l'on veut réaliser des images à travers des milieux diffusants. L'autre intérêt présenté par le caractère plénoptique de notre imageur, est qu'il permet d'obtenir simultanément une double information: la position et la direction de propagation des rayons lumineux. Cette propriété offre des possibilités inhabituelles, comme celle de conserver la résolution d'un objectif de microscope bien au-delà de sa distance de travail, ou encore de pouvoir corriger par un post-traitement numérique les aberrations causées par la traversée d'un milieu hétérogène. Le dispositif LOFI plénoptique semble donc idéal pour une imagerie en profondeur à travers des milieux complexes, tels que les milieux biologiques. Les performances très intéressantes de cette imageur sont cependant obtenues au prix d'un filtrage spatial très coûteux en photons et au prix d'une acquisition des images réalisées point par point, donc relativement lente.

Nous présentons un nouveau type d'imageur plénoptique appelé LOFI (Laser Optical Feedback Imaging). Le grand avantage de cette technique est qu'elle est auto-alignée, car le laser sert à la fois de source et de détecteur de photons. De plus, grâce à un effet d'amplification intra-cavité produit par la dynamique du laser, et grâce à un marquage acoustique des photons réinjectés, ce dispositif possède une sensibilité ultime au photon unique. Cette sensibilité est nécessaire si l'on veut réaliser des images à travers des milieux diffusants. L'autre intérêt présenté par le caractère plénoptique de notre imageur, est qu'il permet d'obtenir simultanément une double information: la position et la direction de propagation des rayons lumineux. Cette propriété offre des possibilités inhabituelles, comme celle de conserver la résolution d'un objectif de microscope bien au-delà de sa distance de travail, ou encore de pouvoir corriger par un post-traitement numérique les aberrations causées par la traversée d'un milieu hétérogène. Le dispositif LOFI plénoptique semble donc idéal pour une imagerie en profondeur à travers des milieux complexes, tels que les milieux biologiques. Les performances très intéressantes de cette imageur sont cependant obtenues au prix d'un filtrage spatial très coûteux en photons et au prix d'une acquisition des images réalisées point par point, donc relativement lente. / We present LOFI (Laser Optical Feedback Imaging). The main advantage of this technique is that it is auto-aligned, as the laser plays both the role of an emitter and a receiver of photons. Furthermore, thanks to an intra-cavity amplification effect caused by the laser dynamics and an acoustic tagging of re-injected photons, this setup reaches a shot noise sensitivity (single photon sensitive). This sensitivity is necessary if our aim is to make images through scattering media. The other interest, which comes from the plenoptic property of our setup, is that one have access to a complete information about light rays (position and direction of propagation). This property implies unusual possibilities like keeping a constant resolution beyond microscope objectives working distance or being able to numerically compensate, after acquisition, aberrations caused by the propagation through heterogeneous media. Our setup is thus ideal for deep imaging through complex media (turbid and heterogeneous) like biological ones. These interesting properties are achieved at the price of a spatial filtering degrading photon collection efficiency and of a point by point image acquisition which is slow.

Les champs de lumière ont attisé la curiosité durant ces dernières décennies. Capturés par une caméra plénoptique ou un ensemble de caméras, ils échantillonnent la fonction plénoptique qui informe sur la radiance de n'importe quel rayon lumineux traversant la scène observée. Les champs lumineux offrent de nombreuses applications en vision par ordinateur comme en infographie, de la reconstruction 3D à la segmentation, en passant par la synthèse de vue, l'inpainting ou encore le matting par exemple.Dans ce travail nous nous attelons au problème de reconstruction du champ de lumière dans le but de synthétiser une image, comme si elle avait été prise par une caméra plus proche du sujet de la scène que l'appareil de capture plénoptique. Notre approche consiste à formuler la reconstruction du champ lumineux comme un problème de rendu basé image (IBR). La plupart des algorithmes de rendu basé image s'appuient dans un premier temps sur une reconstruction 3D approximative de la scène, appelée proxy géométrique, afin d'établir des correspondances entre les points image des vues sources et ceux de la vue cible. Une nouvelle vue est générée par l'utilisation conjointe des images sources et du proxy géométrique, bien souvent par la projection des images sources sur le point de vue cible et leur fusion en intensité.Un simple mélange des couleurs des images sources ne garantit pas la cohérence de l'image synthétisée. Nous proposons donc une méthode de rendu direct multi-échelles basée sur les pyramides de laplaciens afin de fusionner les images sources à toutes les fréquences, prévenant ainsi l'apparition d'artefacts de rendu.Mais l'imperfection du proxy géométrique est aussi la cause d'artefacts de rendu, qui se traduisent par du bruit en haute fréquence dans l'image synthétisée. Nous introduisons une nouvelle méthode de rendu variationnelle avec des contraintes sur les gradients de l'image cible dans le but de mieux conditionner le système d'équation linéaire à résoudre et supprimer les artefacts de rendu dus au proxy.Certaines scènes posent de grandes difficultés de reconstruction du fait du caractère non-lambertien éventuel de certaines surfaces~; d'autre part même un bon proxy ne suffit pas, lorsque des réflexions, transparences et spécularités remettent en cause les règles de la parallaxe. Nous proposons méthode originale basée sur l'approximation locale de l'espace plénoptique à partir d'un échantillonnage épars afin de synthétiser n'importe quel point de vue sans avoir recours à la reconstruction explicite d'un proxy géométrique. Nous évaluons notre méthode à la fois qualitativement et quantitativement sur des scènes non-triviales contenant des matériaux non-lambertiens.Enfin nous ouvrons une discussion sur le problème du placement optimal de caméras contraintes pour le rendu basé image, et sur l'utilisation de nos algorithmes pour la vision d'objets dissimulés derrière des camouflages.Les différents algorithmes proposés sont illustrés par des résultats sur des jeux de données plénoptiques structurés (de type grilles de caméras) ou non-structurés. / Light fields have gathered much interest during the past few years. Captured from a plenoptic camera or a camera array, they sample the plenoptic function that provides rich information about the radiance of any ray passing through the observed scene. They offer a pletora of computer vision and graphics applications: 3D reconstruction, segmentation, novel view synthesis, inpainting or matting for instance.Reconstructing the light field consists in recovering the missing rays given the captured samples. In this work we cope with the problem of reconstructing the light field in order to synthesize an image, as if it was taken by a camera closer to the scene than the input plenoptic device or set of cameras. Our approach is to formulate the light field reconstruction challenge as an image-based rendering (IBR) problem. Most of IBR algorithms first estimate the geometry of the scene, known as a geometric proxy, to make correspondences between the input views and the target view. A new image is generated by the joint use of both the input images and the geometric proxy, often projecting the input images on the target point of view and blending them in intensity.A naive color blending of the input images do not guaranty the coherence of the synthesized image. Therefore we propose a direct multi-scale approach based on Laplacian rendering to blend the source images at all the frequencies, thus preventing rendering artifacts.However, the imperfection of the geometric proxy is also a main cause of rendering artifacts, that are displayed as a high-frequency noise in the synthesized image. We introduce a novel variational rendering method with gradient constraints on the target image for a better-conditioned linear system to solve, removing the high-frequency noise due to the geometric proxy.Some scene reconstructions are very challenging because of the presence of non-Lambertian materials; moreover, even a perfect geometric proxy is not sufficient when reflections, transparencies and specularities question the rules of parallax. We propose an original method based on the local approximation of the sparse light field in the plenoptic space to generate a new viewpoint without the need for any explicit geometric proxy reconstruction. We evaluate our method both quantitatively and qualitatively on non-trivial scenes that contain non-Lambertian surfaces.Lastly we discuss the question of the optimal placement of constrained cameras for IBR, and the use of our algorithms to recover objects that are hidden behind a camouflage.The proposed algorithms are illustrated by results on both structured (camera arrays) and unstructured plenoptic datasets.

La tomographie par rayons X est une technique d’imagerie non-invasive qui permet de réaliser des images en 3D par l’acquisition de multiples images en 2D. La tomographie X par contraste de phase (XPCT) a été utilisée pour étudier la biodistribution de nanoparticules métalliques (NPs) dans des souris. Ces NPs sont très utilisées comme radiosensibilisants dans la recherche de traitements contre les cancers mais aussi pour marquer des plaques amyloïdes de la maladie d’Alzheimer chez la souris. Grace à la grande brillance du synchrotron ESRF, des images XPCT en haute résolution ont été obtenues et traitées pour produire des modèles en 3D d’organes de souris dopés aux NPs de gadolinium, d’or ou de platine.En parallèle, dans le cadre du projet Européen VOXEL (Volumetric X-ray Extremely Low dose), un microscope compact à rayons X mous a été développé pour l’imagerie cellulaire. Ce microscope fonctionne dans la « fenêtre de l’eau », une région spectrale pour laquelle un bon contraste de la structure cellulaire est réalisable naturellement. Ce microscope est conçu pour réaliser de l’imagerie plénoptique, une technique actuellement testée uniquement dans le visible. Ce système est composé d’une lentille principale et d’une matrice de micro-lentilles couplée à un détecteur, permettant d’enregistrer les composantes angulaires et spatiales des rayons arrivant au niveau du détecteur. Il est ainsi possible de produire des images en 3D à partir d’une seule exposition. Adapter cette technique disruptive aux rayons X aura, un très grand impact pour les applications biomédicales car cela permettra de réduire fortement la dose absorbée par les échantillons par rapport à la méthode conventionnelle de tomographie X. / X-ray tomography is a non-invasive imaging technique that allows producing 3D images following the acquisition of multiple 2D images at many angles. In particular, X-ray Phase-Contrast Tomography (XPCT) has been exploited for resolving the biodistribution of metal-based theranostic nanoparticles (NPs) in mice. These NPs are widely used as radiosensitizers for researches on cancer therapies and, recently to mark amyloid plaques in Alzheimer’s disease in mice. Thanks to the high brightness of ESRF synchrotron, high resolution XPCT images were obtained and thus processed for producing 3D models of mice organs doped with gadolinium, gold or platinum NPs.In parallel, in the framework of a European project, named VOXEL (Volumetric X-ray Extremely Low dose), a compact desktop-size soft X-ray microscope was developed aiming at biological cell imaging. The microscope was designed to be suitable in the so-called “water window” spectral range, where a natural good contrast of the cellular structures is achievable. The microscope was conceived to perform plenoptic imaging, a technology currently tested only in the visible domain. This device is composed of a main lens and a microlens array coupled to a detector, allowing recording the spatial and the angular components of the light rays travelling up to the detector and thus enabling producing 3D images in a single exposure. By adapting this disrupting technology to X-rays, a huge impact for bio-medical applications is foreseen, since it would lead to a drastic decrease of the dose absorbed by samples, compared to traditional X-ray tomography methods.