Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Un des plus grands défis de la neuroscience moderne pour parvenir à comprendre et diagnostiquer les maladies du cerveau est de déchiffrer les détails des interactions neuronales dans le cerveau vivant. Pour ce faire, on doit être capable d'observer des populations de cellules vivantes dans leur matrice d'origine avec une bonne résolution spatiale et temporelle. La microscopie à deux photons se prête bien à cet exercice car elle permet d'exciter des fluorophores à de grandes profondeurs dans les tissus biologiques et elle offre une résolution spatiale de l'ordre du micron. Malheureusement, la très bonne résolution tridimensionnelle diminue la résolution temporelle, car l'effet de sectionnement optique causé par la faible profondeur de champ du microscope nous oblige à balayer les échantillons épais une multitude de fois avant de pouvoir compléter l'acquisition d'un grand volume. Dans ce projet de doctorat, nous avons conçu, construit et caractérisé un microscope à deux photons avec une profondeur de champ étendue afin de faciliter l'imagerie fonctionnelle de neurones dans un échantillon épais. Pour augmenter la profondeur de champ du microscope à deux photons, nous avons modifié le faisceau laser entrant dans le système optique afin de générer une aiguille de lumière, orientée axialement, dans l'échantillon au lieu d'un point. Nous modifions le faisceau laser avec un axicon, une lentille en forme de cône qui transforme le faisceau gaussien en un faisceau quasi non-diffractant, de type Bessel-Gauss. Le faisceau d'excitation conserve donc la même résolution transverse à différentes profondeurs dans l'échantillon, éliminant le besoin de balayer l'échantillon à répétition afin de sonder un volume complet. Dans cette thèse, nous démontrons que le microscope à grande profondeur de champ fonctionne effectivement tel que nous l'avons conçu et nous l'utilisons pour faire de l'imagerie calcique dans un réseau tridimensionnel de neurones vivants. Nous présentons aussi les différents avantages de notre système par rapport à la microscopie à deux photons conventionnelle. / One of the greatest challenges of modern neuroscience that will lead to a better understanding and earlier diagnostics of brain sickness is to decipher the details of neuronal interactions in the living brain. To achieve this goal, we must be capable of observing populations of living cells in their original matrix with a good resolution, both spatial and temporal. Two-photon microscopy offers the right tools for this since it presents with a spatial resolution in the order of the micron. Unfortunately, this very good three-dimensional resolution lowers the temporal resolution because the optical sectioning caused by the microscope's small depth of field forces us to scan thick samples repeatedly when acquiring data from a large volume. In this doctoral project, we have designed, built and characterized a two-photon microscope with an extended depth of field with the goal of simplifying the functional imaging of neurons in thick samples. To increase the laser scanning microscope's depth of field, we shaped the laser beam entering the optical system in such a way that a needle of light is generated inside the sample instead of a spot. We modify the laser beam with an axicon, a cone-shaped lens that transforms a gaussian beam into a quasi non-diffractive beam called Bessel-Gauss beam. The excitation beam therefore maintains the same transverse resolution at different depths inside the sample, eliminating the need for many scans in order to probe the entire volume of interest. In this thesis, we demonstrate that the extended depth of field microscope effectively works as we designed it, and we use it to image calcium dynamics in a three-dimensional network of live neurons. We also present the different advantages of our system in comparison with standard two-photon microscopy.

La profondeur de champ est un paramètre crucial pour la conception des systèmes optiques. Cette affirmation est particulièrement vraie dans le cas des microscopes. Plusieurs solutions ont été proposées dans le passé pour contourner les limites imposées par ce paramètre. L'ingénierie du front d'onde consiste par exemple à ajouter un masque de phase dans le système optique pour rendre la fonction de transfert optique invariante par rapport à la position axiale de l'objet. Ce mémoire propose d'atteindre ce but en optimisant des masques de phase polynomiaux par la méthode du recuit simulé. L'invariance de la fonction de transfert optique est assurée par la minimisation d'une fonction de coût faisant intervenir la MTF du système optique en fonction de l'aberration du défocus. L'optique de Fourier est utilisée pour obtenir cette information à partir d'un modèle théorique du microscope. Les masques de phases sont optimisés selon deux géométries en particulier : le système de coordonnées cartésiennes séparables et la symétrie de rotation. Cette façon de procéder permet d'évaluer un grand nombre de solutions différentes dans un temps raisonnable, ce qui maximise les chances d'atteindre le minimum global de la fonction de coût. Le meilleur masque ainsi obtenu est fabriqué par la méthode des gravures binaires successives. Cette technique photolithographique permet d'obtenir quatre niveaux de phase. Le masque fabriqué est finalement ajouté au montage du microscope afin de vérifier son effet sur la profondeur de champ. Les résultats obtenus après déconvolution des images acquises respectent le but initialement fixé.

Une augmentation de la profondeur de champs d'un système d'analyse cytologique par introduction d'un masque de phase couplé à un traitement numérique des images est proposée. La conception et l'optimisation des paramètres d'un masque de phase cubique ont été faites à l'aide du logiciel de conception optique Zemax®. Les masques de phase optimisés ont été réalisés selon 2 méthodes de fabrication. L'algorithme de traitement d'image par déconvolution ainsi que l'ajustement des pas de discrétisation des spectres nécessaires à ce traitement sont aussi démontrés dans ce mémoire. Finalement, les images résultantes présentent une profondeur de champs 20 fois plus grande que celle du système initial. / This thesis displays an extension of the depth of field of a cytologic System by introduction of a phase mask coupled with post-digital image processing. The phase masks parameters have been optimized using the Zemax® optical design software. The optimized cubic phase masks were fabricated using two different methods. An analysis of the fabricated phase masks and their performances are shown. The image processing deconvolution algorithm and the resulting depth extended images are also presented in this thesis. Finally, the depth of field of the cytologic System has been extended by 20 times.

L'objectif de cette thèse est de tirer parti d'une illumination totalement ou partiellement contrôlée pour enrichir l'acquisition vidéo de contenus tel que la reconstruction de la forme et de l'apparence. Aujourd'hui de nombreux travaux ont tenté d'atteindre cet objectif. Certains utilisent une illumination contrôlée et séquentielle pour obtenir des reconstructions de haute qualité de la forme et de la réflectance. En revanche, ces méthodes requièrent des dispositifs coûteuses et/ou ne fonctionnent pas en temps réel. Dans cette thèse, nous visions un système d'acquisition à bas coût, rapide et mobile, qui se veut non-seulement le moins intrusif possible mais aussi simple d'utilisation. La première contribution présentée dans cette thèse est une application de la méthode bien connue, intitulée stéréo photométrie, à la vidéo. De plus, comme une fréquence de trame élevée est nécessaire à une telle application, nous proposons une méthode permettant l'utilisation d'une illumination séquentielle avec des caméras rapides de type "electronic rolling shutter". Malgré les résultats intéressants obtenus, la qualité des reconstructions de l'apparence et de la forme n'étaient pas à la hauteur de nos espérances. De plus, la stéréo photométrie est une méthode qui, de nature, n'est pas très adaptée aux applications visées dans cette thèse. Pour notre seconde contribution, nous proposons une méthode de reconstruction de la forme (géométrie) ainsi que de la réflectance diffuse à partir d'une image (d'une séquence) en utilisant un système de capture hybride composé d'un capteur de profondeur (Kinect), d'une caméra grand public et d'un flash. L'objectif est de montrer qu'en combinant une acquisition RGB-D (image couleur + profondeur) avec illumination séquentielle, on peut obtenir une reconstruction qualitative de la forme et de la réflectance d'une scène dans le cas où l'éclairage n'est pas connu. Un couple d'images est capturé : une image non flashée (image sous une illumination ambiante) et une image flashée. Une image dont l'illumination ne provient que du flash (image flash pure) peut être calculée en soustrayant l'image non flashée de l'image flashée. Nous proposons un nouvel algorithme temps réel, qui, basé sur un modèle local d'illumination de notre flash et de l'image flash pure, améliore l'information de forme fournie par le capteur de profondeur tout en retrouvant les informations de réflectance diffuse. Notre dernière contribution concerne la composition automatique d'éclairage. L'éclairage est un élément clé de la photographie. Les professionnels travaillent régulièrement avec des systèmes d'éclairage complexes afin de capturer directement des images esthétiques. Récemment, certains photographes ont tenté une nouvelle approche : plutôt que photographier une scène directement sous un éclairage complexe, ils capturent la scène sous plusieurs éclairages simples, permettant ainsi un post-traitement permettant combiner les différentes illuminations de la scène. Cette approche apporte une nouvelle dimensionnalité intéressante au post-traitement. Cependant la combinaison des images requiert des compétences en matière de photographie, et l'acquisition sous différentes conditions d'éclairage n'en est pas moins fastidieuse. Nous proposons une méthode totalement automatisée, qui, à partir d'un modèle 3D (forme et albedo) reconstruit à partir de capture d'une scène réelle, produit virtuellement les images correspondant aux différentes conditions d'éclairages. Ensuite, ces images sont combinées automatiquement, à l'aide d'un algorithme génétique, pour correspondre à un style d'éclairage fourni par l'utilisateur sous forme d'une image cible de son choix. / The objective of this thesis is to take advantage of controlled illumination to enrich a video acquisition with shape and reflectance reconstructions. Today, a lot of works have tried to meet this objective. Some of them take advantage of sequential controlled illumintation to recover high quality shape and reflectance, however they either require a costly and very cumbersome fixed setup, and/or do not run in real-time. Our aim is a low cost, fast, mobile and simple acquisition setup which has to be the less intrusive possible so as to provide a greater ease of use. The first contribution of this thesis focuses on the application of the well known photometric stereo method to a video acquisition. Moreover, as a high frame rate is required by such an application, a method using sequential illumination with high frame rate cameras (electronic rolling shutter cameras) is also considered. Despite the interesting results provided by photometric stereo, we found that this latter did not provide enough qualitative results. Moreover, by its nature, photometric stereo is not really suitable for the range of applications targeted. We propose, as a second contribution, a method for recovering the shape (geometry) and the diffuse reflectance from an image (or video) using a hybrid setup consisting of a depth sensor (Kinect), a consumer camera and a partially controlled illumination (using a flash). The objective is to show how combining RGB-D acquisition with a sequential illumination is useful for shape and reflectance recovery. A pair of two images are captured : one non flashed (image under ambient illumination) and a flashed one. A pure flash image is computed by subtracting the non flashed image from the flashed image. We propose a novel and near real-time algorithm, based on a local illumination model of our flash and the pure flash image, to enhance geometry (from the noisy depth map) and recover reflectance information. Finally, our last contribution concerns an automatic method for light compositing, using rendered images. Lighting is a key element in photography. Professional photographers often work with complex lighting setups to directly capture an image close to the targeted one. Some photographers reversed this traditional workflow. Indeed, they capture the scene under several lighting conditions, then combine the captured images to get the expected one. Acquiring such a set of images is a tedious task and combining them requires some skill in photography. We propose a fully automatic method, that renders, based on a 3D reconstructed model (shape and albedo), a set of images corresponding to several lighting conditions. The resulting images are combined using a genetic optimization algorithm to match the desired lighting provided by the user as an image.

Dans le format multiple-view video plus depth, les cartes de profondeur peuvent être représentées comme des images en niveaux de gris et la séquence temporelle correspondante peut être considérée comme une séquence vidéo standard en niveaux de gris. Cependant les cartes de profondeur ont des propriétés différentes des images naturelles: ils présentent de grandes surfaces lisses séparées par des arêtes vives. On peut dire que l'information la plus importante réside dans les contours de l'objet, en conséquence une approche intéressante consiste à effectuer un codage sans perte de la carte de contour, éventuellement suivie d'un codage lossy des valeurs de profondeur par-objet. Dans ce contexte, nous proposons une nouvelle technique pour le codage sans perte des contours de l'objet, basée sur la déformation élastique des courbes. Une évolution continue des déformations élastiques peut être modélisée entre deux courbes de référence, et une version du contour déformée élastiquement peut être envoyée au décodeur avec un coût de codage très faible et utilisé comme information latérale pour améliorer le codage sans perte du contour réel. Après que les principales discontinuités ont été capturées par la description du contour, la profondeur à l'intérieur de chaque région est assez lisse. Nous avons proposé et testé deux techniques différentes pour le codage du champ de profondeur à l'intérieur de chaque région. La première technique utilise la version adaptative à la forme de la transformation en ondelette, suivie par la version adaptative à la forme de SPIHT. La seconde technique effectue une prédiction du champ de profondeur à partir de sa version sous-échantillonnée et l'ensemble des contours codés. Il est généralement reconnu qu'un rendu de haute qualité au récepteur pour un nouveau point de vue est possible qu’avec la préservation de l'information de contour, car des distorsions sur les bords lors de l'étape de codage entraînerait une dégradation évidente sur la vue synthétisée et sur la perception 3D. Nous avons étudié cette affirmation en effectuant un test d'évaluation de la qualité perçue en comparant, pour le codage des cartes de profondeur, une technique basée sur la compression d'objects et une techniques de codage vidéo hybride à blocs. / In multiple-view video plus depth, depth maps can be represented by means of grayscale images and the corresponding temporal sequence can be thought as a standard grayscale video sequence. However depth maps have different properties from natural images: they present large areas of smooth surfaces separated by sharp edges. Arguably the most important information lies in object contours, as a consequence an interesting approach consists in performing a lossless coding of the contour map, possibly followed by a lossy coding of per-object depth values. In this context, we propose a new technique for the lossless coding of object contours, based on the elastic deformation of curves. A continuous evolution of elastic deformations between two reference contour curves can be modelled, and an elastically deformed version of the reference contours can be sent to the decoder with an extremely small coding cost and used as side information to improve the lossless coding of the actual contour. After the main discontinuities have been captured by the contour description, the depth field inside each region is rather smooth. We proposed and tested two different techniques for the coding of the depth field inside each region. The first technique performs the shape-adaptive wavelet transform followed by the shape-adaptive version of SPIHT. The second technique performs a prediction of the depth field from its subsampled version and the set of coded contours. It is generally recognized that a high quality view rendering at the receiver side is possible only by preserving the contour information, since distortions on edges during the encoding step would cause a sensible degradation on the synthesized view and on the 3D perception. We investigated this claim by conducting a subjective quality assessment test to compare an object-based technique and a hybrid block-based techniques for the coding of depth maps.

Le but de cette étude est de vérifier l'apport de la stéréoscopie dans le phénomène de la constance de forme. La méthode utilisée consiste à mesurer la performance de différents participants (temps de réponse et de taux d'erreurs) à une tâche de prospection visuelle. Quatre groupes de participants ont effectué la tâche. Le premier groupe a été exposé à une présentation stéréoscopique des stimuli, le deuxième groupe à une présentation des stimuli en stéréoscopie inversée (la disparité binoculaire était inversée), le troisième groupe à des stimuli comprenant une information de texture, mais sans stéréoscopie et le quatrième groupe à des stimuli bi-dimensionnels, sans texture. Une interaction entre les effets de rotation (points de vue familiers vs. points de vue non familiers) et le type d'information de profondeur disponible (stéréoscopie, stéréoscopie inversée, texture ou ombrage) a été mise en évidence, le coût de rotation étant plus faible au sein du groupe exposé à une présentation en stéréoscopie inversée. Ces résultats appuient l'implication de représentations tridimensionnelles dans le traitement de l'information visuelle. / This study was conducted to evaluate the contribution of stereopsis to the shape constancy phenomenon. Four groups of eight participants each were asked to perform a visual exploration task. The first group was exposed to a stereoscopic stimulation, the second group was exposed to a reversed stereoscopic stimulation, the third group was exposed to a monocular stimulation with textures and shadow and the fourth group was exposed to a monocular stimulation with shadow only. Response times and error rates were used to measure participant's performance. Results show an interaction between rotation effects (familiar viewpoints vs. non-familiar viewpoints) and available depth cues (stereopsis, reversed stereopsis, textures and shadow, shadow only). The rotation cost was smaller in the group exposed to a reversed stereoscopic stimulation. These results are congruent with the use of tridimensional representations underlying visual processing.

Le but de cette étude est de vérifier l'apport de la stéréoscopie dans le phénomène de la constance de forme. La méthode utilisée consiste à mesurer la performance de différents participants (temps de réponse et de taux d'erreurs) à une tâche de prospection visuelle. Quatre groupes de participants ont effectué la tâche. Le premier groupe a été exposé à une présentation stéréoscopique des stimuli, le deuxième groupe à une présentation des stimuli en stéréoscopie inversée (la disparité binoculaire était inversée), le troisième groupe à des stimuli comprenant une information de texture, mais sans stéréoscopie et le quatrième groupe à des stimuli bi-dimensionnels, sans texture. Une interaction entre les effets de rotation (points de vue familiers vs. points de vue non familiers) et le type d'information de profondeur disponible (stéréoscopie, stéréoscopie inversée, texture ou ombrage) a été mise en évidence, le coût de rotation étant plus faible au sein du groupe exposé à une présentation en stéréoscopie inversée. Ces résultats appuient l'implication de représentations tridimensionnelles dans le traitement de l'information visuelle. / This study was conducted to evaluate the contribution of stereopsis to the shape constancy phenomenon. Four groups of eight participants each were asked to perform a visual exploration task. The first group was exposed to a stereoscopic stimulation, the second group was exposed to a reversed stereoscopic stimulation, the third group was exposed to a monocular stimulation with textures and shadow and the fourth group was exposed to a monocular stimulation with shadow only. Response times and error rates were used to measure participant's performance. Results show an interaction between rotation effects (familiar viewpoints vs. non-familiar viewpoints) and available depth cues (stereopsis, reversed stereopsis, textures and shadow, shadow only). The rotation cost was smaller in the group exposed to a reversed stereoscopic stimulation. These results are congruent with the use of tridimensional representations underlying visual processing.

Avec l'apparition récente des caméras 3D, des perspectives nouvelles pour différentes applications de l'interprétation de scène se sont ouvertes. Cependant, ces caméras ont des limites qui affectent la précision de leurs mesures. En particulier pour les caméras Temps-de-Vol, deux types d'erreur peuvent être distingués : le bruit statistique de la caméra et la distorsion de la mesure de profondeur. Dans les travaux de la littérature des caméras Temps-de-Vol, le bruit est peu étudié et les modèles de distorsion de la mesure de profondeur sont généralement difficiles à mettre en œuvre et ne garantissent pas la précision requise pour certaines applications. L'objectif de cette thèse est donc d'étudier, modéliser et proposer un étalonnage précis et facile à mettre en œuvre de ces 2 types d'erreur des caméras Temps-de-Vol. Pour la modélisation du bruit comme pour la distorsion de la mesure de profondeur, deux solutions sont proposées présentant chacune une solution à un problème différent. La première vise à fournir un modèle précis alors que le second favorise la simplicité de la mise en œuvre. Ainsi, pour le bruit, alors que la majorité des modèles reposent uniquement sur l'information d'amplitude, nous proposons un premier modèle qui intègre aussi la position du pixel dans l'image. Pour encore une meilleure précision, nous proposons un modèle où l'amplitude est remplacée par la profondeur de l'objet et le temps d'intégration. S'agissant de la distorsion de la mesure de profondeur, nous proposons une première solution basée sur un modèle non-paramétrique garantissant une meilleure précision. Ensuite, pour fournir une solution plus facile à mettre en œuvre que la précédente et que celles de l'état de l'art, nous nous basons sur la connaissance à priori de la géométrie planaire de la scène observée. / 3D cameras open new possibilities in different fields such as 3D reconstruction, Augmented Reality and video-surveillance since they provide depth information at high frame-rates. However, they have limitations that affect the accuracy of their measures. In particular for TOF cameras, two types of error can be distinguished : the stochastic camera noise and the depth distortion. In state of the art of TOF cameras, the noise is not well studied and the depth distortion models are difficult to use and don't guarantee the accuracy required for some applications. The objective of this thesis is to study, to model and to propose a calibration method of these two errors of TOF cameras which is accurate and easy to set up. Both for the noise and for the depth distortion, two solutions are proposed. Each of them gives a solution for a different problem. The former aims to obtain an accurate model. The latter, promotes the simplicity of the set up. Thereby, for the noise, while the majority of the proposed models are only based on the amplitude information, we propose a first model which integrate also the pixel position in the image. For a better accuracy, we propose a second model where we replace the amplitude by the depth and the integration time. Regarding the depth distortion, we propose a first solution based on a non-parametric model which guarantee a better accuracy. Then, we use the prior knowledge of the planar geometry of the observed scene to provide a solution which is easier to use compared to the previous one and to those of the litterature.

Le vieillissement de la population est un enjeu majeur pour les prochaines années en raison, notamment, de l'augmentation du nombre de personnes dépendantes. La question du maintien à domicile de ces personnes se pose alors, du fait de l'impossibilité pour les instituts spécialisés de les accueillir toutes et, surtout, de la volonté des personnes âgées de rester chez elles le plus longtemps possible. Or, le développement de systèmes technologiques peut aider à résoudre certains problèmes comme celui de la sécurisation en détectant les chutes, et de l'évaluation du degré d'autonomie pour prévenir les accidents. Plus particulièrement, nous nous intéressons au développement des systèmes ambiants, peu coûteux, pour l'équipement du domicile. Les caméras de profondeur permettent d'analyser en temps réel les déplacements de la personne. Nous montrons dans cette thèse qu'il est possible de reconnaître l'activité de la personne et de mesurer des paramètres de sa marche à partir de l'analyse de caractéristiques simples extraites des images de profondeur. La reconnaissance d'activité est réalisée à partir des modèles de Markov cachés, et permet en particulier de détecter les chutes et des activités à risque. Lorsque la personne marche, l'analyse de la trajectoire du centre de masse nous permet de mesurer les paramètres spatio-temporels pertinents pour l'évaluation de la fragilité de la personne. Ce travail a été réalisé sur la base d'expérimentations menées en laboratoire, d'une part, pour la construction des modèles par apprentissage automatique et, d'autre part, pour évaluer la validité des résultats. Les expérimentations ont montré que certains modèles de Markov cachés, développés pour ce travail, sont assez robustes pour classifier les différentes activités. Nous donnons, également dans cette thèse, la précision, obtenue avec notre système, des paramètres de la marche en comparaison avec un tapis actimètrique. Nous pensons qu'un tel système pourrait facilement être installé au domicile de personnes âgées, car il repose sur un traitement local des images. Il fournit, au quotidien, des informations sur l'analyse de l'activité et sur l'évolution des paramètres de la marche qui sont utiles pour sécuriser et évaluer le degré de fragilité de la personne. / Population ageing is a major issue for society in the next years, especially because of the increase of dependent people. The limits in specialized institutes capacity and the wish of the elderly to stay at home as long as possible explain a growing need for new specific at home services. Technologies can help securing the person at home by detecting falls. They can also help in the evaluation of the frailty for preventing future accidents. This work concerns the development of low cost ambient systems for helping the stay at home of elderly. Depth cameras allow analysing in real time the displacement of the person. We show that it is possible to recognize the activity of the person and to measure gait parameters from the analysis of simple feature extracted from depth images. Activity recognition is based on Hidden Markov Models and allows detecting at risk behaviours and falls. When the person is walking, the analysis of the trajectory of her centre of mass allows measuring gait parameters that can be used for frailty evaluation. This work is based on laboratory experimentations for the acquisition of data used for models training and for the evaluation of the results. We show that some of the developed Hidden Markov Models are robust enough for classifying the activities. We also evaluate de precision of the gait parameters measurement in comparison to the measures provided by an actimetric carpet. We believe that such a system could be installed in the home of the elderly because it relies on a local processing of the depth images. It would be able to provide daily information on the person activity and on the evolution of her gait parameters that are useful for securing her and evaluating her frailty