The author's inaugural dissertation, Munich, 1931. / The number of plates on the t.p. has been partly erased. "Literatur": p. 196-200.

Thesis (doctoral) - Universität, Köln, 2006. / Includes bibliographical references (p. 572-619) and index.

L’échantillonnage est une étape clé dans le rendu graphique. Il permet d’intégrer la lumière arrivant en un point de la scène pour en calculer sa couleur. Généralement, la méthode utilisée est l’intégration Monte Carlo qui approxime cette intégrale en choisissant un nombre fini d’échantillons. La réduction du biais et de la variance de l’intégration Monte Carlo est devenue une des grandes problématiques en rendu réaliste. Les techniques trouvées consistent à placer les points d’échantillonnage avec intelligence de façon à rendre la distribution la plus uniforme possible tout en évitant les régularités. Les années 80 ont été de ce point de vue un tournant dans ce domaine, avec l’apparition de nouvelles méthodes stochastiques. Ces méthodes ont, grâce à une meilleure compréhension des liens entre intégration Monte Carlo et échantillonnage, permis de réduire le bruit et la variance des images générées, et donc d’améliorer leur qualité. En parallèle, la complexité des méthodes d’échantillonnage s’est considérablement améliorée, permettant d’obtenir des méthodes à la fois rapides et efficaces en termes de qualité. Cependant, ces avancées ont jusqu’à là été faites par tâtonnement et se sont axées sur deux points majeurs : l’amélioration de l’uniformité du motif d’échantillonnage et la suppression des régularités. Bien que des théories permettant de borner l’erreur d’intégration existent, elles sont souvent limitées, voire inapplicables dans le domaine de l’informatique graphique. Cette thèse propose de rassembler les outils d’analyse des motifs d’échantillonnages et de les mettre en relation. Ces outils peuvent caractériser des propriétés spatiales, comme la distribution des distances entre points, ou bien spectrales à l’aide de la transformée de Fourier. Nous avons ensuite utilisé ces outils afin de donner une expression simple de la variance et du biais dans l’intégration Monte Carlo, en utilisant des prérequis compatibles avec le rendu d’image. Finalement, nous présentons une boite à outils théorique permettant de déterminer la vitesse de convergence d’une méthode d’échantillonnage à partir de son profil spectral. Cette boite à outils est notamment utilisée afin de classifier les méthodes d’échantillonnage existantes, mais aussi pour donner des indications sur les principes fondamentaux nécessaires à la conception de nouveaux algorithmes d’échantillonnage / Sampling is a key step in rendering pipeline. It allows the integration of light arriving to a point of the scene in order to calculate its color. Monte Carlo integration is generally the most used method to approximate that integral by choosing a finite number of samples. Reducing the bias and the variance of Monte Carlo integration has become one of the most important issues in realistic rendering. The solutions found are based on smartly positioning the samples points in a way that maximizes the uniformity of the distribution while avoiding the regularities. From this point of view, the 80s were a turning point in this domain, as new stochastic methods appeared. With a better comprehension of links between Monte Carlo integration and sampling, these methods allow the reduction of noise and of variance in rendered images. In parallel, the complexity of sampling methods has considerably enhanced, enabling to have fast as well as good quality methods. However, these improvements have been done by trial and error focusing on two major points : the improvement of sampling pattern uniformity, and the suppression of regularities. Even though there exists some theories allowing to bound the error of the integration, they are usually limited, and even inapplicable in computer graphics. This thesis proposes to gather the analysis tools of sampling patterns and to connect them together. These tools can characterize spatial properties such as the distribution of distances between points, as well as spectral properties via Fourier transformation. Secondly, we have used these tools in order to give a simple expression of the bias and the variance for Monte Carlo integration ; this is done by using prerequisites compatible with image rendering. Finally, we present a theoretical toolbox allowing to determine the convergence speed of a sampling method from its spectral profile. This toolbox is used specifically to give indications about the design principles necessary for new sampling algorithms

Although current augmented, virtual, and mixed reality (AR/VR/MR) systems are facing advanced and immersive experience in the entertainment industry with countless media forms. Theses systems suffer a lack of correct direct and indirect illumination modeling where the virtual objects render with the same lighting condition as the real environment. Some systems are using baked GI, pre-recorded textures, and light probes that are mostly accomplished offline to compensate for precomputed real-time global illumination (GI). Thus, illumination information can be extracted from the physical scene for interactively rendering the virtual objects into the real world which produces a more realistic final scene in real-time. This work approaches the problem of visual coherence in AR by proposing a system that detects the real-world lighting conditions in dynamic scenes, then uses the extracted illumination information to render the objects added to the scene. The system covers several major components to achieve a more realistic augmented reality outcome. First, the detection of the incident light (direct illumination) from the physical scene with the use of computer vision techniques based on the topological structural analysis of 2D images using a live-feed 360^o camera instrumented on an AR device that captures the entire radiance map. Also, the physics-based light polarization eliminates or reduces false-positive lights such as white surfaces, reflections, or glare which negatively affect the light detection process. Second, the simulation of the reflected light (indirect illumination) that bounce between the real-world surfaces to be rendered into the virtual objects and reflect their existence in the virtual world. Third, defining the shading characteristic/properties of the virtual object to depict the correct lighting assets with a suitable shadow casting. Fourth, the geometric properties of real-scene including plane detection, 3D surface reconstruction, and simple meshing are incorporated with the virtual scene for more realistic depth interactions between the real and virtual objects. These components are developed methods which assumed to be working simultaneously in real-time for photo-realistic AR. The system is tested with several lighting conditions to evaluate the accuracy of the results based on the error incurred between the real/virtual objects casting shadow and interactions. For system efficiency, the rendering time is compared with previous works and research. Further evaluation of human perception is conducted through a user study. The overall performance of the system is investigated to reduce the cost to a minimum.

A programmable illuminating system (PIS) uses a commercial multimedia projector together with a suitable optical relay system in order to illuminate specimens under microscope with transmitted light. The theoretical part of the diploma thesis describes some methods used in the optical transmission microscopy. All of these methods employ physical masks placed in the condenser front focal plane. In the case of the traditional methods the masks are used to enhance contrast (e.g. dark-field illumination) and resolution (oblique illumination). One of the methods (a condenser with rotating aperture) provides the information about the three-dimensionality of the specimen. The next part of the thesis contains the theory and the basic classification of the illuminating systems used in the optical transmission microscopy. An optical and mechanical design of the optical relay system used for PIS is introduced. The experimental part shows the results made with two different PIS arrangements. It was shown on two different specimens that the PIS provides the same illumination as the classical methods. It was also proved that the PIS can simulate the rotating aperture in the condenser front focal plane and thus to give the information about the three-dimensionality of the specimen. Some new static and dynamic illuminating methods were introduced.

Le design d'éclairage est une tâche qui est normalement faite manuellement, où les artistes doivent manipuler les paramètres de plusieurs sources de lumière pour obtenir le résultat désiré. Cette tâche est difficile, car elle n'est pas intuitive. Il existe déjà plusieurs systèmes permettant de dessiner directement sur les objets afin de positionner ou modifier des sources de lumière. Malheureusement, ces systèmes ont plusieurs limitations telles qu'ils ne considèrent que l'illumination locale, la caméra est fixe, etc. Dans ces deux cas, ceci représente une limitation par rapport à l'exactitude ou la versatilité de ces systèmes. L'illumination globale est importante, car elle ajoute énormément au réalisme d'une scène en capturant toutes les interréflexions de la lumière sur les surfaces. Ceci implique que les sources de lumière peuvent avoir de l'influence sur des surfaces qui ne sont pas directement exposées. Dans ce mémoire, on se consacre à un sous-problème du design de l'éclairage: la sélection et la manipulation de l'intensité de sources de lumière. Nous présentons deux systèmes permettant de peindre sur des objets dans une scène 3D des intentions de lumière incidente afin de modifier l'illumination de la surface. De ces coups de pinceau, le système trouve automatiquement les sources de lumière qui devront être modifiées et change leur intensité pour effectuer les changements désirés. La nouveauté repose sur la gestion de l'illumination globale, des surfaces transparentes et des milieux participatifs et sur le fait que la caméra n'est pas fixe. On présente également différentes stratégies de sélection de modifications des sources de lumière. Le premier système utilise une carte d'environnement comme représentation intermédiaire de l'environnement autour des objets. Le deuxième système sauvegarde l'information de l'environnement pour chaque sommet de chaque objet. / Lighting design is usually a task that is done manually, where the artists must manipulate the parameters of several light sources to obtain the desired result. This task is difficult because it is not intuitive. Some systems already exist that enable a user to paint light directly on objects in a scene to position or alter light sources. Unfortunately, these systems have some limitations such that they only consider local lighting, or the camera must be fixed, etc. Either way, this limitates the accuracy or the versatility of these systems. Global illumination is important because it adds a lot of realism to a scene by capturing all the light interreflections on the surfaces. This means that light sources can influence surfaces even if they are not directly exposed. In this M. Sc. thesis, we study a subset of the lighting design problem: the selection and alteration of the intensity of light sources. We present two different systems to design lighting on objects in 3D scenes. The user paints light intentions directly on the objects to alter the surface illumination. From these paint strokes, the systems find the light sources and alter their intensity to obtain as much as possible what the user wants. The novelty of our technique is that global illumination, transparent surfaces and subsurface scattering are all considered, and also that the camera is free to take any position. We also present strategies for selecting and altering the light sources. The first system uses an environment map as an intermediate representation of the environment surrounding the objects. The second system saves all the information of the environment for each vertex of each object.

L'un des objectifs lors du développement d'un produit industriel est d'obtenir un prototype numérique valide et réaliste. Cette thèse a pour objectif d'améliorer la qualité des simulations dans le contexte d'un processus de production. Ces processus impliquent souvent un rendu de type "walkthrough", avec une géométrie fixe mais un déplacement continu de l'observateur. Nous nous intéresserons donc plus précisément aux méthodes de rendu physiquement réaliste de scènes complexes pour un scénario "walkthrough". Durant le rendu, l'utilisateur doit pouvoir mesurer précisément la radiance d'un point ou d'une zone donnée, ainsi que modifier en temps réel la puissance des sources lumineuses. Fondée sur la méthode du photon mapping, nos travaux montrent les modifications à apporter aux algorithmes afin d'améliorer à la fois la qualité des images et le temps de calcul du processus de rendu. / One of the goals when developing the product is to immediately obtain a real and valid prototype. This thesis provide new rendering methods to increase the quality of the simulations during the upstream work of the production pipeline. The latter usually requires a walkthrough rendering. Thus, we focuses on the physically-based rendering methods of complex scenes in walkthrough. During the rendering, the end-users must be able to measure the illuminate rates and to interactively modify the power of the light source to test different lighting ambiances. Based on the original photon mapping method, our work shows how some modifications can decrease the calculation time and improve the quality of the resulting images according to this specific context.

Le développement des senseurs protéiques et des outils optogénétiques au cours des dernières années a donné une place particulière à la microscopie pour l’étude des processus moléculaires in-vivo. L’équipe « Nano-optique et physiologie intégrée » développe des montages optiques originaux pour exploiter ces nouveaux outils chez le petit animal vivant en collaboration avec des neurobiologistes. Nous nous intéressons en particulier à l’organisation cellulaire et à l’activité des réseaux neuronaux impliqués dans la mémorisation associative olfactive de la drosophile. En amont, mon travail de thèse a été de mettre en place un microscope grand champ, basé sur le principe de la microscopie à HiLo, permettant l’acquisition rapide de sections optiques et la reconstruction tridimensionnelle de réseaux neuronaux. Après avoir prouvé la pertinence de l’approche choisie lorsqu’elle est associée aux outils génétiques permettant un marquage sélectif des neurones, le cœur de mon travail fut le développement d’un montage original permettant d’atteindre les objectifs de résolution spatiale et de vitesse. Son originalité se situe dans l’utilisation de la technologie des matrices de micro-miroirs (DLP) pour structurer l’illumination. Ce système de micro-miroirs pilotables peut moduler le faisceau d’une source LED haute puissance à haute cadence. Dans une seconde partie, j’ai caractérisé ce microscope et réalisé de premières expériences in-vivo avec les développements spécifiques nécessaires à ces expériences. En particulier, en utilisant un rapporteur protéique calcique fluorescent, GCamP3, j’ai montré que l’on pouvait suivre, dans des régions ciblées du cerveau, la réponse à des stimulations physiologiques à cadence vidéo. / In the last decades, optogenetic and protein reporter development have given a special place to optical microscopy for in-vivo investigation of biological molecular processes. Our team, “Nano-optics and integrated physiology”, develops optical set-ups to take advantage of these tools on small living animals, in collaboration with neurobiologists. We are particularly interested both in the cellular organization and neural activity involved in the olfactory memory formation in drosophila. Upstream to these investigations, my PhD research aimed at developing a new implementation for wide-field microscopy based on the HiLo concept. The new design took advantage of the micro-mirror array technology (DLP) to structure the illumination. This system can modulate the beam made by a high power LED illumination with high acquisition rates. I characterized this microscope and realized preliminary in-vivo experiments with specific developments made for physiological experiments under the microscope. Thus, I demonstrated both high spatial resolution imaging and a tenfold increase of speed with respect to confocal microscopy. I reached acquisition rates compatible with 3D monitoring of specific neural networks.

La réalité augmentée (RA) consiste en l’insertion d’éléments virtuels dans une scène réelle, observée à travers un écran ou en utilisant un système de projection sur la scène ou l’objet d’intérêt. Les systèmes de réalité augmentée peuvent prendre des différentes formes pour obtenir l’équilibre désiré entre trois critères : précision, latence et robustesse. Il est possible d’identifier trois composants principaux à ces systèmes : localisation, reconstruction et affichage. Les contributions de cette thèse se concentrent essentiellement sur l’affichage et plus particulièrement le rendu des applications de réalité augmentée. À l’opposé des récentes avancées dans le domaine de la localisation et de la reconstruction, l’insertion d’éléments virtuels de façon plausible et esthétique reste une problématique compliquée, mal-posée et peu adaptée à un contexte temps réel. En effet, cette insertion requiert une reconstruction de l’illumination de la scène afin d’appliquer les conditions lumineuses adéquates à l’objet inséré. L’illumination de la scène peut être divisée en plusieurs catégories. Nous pouvons modéliser l’environnement de façon à décrire l’interaction de la lumière incidente et réfléchie pour chaque point 3D d’une surface. Il est également possible d’expliciter l’environnement en calculant la position des sources de lumière, leur type (lampe de bureau, néon, ampoule, ….), leur intensité et leur couleur. Pour insérer un objet de façon cohérente et réaliste, il est primordial d’avoir également une connaissance de la surface recevant l’illumination. Cette interaction lumière/matériaux est dépendante de la géométrie de la surface, de sa composition chimique (matériau) et de sa couleur. Pour tous ces aspects, le problème de reconstruction de l’illumination est difficile, car il est très complexe d’isoler l’illumination sans connaissance a priori de la géométrie, des matériaux de la scène et de la pose de la caméra observant la scène. De manière générale, sur une surface, une source de lumière laisse plusieurs traces telles que les ombres, qui sont créées par l’occultation de rayons lumineux par un objet, et les réflexions spéculaires ou spécularités qui se manifestent par la réflexion partielle ou totale de la lumière. Bien que ces spécularités soient souvent considérées comme des éléments parasites dans les applications de localisation de caméra, de reconstruction ou encore de segmentation, ces éléments donnent des informations cruciales sur la position et la couleur de la source lumineuse, mais également sur la géométrie de la surface et la réflectance du matériau où elle se manifeste. Face à la difficulté du problème de modélisation de la lumière et plus particulièrement du calcul de l’ensemble des paramètres de la lumière, nous nous sommes focalisés, dans cette thèse, sur l’étude des spécularités et sur toutes les informations qu’elles peuvent fournir pour la compréhension de la scène. Plus particulièrement, nous savons qu’une spécularité est définie comme la réflexion d’une source de lumière sur une surface réfléchissante. Partant de cette remarque, nous avons exploré la possibilité de considérer la spécularité comme étant une image issue de la projection d’un objet 3D dans l’espace. Nous sommes partis d’un constat simple, mais peu traité par la littérature qui est que les spécularités présentent une forme elliptique lorsqu’elles apparaissent sur une surface plane. À partir de cette hypothèse, pouvons-nous considérer un objet 3D fixe dans l’espace tel que sa projection perspective dans l’image corresponde à la forme de la spécularité ? Plus particulièrement, nous savons qu’un ellipsoïde projeté perspectivement donne une ellipse. Considérer le phénomène de spécularité comme un phénomène géométrique a de nombreux avantages. (...) / Augmented Reality (AR) consists in inserting virtual elements in a real scene, observed through a screen or a projection system on the scene or the object of interest. The augmented reality systems can take different forms to obtain a balance between three criteria: precision, latency and robustness. It is possible to identify three main components to these systems: localization, reconstruction and display. The contributions of this thesis focus essentially on the display and more particularly the rendering of augmented reality applications. Contrary to the recent advances in the field of localization and reconstruction, the insertion of virtual elements in a plausible and aesthetic way remains a complicated problematic, ill-posed and not adapted to a real-time context. Indeed, this insertion requires a good understanding of the lighting conditions of the scene. The lighting conditions of the scene can be divided in several categories. First, we can model the environment to describe the interaction between the incident and reflected light pour each 3D point of a surface. Secondly, it is also possible to explicitly the environment by computing the position of the light sources, their type (desktop lamps, fluorescent lamp, light bulb, . . . ), their intensities and their colors. Finally, to insert a virtual object in a coherent and realistic way, it is essential to have the knowledge of the surface’s geometry, its chemical composition (material) and its color. For all of these aspects, the reconstruction of the illumination is difficult because it is really complex to isolate the illumination without prior knowledge of the geometry, material of the scene and the camera pose observing the scene. In general, on a surface, a light source leaves several traces such as shadows, created from the occultation of light rays by an object, and the specularities (or specular reflections) which are created by the partial or total reflection of the light. These specularities are often described as very high intensity elements in the image. Although these specularities are often considered as outliers for applications such as camera localization, reconstruction or segmentation, these elements give crucial information on the position and color of the light source but also on the surface’s geometry and the material’s reflectance where these specularities appear. To address the light modeling problem, we focused, in this thesis, on the study of specularities and on every information that they can provide for the understanding of the scene. More specifically, we know that a specularity is defined as the reflection of the light source on a shiny surface. From this statement, we have explored the possibility to consider the specularity as the image created from the projection of a 3D object in space.We started from the simple but little studied in the literature observation that specularities present an elliptic shape when they appear on a planar surface. From this hypothesis, can we consider the existence of a 3D object fixed in space such as its perspective projection in the image fit the shape of the specularity ? We know that an ellipsoid projected perspectivally gives an ellipse. Considering the specularity as a geometric phenomenon presents various advantages. First, the reconstruction of a 3D object and more specifically of an ellipsoid, has been the subject to many publications in the state of the art. Secondly, this modeling allows a great flexibility on the tracking of the state of the specularity and more specifically the light source. Indeed, if the light is turning off, it is easy to visualize in the image if the specularity disappears if we know the contour (and reciprocally of the light is turning on again). (...)

Ce travail de thèse visait à concevoir, assembler, optimiser et tester des modules d’illumination structurée à base d’éléments optiques diffractifs (EODs) pour une application de reconnaissance faciale sur appareils mobiles (smartphones, tablettes). L’intégration des modules dans des smartphones impliquait de fortes contraintes de miniaturisation, de consommation énergétique, de coût, et de sécurité laser. L’élément clé de chaque module était un EOD de Fourier à angle de diffraction supérieur à la limite du modèle scalaire paraxial de la diffraction permettant d’illuminer la surface d’un visage à une distance d’une portée de bras. Afin de faciliter la conception (relâchement des contraintes angulaires), la fabrication (minimisation de l’efficacité de diffraction à l’ordre 0) et la réplication des EODs, le premier axe de travail a consisté à concevoir et à fabriquer des dispositifs hybrides « agrandisseurs d’angles » combinant des EODs et des optiques divergentes conventionnelles. Le second volet portait sur la conception des EODs qui devait prendre en considération à la fois les paramètres des systèmes bas coût d’illumination et d’acquisition d’images utilisés, notamment pour contrôler la présence de granularité laser (« speckle ») sur la figure de diffraction souhaitée (contrôle imposé par les algorithmes de reconnaissance faciale et de détection de fraudes utilisés). Le savoir-faire acquis dans le domaine de l’illumination structurée générée par des EODs a été étendu et transposé à trois autres applications dans les domaines de la vibrométrie, de l’aviation civile et commerciale, et de l’aviation militaire. / This thesis work aimed to design, assemble, optimize and test structured illumination modules based on diffractive optical elements (DOEs) for facial recognition application on mobile devices (smartphones, tablets). The integration of modules into smartphones involved significant constraints in terms of miniaturization, energy consumption, cost and laser safety. The key element of each module was a Fourier DOE with a diffraction angle greater than the limit of the paraxial scalar diffraction model to illuminate the surface of a face at a distance of an arm reach. In order to facilitate the design (relaxation of angular constraints), manufacturing (minimization of the zero order diffraction efficiency) and replication of DOEs, the first axis of research consisted in designing and manufacturing hybrid "angle enlarger" devices combining DOEs and conventional divergent optics. The second part concerned the design of the DOEs, which had to take into account both the parameters of the low-cost illumination and image acquisition systems used, in particular to control the presence of laser speckle on the desired diffraction pattern (control imposed by the facial recognition and fraud detection algorithms used). The know-how acquired in the field of structured illumination generated by DOEs has been extended and transposed to three other applications in the fields of vibrometry, civil and commercial aviation, and military aviation.