The purpose of this thesis is to develop a working methodology to color a grey scale image. This thesis is based on approach of using a colored reference image. Coloring grey scale images has no exact solution till date and all available methods are based on approximation. This technique of using a color reference image for approximating color information in grey scale image is among most modern techniques.Method developed here in this paper is better than existing methods of approximation of color information addition in grey scale images in brightness, sharpness, color shade gradients and distribution of colors over objects.Color and grey scale images are analyzed for statistical and textural features. This analysis is done only on basis of luminance value in images. These features are then segmented and segments of color and grey scale images are mapped on basis of distances of segments from origin. Then chromatic values are transferred between these matched segments from color image to grey scale image.Technique proposed in this paper uses better mechanism of mapping clusters and mapping colors between segments, resulting in notable improvement in existing techniques in this category.

In the field of computer vision and more specifically multi-camera systems color correction is an important topic of discussion. The need for color-tone similarity among multiple images that are used to construct a single scene is self-evident. The strength and weaknesses of color- correction methods can be assessed by using metrics to measure structural and color-tone similarity and timing the methods. Color transfer has a better structural similarity than histogram-based prefiltering and a worse color-tone similarity. The color transfer method is faster than the histogram-based prefiltering. Color transfer is a better method if the focus is a structural similar image after correction, if better color-tone similarity at the cost of structural similarity is acceptable histogram-based prefiltering is a better choice. Color transfer is a faster method and is easier to run with a parallel computing approach then histogram-based prefiltering. Color transfer might therefore be a better pick for real-time applications. There is however more room to optimize an implementation of histogram-based prefiltering utilizing parallel computing.

Les contributions de cette thèse sont divisées en trois parties principales. Dans la partie 1, nous proposons une méthode locale utilisant une distribution GGM pour approcher les distributions des images en les subdivisant en groupe de pixels que nous appelons dorénavant clusters. L'idée principale consiste à déterminer quelle caractéristique (couleur, luminance) est plus représentative pour une image donnée. Puis nous utilisons cette caractéristique pour subdiviser l'image en clusters. Quatre stratégies de mise en correspondance des clusters de l'image d'entrée avec ceux de l'image cible sont proposées. Ces stratégies ont pour but de produire des images photoréalistes dont le style ressemble à celui de l'image cible (dans notre cas le style d'une image est défini en termes de couleur et luminosité). Nous étendons le principe de transfert de couleur au transfert simultané de couleur et de gradient. Afin de pouvoir décrire las distributions de couleur et de gradient par une seule distribution, nous adoptons le modèle MGGD (multivariate generalized Gaussian distributions). Nous proposons une nouvelle transformation de distribution MGGD pour des applications de traitement d'image telles que le transfert multi-dimensionnel de caractéristiques d'image, de couleur, etc. De plus, nous adoptons aussi un modèle de distribution plus précis (distribution Beta bornée) pour représenter des distributions de couleur et de luminosité. Nous proposons une transformation de distribution Beta qui permet d'effectuer un transfert de couleur entre images et qui s'avère plus performante que celles basées sur les distributions Gaussiennes. Dans la partie 2, nous introduisons une nouvelle méthode permettant de créer des images HDR à partir d'une paire d'images, l'une prise avec flash et l'autre pas. Notre méthode consiste en l'utilisation d'une fonction de luminosité (brightness) simulant la fonction de réponse d'une caméra, et d'une nouvelle fonction d'adaptation de couleur (CAT), appelée CAT bi-locale (bi-local CAT), permettant de reproduire les détails de l'image flash. Cette approche évite toutes les limitations inhérentes aux méthodes classiques de création d'images HDR. Dans la partie 3, nous exploitons le potentiel de notre adaptation bi-locale CAT pour diverses applications d'édition d'image telles que la suppression de bruit (dé-bruitage), suppression de flou, transfert de texture, etc. Nous introduisons notre nouveau filtre guidé dans lequel nous incorporons l'adaptation bi-locale CAT dans la partie 3. / This thesis addresses three main topics from the domain of image processing, i.e. color transfer, high-dynamic-range (HDR) imaging and guidance-based image filtering. The first part of this thesis is dedicated to color transfer between input and target images. We adopt cluster-based techniques and apply Gaussian mixture models to carry out a more precise color transfer. In addition, we propose four new mapping policies to robustly portray the target style in terms of two key features: color, and light. Furthermore, we exploit the properties of the multivariate generalized Gaussian distributions (MGGD). in order to transfer an ensemble of features between images simultaneously. The multi-feature transfer is carried out using our novel transformation of the MGGD. Despite the efficiency of the proposed MGGD transformation for multi-feature transfer, our experiments have shown that the bounded Beta distribution provides a much more precise model for the color and light distributions of images. To exploit this property of the Beta distribution, we propose a new color transfer method, where we model the color and light distributions by the Beta distribution and introduce a novel transformation of the Beta distribution. The second part of this thesis focuses on HDR imaging. We introduce a method for automatic creation of HDR images from only two images - flash and non-flash images. We mimic the camera response function by a brightness function and we recover details from the flash image using our new chromatic adaptation transform (CAT), called bi-local CAT. That way, we efficiently recover the dynamic range of the real-world scenes without compromising the quality of the HDR image (as our method is robust to misalignment). In the context of the HDR image creation, the bi-local CAT recovers details from the flash image, removes flash shadows and reflections. In the last part of this thesis, we exploit the potential of the bi-local CAT for various image editing applications such as image de-noising, image de-blurring, texture transfer, etc. We propose a novel guidance-based filter in which we embed the bi-local CAT. The proposed filter performs as good as (and for certain applications even better than) state-of-the art methods.

Night vision goggles (NVGs) are optical devices used to enhance human vision at low light conditions such as nighttime. The image seen through the goggles is brightened but with the consequence of introduced visual limitations and illusions. Because of this, fighter pilots need to undergo proper training with such equipment before operating with them in real-life. An NVG simulation within a Mixed Reality (MR) flight simulator can in theory be used to build the skills needed and directly translate them into real life. In this thesis, an NVG effect was added to a video see-through camera feed(VST) such that a whole NVG simulation could be experienced in an MR flight simulator. Furthermore, a method to seamlessly integrate the VST into the nocturnal virtual world was proposed. By conducting a semi structured interview with an NVG expert, the experienced realism, presence, and training value of the implemented effects were measured. A thematic analysis of the gathered interview data provided insight into the most important themes regarding NVG simulations within an MR flight simulator. / <p>Examensarbetet är utfört vid Institutionen för teknik och naturvetenskap (ITN) vid Tekniska fakulteten, Linköpings universitet</p>

Cette thèse s’intéresse à diverses composantes du traitement et de l’analyse d’images par méthodes non locales. Ces méthodes sont basées sur la redondance d’information présente dans d’autres images, et utilisent des algorithmes de recherche de correspondance, généralement basés sur l’utilisation patchs, pour extraire et transférer de l’information depuis ces images d’exemples. Ces approches, largement utilisées par la communauté de vision par ordinateur, sont souvent limitées par le temps de calcul de l’algorithme de recherche, appliqué à chaque pixel, et par la nécessité d’effectuer un prétraitement ou un apprentissage pour utiliser de grandes bases de données.Pour pallier ces limites, nous proposons plusieurs méthodes générales, sans apprentissage,rapides, et qui peuvent être facilement adaptées à diverses applications de traitement et d’analyse d’images naturelles ou médicales. Nous introduisons un algorithme de recherche de correspondances permettant d’extraire rapidement des patchs d’une grande bibliothèque d’images 3D, que nous appliquons à la segmentation d’images médicales. Pour utiliser de façon similaire aux patchs,des présegmentations en superpixels réduisant le nombre d’éléments de l’image,nous présentons une nouvelle structure de voisinage de superpixels. Ce nouveau descripteur permet d’utiliser efficacement les superpixels dans des approches non locales. Nous proposons également une méthode de décomposition régulière et précise en superpixels. Nous montrons comment évaluer cette régularité de façon robuste, et que celle-ci est nécessaire pour obtenir de bonnes performances de recherche de correspondances basées sur les superpixels. / This thesis focuses on several aspects of image analysis and processing with non local methods. These methods are based on the redundancy of information that occurs in other images, and use matching algorithms, that are usually patch-based, to extract and transfer information from the example data. These approaches are widely used by the computer vision community, and are generally limited by the computational time of the matching algorithm, applied at the pixel scale, and by the necessity to perform preprocessing or learning steps to use large databases. To address these issues, we propose several general methods, without learning, fast, and that can be easily applied to different image analysis and processing applications on natural and medical images. We introduce a matching algorithm that enables to quickly extract patches from a large library of 3D images, that we apply to medical image segmentation. To use a presegmentation into superpixels that reduces the number of image elements, in a way that is similar to patches, we present a new superpixel neighborhood structure. This novel descriptor enables to efficiently use superpixels in non local approaches. We also introduce an accurate and regular superpixel decomposition method. We show how to evaluate this regularity in a robust manner, and that this property is necessary to obtain good superpixel-based matching performances.

Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.

The thesis composes conventional and modern methods for digital scene capturing. The target of the thesis is a comparison of CMOS with Bayer mask and Foveon X3 Merrill sensors followed by a design of algorithms for image fusion which can combine advantages of the both sensor types. The thesis starts with an introduction and a description of methods and processes leading to scene capturing. The next part deals with capturing a gallery of test images and with a comparison of both sensors based on the gallery images. Further there are algorithms designed for image fusion which can combine advantages of the selected sensors. The last part of the thesis is devoted to an evaluation of results and of the used algorithms.

Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.