Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.

The task of 6D object pose estimation, i.e. of estimating an object position (three degrees of freedom) and orientation (three degrees of freedom) from images is an essential building block of many modern applications, such as robotic grasping, autonomous driving, or augmented reality. Automatic pose estimation systems have to overcome a variety of visual ambiguities, including texture-less objects, clutter, and occlusion. Since many applications demand real time performance the efficient use of computational resources is an additional challenge. In this thesis, we will take a probabilistic stance on trying to overcome said issues. We build on a highly successful automatic pose estimation framework based on predicting pixel-wise correspondences between the camera coordinate system and the local coordinate system of the object. These dense correspondences are used to generate a pool of hypotheses, which in turn serve as a starting point in a final search procedure. We will present three systems that each use probabilistic modeling and sampling to improve upon different aspects of the framework. The goal of the first system, System I, is to enable pose tracking, i.e. estimating the pose of an object in a sequence of frames instead of a single image. By including information from previous frames tracking systems can resolve many visual ambiguities and reduce computation time. System I is a particle filter (PF) approach. The PF represents its belief about the pose in each frame by propagating a set of samples through time. Our system uses the process of hypothesis generation from the original framework as part of a proposal distribution that efficiently concentrates samples in the appropriate areas. In System II, we focus on the problem of evaluating the quality of pose hypotheses. This task plays an essential role in the final search procedure of the original framework. We use a convolutional neural network (CNN) to assess the quality of an hypothesis by comparing rendered and observed images. To train the CNN we view it as part of an energy-based probability distribution in pose space. This probabilistic perspective allows us to train the system under the maximum likelihood paradigm. We use a sampling approach to approximate the required gradients. The resulting system for pose estimation yields superior results in particular for highly occluded objects. In System III, we take the idea of machine learning a step further. Instead of learning to predict an hypothesis quality measure, to be used in a search procedure, we present a way of learning the search procedure itself. We train a reinforcement learning (RL) agent, termed PoseAgent, to steer the search process and make optimal use of a given computational budget. PoseAgent dynamically decides which hypothesis should be refined next, and which one should ultimately be output as final estimate. Since the search procedure includes discrete non-differentiable choices, training of the system via gradient descent is not easily possible. To solve the problem, we model behavior of PoseAgent as non-deterministic stochastic policy, which is ultimately governed by a CNN. This allows us to use a sampling-based stochastic policy gradient training procedure. We believe that some of the ideas developed in this thesis, such as the sampling-driven probabilistically motivated training of a CNN for the comparison of images or the search procedure implemented by PoseAgent have the potential to be applied in fields beyond pose estimation as well.

Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.

No description available.

Bei strukturorientierten, aus relativ großen Holzpartikeln aufgebauten Holzwerkstoffen wie z.B. OSB (oriented strand board) addieren sich die gerichteten Festigkeiten der einzelnen Lagen je nach Orientierung der Partikel und der Verteilung ihrer Größenparameter. Wünschenswert wäre eine Messung der Partikelgeometrie und Orientierung möglichst im Prozess, z.B. am Formstrang vor der Presse direkt durch den „Blick auf das Vlies“. Bisher sind regelmäßige on-line-Messungen der Spangeometrie aber nicht möglich, und Einzelspanmessungen werden nicht vorgenommen, weil sie zu aufwändig wären. Um die Partikelkonturen zunächst hinreichend für die Vermessung zu restaurieren und dann zu vermessen, muss ein mehrstufiges Verfahren angewendet werden, das eine Szene mit Strands und mehr oder weniger deutlichen Kanten zunächst als „Grauwertgebirge“ auffasst. Zur Segmentierung reicht ein Watershed-Algorithmus nicht aus. Auch ein zweistufiger Kantendetektor nach Canny liefert allein noch kein ausreichendes Ergebnis, weil sich keine geschlossenen Objektkonturen ergeben. Hinreichend dagegen ist ein komplexes Verfahren auf der Grundlage der Höhenschichtzerlegung und nachfolgenden Synthese: Nach einer Transformation der Grauwerte des Bildes in eine reduzierte, gleichverteilte Anzahl von Höhenschichten werden zwischen diesen die lokalen morphologischen Gradienten berechnet und herangezogen für die Rekonstruktion der ursprünglichen Spankonturen. Diese werden aus den Höhenschichten aufaddiert, wobei allerdings nur Teilflächen innerhalb eines für die gesuchten Spangrößen plausiblen Größenintervalls einbezogen werden, um Störungen zu unterdrücken. Das Ergebnis der Rekonstruktion wird zusätzlich verknüpft mit den bereits durch einen Canny-Operator im Originalbild detektierten deutlichen Kanten und morphologisch bereinigt. Diese erweiterte Höhenschichtanalyse ergibt ausreichend segmentierte Bilder, in denen die Objektgrenzen weitgehend den Spankonturen entsprechen. Bei der nachfolgenden Vermessung der Objekte werden Standard-Algorithmen eingesetzt, wobei sich die Approximation von Spankonturen durch momentengleiche Ellipsen als sinnvoll erwies. Verbliebene Fehldetektionen können bei der Vermessung unterdrückt werden durch Formfaktoren und zusätzliche Größenintervalle. Zur Darstellung und Charakterisierung der Größenverteilungen für die Länge und die Breite wurden die nach der Objektfläche gewichtete, linear skalierte Verteilungsdichte (q2-Verteilung), die Verteilungssumme und verschiedene Quantile verwendet. Zur Umsetzung und Demonstration des Zusammenwirkens der verschiedenen Algorithmen wurde auf der Basis von MATLAB das Demonstrationsprogramm „SizeBulk“ entwickelt, das Bildfolgen verarbeiten kann und mit dem die verschiedenen Varianten der Bildaufbereitung und Parametrierung durchgespielt werden können. Das Ergebnis des Detektionsverfahrens enthält allerdings nur die vollständigen Konturen der ganz oben liegenden Objekte; Objekte unterhalb der Außenlage sind teilweise verdeckt und können daher nur unvollständig vermessen werden. Zum Test wurden daher synthetische Bilder mit vereinzelten und überlagerten Objekten bekannter Größenverteilung erzeugt und dem Detektions- und Messverfahren unterworfen. Dabei zeigte sich, dass die Größenstatistiken durch den Überlagerungseffekt und auch die Spanorientierung zwar beeinflusst werden, dass aber zumindest die Modalwerte der wichtigsten Größenparameter Länge und Breite meist erkennbar bleiben. Als Versuchsmaterial dienten außer den synthetischen Bildern verschiedene Sortimente von OSB-Strands aus Industrie- und Laborproduktion. Sie wurden sowohl manuell vereinzelt als auch zu einem Vlies arrangiert vermessen. Auch bei realen Strands zeigten sich gleiche Einflüsse der Überlagerung auf die Größenverteilungen wie in der Simulation. Es gilt aber auch hier, dass die Charakteristika verschiedener Spankontingente bei gleichen Aufnahmebedingungen und Auswerteparametern gut messbar sind bzw. dass Änderungen in der gemessenen Größenverteilung eindeutig den geometrischen Eigenschaften der Späne zugeordnet werden können. Die Eignung der Verarbeitungsfolge zur Charakterisierung von Spangrößenverteilungen bestätigte sich auch an Bildern, die ausschließlich am Vlies auf einem Formstrang aufgenommen wurden. Zusätzlich wurde nachgewiesen, dass mit der erweiterten Höhenschichtanalyse auch Bilder von Spanplattenoberflächen ausgewertet werden könnten und daraus auf die Größenverteilung der eingesetzten Deckschichtspäne geschlossen werden kann. Das vorgestellte Verfahren ist daher eine gute und neuartige Möglichkeit, prozessnah an Teilflächen von OSB-Vliesen anhand von Grauwertbildern die Größenverteilungen der Strands zu charakterisieren und eignet sich grundsätzlich für den industriellen Einsatz. Geeignete Verfahren waren zumindest für Holzpartikel bisher nicht bekannt. Diese Möglichkeit, Trends in der Spangrößenverteilung automatisch zu erkennen, eröffnet daher neue Perspektiven für die Prozessüberwachung. / The strength of wood-based materials made of several layers of big and oriented particles like OSB (oriented strand board) is a superposition of the strengths of the layers according to the orientation of the particles and depending from their size distribution. It would be desirable to measure particle geometry and orientation close to the production process, e.g. with a “view onto the mat”. Currently, continuous on-line measurements of the particle geometry are not possible, while measurements of separated particles would be too costly and time-consuming. Before measuring particle shapes they have to be reconstructed in a multi-stage procedure which considers an image scene with strands as “gray value mountains”. Segmentation using a watershed algorithm is not sufficient. Also a two-step edge detector according to Canny does not yield closed object shapes. A multi-step procedure based on threshold decomposition and recombination however is successful: The gray values in the image are transformed into a reduced and uniformly distributed set of threshold levels. The local morphological gradients between these levels are used to re-build the original particle shapes by adding the threshold levels. Only shapes with a plausible size corresponding to real particle shapes are included in order to suppress noise. The result of the reconstruction from threshold levels is then matched with the result of the strong edges in the original image, which had been detected using a Canny operator, and is finally cleaned with morphological operators. This extended threshold analysis produces sufficiently segmented images with object shapes corresponding extensively to the particle shapes. Standard algorithms are used to measure geometric features of the objects. An approximation of particle shapes with ellipses of equal moments of inertia is useful. Remaining incorrectly detected objects are removed by form factors and size intervals. Size distributions for the parameters length and width are presented and characterized as density distribution histograms, weighted by the object area and linearly scaled (q2 distribution), as well as the cumulated distribution and different quantiles. A demonstration software “SizeBulk” based on MATLAB has been developed to demonstrate the computation and the interaction of algorithms. Image sequences can be processed and different variations of image preprocessing and parametrization can be tested. However, the detection procedure yields complete shapes only for those particles in the top layer. Objects in lower layers are partially hidden and cannot be measured completely. Artificial images with separated and with overlaid objects with a known size distribution were generated to study this effect. It was shown that size distributions are influenced by this covering effect and also by the strand orientation, but that at least the modes of the most important size parameters length and width remain in evidence. Artificial images and several samples with OSB strands from industrial and laboratory production were used for testing. They were measured as single strands as well as arrangements similar to an OSB mat. For real strands, the same covering effects to the size distributions revealed as in the simulation. Under stable image acquisition conditions and using similar processing parameters the characteristics of these samples can well be measured, and changes in the size distributions are definitely due to the geometric properties of the strands. The suitability of the processing procedure for the characterization of strand size distributions could also be confirmed for images acquired from OSB mats in a production line. Moreover, it could be shown that the extended threshold analysis is also suitable to evaluate images of particle board surfaces and to draw conclusions about the size distribution of the top layer particles. Therefore, the method presented here is a novel possibility to measure size distributions of OSB strands through the evaluation of partial gray value images of the mat surface. In principle, this method is suitable to be transferred to an industrial application. So far, methods that address the problem of detecting trends of the strand size distribution were not known, and this work shows new perspectives for process monitoring.

Die vorliegende Arbeit zeigt die Anwendung tomographischer und bildverarbeitender Methoden an Partikelabscheidungen in Filterschüttungen. Im betrachteten Tiefenfilter wird dabei der besonders praxisrelevante Fall abstoßender Wechselwirkung zwischen der Filterkorn-Oberfläche und Kolloid realisiert. Die durch Röntgentomographie erzeugten dreidimensionalen Bilddatensätze werden unter Zuhilfenahme eines einfachen geometrischen Modells ausgewertet, wodurch Aussagen zur lokalen Position der Kolloidabscheidungen an einem repräsentativen Filterkorn getroffen werden können. Die experimentellen Ergebnisse werden hinsichtlich der derzeit bekannten Filtertheorie diskutiert.

Electrically tunable lenses exhibit strong potential for fast motion-free axial scanning in a variety of microscopes. However, they also lead to a degradation of the achievable resolution because of aberrations and misalignment between illumination and detection optics that are induced by the scan itself. Additionally, the typically nonlinear relation between actuation voltage and axial displacement leads to over- or under-sampled frame acquisition in most microscopic techniques because of their static depth-of-field. To overcome these limitations, we present an Adaptive-Lens-High-and-Low-frequency (AL-HiLo) microscope that enables volumetric measurements employing an electrically tunable lens. By using speckle-patterned illumination, we ensure stability against aberrations of the electrically tunable lens. Its depth-of-field can be adjusted a-posteriori and hence enables to create flexible scans, which compensates for irregular axial measurement positions. The adaptive HiLo microscope provides an axial scanning range of 1 mm with an axial resolution of about 4 μm and sub-micron lateral resolution over the full scanning range. Proof of concept measurements at home-built specimens as well as zebrafish embryos with reporter gene-driven fluorescence in the thyroid gland are shown.

Electrically tunable lenses exhibit strong potential for fast motion-free axial scanning in a variety of microscopes. However, they also lead to a degradation of the achievable resolution because of aberrations and misalignment between illumination and detection optics that are induced by the scan itself. Additionally, the typically nonlinear relation between actuation voltage and axial displacement leads to over- or under-sampled frame acquisition in most microscopic techniques because of their static depth-of-field. To overcome these limitations, we present an Adaptive-Lens-High-and-Low-frequency (AL-HiLo) microscope that enables volumetric measurements employing an electrically tunable lens. By using speckle-patterned illumination, we ensure stability against aberrations of the electrically tunable lens. Its depth-of-field can be adjusted a-posteriori and hence enables to create flexible scans, which compensates for irregular axial measurement positions. The adaptive HiLo microscope provides an axial scanning range of 1 mm with an axial resolution of about 4 μm and sub-micron lateral resolution over the full scanning range. Proof of concept measurements at home-built specimens as well as zebrafish embryos with reporter gene-driven fluorescence in the thyroid gland are shown.

Ziel dieser Diplomarbeit ist es, eine flexibel zu verwendende Plattform für Visual Servoing-Aufgaben zu Erstellen, mit der eine Vielzahl von verschiedenen Anwendungsfällen abgedeckt werden kann. Kernaufgabe der Arbeit ist es dabei, verschiedene Verfahren der Gesichtserkennung (face detection) am Beispiel der Haar-Kaskade und -wiedererkennung (face recognition) am Beispiel von Eigenfaces und Fisherfaces zu betrachten und an ausführlichen Beispielen vorzustellen. Dabei sollen allgemeine Grundbegriffe der Bildverarbeitung und bereits bekannte Verfahren vorgestellt und ihre Implementierung im Detail dargestellt werden. Aus den dadurch gewonnen Erkenntnissen und dem sich ergebenden Anforderungsprofil an die zu entwickelnde Plattform leitet sich anschließend die Realisierung als eigenständige Anwendung ab. Hierbei ist weiterhin zu untersuchen, wie die neu zu entwickelnde Software zukunftssicher und in Hinblick auf einen möglichen Einsatz in Praktika einfach zu verwenden realisiert werden kann. Sämtliche während der Arbeit entstandenen Programme und Quellcodes werden auf einem separaten Datenträger zur Verfügung gestellt. Eine komplett funktionsfähige Entwicklungsumgebung wird als virtuelle Maschine beigelegt.

Die vorliegende Arbeit zeigt die Anwendung tomographischer und bildverarbeitender Methoden an Partikelabscheidungen in Filterschüttungen. Im betrachteten Tiefenfilter wird dabei der besonders praxisrelevante Fall abstoßender Wechselwirkung zwischen der Filterkorn-Oberfläche und Kolloid realisiert. Die durch Röntgentomographie erzeugten dreidimensionalen Bilddatensätze werden unter Zuhilfenahme eines einfachen geometrischen Modells ausgewertet, wodurch Aussagen zur lokalen Position der Kolloidabscheidungen an einem repräsentativen Filterkorn getroffen werden können. Die experimentellen Ergebnisse werden hinsichtlich der derzeit bekannten Filtertheorie diskutiert.