This master's thesis will take us through theoretical procedure that allows us to determine the distance of an object by stereoscopic sensor. Part of this work presents the description of the steps to achieve image of objects, calibraton and rectification. At the next part our study provides an overview of algortihms for creating disparity maps and determining the distance of the object from sensor. In the following part of thesis deals with the implementation of these processes into aplication which aim is to measure the distance.

Das Verständnis über visuelle Aufmerksamkeitsprozesse ist nicht nur für die Kognitionsforschung von großem Interesse. Auch in alltäglichen Bereichen des Lebens stellt sich die Frage, wie wir unsere Umwelt in unterschiedlichen Situationen visuell wahrnehmen. Entsprechende Untersuchungen können in realen Szenarien und aufgrund neuer innovativer 3D-Verfahren auch in Umgebungen der virtuellen Realität (VR) durchgeführt werden. Zur Erforschung von Aufmerksamkeitsprozessen wird unter anderem die Methode der Blickbewegungsmessung (Eyetracking) angewandt, da das Sehen für uns Menschen die wichtigste Sinnesmodalität darstellt. Herkömmliche Blickbewegungsmessungen beziehen sich allerdings überwiegend auf zweidimensionale Messebenen, wie Bildschirm, Leinwand oder Szenevideo. Die vorliegende Arbeit stellt eine Methode vor, mit der dreidimensionale Blickorte und Blickbewegungen sowohl in einer realen als auch in einer stereoskopisch projizierten VR-Umgebung anhand moderner Eyetracking-Technologien bestimmt werden können. Dafür wurde zunächst in Studie I geprüft, ob die Blickbewegungsmessung durch die für eine stereoskopische Bildtrennung notwendigen 3D-Brillen hindurch möglich ist und inwieweit durch diesen Versuchsaufbau die Qualität der erhobenen Eyetracking-Daten beeinflusst wird. Im nächsten Schritt wurde zur Berechnung dreidimensionaler Blickorte das Anforderungsprofil an einen universellen Algorithmus erstellt und mit einem vektorbasierten Ansatz umgesetzt. Die Besonderheit hierbei besteht in der Berechnung der Blickvektoren anhand der Augen- bzw. Foveaposition und binokularen Eyetracking-Daten. Wie genau dreidimensionale Blickorte anhand dieses Algorithmus berechnet werden können, wurde nachfolgend in realer (Studie II) als auch stereoskopisch projizierter VR-Umgebung (Studie III) untersucht. Anschließend erfolgte die Bestimmung dreidimensionaler Blickbewegungen aus den berechneten 3D-Blickorten. Dazu wurde ein ellipsoider Fixationserkennungsalgorithmus konzipiert und implementiert. Für die dispersionsbasierte Blickbewegungserkennung waren sowohl ein zeitlicher als auch örtlicher Parameter für die Identifikation einer Fixation erforderlich. Da es noch keinerlei Erkenntnisse im dreidimensionalen Bereich gab, wurden die in Studie II und III ermittelten 3D-Blickorte der ellipsoiden Fixationserkennung übergeben und die daraus berechneten Fixationsparameter analysiert. Die entwickelte Methode der räumlichen Blickbewegungsmessung eröffnet die Möglichkeit, bislang in zwei Dimensionen untersuchte Blickmuster nunmehr räumlich zu bestimmen und grundlegende Zusammenhänge zwischen Blickbewegungen und kognitiven Prozessen dreidimensional sowohl in einer realen als auch virtuellen Umgebung zu analysieren.

Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.

Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.

Die vorliegende Arbeit untersucht die Auswirkung von reichhaltigen, natürlichen Eingabe- und Ausgabeinformationen in virtuellen Umgebungen in Form von Natural Mapping und Stereoskopie. Dabei steht insbesondere die Kombination der Ein- und Ausgabemodalitäten mit dem damit verbundenen Interaktionsgegenstand im Fokus. Auf Basis von mentalen Modellen werden Transferprozesse von Wissen und Fertigkeiten bezüglich realer Handlungen auf virtuelle Handlungen angenommen. Diese resultieren in einer potenziell höheren User Experience und Performance bei der Interaktion. Spatial Mapping wird als Konzept der räumlichen Übereinstimmung von Wahrnehmungsräumen der Ein- und Ausgabeinformationen eingeführt und damit als holistische Erweiterung von Natural Mapping verstanden. Spatial Mapping bezeichnet in der vorliegenden Arbeit den Grad der Verknüpfung der physikalischen und virtuellen Umgebung, sodass Nutzer im Idealfall eine isomorphe Abbildung der beiden Wahrnehmungsräume erfahren und notwendige Transformationsprozesse für die Verarbeitung der virtuellen Umgebung minimiert werden können. Im Resultat stehen mehr kognitive Ressourcen für andere Inhalte zur Verfügung. Auf Basis des Spatial-Mapping-Ansatzes wurde ein Pfadmodell konstruiert, das experimentell überprüft wurde. In zwei Experimenten wurden Effekte von Natural Mapping und Stereoskopie in Szenarien mit hohem Spatial Mapping untersucht. Das erste Experiment nutzte dafür ein kommerzielles Computerspiel, bei dem Spatial Mapping für die Interaktion nicht handlungsrelevant war. Beim zweiten Experiment kam ein Virtual-Reality-Simulator zum Einsatz, bei dessen Aufgabenstellung Nutzer vom hohen Spatial Mapping deutlich profitieren konnten. Meist wird Stereoskopie auf existierende mediale Inhalte angewendet, ohne die Inhalte entsprechend darauf anzupassen. Diese Vorgehensweise lässt sich sowohl bei kommerziellen Computerspielen als auch in der Filmindustrie beobachten. Die Experimente zeigen, dass Stereoskopie keinen Einfluss auf UX und Performance hat, wenn das verfügbare Spatial Mapping für den Interaktionsgegenstand nicht handlungsrelevant ist. Die Arbeit diskutiert den Einsatz von Stereoskopie und Natural Mapping in Abhängigkeit des verwendeten Interaktionsgegenstandes und liefert damit einen Erklärungsansatz, der Eingabe- und Ausgabemodalitäten kombiniert betrachtet.

The thesis composes conventional and modern methods for digital scene capturing. The target of the thesis is a comparison of CMOS with Bayer mask and Foveon X3 Merrill sensors followed by a design of algorithms for image fusion which can combine advantages of the both sensor types. The thesis starts with an introduction and a description of methods and processes leading to scene capturing. The next part deals with capturing a gallery of test images and with a comparison of both sensors based on the gallery images. Further there are algorithms designed for image fusion which can combine advantages of the selected sensors. The last part of the thesis is devoted to an evaluation of results and of the used algorithms.

This thesis describes methods of reconstruction of 3D scenes from photographs and videos using the Structure from motion approach. A new software capable of automatic reconstruction of point clouds and polygonal models from common images and videos was implemented based on these methods. The software uses variety of existing and custom solutions and clearly links them into one easily executable application. The reconstruction consists of feature point detection, pairwise matching, Bundle adjustment, stereoscopic algorithms and polygon model creation from point cloud using PCL library. Program is based on Bundler and PMVS. Poisson surface reconstruction algorithm, as well as simple triangulation and own reconstruction method based on plane segmentation were used for polygonal model creation.

Die vorliegende Arbeit untersucht die Auswirkung von reichhaltigen, natürlichen Eingabe- und Ausgabeinformationen in virtuellen Umgebungen in Form von Natural Mapping und Stereoskopie. Dabei steht insbesondere die Kombination der Ein- und Ausgabemodalitäten mit dem damit verbundenen Interaktionsgegenstand im Fokus. Auf Basis von mentalen Modellen werden Transferprozesse von Wissen und Fertigkeiten bezüglich realer Handlungen auf virtuelle Handlungen angenommen. Diese resultieren in einer potenziell höheren User Experience und Performance bei der Interaktion. Spatial Mapping wird als Konzept der räumlichen Übereinstimmung von Wahrnehmungsräumen der Ein- und Ausgabeinformationen eingeführt und damit als holistische Erweiterung von Natural Mapping verstanden. Spatial Mapping bezeichnet in der vorliegenden Arbeit den Grad der Verknüpfung der physikalischen und virtuellen Umgebung, sodass Nutzer im Idealfall eine isomorphe Abbildung der beiden Wahrnehmungsräume erfahren und notwendige Transformationsprozesse für die Verarbeitung der virtuellen Umgebung minimiert werden können. Im Resultat stehen mehr kognitive Ressourcen für andere Inhalte zur Verfügung. Auf Basis des Spatial-Mapping-Ansatzes wurde ein Pfadmodell konstruiert, das experimentell überprüft wurde. In zwei Experimenten wurden Effekte von Natural Mapping und Stereoskopie in Szenarien mit hohem Spatial Mapping untersucht. Das erste Experiment nutzte dafür ein kommerzielles Computerspiel, bei dem Spatial Mapping für die Interaktion nicht handlungsrelevant war. Beim zweiten Experiment kam ein Virtual-Reality-Simulator zum Einsatz, bei dessen Aufgabenstellung Nutzer vom hohen Spatial Mapping deutlich profitieren konnten. Meist wird Stereoskopie auf existierende mediale Inhalte angewendet, ohne die Inhalte entsprechend darauf anzupassen. Diese Vorgehensweise lässt sich sowohl bei kommerziellen Computerspielen als auch in der Filmindustrie beobachten. Die Experimente zeigen, dass Stereoskopie keinen Einfluss auf UX und Performance hat, wenn das verfügbare Spatial Mapping für den Interaktionsgegenstand nicht handlungsrelevant ist. Die Arbeit diskutiert den Einsatz von Stereoskopie und Natural Mapping in Abhängigkeit des verwendeten Interaktionsgegenstandes und liefert damit einen Erklärungsansatz, der Eingabe- und Ausgabemodalitäten kombiniert betrachtet.:1. Einführung: Spatial Mapping in virtuellen Umgebungen 2. User Experience und Zustände fokussierter Aufmerksamkeit 3. Two Step Process Model of Spatial Presence Formation 4. Stereoskopie in virtuellen Umgebungen 5. Natural Mapping in virtuellen Umgebungen 6. Spatial Mapping von Wahrnehmungsräumen 7. Experiment 1: Spatial Mapping bei niedriger Task Adequacy 8. Experiment 2: Spatial Mapping bei hoher Task Adequacy 9. Fazit und Ausblick