Cette version de la thèse a été tronquée des éléments de composition originale. Une version plus complète est disponible en ligne pour les membres de la communauté de l’Université de Montréal et peut aussi être consultée dans une des bibliothèques UdeM. / Les rapports entre le nouveau, l’ancien, l’imaginaire et le présent sont des vecteurs pour la créativité. La compréhension et le développement de projet créatif liés à des médias obsolètes, imaginaires ou futuristes, offrent à de nombreux artistes la possibilité de développer une expression personnelle ancrée dans un rapport techno-esthétique qui peut être porteur de multiples sens, que ce soit d’un point de vue social, environnemental, technologique ou formel. Ce projet de recherche est consacré à la création audiovisuelle reposant sur une pensée archéomédiatique. En premier lieu, je présente le cadre théorique et conceptuel qui a mené à la création de mes œuvres au cours de cette période doctorale. J’y relate l’exploitation d’une hybridation entre nouvelles et anciennes technologies servant à développer un langage audiovisuel puisant dans l’archéologie médiatique. Puis, dans le deuxième chapitre, j’expose l’approche compositionnelle derrière mes œuvres. Dans le troisième chapitre, j’aborde l’aspect sensoriel de mon processus de création, expliqué à travers une série de relations multimodales telles que les rapports de luminosité, de densité, de mouvements, de relief, d’espace et de textures, entre le son et l’image. Pour terminer, j’introduis la notion novatrice de texture stéréoscopique : une forme de texture optique qu’il est seulement possible de percevoir avec un média tridimensionnel. / Relationships between the new, the old, the imaginary, and present time, have always been vectors for creativity. The understanding and development behind creative projects in regard to obsolete, imaginary or futuristic media, have offered many artists ways of expressing themselves in a techno-aesthetic containing multiple meanings, whether from a social, environmental, or technological point of view. This research project is devoted to audiovisual creation based on media-archeological thinking. Firstly, the theoretical and conceptual framework that led to the creation of my works during this doctoral period are presented. I will discuss the exploitation of a hybridization between new and old technologies used to develop an audiovisual language drawing on media archaeology. The second part will present the compositional process behind my works. The third part deals with the sensory aspect of my creative process, explained through a series of cross-modal relations such as luminosity, density, movement, relief, space and texture, between sound and image. Lastly, I will introduce the novel notion of stereoscopic texture: a form of optical texture that can only be seen through a three-dimensional medium, thus finding something new in the old.

Esta tese teve como objetivo apresentar o processo de construção, aplicação e avaliação de uma ferramenta para o ensino da neuroanatomia, acessível a partir de computadores pessoais, imersiva, interativa, foto-realística e que permita visão tridimensional e estereoscópica. Quarenta encéfalos frescos foram obtidos no Serviço de Verificação de Óbitos de São Paulo (SVO-SP) e submetidos às técnicas de fixação, conservação, injeção vascular, coloração de substância cinzenta, dissecação de fibras brancas, terebintina e clareamento ósseo, conforme sua finalidade, no laboratório de Técnica Cirúrgica e Cirurgia Experimental da Universidade de São Paulo (USP). Imagens das áreas de interesse foram capturadas utilizando-se uma plataforma giratória manual construída para este fim. As imagens foram processadas com softwares comercialmente disponíveis (Photoshop CS5; Stereo Photo Maker;VRWorx2.6 para Windows) em formato não linear, interativo, tridimensional e estereoscópico, e armazenadas em um banco de 5.337 imagens finais. O recurso didático foi aplicado a 84 graduandos do curso de medicina, divididos em três grupos: convencional (grupo1), interativo não estereoscópico (grupo2) e interativo estereoscópico (grupo3), cujas médias na avaliação do conhecimento prévio não diferiram estatisticamente entre si (P > 0,05). A ferramenta foi avaliada através de uma prova teórica e prática. Verificou-se que os Grupos 2 e 3 apresentaram as maiores médias e diferiram estatisticamente do Grupo 1 (P < 0,05); o Grupo 2 não diferiu estatisticamente do Grupo 3 (p > 0,05), mostrando resultado do treinamento semelhante na prova teórica. Observando-se os Tamanhos do Efeito, verificou-se que esses foram de grande magnitude, indicando uma efetividade do treinamento dos alunos. Os resultados da ANOVA mostraram que existe diferença significativa (P < 0,05) entre as médias dos grupos, e por meio do teste de Tukey observou-se que existe diferença estatística entre o Grupo 1 e os demais (P < 0,05). Na prova prática pode-se observar, que de modo semelhante à prova teórica, não houve diferença estatística entre os Grupos 2 e 3. Os autores concluem que o método apresentado propiciou ganho de conhecimento e rendimento pedagógico significativamente superior quando comparado com o tradicional / This thesis aims to show the process of the construction, implementation and evaluation of a tool for teaching neuroanatomy. The tool presented is accessible from personal computers, immersive, interactive, and allows photorealistic three-dimensional and stereoscopic vision. Forty fresh brains were obtained from the São Paulo Department of Death Records (SP-DDR- Serviço de Verificação de Óbitos de São Paulo (SVO-SP)) and subjected to fixation, conservation, vascular injection, staining of gray matter, white fiber dissection, turpentine and bleaching bone techniques, as needed, at the Surgical Technique and Experimental Surgery Laboratory, University of São Paulo (Laboratório de Técnica Cirúrgica e Cirurgia Experimental da Universidade de São Paulo- USP). Images of areas of interest were captured using a manual turntable built for this purpose. The images were processed with commercially available software (Photoshop CS5; Stereo Photo Maker; VRWorx2.6 for Windows) non-linear format, interactive, three-dimensional stereoscopic and stored in a database of 5337 final images. The teaching resource was applied to 84 undergraduate medical students, divided into three groups: conventional (group 1), interactive non-stereoscopic (group 2) and interactive stereoscopic (group 3). Averages on the assessment of prior knowledge did not differ significantly (P > 0.05) among groups. The tool was evaluated through a written theory test and a lab practical. Groups 2 and 3 showed the highest averages and differed significantly from Group 1 (P < 0.05), Group 2 did not differ statistically from Group 3 (p > 0.05), revealing a result of similar training on the written theory test. Observing the Effect Sizes, it was found that those were of great magnitude, indicating student training effectiveness. ANOVA results showed significant difference (P < 0.05) between group means, and the Tukey test showed statistical difference between Group 1 and the others (P < 0.05). On the lab pratical, it may be noted that similarly to the written theory test, no statistical difference between Groups 2 and 3 were found. The authors conclude that the tool presented provided a gain of knowledge for students and yielded significantly higher leaning when compared with traditional teaching resources

Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.

Die vorliegende Arbeit untersucht die Auswirkung von reichhaltigen, natürlichen Eingabe- und Ausgabeinformationen in virtuellen Umgebungen in Form von Natural Mapping und Stereoskopie. Dabei steht insbesondere die Kombination der Ein- und Ausgabemodalitäten mit dem damit verbundenen Interaktionsgegenstand im Fokus. Auf Basis von mentalen Modellen werden Transferprozesse von Wissen und Fertigkeiten bezüglich realer Handlungen auf virtuelle Handlungen angenommen. Diese resultieren in einer potenziell höheren User Experience und Performance bei der Interaktion. Spatial Mapping wird als Konzept der räumlichen Übereinstimmung von Wahrnehmungsräumen der Ein- und Ausgabeinformationen eingeführt und damit als holistische Erweiterung von Natural Mapping verstanden. Spatial Mapping bezeichnet in der vorliegenden Arbeit den Grad der Verknüpfung der physikalischen und virtuellen Umgebung, sodass Nutzer im Idealfall eine isomorphe Abbildung der beiden Wahrnehmungsräume erfahren und notwendige Transformationsprozesse für die Verarbeitung der virtuellen Umgebung minimiert werden können. Im Resultat stehen mehr kognitive Ressourcen für andere Inhalte zur Verfügung. Auf Basis des Spatial-Mapping-Ansatzes wurde ein Pfadmodell konstruiert, das experimentell überprüft wurde. In zwei Experimenten wurden Effekte von Natural Mapping und Stereoskopie in Szenarien mit hohem Spatial Mapping untersucht. Das erste Experiment nutzte dafür ein kommerzielles Computerspiel, bei dem Spatial Mapping für die Interaktion nicht handlungsrelevant war. Beim zweiten Experiment kam ein Virtual-Reality-Simulator zum Einsatz, bei dessen Aufgabenstellung Nutzer vom hohen Spatial Mapping deutlich profitieren konnten. Meist wird Stereoskopie auf existierende mediale Inhalte angewendet, ohne die Inhalte entsprechend darauf anzupassen. Diese Vorgehensweise lässt sich sowohl bei kommerziellen Computerspielen als auch in der Filmindustrie beobachten. Die Experimente zeigen, dass Stereoskopie keinen Einfluss auf UX und Performance hat, wenn das verfügbare Spatial Mapping für den Interaktionsgegenstand nicht handlungsrelevant ist. Die Arbeit diskutiert den Einsatz von Stereoskopie und Natural Mapping in Abhängigkeit des verwendeten Interaktionsgegenstandes und liefert damit einen Erklärungsansatz, der Eingabe- und Ausgabemodalitäten kombiniert betrachtet.

Nesta dissertação é apresentado o desenvolvimento de uma ferramenta computacional para o processamento de pares de imagens estereoscópicas obtidos por câmeras aéreas métricas e não métricas. O programa foi desenvolvido na linguagem C++ e foi utilizado a biblioteca OpenGL. O resultado obtido é uma imagem tridimensional de onde pode ser extraídas cotas de altura e formas de terreno. Estas imagens poderão ser usadas no estudo de áreas de risco em encostas. / In this dissertation is presented the development of a computational tool for the processing of pairs of images estereoscópicas obtained by metric and not metric aerial cameras. The program was developed in the program language C++ and the library was used OpenGL. The result of the program is a three-dimensional image from where it can be extracted height quotas and land forms. These images can be used in the study of risk areas on slopes.

Nesta dissertação é apresentado o desenvolvimento de uma ferramenta computacional para o processamento de pares de imagens estereoscópicas obtidos por câmeras aéreas métricas e não métricas. O programa foi desenvolvido na linguagem C++ e foi utilizado a biblioteca OpenGL. O resultado obtido é uma imagem tridimensional de onde pode ser extraídas cotas de altura e formas de terreno. Estas imagens poderão ser usadas no estudo de áreas de risco em encostas. / In this dissertation is presented the development of a computational tool for the processing of pairs of images estereoscópicas obtained by metric and not metric aerial cameras. The program was developed in the program language C++ and the library was used OpenGL. The result of the program is a three-dimensional image from where it can be extracted height quotas and land forms. These images can be used in the study of risk areas on slopes.

Esta tese teve como objetivo apresentar o processo de construção, aplicação e avaliação de uma ferramenta para o ensino da neuroanatomia, acessível a partir de computadores pessoais, imersiva, interativa, foto-realística e que permita visão tridimensional e estereoscópica. Quarenta encéfalos frescos foram obtidos no Serviço de Verificação de Óbitos de São Paulo (SVO-SP) e submetidos às técnicas de fixação, conservação, injeção vascular, coloração de substância cinzenta, dissecação de fibras brancas, terebintina e clareamento ósseo, conforme sua finalidade, no laboratório de Técnica Cirúrgica e Cirurgia Experimental da Universidade de São Paulo (USP). Imagens das áreas de interesse foram capturadas utilizando-se uma plataforma giratória manual construída para este fim. As imagens foram processadas com softwares comercialmente disponíveis (Photoshop CS5; Stereo Photo Maker;VRWorx2.6 para Windows) em formato não linear, interativo, tridimensional e estereoscópico, e armazenadas em um banco de 5.337 imagens finais. O recurso didático foi aplicado a 84 graduandos do curso de medicina, divididos em três grupos: convencional (grupo1), interativo não estereoscópico (grupo2) e interativo estereoscópico (grupo3), cujas médias na avaliação do conhecimento prévio não diferiram estatisticamente entre si (P > 0,05). A ferramenta foi avaliada através de uma prova teórica e prática. Verificou-se que os Grupos 2 e 3 apresentaram as maiores médias e diferiram estatisticamente do Grupo 1 (P < 0,05); o Grupo 2 não diferiu estatisticamente do Grupo 3 (p > 0,05), mostrando resultado do treinamento semelhante na prova teórica. Observando-se os Tamanhos do Efeito, verificou-se que esses foram de grande magnitude, indicando uma efetividade do treinamento dos alunos. Os resultados da ANOVA mostraram que existe diferença significativa (P < 0,05) entre as médias dos grupos, e por meio do teste de Tukey observou-se que existe diferença estatística entre o Grupo 1 e os demais (P < 0,05). Na prova prática pode-se observar, que de modo semelhante à prova teórica, não houve diferença estatística entre os Grupos 2 e 3. Os autores concluem que o método apresentado propiciou ganho de conhecimento e rendimento pedagógico significativamente superior quando comparado com o tradicional / This thesis aims to show the process of the construction, implementation and evaluation of a tool for teaching neuroanatomy. The tool presented is accessible from personal computers, immersive, interactive, and allows photorealistic three-dimensional and stereoscopic vision. Forty fresh brains were obtained from the São Paulo Department of Death Records (SP-DDR- Serviço de Verificação de Óbitos de São Paulo (SVO-SP)) and subjected to fixation, conservation, vascular injection, staining of gray matter, white fiber dissection, turpentine and bleaching bone techniques, as needed, at the Surgical Technique and Experimental Surgery Laboratory, University of São Paulo (Laboratório de Técnica Cirúrgica e Cirurgia Experimental da Universidade de São Paulo- USP). Images of areas of interest were captured using a manual turntable built for this purpose. The images were processed with commercially available software (Photoshop CS5; Stereo Photo Maker; VRWorx2.6 for Windows) non-linear format, interactive, three-dimensional stereoscopic and stored in a database of 5337 final images. The teaching resource was applied to 84 undergraduate medical students, divided into three groups: conventional (group 1), interactive non-stereoscopic (group 2) and interactive stereoscopic (group 3). Averages on the assessment of prior knowledge did not differ significantly (P > 0.05) among groups. The tool was evaluated through a written theory test and a lab practical. Groups 2 and 3 showed the highest averages and differed significantly from Group 1 (P < 0.05), Group 2 did not differ statistically from Group 3 (p > 0.05), revealing a result of similar training on the written theory test. Observing the Effect Sizes, it was found that those were of great magnitude, indicating student training effectiveness. ANOVA results showed significant difference (P < 0.05) between group means, and the Tukey test showed statistical difference between Group 1 and the others (P < 0.05). On the lab pratical, it may be noted that similarly to the written theory test, no statistical difference between Groups 2 and 3 were found. The authors conclude that the tool presented provided a gain of knowledge for students and yielded significantly higher leaning when compared with traditional teaching resources

The evolution of depth‐perception visualization technologies, emerging format standardization work and research within the field of multi‐view 3D video and imagery addresses the need for flexible 3D video visualization. The wide variety of available 3D‐display types and visualization techniques for multi‐view video, as well as the high throughput requirements for high definition video, addresses the need for a real‐time 3D video playback solution that takes advantage of hardware accelerated graphics, while providing a high degree of flexibility through format configuration and cross‐platform interoperability. A modular component based software solution based on FFmpeg for video demultiplexing and video decoding is proposed,using OpenGL and GLUT for hardware accelerated graphics and POSIX threads for increased CPU utilization. The solution has been verified to have sufficient throughput in order to display 1080p video at the native video frame rate on the experimental system, which is considered as a standard high‐end desktop PC only using commercial hardware. In order to evaluate the performance of the proposed solution a number of throughput evaluation metrics have been introduced measuring average frame rate as a function of: video bit rate, video resolution and number of views. The results obtained have indicated that the GPU constitutes the primary bottleneck in a multi‐view lenticular rendering system and that multi‐view rendering performance is degraded as the number of views is increased. This is a result of the current GPU square matrix texture cache architectures, resulting in texture lookup access times according to random memory access patterns when the number of views is high. The proposed solution has been identified in order to provide low CPU efficiency, i.e. low CPU hardware utilization and it is recommended to increase performance by investigating the gains of scalable multithreading techniques. It is also recommended to investigate the gains of introducing video frame buffering in video memory or to move more calculations to the CPU in order to increase GPU performance.

Gegenstand der vorliegenden Dissertation ist die Entwicklung von Kalibrierverfahren und Algorithmen zur Bildverarbeitung im Kontext von Multiprojektorsystemen mit dem Ziel, die Einsatzmöglichkeiten von derartigen Anlagen zu erweitern und die Nutzerakzeptanz solcher Systeme zu steigern. Die Arbeit konzentriert sich dabei insbesondere auf (annähernd) planare Mehrsegment-Projektionsanlagen, die aus preisgünstigen, nicht speziell für den Visualisierungbereich konzipierten Consumer- und Office-Projektoren aufgebaut werden. Im ersten Teil der Arbeit werden bestehende Verfahren zur geometrischen Kalibrierung, zum Edge-Blending sowie zur Helligkeits- und Farbanpassung auf ihre Eignung im Hinblick auf die Anforderungen untersucht und Erweiterungen entwickelt. Für die kamerabasierte Geometrie- Kalibrierung wird mit Lininenpattern gearbeitet, wobei ein effizienter rekursiver Algorithmus zur Berechnung der Schnittpunkte bei leicht gekrümmten Oberflächen vorgestellt wird. Für das Edge-Blending wird ein generalisiertes Modell entwickelt, das mehrere bestehende Ansätze kombiniert und erweitert. Die vorgenommene Modifikation der Distanzfunktion erlaubt insbesondere die bessere Steuerung des Helligkeitsverlaufs und ermöglicht weichere Übergänge an den Grenzen der Überlappungszonen. Es wird weiterhin gezeigt, dass das Edge-Blending mit bestehenden Ansätzen zum Ausgleich der Helligkeitsunterschiede wie Luminance Attenutation Maps kombiniert werden kann. Für die photometrische Kalibrierung ist die Kenntnis der Farb-Transferfunktion, also der Abbildung der Eingabe-Farbwerte auf die tatsächlich vom Projektor erzeugten Ausgaben, unerlässlich. Die herkömmlichen Ansätze betrachten dabei vorwiegend RGB-Projektoren, bei denen die dreidimensionale Transferfunktion in drei eindimensionale Funktionen für jeden Farbkanal zerlegt werden kann. Diese Annahme trifft jedoch auf die betrachteten Projektoren meist nicht zu. Insbesondere DLP-Projektoren mit Farbrad verfügen oft über zusätzliche Grundfarben, so dass der Farbraum deutlich von einem idealen RGB-Modell abweicht. In dieser Arbeit wird zunächst ein empirisches Modell einer Transferfunktion vorgestellt, das sich für derartige Projektoren besser eignet, allerdings die Helligkeit der Projektoren nicht vollständig ausnutzt. Im zweiten Teil der Arbeit wird ein kamerabasiertes Messverfahren entwickelt, mit dem direkt die dreidimensionale Farb-Transferfunktion ermittelt werden kann. Gegenüber bestehenden Verfahren werden tausende von Farbsamples gleichzeitig erfasst, so dass die erreichbare Sampledichte unter praxisrelevanten Messbedingungen von 17x17x17 auf 64x64x64 erhöht und damit die Qualität der photometrischen Kalibrierung signifikant gesteigert werden kann. Weiterhin wird ein Schnellverfahren entwickelt, dass die Messungsdauer bei 17x17x17 Samples von mehreren Stunden mit bisherigen Verfahren auf weniger als 30 Minuten reduziert. Im dritten Teil werden Algorithmen zur effizienten Bildverarbeitung entwickelt, die der GPU-basierten Anwendung der Kalibrierparameter auf die darzustellenden Bilddaten in Echtzeit dienen. Dabei werden die Möglichkeiten zur Vermeidung redundanter Berechnungsschritte beim Einsatz Stereoskopie-fähiger Projektoren ausgenutzt. Weiterhin wird das eigentliche Kalibrierverfahren effizient mit Verfahren zur Konvertierung von stereoskopischen Bildverfahren kombiniert. Es wird gezeigt, dass ein einzelner PC aus Standardkomponenten zur Ansteuerung einer Mehrsegment-Projektionsanlage mit bis zu 6 Projektoren ausreicht. Die Verwendung von DVI-Capture-Karten ermöglicht dabei den Betrieb einer solchen Anlage wie einen "großen Monitor" für beliebige Applikationen und Betriebssysteme.

No description available.