A área de visualização volumétrica engloba um conjunto de técnicas utilizadas na representação, manipulação e exibição de dados associados à região de um volume, possibilitando, assim, a exploração e melhor compreensão do interior de objetos de natureza tridimensional. Contudo, algumas limitações ainda são encontradas nessa área, como, por exemplo, a exploração de mais de um valor simultaneamente em conjuntos de dados volumétricos multivariados. Além desse desafio, outro objeto de grande interesse da comunidade científica é a exploração de volumes variantes no tempo. A complexidade nesse caso está em tratar ou processar uma quantidade muito grande de dados buscando descobrir propriedades, estruturas ou características que variam com o tempo. O presente trabalho propõe técnicas e abordagens, baseadas no conceito de projeções multidimensionais, visando dar apoio à análise de conjuntos volumétricos multivariados que variam no tempo. A primeira técnica proposta, denominada Fastmap*, possibilitou a projeção de espaços de alta dimensionalidade em fluxo contínuo. A segunda técnica apresentada, denominada RLNP, permitiu a projeção de dados por vizinhança mantendo a coerência temporal nos dados projetados, além de possuir a capacidade de projetar espaços de alta dimensão com um nível de stressbaixo. Também, propomos uma abordagem para a análise baseada em atributos, denominada Scatter Projection, que facilita a exploração focada em um atributo específico junto com a similaridade dos dados entre eles. Finalmente, propõe-se uma abordagem baseada na reprojeção de agrupamentos usando técnicas de seleção de atributos para tentar identificar melhor as estruturas internas do volume. Assim, o presente trabalho contribui no sentido de levantar e discutir limitações das técnicas disponíveis, e em seguida, buscar possibilidades de solução para tais questões, propondo técnicas e abordagens que possibilitam a exploração de grandes conjuntos de dados volumétricos multivariados, mantendo a coerência temporal / The area of volume visualization encompasses a set of techniques used for representation, manipulation and display of data associated with a region of a volume, thus enabling the exploration and understanding of the interior of three-dimensional objects. However, some limitations are still encountered in this area. For example, the simultaneous exploration of more than one value in multivariate volumetric datasets. Beyond this challenge, another issue of great interest to the scientific community is the exploration of time-varying volumes. The complexity of this case lies in treatment or processing of a very large amount of data, seeking to discover properties, structures, or characteristics that may vary in time. This work proposes techniques and approaches, based on the concept of multidimensional projections, in order to support multivariate volumetric analysis of time varying data sets. The first technique proposed, called Fastmap*, enables the projection of high dimensional streaming data. The second technique presented, called Recursive Laplacian-based Neiboorhood Projection, allows the projection of data sets based on neighborhoods, maintaining the temporal coherence in the projected data, besides having the ability to project highdimensional spaces with a low level of stress. Also, we propose an approach for the analysis of specific attributes, referred to as Scatter Projection, which facilitates the exploration focused on a specific attribute and on the similarity between them. Finally, we propose an approach based on reprojection of groups using feature selection techniques for better identification of internal structures of the volume. Thus, this study contributes towards surveying and discussing limitations of the area, and then seeks ways of solving these issues, proposing techniques and approaches that enable the exploration of multidimensional volumetric time varying data sets, maintaining the temporal coherence

We explore the integration of projected imagery with a physical book that acts as a tangible interface to multimedia data. Using a camera and projector pair, a tracking framework is presented wherein the 3D position of planar pages are monitored as they are turned back and forth by a user, and data is correctly warped and projected onto each page at interactive rates to provide the user with an intuitive mixed-reality experience. The book pages are blank, so traditional camera-based approaches to tracking physical features on the display surface do not apply. Instead, in each frame, feature points are independently extracted from the camera and projector images, and matched to recover the geometry of the pages in motion. The book can be loaded with multimedia content, including images and videos. In addition, volumetric datasets can be explored by removing a page from the book and using it as a tool to navigate through a virtual 3D volume.

A área de visualização volumétrica engloba um conjunto de técnicas utilizadas na representação, manipulação e exibição de dados associados à região de um volume, possibilitando, assim, a exploração e melhor compreensão do interior de objetos de natureza tridimensional. Contudo, algumas limitações ainda são encontradas nessa área, como, por exemplo, a exploração de mais de um valor simultaneamente em conjuntos de dados volumétricos multivariados. Além desse desafio, outro objeto de grande interesse da comunidade científica é a exploração de volumes variantes no tempo. A complexidade nesse caso está em tratar ou processar uma quantidade muito grande de dados buscando descobrir propriedades, estruturas ou características que variam com o tempo. O presente trabalho propõe técnicas e abordagens, baseadas no conceito de projeções multidimensionais, visando dar apoio à análise de conjuntos volumétricos multivariados que variam no tempo. A primeira técnica proposta, denominada Fastmap*, possibilitou a projeção de espaços de alta dimensionalidade em fluxo contínuo. A segunda técnica apresentada, denominada RLNP, permitiu a projeção de dados por vizinhança mantendo a coerência temporal nos dados projetados, além de possuir a capacidade de projetar espaços de alta dimensão com um nível de stressbaixo. Também, propomos uma abordagem para a análise baseada em atributos, denominada Scatter Projection, que facilita a exploração focada em um atributo específico junto com a similaridade dos dados entre eles. Finalmente, propõe-se uma abordagem baseada na reprojeção de agrupamentos usando técnicas de seleção de atributos para tentar identificar melhor as estruturas internas do volume. Assim, o presente trabalho contribui no sentido de levantar e discutir limitações das técnicas disponíveis, e em seguida, buscar possibilidades de solução para tais questões, propondo técnicas e abordagens que possibilitam a exploração de grandes conjuntos de dados volumétricos multivariados, mantendo a coerência temporal / The area of volume visualization encompasses a set of techniques used for representation, manipulation and display of data associated with a region of a volume, thus enabling the exploration and understanding of the interior of three-dimensional objects. However, some limitations are still encountered in this area. For example, the simultaneous exploration of more than one value in multivariate volumetric datasets. Beyond this challenge, another issue of great interest to the scientific community is the exploration of time-varying volumes. The complexity of this case lies in treatment or processing of a very large amount of data, seeking to discover properties, structures, or characteristics that may vary in time. This work proposes techniques and approaches, based on the concept of multidimensional projections, in order to support multivariate volumetric analysis of time varying data sets. The first technique proposed, called Fastmap*, enables the projection of high dimensional streaming data. The second technique presented, called Recursive Laplacian-based Neiboorhood Projection, allows the projection of data sets based on neighborhoods, maintaining the temporal coherence in the projected data, besides having the ability to project highdimensional spaces with a low level of stress. Also, we propose an approach for the analysis of specific attributes, referred to as Scatter Projection, which facilitates the exploration focused on a specific attribute and on the similarity between them. Finally, we propose an approach based on reprojection of groups using feature selection techniques for better identification of internal structures of the volume. Thus, this study contributes towards surveying and discussing limitations of the area, and then seeks ways of solving these issues, proposing techniques and approaches that enable the exploration of multidimensional volumetric time varying data sets, maintaining the temporal coherence

Neurocirurgia guiada por imagem permite ao neurocirurgião navegar dentro do cérebro do paciente, usando imagens pré-operatórias como orientação, através do uso de sistemas de rastreamento, durante o procedimento cirúrgico. Muitos sistemas desenvolvidos para neurocirurgia guiada por imagem, empregam imagens pré-operatórias para fornecer orientação ao cirurgião, durante o procedimento cirúrgico. Seguindo um procedimento de calibração, a posição tridimensional e orientação dos instrumentos cirúrgicos podem ser transmitidas ao computador. Estas informações espaciais são usadas para acessar a região de interesse nas imagens pré-operatórias com a finalidade de apresentá-las ao cirurgião durante o procedimento. Contudo, quando ocorre a craniotomia, o movimento dos tecidos do cérebro pode ser fonte significativa de erro nestes sistemas. A arquitetura implementada neste trabalho visa o desenvolvimento de um sistema que permite planejamento e orientação cirúrgica. Para orientação cirúrgica foi desenvolvido um software que permite extrair fatias do volume de imagens de ressonância magnética (IRM), com orientação fornecida por um transdutor de posição magnético (Polhemus®). As fatias extraídas serão, futuramente, correlacionadas com imagens de ultra-som (IUS) intra-operatórias para detectar e corrigir a deformação do tecido cerebral durante a cirurgia. A ferramenta para navegação pré-cirúrgica foi desenvolvida para fornecer três fatias ortogonais obtidas através do volume de imagens. Na metodologia usada para a implementação do software, foi utilizada a linguagem de programação Python e a biblioteca gráfica Visualization Toolkit (VTK). Os resultados mostraram que o programa de planejamento pré-cirúrgico, gerou uma alta resolução na visualização dos planos ortogonais e oblíquos das IRM, além de ser rápido e interativo. O programa de extrair fatias do volume de IRM permitiu a aplicação de transformações ao volume, com base nos valores de coordenadas fornecidos pelo transdutor de posição. / Image guided neurosurgery enables the neurosurgeon to navigate inside the patient\'s brain using pre-operative images as a guide and a tracking system, during surgical procedure. Many image guided neurosurgery implementations employ pre-operative images as a guide to the surgeons throughout surgical procedure. Following a calibration procedure, three-dimensional position and orientation of surgical instruments may be transmitted to computer. The spatial information is used to access an interest region, in the pre-operative images, displaying them to the neurosurgeon during the surgical procedure. However, when a craniotomy is involved, movements of brain tissue can be a significant source of error in these systems. The architecture implemented in this work intends the development of a system to surgical planning and orientation. For surgical orientation, the software developed allows the extraction of slices from the volume of the magnetic resonance images (MRI) with orientation supplied by a magnetic position sensor (Polhemus®). In the future, the extracted slices will be correlated with intra-operative ultrasound images to detect and to correct the deformation of brain tissue during the surgery. Also, a tool for pre-operative navigation was developed, providing three orthogonal planes through the image volume. In the methodology used for the software implementation, the Python programming language and the Visualization Toolkit (VTK) graphics library were used. The results showed that the program of pre-operative navigation had high resolution in the visualization of orthogonal and oblique MRI planes. Furthermore, it was fast and interactive. The program to extract slices of the MRI volume allowed the application of transformations in the volume, using coordinates supplied by the position sensor.

Neurocirurgia guiada por imagem permite ao neurocirurgião navegar dentro do cérebro do paciente, usando imagens pré-operatórias como orientação, através do uso de sistemas de rastreamento, durante o procedimento cirúrgico. Muitos sistemas desenvolvidos para neurocirurgia guiada por imagem, empregam imagens pré-operatórias para fornecer orientação ao cirurgião, durante o procedimento cirúrgico. Seguindo um procedimento de calibração, a posição tridimensional e orientação dos instrumentos cirúrgicos podem ser transmitidas ao computador. Estas informações espaciais são usadas para acessar a região de interesse nas imagens pré-operatórias com a finalidade de apresentá-las ao cirurgião durante o procedimento. Contudo, quando ocorre a craniotomia, o movimento dos tecidos do cérebro pode ser fonte significativa de erro nestes sistemas. A arquitetura implementada neste trabalho visa o desenvolvimento de um sistema que permite planejamento e orientação cirúrgica. Para orientação cirúrgica foi desenvolvido um software que permite extrair fatias do volume de imagens de ressonância magnética (IRM), com orientação fornecida por um transdutor de posição magnético (Polhemus®). As fatias extraídas serão, futuramente, correlacionadas com imagens de ultra-som (IUS) intra-operatórias para detectar e corrigir a deformação do tecido cerebral durante a cirurgia. A ferramenta para navegação pré-cirúrgica foi desenvolvida para fornecer três fatias ortogonais obtidas através do volume de imagens. Na metodologia usada para a implementação do software, foi utilizada a linguagem de programação Python e a biblioteca gráfica Visualization Toolkit (VTK). Os resultados mostraram que o programa de planejamento pré-cirúrgico, gerou uma alta resolução na visualização dos planos ortogonais e oblíquos das IRM, além de ser rápido e interativo. O programa de extrair fatias do volume de IRM permitiu a aplicação de transformações ao volume, com base nos valores de coordenadas fornecidos pelo transdutor de posição. / Image guided neurosurgery enables the neurosurgeon to navigate inside the patient\'s brain using pre-operative images as a guide and a tracking system, during surgical procedure. Many image guided neurosurgery implementations employ pre-operative images as a guide to the surgeons throughout surgical procedure. Following a calibration procedure, three-dimensional position and orientation of surgical instruments may be transmitted to computer. The spatial information is used to access an interest region, in the pre-operative images, displaying them to the neurosurgeon during the surgical procedure. However, when a craniotomy is involved, movements of brain tissue can be a significant source of error in these systems. The architecture implemented in this work intends the development of a system to surgical planning and orientation. For surgical orientation, the software developed allows the extraction of slices from the volume of the magnetic resonance images (MRI) with orientation supplied by a magnetic position sensor (Polhemus®). In the future, the extracted slices will be correlated with intra-operative ultrasound images to detect and to correct the deformation of brain tissue during the surgery. Also, a tool for pre-operative navigation was developed, providing three orthogonal planes through the image volume. In the methodology used for the software implementation, the Python programming language and the Visualization Toolkit (VTK) graphics library were used. The results showed that the program of pre-operative navigation had high resolution in the visualization of orthogonal and oblique MRI planes. Furthermore, it was fast and interactive. The program to extract slices of the MRI volume allowed the application of transformations in the volume, using coordinates supplied by the position sensor.

Este trabalho apresenta uma análise dos principais algoritmos de poligonização de isosuperfícies na GPU. O resultado desta análise mostra tanto como a GPU pode ser modificada para oferecer suporte a este tipo de algoritmo quanto como os algoritmos podem ser modificados para se adaptar as características das GPUs atuais. As técnicas usadas em versões de GPU do Marching Cubes são extendidas e uma poligonização com menos artefatos é gerada. São propostas versões paralelas do Dual Contouring e do Macet, algoritmos que melhoram a aproximação e a forma das malhas de triângulos, respectivamente. Ambas técnicas extraem isosuperfícies a partir de grandes volumes de dados em menos de um segundo, superando versões de CPU em até duas ordens de grandeza. As contribuições desse trabalho incluem uma versão orientada a tabelas do Dual Contouring (DC) para grids estruturados. A tabela é utilizada na especificação da topologia dos quadriláteros, que ajuda a implementação e a eficiência de cache em cenários paralelos. A tabela é adequada para a expansão de streams na GPU em ambos geometry shader e Histogram Pyramids. Além disso, nossa versão de aproximação de características das isosuperfícies é mais simples que a Decomposição de Valores Singulares e também que a Decomposição QR. O posicionamento dos vértices não requer uma diagonalização de matrizes. Ao invés disso, usa-se uma simples interpolação trilinear. Afim de avaliar a eficiência das técnicas apresentadas neste trabalho, comparamos nossas técnicas com versões do Marching Cubes na GPU do estado da arte. Também incluímos uma análise detalhada da arquitetura de GPU para a extração de isosuperfícies, usando ferramentas de avaliação de desempenho da indústria. Essa análise apresenta os gargalos das placas gráficas na extração de isosuperfícies e ajuda na avaliação de possíveis soluções para as GPUs das próximas gerações.

Este trabalho apresenta uma análise dos principais algoritmos de poligonização de isosuperfícies na GPU. O resultado desta análise mostra tanto como a GPU pode ser modificada para oferecer suporte a este tipo de algoritmo quanto como os algoritmos podem ser modificados para se adaptar as características das GPUs atuais. As técnicas usadas em versões de GPU do Marching Cubes são extendidas e uma poligonização com menos artefatos é gerada. São propostas versões paralelas do Dual Contouring e do Macet, algoritmos que melhoram a aproximação e a forma das malhas de triângulos, respectivamente. Ambas técnicas extraem isosuperfícies a partir de grandes volumes de dados em menos de um segundo, superando versões de CPU em até duas ordens de grandeza. As contribuições desse trabalho incluem uma versão orientada a tabelas do Dual Contouring (DC) para grids estruturados. A tabela é utilizada na especificação da topologia dos quadriláteros, que ajuda a implementação e a eficiência de cache em cenários paralelos. A tabela é adequada para a expansão de streams na GPU em ambos geometry shader e Histogram Pyramids. Além disso, nossa versão de aproximação de características das isosuperfícies é mais simples que a Decomposição de Valores Singulares e também que a Decomposição QR. O posicionamento dos vértices não requer uma diagonalização de matrizes. Ao invés disso, usa-se uma simples interpolação trilinear. Afim de avaliar a eficiência das técnicas apresentadas neste trabalho, comparamos nossas técnicas com versões do Marching Cubes na GPU do estado da arte. Também incluímos uma análise detalhada da arquitetura de GPU para a extração de isosuperfícies, usando ferramentas de avaliação de desempenho da indústria. Essa análise apresenta os gargalos das placas gráficas na extração de isosuperfícies e ajuda na avaliação de possíveis soluções para as GPUs das próximas gerações.

Este trabalho apresenta uma análise dos principais algoritmos de poligonização de isosuperfícies na GPU. O resultado desta análise mostra tanto como a GPU pode ser modificada para oferecer suporte a este tipo de algoritmo quanto como os algoritmos podem ser modificados para se adaptar as características das GPUs atuais. As técnicas usadas em versões de GPU do Marching Cubes são extendidas e uma poligonização com menos artefatos é gerada. São propostas versões paralelas do Dual Contouring e do Macet, algoritmos que melhoram a aproximação e a forma das malhas de triângulos, respectivamente. Ambas técnicas extraem isosuperfícies a partir de grandes volumes de dados em menos de um segundo, superando versões de CPU em até duas ordens de grandeza. As contribuições desse trabalho incluem uma versão orientada a tabelas do Dual Contouring (DC) para grids estruturados. A tabela é utilizada na especificação da topologia dos quadriláteros, que ajuda a implementação e a eficiência de cache em cenários paralelos. A tabela é adequada para a expansão de streams na GPU em ambos geometry shader e Histogram Pyramids. Além disso, nossa versão de aproximação de características das isosuperfícies é mais simples que a Decomposição de Valores Singulares e também que a Decomposição QR. O posicionamento dos vértices não requer uma diagonalização de matrizes. Ao invés disso, usa-se uma simples interpolação trilinear. Afim de avaliar a eficiência das técnicas apresentadas neste trabalho, comparamos nossas técnicas com versões do Marching Cubes na GPU do estado da arte. Também incluímos uma análise detalhada da arquitetura de GPU para a extração de isosuperfícies, usando ferramentas de avaliação de desempenho da indústria. Essa análise apresenta os gargalos das placas gráficas na extração de isosuperfícies e ajuda na avaliação de possíveis soluções para as GPUs das próximas gerações.

Algoritmos para rendering de superfícies são rápidos, mas não são compatíveis com situações em que é necessário investigar estruturas internas em volumes. Algoritmos de rendering volumétrico direto são adequados para a exploração de estruturas volumétricas, mas são lentos quando comparados a um rendering de superfícies. Várias soluções híbridas foram propostas na literatura, sendo que uma delas, conhecida como VoS (Volume on Surface), foi proposta recentemente com o objetivo de aumentar a capacidade de investigação do conteúdo de volumes por meio de superfícies. VoS é uma técnica híbrida que permite mapear o conteúdo de um volume em superfícies extraídas do mesmo. A técnica executa lançamento de raios para mapear as informações do volume na superfície, possibilitando a visualização das estruturas internas do volume utilizando rendering de superfícies convencional. No presente trabalho estudamos a técnica VoS e propomos diversas modificações com o intuito de generalizar a técnica e tratar algumas de suas limitações. As novas soluções apresentadas permitem a utilização da técnica com volumes de voxels regulares, e geram imagens de melhor qualidade. Assim como a VoS, as duas novas versões implementadas, VoSm e VoSm*, têm o objetivo de melhorar o poder de investigação do rendering de superfícies, permitindo a exploração do conteúdo de volumes. A técnica VoS e suas variações oferecem uma ferramenta alternativa para aplicações em que a utilização de superfícies é uma solução natural. / Surface rendering algorithms are fast, but are not suitable in situations where internal volume structures must be displayed for investigation. On the other hand, Direct Volume Rendering algorithms are effective to support exploration of internal volume structures, but software implementations are slow as compared to surface rendering solutions. Several hybrid solutions have been proposed in the literature. One of such hybrid solutions, named as VoS (Volume on Surface), has been recently introduced with the goal of using surfaces to enhance volume investigation capability. VoS is a hybrid technique that maps volume contents to surfaces extracted from this volume. The technique performs ray casting to map the volume information onto the surface, thus enabling the visualization of internal volume structures using standard surface rendering algorithms. In this work we study the VoS technique and propose several modifications in order to generalize the technique and treat some of its limitations. The new solutions presented here enable applying the technique to volumes described as a regular grid of voxels and produce images of superior quality as compared to the original. As with VoS, the two novel implementations, VoSm and VoSm*, have the goal of improving the investigative power of a surface rendering display, supporting exploration of volumetric contents. VoS and its variations are alternative tools for applications where surface rendering is a natural visualization solution.

Imagens da anatomia interna são essenciais para as práticas médicas. Estabelecer correlação entre elas, é um importante procedimento para diagnóstico e tratamento. Nessa dissertação, é proposta uma abordagem para correlacionar dados multidimensionais de mesma modalidade de aquisição baseando-se somente nas informações de intensidade de pixels e voxels. O trabalho foi dividido em duas fases de implementação. Na primeira, foi explorado o problema de similaridade entre imagens médicas usando a perspectiva de análise de qualidade de imagem. Isso levou ao desenvolvimento de uma técnica de dois passos que estabelece um equilíbrio entre a velocidade de processamento e precisão de duas abordagens conhecidas. Avaliou-se a qualidade e aplicabilidade do algoritmo e, na segunda fase, o método foi estendido para analisar similaridade e encontrar a localização de uma imagem arbitrária (2D) em um volume (3D). A solução minimiza o número virtualmente infinito de possíveis orientações transversais e usa otimizações para reduzir a carga de trabalho e entregar resultados precisos. Uma visualização tridimensional volumétrica funde o volume (3D) com a imagem (2D) estabelecendo uma correspondência entre os dados. Uma análise experimental demonstrou que, apesar da complexidade computacional do algoritmo, o uso de amostragem, tanto na imagem quanto no volume, permite alcançar um bom equilíbrio entre desempenho e precisão, mesmo quando realizada com conjuntos de dados de baixa intensidade de gradiente. / Images of the inner anatomy are essential for clinical practice. To establish a correlation between them is an important procedure for diagnosis and treatment. In this thesis, we propose an approach to correlate within-modality 2D and 3D data from ordinary acquisition protocols based solely on the pixel/voxel information. The work was divided into two development phases. First, we explored the similarity problem between medical images using the perspective of image quality assessment. It led to the development of a 2-step technique that settles the compromise between processing speed and precision of two known approaches. We evaluated the quality and applicability of the 2-step and, in the second phase, we extended the method to use similarity analysis to, given an arbitrary slice image (2D), find the location of this slice within the volume data (3D). The solution minimizes the virtually infinite number of possible cross section orientations and uses optimizations to reduce the computational workload and output accurate results. The matching is displayed in a volumetric three-dimensional visualization fusing the 3D with the 2D. An experimental analysis demonstrated that despite the computational complexity of the algorithm, the use of severe data sampling allows achieving a great compromise between performance and accuracy even when performed with low gradient intensity datasets.