Simuladores cirúrgicos possibilitam a médicos e estudantes a visualização de órgãos humanos representados com alto grau de realismo. Trata-se de um grande avanço que reduz o tempo e os custos na formação desses profissionais, oferecendo menor risco aos pacientes. Entretanto, esses sistemas comerciais de simuladores têm, em geral, suas representações voltadas apenas para a superfície dos órgãos. Assim, quando ocorre o corte de um órgão com estruturas internas, o seu interior aparece vazio, não mostrando, por exemplo, estruturas anatômicas como vasos sanguíneos no seu interior. Trabalhos na área de textura sólida também não lidam com objetos que possuem estruturas internas modeladas geometricamente. Nessa dissertação é proposto um sistema gráfico interativo que permite cortes arbitrários em estruturas anatômicas, reconstruindo a textura nas superfícies da zona de corte de forma a respeitar as estruturas internas. O sistema protótipo desenvolvido propõe que cortes definidos pelo usuário alterem modelos tridimensionais, retriangulando apropriadamente a malha nas regiões de corte. Como estudo de caso, foi selecionado um modelo de fígado humano com vasos, apresentando como resultado a visualização interna em tempo real desse objeto para quaisquer planos. Essa abordagem pode ser considerada como um passo para os simuladores se tornarem ainda mais realistas. Extensões do trabalho envolvem a integração com simuladores médicos existentes, bem como uma validação do sistema por parte dos profissionais da Medicina. / Surgical simulators help doctors and students the visualization of human organs with high realism. Simulators are an improvement which reduce time and cost spend by professionals, offering less risk to the patients. Besides, studies show that the amount of realism seen in the simulators is related to the engaging of students in learning. However, these commercial simulator systems represent only the surface of organs. Thus, when a cut of an organ with internal structures occurs, its interior remains empty, without showing anatomical structures such as blood vessels inside. Research in the area of solid texture typically do not deal with objects which have internal structures geometrically modeled. In this dissertation, we propose a graphical interactive system that allows arbitrary cuts in anatomical structures, reconstructing the texture in the cutting zone’s surface according to its internal structures. With the developed application, cuts defined by the user transform three-dimensional models, triangulating properly the mesh in the cutting area. As a case study we selected a human liver model with vessels, presenting as result the internal visualization of the object in real time for any cut planes. We consider this approach as a step in order for simulators to become more realistic. Extensions of the work include the integration with current medical simulators, as well as a validation of the system by the Medicine professionals.

Atualmente, o reconhecimento facial por técnicas automáticas é ainda uma tarefa desafiadora uma vez que as imagens faciais podem ser afetadas por mudanças na cena, tais como na iluminação, na pose da cabeça, ou na expressão facial. Além disso, a representação de faces por feições faciais geralmente requer diversas dimensões, o que impõe desafios adicionais ao reconhecimento facial. Nessa tese, é proposto um novo método de reconhecimento facial com o objetivo de ser robusto a muitos dos fatores que podem afetar as feições faciais na prática e se baseia em determinar transformações do espaço original de feições faciais de alta dimensionalidade para um espaço de baixa dimensionalidade que apresenta maior discriminação das classes de dados faciais (indivíduos). Isso é realizado através da aplicação de um método Projeções Ortogonais Preservadoras de Localidade (Orthogonal Locality Preserving Projections - OLPP) modificado, que usa esquemas de definição de localidade supervisionados que têm o objetivo de preservar a estrutura das classes de dados faciais no espaço resultante de baixa dimensionalidade, diferentemente do método OLPP típico que preserva a estrutura dos dados faciais. Dessa forma, as classes se tornam mais compactas, preservando a métrica de classificação. O método proposto pode trabalhar tanto com representações densas como esparsas de imagens faciais (ou seja, ele pode usar subconjuntos ou todos os pixels das imagens faciais), sendo proposto nessa tese um método de extração de feições faciais esparsas e um método de extração de feições faciais densas que preservam a informação de cor das imagens faciais apresentando melhora em relação ao método OLPP típico que usa imagens em escalas de cinza em baixa resolução. Novas imagens faciais de teste são classificadas no espaço de baixa dimensionalidade obtido usando Máquinas de Vetores de Suporte (Support Vector Machines - SVM) treinadas com margens suaves, apresentando maior eficiência do que a regra do vizinho mais próximo usada no método OLPP típico. Um conjunto de experimentos foi projetado para avaliar o método proposto sob várias condições encontradas na prática (como mudanças na pose, expressão facial, iluminação e a presença de artefatos que causam oclusão facial). Os resultados experimentais foram obtidos usando cinco bases de imagens faciais públicas (a PUT, a FEI, a FERET, a Yale e a ORL). Esses experimentos confirmam que os esquemas propostos de extração de feições faciais integrados à transformação proposta para um espaço discriminativo de baixa dimensionalidade empregando o esquema alternativo de classificação usando SVM com margens suaves obtêm maiores taxas de reconhecimento do que o próprio método OLPP e métodos representativos do estado da arte mesmo quando são usadas imagens coloridas em alta resolução (das bases de imagens faciais PUT, FEI e FERET) como imagens faciais em escalas de cinza em baixa resolução (das bases Yale e ORL). / Nowadays, face recognition by automatic techniques still is a challenging task since face images may be affected by changes in the scene, such as in the illumination, head pose or face expression. Also, face feature representation often requires several dimensions, which poses additional challenges for face recognition. In this thesis is proposed a novel face recognition method with the objective of to be robust to many issues which can affect the face features in practice and it is based on projections of high dimensional face image representations into lower dimensionality and highly discriminative spaces. This is achieved by a modified Orthogonal Locality Preserving Projections (OLPP) method that uses a supervised alternative locality definition scheme designed to preserve the face class (individuals) structure in the obtained lower dimensionality face feature space unlike the typical OLPP method which preserves the face data structure. Besides, a new kernel equation is proposed to calculate affinities among face samples, presenting better class structure preservation when compared to the heat kernel used by the typical OLPP method. The proposed method can work with sparse and dense face image representations (i.e. it can use sub-sets or all face image pixels), and a sparse and a dense feature extraction methods are proposed, which preserve the color information during the feature extraction process from the facial images improving on the typical OLPP method which uses grayscale low-resolution face images. New test face images are classified in the obtained lower dimensionality feature space using a trained soft margins Support Vector Machine (SVM), so it performs better than the nearest neighbor rule used in the typical OLPP method. A set of experiments was designed to evaluate the proposed method under various conditions found in practice (such as changes in head pose, face expression, illumination, and in the presence of occlusion artifacts). The experimental results were obtained using five challenging public face databases (namely, PUT, FEI, FERET, Yale and ORL). These experiments confirm that the proposed feature extraction method integrated to the proposed transformation to a discriminative lower dimensionality space using the alternative classification scheme with SVM and soft margins obtains higher recognition rates than the OLPP method itself and methods representative of the state-ofthe- art even when are used color (RGB) face images in high resolution (PUT, FEI and FERET face databases) as well as grayscale face images in low resolution (Yale and ORL face databases).

Cirurgias minimamente invasivas correspondem a uma importante especialidade da Medicina, cuja aplicação em larga escala depende do treinamento de novos cirurgiões em habilidades específicas que podem ser aprimoradas através do uso de simuladores virtuais de cirurgia. Entretanto, tais aplicações demandam alta qualidade visual das simulações de órgãos internos, que idealmente podem ser realizadas com base em aproximações de mais alta ordem da interação luz-matéria. Trabalhos recentes têm proposto abordagens híbridas onde dados da BRDF (Bidirectional Reflectance Distribution Function - Função de Distribuição de Reflectância Bidirecional) de órgãos vivos têm sido amostrados ou estimados, para orientar técnicas de rendering em tempo real. O presente trabalho propõe um pipeline para o rendering de estruturas orgânicas baseado em Física visando a simulação de cirurgia compatível com alto nível de aproximação da interação luz-matéria. Através de um novo método de amostragem da BRDF de órgãos vivos por meio de laparoscopias convencionais, e do estudo de formas de representação para os dados amostrados, imagens de órgãos humanos são geradas em sistemas de rendering de tempo real e sistemas baseados em algoritmos de iluminação global. A metodologia proposta foi aplicada em um experimento realizado através de uma Colecistectomia, cujos importantes resultados caracterizam-se pela cobertura de aproximadamente 22% da BRDF de um fígado humano vivo, configurando assim uma contribuição singular para técnicas de amostram de BRDF de órgãos e rendering de órgãos baseado em Física. / Minimally invasive surgeries are an important specialty of Medicine. Virtual simulators allow the development of the needed skills for new surgeons. Such simulators demand high visual quality of the internal organs that ideally can be performed based on higher-order approximations of the light-material interaction. Recent work proposes hybrid approaches where the BRDF (Bidirectional Reflectance Distribution Function) data for living organs was sampling or estimated to guide real-time rendering techniques. This work proposes a pipeline for physically-based rendering of organic structures with the goal of surgery simulations with a high level of approximation for the light-material interaction. We present a new sampling method for measuring BRDFs for living organs based on conventional laparoscopy. With this data we are able to render human organs in real-time and also improve global illumination results. The methodology was applied in an experiment performed through a Cholecystectomy. Our results achieved a high BRDF coverage of 22% for a living human liver, establishing a singular contribution for the sampling of BRDF in-vivo organs and physically-based rendering.

Simuladores cirúrgicos possibilitam a médicos e estudantes a visualização de órgãos humanos representados com alto grau de realismo. Trata-se de um grande avanço que reduz o tempo e os custos na formação desses profissionais, oferecendo menor risco aos pacientes. Entretanto, esses sistemas comerciais de simuladores têm, em geral, suas representações voltadas apenas para a superfície dos órgãos. Assim, quando ocorre o corte de um órgão com estruturas internas, o seu interior aparece vazio, não mostrando, por exemplo, estruturas anatômicas como vasos sanguíneos no seu interior. Trabalhos na área de textura sólida também não lidam com objetos que possuem estruturas internas modeladas geometricamente. Nessa dissertação é proposto um sistema gráfico interativo que permite cortes arbitrários em estruturas anatômicas, reconstruindo a textura nas superfícies da zona de corte de forma a respeitar as estruturas internas. O sistema protótipo desenvolvido propõe que cortes definidos pelo usuário alterem modelos tridimensionais, retriangulando apropriadamente a malha nas regiões de corte. Como estudo de caso, foi selecionado um modelo de fígado humano com vasos, apresentando como resultado a visualização interna em tempo real desse objeto para quaisquer planos. Essa abordagem pode ser considerada como um passo para os simuladores se tornarem ainda mais realistas. Extensões do trabalho envolvem a integração com simuladores médicos existentes, bem como uma validação do sistema por parte dos profissionais da Medicina. / Surgical simulators help doctors and students the visualization of human organs with high realism. Simulators are an improvement which reduce time and cost spend by professionals, offering less risk to the patients. Besides, studies show that the amount of realism seen in the simulators is related to the engaging of students in learning. However, these commercial simulator systems represent only the surface of organs. Thus, when a cut of an organ with internal structures occurs, its interior remains empty, without showing anatomical structures such as blood vessels inside. Research in the area of solid texture typically do not deal with objects which have internal structures geometrically modeled. In this dissertation, we propose a graphical interactive system that allows arbitrary cuts in anatomical structures, reconstructing the texture in the cutting zone’s surface according to its internal structures. With the developed application, cuts defined by the user transform three-dimensional models, triangulating properly the mesh in the cutting area. As a case study we selected a human liver model with vessels, presenting as result the internal visualization of the object in real time for any cut planes. We consider this approach as a step in order for simulators to become more realistic. Extensions of the work include the integration with current medical simulators, as well as a validation of the system by the Medicine professionals.

Imagens da anatomia interna são essenciais para as práticas médicas. Estabelecer correlação entre elas, é um importante procedimento para diagnóstico e tratamento. Nessa dissertação, é proposta uma abordagem para correlacionar dados multidimensionais de mesma modalidade de aquisição baseando-se somente nas informações de intensidade de pixels e voxels. O trabalho foi dividido em duas fases de implementação. Na primeira, foi explorado o problema de similaridade entre imagens médicas usando a perspectiva de análise de qualidade de imagem. Isso levou ao desenvolvimento de uma técnica de dois passos que estabelece um equilíbrio entre a velocidade de processamento e precisão de duas abordagens conhecidas. Avaliou-se a qualidade e aplicabilidade do algoritmo e, na segunda fase, o método foi estendido para analisar similaridade e encontrar a localização de uma imagem arbitrária (2D) em um volume (3D). A solução minimiza o número virtualmente infinito de possíveis orientações transversais e usa otimizações para reduzir a carga de trabalho e entregar resultados precisos. Uma visualização tridimensional volumétrica funde o volume (3D) com a imagem (2D) estabelecendo uma correspondência entre os dados. Uma análise experimental demonstrou que, apesar da complexidade computacional do algoritmo, o uso de amostragem, tanto na imagem quanto no volume, permite alcançar um bom equilíbrio entre desempenho e precisão, mesmo quando realizada com conjuntos de dados de baixa intensidade de gradiente. / Images of the inner anatomy are essential for clinical practice. To establish a correlation between them is an important procedure for diagnosis and treatment. In this thesis, we propose an approach to correlate within-modality 2D and 3D data from ordinary acquisition protocols based solely on the pixel/voxel information. The work was divided into two development phases. First, we explored the similarity problem between medical images using the perspective of image quality assessment. It led to the development of a 2-step technique that settles the compromise between processing speed and precision of two known approaches. We evaluated the quality and applicability of the 2-step and, in the second phase, we extended the method to use similarity analysis to, given an arbitrary slice image (2D), find the location of this slice within the volume data (3D). The solution minimizes the virtually infinite number of possible cross section orientations and uses optimizations to reduce the computational workload and output accurate results. The matching is displayed in a volumetric three-dimensional visualization fusing the 3D with the 2D. An experimental analysis demonstrated that despite the computational complexity of the algorithm, the use of severe data sampling allows achieving a great compromise between performance and accuracy even when performed with low gradient intensity datasets.

Imagens da anatomia interna são essenciais para as práticas médicas. Estabelecer correlação entre elas, é um importante procedimento para diagnóstico e tratamento. Nessa dissertação, é proposta uma abordagem para correlacionar dados multidimensionais de mesma modalidade de aquisição baseando-se somente nas informações de intensidade de pixels e voxels. O trabalho foi dividido em duas fases de implementação. Na primeira, foi explorado o problema de similaridade entre imagens médicas usando a perspectiva de análise de qualidade de imagem. Isso levou ao desenvolvimento de uma técnica de dois passos que estabelece um equilíbrio entre a velocidade de processamento e precisão de duas abordagens conhecidas. Avaliou-se a qualidade e aplicabilidade do algoritmo e, na segunda fase, o método foi estendido para analisar similaridade e encontrar a localização de uma imagem arbitrária (2D) em um volume (3D). A solução minimiza o número virtualmente infinito de possíveis orientações transversais e usa otimizações para reduzir a carga de trabalho e entregar resultados precisos. Uma visualização tridimensional volumétrica funde o volume (3D) com a imagem (2D) estabelecendo uma correspondência entre os dados. Uma análise experimental demonstrou que, apesar da complexidade computacional do algoritmo, o uso de amostragem, tanto na imagem quanto no volume, permite alcançar um bom equilíbrio entre desempenho e precisão, mesmo quando realizada com conjuntos de dados de baixa intensidade de gradiente. / Images of the inner anatomy are essential for clinical practice. To establish a correlation between them is an important procedure for diagnosis and treatment. In this thesis, we propose an approach to correlate within-modality 2D and 3D data from ordinary acquisition protocols based solely on the pixel/voxel information. The work was divided into two development phases. First, we explored the similarity problem between medical images using the perspective of image quality assessment. It led to the development of a 2-step technique that settles the compromise between processing speed and precision of two known approaches. We evaluated the quality and applicability of the 2-step and, in the second phase, we extended the method to use similarity analysis to, given an arbitrary slice image (2D), find the location of this slice within the volume data (3D). The solution minimizes the virtually infinite number of possible cross section orientations and uses optimizations to reduce the computational workload and output accurate results. The matching is displayed in a volumetric three-dimensional visualization fusing the 3D with the 2D. An experimental analysis demonstrated that despite the computational complexity of the algorithm, the use of severe data sampling allows achieving a great compromise between performance and accuracy even when performed with low gradient intensity datasets.

Imagens da anatomia interna são essenciais para as práticas médicas. Estabelecer correlação entre elas, é um importante procedimento para diagnóstico e tratamento. Nessa dissertação, é proposta uma abordagem para correlacionar dados multidimensionais de mesma modalidade de aquisição baseando-se somente nas informações de intensidade de pixels e voxels. O trabalho foi dividido em duas fases de implementação. Na primeira, foi explorado o problema de similaridade entre imagens médicas usando a perspectiva de análise de qualidade de imagem. Isso levou ao desenvolvimento de uma técnica de dois passos que estabelece um equilíbrio entre a velocidade de processamento e precisão de duas abordagens conhecidas. Avaliou-se a qualidade e aplicabilidade do algoritmo e, na segunda fase, o método foi estendido para analisar similaridade e encontrar a localização de uma imagem arbitrária (2D) em um volume (3D). A solução minimiza o número virtualmente infinito de possíveis orientações transversais e usa otimizações para reduzir a carga de trabalho e entregar resultados precisos. Uma visualização tridimensional volumétrica funde o volume (3D) com a imagem (2D) estabelecendo uma correspondência entre os dados. Uma análise experimental demonstrou que, apesar da complexidade computacional do algoritmo, o uso de amostragem, tanto na imagem quanto no volume, permite alcançar um bom equilíbrio entre desempenho e precisão, mesmo quando realizada com conjuntos de dados de baixa intensidade de gradiente. / Images of the inner anatomy are essential for clinical practice. To establish a correlation between them is an important procedure for diagnosis and treatment. In this thesis, we propose an approach to correlate within-modality 2D and 3D data from ordinary acquisition protocols based solely on the pixel/voxel information. The work was divided into two development phases. First, we explored the similarity problem between medical images using the perspective of image quality assessment. It led to the development of a 2-step technique that settles the compromise between processing speed and precision of two known approaches. We evaluated the quality and applicability of the 2-step and, in the second phase, we extended the method to use similarity analysis to, given an arbitrary slice image (2D), find the location of this slice within the volume data (3D). The solution minimizes the virtually infinite number of possible cross section orientations and uses optimizations to reduce the computational workload and output accurate results. The matching is displayed in a volumetric three-dimensional visualization fusing the 3D with the 2D. An experimental analysis demonstrated that despite the computational complexity of the algorithm, the use of severe data sampling allows achieving a great compromise between performance and accuracy even when performed with low gradient intensity datasets.