Atualmente, o reconhecimento facial por técnicas automáticas é ainda uma tarefa desafiadora uma vez que as imagens faciais podem ser afetadas por mudanças na cena, tais como na iluminação, na pose da cabeça, ou na expressão facial. Além disso, a representação de faces por feições faciais geralmente requer diversas dimensões, o que impõe desafios adicionais ao reconhecimento facial. Nessa tese, é proposto um novo método de reconhecimento facial com o objetivo de ser robusto a muitos dos fatores que podem afetar as feições faciais na prática e se baseia em determinar transformações do espaço original de feições faciais de alta dimensionalidade para um espaço de baixa dimensionalidade que apresenta maior discriminação das classes de dados faciais (indivíduos). Isso é realizado através da aplicação de um método Projeções Ortogonais Preservadoras de Localidade (Orthogonal Locality Preserving Projections - OLPP) modificado, que usa esquemas de definição de localidade supervisionados que têm o objetivo de preservar a estrutura das classes de dados faciais no espaço resultante de baixa dimensionalidade, diferentemente do método OLPP típico que preserva a estrutura dos dados faciais. Dessa forma, as classes se tornam mais compactas, preservando a métrica de classificação. O método proposto pode trabalhar tanto com representações densas como esparsas de imagens faciais (ou seja, ele pode usar subconjuntos ou todos os pixels das imagens faciais), sendo proposto nessa tese um método de extração de feições faciais esparsas e um método de extração de feições faciais densas que preservam a informação de cor das imagens faciais apresentando melhora em relação ao método OLPP típico que usa imagens em escalas de cinza em baixa resolução. Novas imagens faciais de teste são classificadas no espaço de baixa dimensionalidade obtido usando Máquinas de Vetores de Suporte (Support Vector Machines - SVM) treinadas com margens suaves, apresentando maior eficiência do que a regra do vizinho mais próximo usada no método OLPP típico. Um conjunto de experimentos foi projetado para avaliar o método proposto sob várias condições encontradas na prática (como mudanças na pose, expressão facial, iluminação e a presença de artefatos que causam oclusão facial). Os resultados experimentais foram obtidos usando cinco bases de imagens faciais públicas (a PUT, a FEI, a FERET, a Yale e a ORL). Esses experimentos confirmam que os esquemas propostos de extração de feições faciais integrados à transformação proposta para um espaço discriminativo de baixa dimensionalidade empregando o esquema alternativo de classificação usando SVM com margens suaves obtêm maiores taxas de reconhecimento do que o próprio método OLPP e métodos representativos do estado da arte mesmo quando são usadas imagens coloridas em alta resolução (das bases de imagens faciais PUT, FEI e FERET) como imagens faciais em escalas de cinza em baixa resolução (das bases Yale e ORL). / Nowadays, face recognition by automatic techniques still is a challenging task since face images may be affected by changes in the scene, such as in the illumination, head pose or face expression. Also, face feature representation often requires several dimensions, which poses additional challenges for face recognition. In this thesis is proposed a novel face recognition method with the objective of to be robust to many issues which can affect the face features in practice and it is based on projections of high dimensional face image representations into lower dimensionality and highly discriminative spaces. This is achieved by a modified Orthogonal Locality Preserving Projections (OLPP) method that uses a supervised alternative locality definition scheme designed to preserve the face class (individuals) structure in the obtained lower dimensionality face feature space unlike the typical OLPP method which preserves the face data structure. Besides, a new kernel equation is proposed to calculate affinities among face samples, presenting better class structure preservation when compared to the heat kernel used by the typical OLPP method. The proposed method can work with sparse and dense face image representations (i.e. it can use sub-sets or all face image pixels), and a sparse and a dense feature extraction methods are proposed, which preserve the color information during the feature extraction process from the facial images improving on the typical OLPP method which uses grayscale low-resolution face images. New test face images are classified in the obtained lower dimensionality feature space using a trained soft margins Support Vector Machine (SVM), so it performs better than the nearest neighbor rule used in the typical OLPP method. A set of experiments was designed to evaluate the proposed method under various conditions found in practice (such as changes in head pose, face expression, illumination, and in the presence of occlusion artifacts). The experimental results were obtained using five challenging public face databases (namely, PUT, FEI, FERET, Yale and ORL). These experiments confirm that the proposed feature extraction method integrated to the proposed transformation to a discriminative lower dimensionality space using the alternative classification scheme with SVM and soft margins obtains higher recognition rates than the OLPP method itself and methods representative of the state-ofthe- art even when are used color (RGB) face images in high resolution (PUT, FEI and FERET face databases) as well as grayscale face images in low resolution (Yale and ORL face databases).

Neste trabalho, um novo método não-supervisionado para segmentação de lesões melanocíticas em imagens macroscópicas é proposto levando em consideração regiões suspeitas, e também uma nova abordagem para classificação de lesões que faz uso de evidências locais e de contexto para estimar um índice de probabilidade para malignidade em cada lesão. O método proposto realiza a segmentação das imagens em três tipos de regiões disjuntas: ‘pele saudável’, ‘região de incerteza’ e ‘lesão’. Regiões de incerteza são refinadas através da utilização de feições estocásticas também de forma não-supervisionada, resultando em uma máscara binária que discrimina a pele da lesão. As máscaras obtidas apresentam um erro XOR comparável aos métodos estado da arte. A imagem é segmentada utilizando um algoritmo de superpixels e as sub-regiões que intersectam a máscara obtida são categorizadas como evidências locais. Estas evidências são representadas por uma descrição especializada que explora as características como cor e textura. Estas sub-regiões são então associadas à evidências de contexto definidas pela borda da lesão de onde foram extraídas e classificadas de forma independente através de uma abordagem supervisionada. Com o resultado da classificação destas evidências é possível obter um indicador probabilístico para malignidade associado a cada lesão, e levando em consideração um valor de tolerância é possível identificar lesões malignas em potencial. Os resultados obtidos com o método proposto são promissores e apresentam maior acurácia do que os métodos existentes na literatura apesar do erro XOR da segmentação das lesões ser maior, o que tende a confirmar o potencial do método proposto para discriminar lesões melanocíticas benignas e malignas. / In this work, a novel unsupervised method for melanocytic macroscopic image segmentation is proposed considering suspicious regions, and also a novel approach for lesion classification using local and context evidence to estimate a probabilistic index of malignity or benignity in each lesion. The proposed method segment the macroscopic images in three types of disjoint regions: ‘healthy skin’, ‘suspicious region’ and ‘lesion’. Suspicious areas are refined using stochastic texture features also in an unsupervised approach, resulting in a binary mask discriminating skin and lesion. The resulting masks present an XOR error similar to other state-of-art methods. In the next step, the image is segmented using a superpixels algorithm and subregions that intersect the obtained mask categorized as local evidence. A specialized representation describes color and texture information present in the local evidence region. The border of the segmented skin lesion defines the context evidence and using a supervised approach, local and context evidence are combined and classified independently. With the evidence classification results is possible to obtain a probabilistic index of malignity and benignity associated to each lesion, and considering a tolerance value is possible to identify potential malignant lesions. The results achieved with the proposed method are promissing and present greater accuracy than other techniques in the literature, even with a greater XOR error in segmentation step, confirming the proposed method’s potential to discriminate benignant and malignant melanocytic lesions.

Este trabalho apresenta um estudo sobre segmentação de volumes médicos e uma solução para se obter malhas poligonais de pacientes específicos para uso em simulações de cirurgia. Malhas de pacientes específicos são importantes para planejamento de intervenções cirúrgicas e permitem uma melhor visualização de condições patológicas em um paciente, coisa não obtível em malhas geradas artisticamente. Nós analisamos quais são os fatores complicantes para se obter estas malhas de um paciente específico usando apenas imagens médicas obtidas em exames padrões. Para isso, nós revisamos diversos métodos existentes para segmentação de volumes médicos. Isso nos levou a definir os problemas com as técnicas existentes, e a desenvolver um método que não sofra destes problemas, utilizando pouca interação humana e não tendo dependências de mais dados que não o exame do paciente. Nosso alvo para obter malhas especificas foram órgãos de tecido mole, que são um caso especialmente complicado da área, graças a várias questões relacionadas às imagens médicas e à anatomia humana. Atacamos esse problema aplicando modificações geométricas em malhas especiais, que deformam até atingir a forma dos órgãos que se deseja segmentar. Os resultados mostram que nossa técnica conseguiu obter malhas específicas de pacientes a partir de volumes médicos com qualidade superior a de outros algoritmos de mesma classe. Graças a simplicidade do método desenvolvido, nossos resultados são facilmente implementáveis e reproduzidos. / This work presents a study about medical-volume segmentation and a solution to generate patient-specific meshes to use in patient-specific surgery simulations. Patientspecific meshes are useful assets for surgery planning and to allow better visualization of certain pathological conditions of a given patient, which are not obtainable by artistically designed meshes. We analyzed what are the complications to obtain a patient-specific mesh using only standard medical imagery exams. For that, we reviewed several medical volume segmentation techniques. It led us to define the problems within the existing techniques and to develop a method that does not suffer from these problems, with the least possible user interaction or relying on any other data other then the patient exam. Our target for obtaining specific meshes were soft tissue organs, which are a specially complicated case due to various issues related to the medical images and human anatomy. This is accomplished by geometrical operations over special meshes that deform until achieving the shape of the desired organ. Results show that our technique was able to obtain patient-specific meshes from medical images with superior quality than algorithms of the same class. Thanks to the simplicity of the developed approach, its also easy to implement and to reproduce our obtained results.

A radiologia é especialidade médica mais informatizada, graças a difusão de protocolos e a digitalização dos processos. Com os avanços da tecnologia, o diagnóstico por imagens se mantém em constante evolução e tais mudanças nunca tiveram tanta repercussão sobre o trabalho dor profissionais de saúde como agora. Nosso desafio enquanto pesquisadores de computação é propor abordagens que facilitem o trabalho médico, instigue a colaboração e, por fim, como objetivo mais audacioso, melhore os cuidados à saúde das pessoas. Nesse contexto, esta dissertação investiga a inserção de interfaces alternativas para análise de imagens médicas diagnósticas. Ela está organizada em duas áreas principais, a primeira diz respeito ao diagnóstico móvel, desde o desenvolvimento de ferramentas que permitam o acesso a imagens digitais em ambientes com recursos limitados, até a avaliação do diagnóstico realizado nesses ambientes comparado a dispositivos tradicionais (workstations radiológicas). A segunda etapa está relacionada a visualização avançada de exames volumétricos, nesse caso investigamos a capacidade diagnóstica de visualizar em realidade virtual, bem como a qualidade das reconstruções nesse ambiente, usabilidade e desconfortos dos usuários. Toda a experimentação e desenvolvimento foi realizada sobre sistemas profissionais e validados por médicos especialistas em imagens diagnósticas. As principais contribuições referentes a aplicações móveis são técnicas para acesso eficiente a imagens médicas em ambientes com recursos limitados, como tablets e smartphones, um estudo do comportamento típico de médicos radiologistas ao utilizarem um visualizador móvel e as respectivas avaliações de usabilidade dessa aplicação. Para o diagnóstico móvel, destaca-se a alta taxa de acerto para avaliação de exames de tomografia computadorizada (TC), ressonância magnética (RM) e radiografias, quando comparado a computadores desktop. Além disso, resultados obtidos na visualização de imagens médicas em realidade virtual mostraram uma alta taxa de acerto na identificação de fraturas expostas (para imagens 3D de TC). A percepção dos radiologistas após utilizar a aplicação imersiva trouxe indicativos de quais áreas da medicina a realidade virtual pode trazer reais benefícios, como no planejamento de cirurgias, visualização de fraturas complexas, distração de pacientes em procedimentos dolorosos, entre outros. À luz dos resultados apresentados, verifica-se o potencial dos dispositivos móveis para avaliação de imagens diagnósticas, principalmente em casos de emergência, sendo fundamental para agilidade no cuidado à saúde de pacientes. A realidade virtual na radiologia tem o potencial de revolucionar as interfaces para manipulação de dados clínicos, criando uma novo paradigma de interpretação em imagens médicas diagnósticas. / Radiology is considered the most digital medical specialty because of the diffusion of protocols and the digitization of processes. With fast technological advances, the imagingbased diagnosis remains in constant evolution and such changes have never had as much repercussion on the health workers as today. Our challenge as computer scientists is to propose new approaches that facilitate medical work, instigate collaboration and, finally, as the most audacious goal, improve people’s healthcare. In such context, this thesis investigates the use of alternative interfaces for medical images analysis. Our research is organized in two main areas. The first one concerns mobile diagnosis, from the development of tools that allow access to medical images in computation environments with limited resources, to the evaluation of the diagnosis performed in these environments when compared to traditional devices (radiological workstations). The second stage is related to advanced approaches to visualize volumetric exams. In this case, we investigate the diagnostic capability of visualizing in virtual reality, as well as the quality of the reconstructions provided in such environments, usability and user discomforts. All the experimentation and development were carried out on professional systems and validated by specialists in diagnostic imaging. Techniques for efficient medical images access in environments with limited resources, such as tablets and smartphones, are the main contributions regarding mobile applications. This also includes a study of the typical behavior of radiologist physicians when using a mobile viewer and the respective usability evaluations of that application. For the mobile diagnosis, the high accuracy rate for the evaluation of computed tomography (CT), magnetic resonance imaging (MRI) and radiography when compared to desktop computers, stands out. In addition, results obtained in the virtual reality visualization showed a highly accurate rate for the identification of superficial fractures (in 3D CT studies). The radiologists perception after using the immersive application has brought indications of what areas in medicine virtual reality can bring real benefits. Examples include surgeries planning, visualization of complex fractures and distraction of patients in painful procedures, among others. In light of the presented results, the potential of the mobile devices for the evaluation of diagnostic images, mainly in cases of emergency, being fundamental for agility in the patients health care is noticeable. Virtual reality in radiology has the potential to revolutionize the interfaces for manipulation of clinical data, creating a new paradigm of interpretation in diagnostic medical images.

Cirurgias minimamente invasivas correspondem a uma importante especialidade da Medicina, cuja aplicação em larga escala depende do treinamento de novos cirurgiões em habilidades específicas que podem ser aprimoradas através do uso de simuladores virtuais de cirurgia. Entretanto, tais aplicações demandam alta qualidade visual das simulações de órgãos internos, que idealmente podem ser realizadas com base em aproximações de mais alta ordem da interação luz-matéria. Trabalhos recentes têm proposto abordagens híbridas onde dados da BRDF (Bidirectional Reflectance Distribution Function - Função de Distribuição de Reflectância Bidirecional) de órgãos vivos têm sido amostrados ou estimados, para orientar técnicas de rendering em tempo real. O presente trabalho propõe um pipeline para o rendering de estruturas orgânicas baseado em Física visando a simulação de cirurgia compatível com alto nível de aproximação da interação luz-matéria. Através de um novo método de amostragem da BRDF de órgãos vivos por meio de laparoscopias convencionais, e do estudo de formas de representação para os dados amostrados, imagens de órgãos humanos são geradas em sistemas de rendering de tempo real e sistemas baseados em algoritmos de iluminação global. A metodologia proposta foi aplicada em um experimento realizado através de uma Colecistectomia, cujos importantes resultados caracterizam-se pela cobertura de aproximadamente 22% da BRDF de um fígado humano vivo, configurando assim uma contribuição singular para técnicas de amostram de BRDF de órgãos e rendering de órgãos baseado em Física. / Minimally invasive surgeries are an important specialty of Medicine. Virtual simulators allow the development of the needed skills for new surgeons. Such simulators demand high visual quality of the internal organs that ideally can be performed based on higher-order approximations of the light-material interaction. Recent work proposes hybrid approaches where the BRDF (Bidirectional Reflectance Distribution Function) data for living organs was sampling or estimated to guide real-time rendering techniques. This work proposes a pipeline for physically-based rendering of organic structures with the goal of surgery simulations with a high level of approximation for the light-material interaction. We present a new sampling method for measuring BRDFs for living organs based on conventional laparoscopy. With this data we are able to render human organs in real-time and also improve global illumination results. The methodology was applied in an experiment performed through a Cholecystectomy. Our results achieved a high BRDF coverage of 22% for a living human liver, establishing a singular contribution for the sampling of BRDF in-vivo organs and physically-based rendering.

Simuladores cirúrgicos possibilitam a médicos e estudantes a visualização de órgãos humanos representados com alto grau de realismo. Trata-se de um grande avanço que reduz o tempo e os custos na formação desses profissionais, oferecendo menor risco aos pacientes. Entretanto, esses sistemas comerciais de simuladores têm, em geral, suas representações voltadas apenas para a superfície dos órgãos. Assim, quando ocorre o corte de um órgão com estruturas internas, o seu interior aparece vazio, não mostrando, por exemplo, estruturas anatômicas como vasos sanguíneos no seu interior. Trabalhos na área de textura sólida também não lidam com objetos que possuem estruturas internas modeladas geometricamente. Nessa dissertação é proposto um sistema gráfico interativo que permite cortes arbitrários em estruturas anatômicas, reconstruindo a textura nas superfícies da zona de corte de forma a respeitar as estruturas internas. O sistema protótipo desenvolvido propõe que cortes definidos pelo usuário alterem modelos tridimensionais, retriangulando apropriadamente a malha nas regiões de corte. Como estudo de caso, foi selecionado um modelo de fígado humano com vasos, apresentando como resultado a visualização interna em tempo real desse objeto para quaisquer planos. Essa abordagem pode ser considerada como um passo para os simuladores se tornarem ainda mais realistas. Extensões do trabalho envolvem a integração com simuladores médicos existentes, bem como uma validação do sistema por parte dos profissionais da Medicina. / Surgical simulators help doctors and students the visualization of human organs with high realism. Simulators are an improvement which reduce time and cost spend by professionals, offering less risk to the patients. Besides, studies show that the amount of realism seen in the simulators is related to the engaging of students in learning. However, these commercial simulator systems represent only the surface of organs. Thus, when a cut of an organ with internal structures occurs, its interior remains empty, without showing anatomical structures such as blood vessels inside. Research in the area of solid texture typically do not deal with objects which have internal structures geometrically modeled. In this dissertation, we propose a graphical interactive system that allows arbitrary cuts in anatomical structures, reconstructing the texture in the cutting zone’s surface according to its internal structures. With the developed application, cuts defined by the user transform three-dimensional models, triangulating properly the mesh in the cutting area. As a case study we selected a human liver model with vessels, presenting as result the internal visualization of the object in real time for any cut planes. We consider this approach as a step in order for simulators to become more realistic. Extensions of the work include the integration with current medical simulators, as well as a validation of the system by the Medicine professionals.

A radiologia é especialidade médica mais informatizada, graças a difusão de protocolos e a digitalização dos processos. Com os avanços da tecnologia, o diagnóstico por imagens se mantém em constante evolução e tais mudanças nunca tiveram tanta repercussão sobre o trabalho dor profissionais de saúde como agora. Nosso desafio enquanto pesquisadores de computação é propor abordagens que facilitem o trabalho médico, instigue a colaboração e, por fim, como objetivo mais audacioso, melhore os cuidados à saúde das pessoas. Nesse contexto, esta dissertação investiga a inserção de interfaces alternativas para análise de imagens médicas diagnósticas. Ela está organizada em duas áreas principais, a primeira diz respeito ao diagnóstico móvel, desde o desenvolvimento de ferramentas que permitam o acesso a imagens digitais em ambientes com recursos limitados, até a avaliação do diagnóstico realizado nesses ambientes comparado a dispositivos tradicionais (workstations radiológicas). A segunda etapa está relacionada a visualização avançada de exames volumétricos, nesse caso investigamos a capacidade diagnóstica de visualizar em realidade virtual, bem como a qualidade das reconstruções nesse ambiente, usabilidade e desconfortos dos usuários. Toda a experimentação e desenvolvimento foi realizada sobre sistemas profissionais e validados por médicos especialistas em imagens diagnósticas. As principais contribuições referentes a aplicações móveis são técnicas para acesso eficiente a imagens médicas em ambientes com recursos limitados, como tablets e smartphones, um estudo do comportamento típico de médicos radiologistas ao utilizarem um visualizador móvel e as respectivas avaliações de usabilidade dessa aplicação. Para o diagnóstico móvel, destaca-se a alta taxa de acerto para avaliação de exames de tomografia computadorizada (TC), ressonância magnética (RM) e radiografias, quando comparado a computadores desktop. Além disso, resultados obtidos na visualização de imagens médicas em realidade virtual mostraram uma alta taxa de acerto na identificação de fraturas expostas (para imagens 3D de TC). A percepção dos radiologistas após utilizar a aplicação imersiva trouxe indicativos de quais áreas da medicina a realidade virtual pode trazer reais benefícios, como no planejamento de cirurgias, visualização de fraturas complexas, distração de pacientes em procedimentos dolorosos, entre outros. À luz dos resultados apresentados, verifica-se o potencial dos dispositivos móveis para avaliação de imagens diagnósticas, principalmente em casos de emergência, sendo fundamental para agilidade no cuidado à saúde de pacientes. A realidade virtual na radiologia tem o potencial de revolucionar as interfaces para manipulação de dados clínicos, criando uma novo paradigma de interpretação em imagens médicas diagnósticas. / Radiology is considered the most digital medical specialty because of the diffusion of protocols and the digitization of processes. With fast technological advances, the imagingbased diagnosis remains in constant evolution and such changes have never had as much repercussion on the health workers as today. Our challenge as computer scientists is to propose new approaches that facilitate medical work, instigate collaboration and, finally, as the most audacious goal, improve people’s healthcare. In such context, this thesis investigates the use of alternative interfaces for medical images analysis. Our research is organized in two main areas. The first one concerns mobile diagnosis, from the development of tools that allow access to medical images in computation environments with limited resources, to the evaluation of the diagnosis performed in these environments when compared to traditional devices (radiological workstations). The second stage is related to advanced approaches to visualize volumetric exams. In this case, we investigate the diagnostic capability of visualizing in virtual reality, as well as the quality of the reconstructions provided in such environments, usability and user discomforts. All the experimentation and development were carried out on professional systems and validated by specialists in diagnostic imaging. Techniques for efficient medical images access in environments with limited resources, such as tablets and smartphones, are the main contributions regarding mobile applications. This also includes a study of the typical behavior of radiologist physicians when using a mobile viewer and the respective usability evaluations of that application. For the mobile diagnosis, the high accuracy rate for the evaluation of computed tomography (CT), magnetic resonance imaging (MRI) and radiography when compared to desktop computers, stands out. In addition, results obtained in the virtual reality visualization showed a highly accurate rate for the identification of superficial fractures (in 3D CT studies). The radiologists perception after using the immersive application has brought indications of what areas in medicine virtual reality can bring real benefits. Examples include surgeries planning, visualization of complex fractures and distraction of patients in painful procedures, among others. In light of the presented results, the potential of the mobile devices for the evaluation of diagnostic images, mainly in cases of emergency, being fundamental for agility in the patients health care is noticeable. Virtual reality in radiology has the potential to revolutionize the interfaces for manipulation of clinical data, creating a new paradigm of interpretation in diagnostic medical images.

Cirurgias minimamente invasivas correspondem a uma importante especialidade da Medicina, cuja aplicação em larga escala depende do treinamento de novos cirurgiões em habilidades específicas que podem ser aprimoradas através do uso de simuladores virtuais de cirurgia. Entretanto, tais aplicações demandam alta qualidade visual das simulações de órgãos internos, que idealmente podem ser realizadas com base em aproximações de mais alta ordem da interação luz-matéria. Trabalhos recentes têm proposto abordagens híbridas onde dados da BRDF (Bidirectional Reflectance Distribution Function - Função de Distribuição de Reflectância Bidirecional) de órgãos vivos têm sido amostrados ou estimados, para orientar técnicas de rendering em tempo real. O presente trabalho propõe um pipeline para o rendering de estruturas orgânicas baseado em Física visando a simulação de cirurgia compatível com alto nível de aproximação da interação luz-matéria. Através de um novo método de amostragem da BRDF de órgãos vivos por meio de laparoscopias convencionais, e do estudo de formas de representação para os dados amostrados, imagens de órgãos humanos são geradas em sistemas de rendering de tempo real e sistemas baseados em algoritmos de iluminação global. A metodologia proposta foi aplicada em um experimento realizado através de uma Colecistectomia, cujos importantes resultados caracterizam-se pela cobertura de aproximadamente 22% da BRDF de um fígado humano vivo, configurando assim uma contribuição singular para técnicas de amostram de BRDF de órgãos e rendering de órgãos baseado em Física. / Minimally invasive surgeries are an important specialty of Medicine. Virtual simulators allow the development of the needed skills for new surgeons. Such simulators demand high visual quality of the internal organs that ideally can be performed based on higher-order approximations of the light-material interaction. Recent work proposes hybrid approaches where the BRDF (Bidirectional Reflectance Distribution Function) data for living organs was sampling or estimated to guide real-time rendering techniques. This work proposes a pipeline for physically-based rendering of organic structures with the goal of surgery simulations with a high level of approximation for the light-material interaction. We present a new sampling method for measuring BRDFs for living organs based on conventional laparoscopy. With this data we are able to render human organs in real-time and also improve global illumination results. The methodology was applied in an experiment performed through a Cholecystectomy. Our results achieved a high BRDF coverage of 22% for a living human liver, establishing a singular contribution for the sampling of BRDF in-vivo organs and physically-based rendering.

Neste trabalho, um novo método não-supervisionado para segmentação de lesões melanocíticas em imagens macroscópicas é proposto levando em consideração regiões suspeitas, e também uma nova abordagem para classificação de lesões que faz uso de evidências locais e de contexto para estimar um índice de probabilidade para malignidade em cada lesão. O método proposto realiza a segmentação das imagens em três tipos de regiões disjuntas: ‘pele saudável’, ‘região de incerteza’ e ‘lesão’. Regiões de incerteza são refinadas através da utilização de feições estocásticas também de forma não-supervisionada, resultando em uma máscara binária que discrimina a pele da lesão. As máscaras obtidas apresentam um erro XOR comparável aos métodos estado da arte. A imagem é segmentada utilizando um algoritmo de superpixels e as sub-regiões que intersectam a máscara obtida são categorizadas como evidências locais. Estas evidências são representadas por uma descrição especializada que explora as características como cor e textura. Estas sub-regiões são então associadas à evidências de contexto definidas pela borda da lesão de onde foram extraídas e classificadas de forma independente através de uma abordagem supervisionada. Com o resultado da classificação destas evidências é possível obter um indicador probabilístico para malignidade associado a cada lesão, e levando em consideração um valor de tolerância é possível identificar lesões malignas em potencial. Os resultados obtidos com o método proposto são promissores e apresentam maior acurácia do que os métodos existentes na literatura apesar do erro XOR da segmentação das lesões ser maior, o que tende a confirmar o potencial do método proposto para discriminar lesões melanocíticas benignas e malignas. / In this work, a novel unsupervised method for melanocytic macroscopic image segmentation is proposed considering suspicious regions, and also a novel approach for lesion classification using local and context evidence to estimate a probabilistic index of malignity or benignity in each lesion. The proposed method segment the macroscopic images in three types of disjoint regions: ‘healthy skin’, ‘suspicious region’ and ‘lesion’. Suspicious areas are refined using stochastic texture features also in an unsupervised approach, resulting in a binary mask discriminating skin and lesion. The resulting masks present an XOR error similar to other state-of-art methods. In the next step, the image is segmented using a superpixels algorithm and subregions that intersect the obtained mask categorized as local evidence. A specialized representation describes color and texture information present in the local evidence region. The border of the segmented skin lesion defines the context evidence and using a supervised approach, local and context evidence are combined and classified independently. With the evidence classification results is possible to obtain a probabilistic index of malignity and benignity associated to each lesion, and considering a tolerance value is possible to identify potential malignant lesions. The results achieved with the proposed method are promissing and present greater accuracy than other techniques in the literature, even with a greater XOR error in segmentation step, confirming the proposed method’s potential to discriminate benignant and malignant melanocytic lesions.

Este trabalho apresenta um estudo sobre segmentação de volumes médicos e uma solução para se obter malhas poligonais de pacientes específicos para uso em simulações de cirurgia. Malhas de pacientes específicos são importantes para planejamento de intervenções cirúrgicas e permitem uma melhor visualização de condições patológicas em um paciente, coisa não obtível em malhas geradas artisticamente. Nós analisamos quais são os fatores complicantes para se obter estas malhas de um paciente específico usando apenas imagens médicas obtidas em exames padrões. Para isso, nós revisamos diversos métodos existentes para segmentação de volumes médicos. Isso nos levou a definir os problemas com as técnicas existentes, e a desenvolver um método que não sofra destes problemas, utilizando pouca interação humana e não tendo dependências de mais dados que não o exame do paciente. Nosso alvo para obter malhas especificas foram órgãos de tecido mole, que são um caso especialmente complicado da área, graças a várias questões relacionadas às imagens médicas e à anatomia humana. Atacamos esse problema aplicando modificações geométricas em malhas especiais, que deformam até atingir a forma dos órgãos que se deseja segmentar. Os resultados mostram que nossa técnica conseguiu obter malhas específicas de pacientes a partir de volumes médicos com qualidade superior a de outros algoritmos de mesma classe. Graças a simplicidade do método desenvolvido, nossos resultados são facilmente implementáveis e reproduzidos. / This work presents a study about medical-volume segmentation and a solution to generate patient-specific meshes to use in patient-specific surgery simulations. Patientspecific meshes are useful assets for surgery planning and to allow better visualization of certain pathological conditions of a given patient, which are not obtainable by artistically designed meshes. We analyzed what are the complications to obtain a patient-specific mesh using only standard medical imagery exams. For that, we reviewed several medical volume segmentation techniques. It led us to define the problems within the existing techniques and to develop a method that does not suffer from these problems, with the least possible user interaction or relying on any other data other then the patient exam. Our target for obtaining specific meshes were soft tissue organs, which are a specially complicated case due to various issues related to the medical images and human anatomy. This is accomplished by geometrical operations over special meshes that deform until achieving the shape of the desired organ. Results show that our technique was able to obtain patient-specific meshes from medical images with superior quality than algorithms of the same class. Thanks to the simplicity of the developed approach, its also easy to implement and to reproduce our obtained results.