A Recuperação de Imagens Baseada em Conteúdo (Content-Based Image Retrieval - CBIR) visa recuperar, em uma base de imagens, as ocorrências mais similares a uma imagem fornecida como modelo, a partir de características extraídas desses objetos. O uso dos conceitos de CBIR, embora bem explorado para recuperação de imagens bidimensionais, ainda é pouco explorado no domínio de objetos tridimensionais. A partir da identificação de lacunas na literatura a respeito da abordagem eficiente para recuperação destes objetos, o objetivo deste estudo foi definir, implementar e validar técnicas de recuperação destes objetos médicos tridimensionais com base no seu conteúdo considerando buscas globais e regionalizadas da estrutura tridimensional. Para atingir tal objetivo foram realizadas as seguintes atividades: revisão bibliográfica, definição da base de dados, implementação de descritores e métodos de comparação por similaridade, construção de um protótipo de sistema de recuperação, realização de testes com objetos médicos tridimensionais e análise dos resultados. Os resultados obtidos com os métodos desenvolvidos foram positivos, alcançando 90% de média de precisão no retorno da busca. Verificou-se que os descritores baseados em Harmônicos Esféricos podem ser adaptados para serem utilizados como descritores locais. Adicionalmente, verificou-se que a abordagem utilizando grafos bipartidos em conjunto com o cálculo de similaridade por meio de uma rede de fluxo, produziu resultados melhores do que os métodos que utilizaram abordagens clássicas de comparação. Em relação ao estudo de caso analisado, as Cardiomiopatias, foi possível constatar que as informações de idade e gênero contribuem para melhorar a precisão da recuperação, uma vez que essas informações podem influenciar diretamente a estrutura do ventrículo esquerdo. Além disso, em uma avaliação com usuários finais da área de Cardiologia, constatou-se que efetivamente esta abordagem pode auxiliar na composição de diagnósticos. Estes resultados confirmaram o potencial que a recuperação por conteúdo possui no contexto médico, além de contribuir com a área de Computação no sentido de ter desenvolvido técnicas para recuperação por conteúdo no domínio de objetos tridimensionais. / Content-Based Image Retrieval - CBIR aims to retrieval, in an image database, the most similar occurrences to an image provided as a query, from extracted characteristics of these objects. The use of CBIR concept, although exploited for recovery of twodimensional images, is still under explored in the three-dimensional objects knowledge field. Based on the identification of the current literature gaps regarding efficient approaches to retrieval these objects, the objective of this study was to define, implement and validate retrieval techniques of three-dimensional medical objects based on their content considering global and regionalized searches of the three-dimensional structure. In order to achieve this objective, the following activities were carried out: literature review, database definition, implementation of descriptors and methods of comparison by similarity, construction of a retrieval system prototype, tests with three-dimensional medical objects and results analysis. The results obtained with the methods developed were positive, reaching 90% of mean precision in the return of the search. It has been found that the descriptors based on Spherical Harmonics can be adapted to be used as local descriptors. Additionally, it was identified that the approach using bipartite graphs in conjunction with the similarity computation through network flow, produced better results than the methods that used classic approaches of comparison. Regarding the case study analyzed, the Cardiomyopathies, it was possible to verify that the information of age and gender contribute to improve the accuracy of the retrieval, since this information can directly influence the structure of the left ventricle. In addition, in an evaluation with end users of Cardiology area, it was verified that this approach can effectively aid in the diagnoses. These results confirmed the potential that content-based retrieval has in the medical context, as well as contribute to the Computing area in the sense of developing techniques for content-based in three-dimensional retrieval.

Apresentamos neste trabalho o desenvolvimento de um método para o reconhecimento do Formato de Objetos Tri-dimensionais. Os sistemas tradicionais de Visão Computacional empregam imagens bi-dimensionais obtidos através de câmeras de TV, ricas em detalhes necessários a visão humana. Estes detalhes em grande parte das aplicações industriais de Robôs são supérfluos. Os algoritmos tradicionais de classificação consomem portanto muito tempo no processamento deste excesso de informação. Para este trabalho, desenvolvemos um sistema dedicado para reconhecimento que utiliza um feixe de Laser defletido sobre um objeto e a digitalização da Luminância em cada ponto de sua superfície. A intensidade luminosa refletida e proporcional a distância do ponto ao observador. É, portanto, possível determinar parâmetros que classifiquem cada objeto. A inclinação de cada face de um poliedro, o comportamento de suas fronteiras e também a existência de arestas internas, são as características adotadas. Estas características são então rotuladas, permitindo que o programa de classificação busque em um \"banco de conhecimento\" previamente estabelecido, a descrição dos objetos. Uma mesa giratória permite a rotação do modele fornecendo novas vistas ao observador, determinando sua classificação. Todo o sistema é controlado por um microcomputador cujo programa reconhece em tempo real o objeto em observação. Para o protótipo construído, utilizamos um Laser de HeNe sendo a recepção do raio refletido realizada por um fototransistor. Os objetos reconhecíveis pelo programa são poliedros regulares simples, compondo o seguinte conjunto: 1 prisma de base triangular, 1 cubo, 1 pirâmide de base triangular, 1 pirâmide de base retangular. O tratamento matemático empregado visa a comprovação da tecnologia proposta, podendo, na continuação de trabalhos futuros, ser efetivamente estendido a diversos outros objetos como, por exemplo, os de superfícies curvas. / We present in this work a new method for three dimensional Shape Recognition. Traditional Computer Vision systems use bi-dimensional TV camera images. In most of the industrial Robotic applications, the excess of detail obtained by the TV camera is needless. Traditional classification algorithms spend a lot of time to process the excess of information. For the present work we developed a dedicated recognition system, which deflects a Laser beam over an object and digitizes the Reflected beam point by point over the surface. The intensity of the reflected beam is proportional to the observer distance. Using this technique it was possible to establish features to classify various objects. These features are the slope of the polyhedral surfaces, the boundary type and the inner edges. For each object the features are labeled and the classification algorithm searches in a \"knowledge data base\" for the object description. The recognition system used a He-Ne Laser and the reflected signal was captured by a photo-transistor. The object to be recognized is placed over a rotating table which can be rotated, supplying a new view for the classification. A microcomputer controls the system operation and the object is recognized in real time. The recognized objects were simple regular polyhedral, just as: 1 triangular base prism, 1 cube, 1 triangular base pyramid, 1 rectangular base pyramid. To check that the proposed technology was correct, we used a dedicated mathematical approach, which can be extended to other surfaces, such as curves, in future works.

Apresentamos neste trabalho o desenvolvimento de um método para o reconhecimento do Formato de Objetos Tri-dimensionais. Os sistemas tradicionais de Visão Computacional empregam imagens bi-dimensionais obtidos através de câmeras de TV, ricas em detalhes necessários a visão humana. Estes detalhes em grande parte das aplicações industriais de Robôs são supérfluos. Os algoritmos tradicionais de classificação consomem portanto muito tempo no processamento deste excesso de informação. Para este trabalho, desenvolvemos um sistema dedicado para reconhecimento que utiliza um feixe de Laser defletido sobre um objeto e a digitalização da Luminância em cada ponto de sua superfície. A intensidade luminosa refletida e proporcional a distância do ponto ao observador. É, portanto, possível determinar parâmetros que classifiquem cada objeto. A inclinação de cada face de um poliedro, o comportamento de suas fronteiras e também a existência de arestas internas, são as características adotadas. Estas características são então rotuladas, permitindo que o programa de classificação busque em um \"banco de conhecimento\" previamente estabelecido, a descrição dos objetos. Uma mesa giratória permite a rotação do modele fornecendo novas vistas ao observador, determinando sua classificação. Todo o sistema é controlado por um microcomputador cujo programa reconhece em tempo real o objeto em observação. Para o protótipo construído, utilizamos um Laser de HeNe sendo a recepção do raio refletido realizada por um fototransistor. Os objetos reconhecíveis pelo programa são poliedros regulares simples, compondo o seguinte conjunto: 1 prisma de base triangular, 1 cubo, 1 pirâmide de base triangular, 1 pirâmide de base retangular. O tratamento matemático empregado visa a comprovação da tecnologia proposta, podendo, na continuação de trabalhos futuros, ser efetivamente estendido a diversos outros objetos como, por exemplo, os de superfícies curvas. / We present in this work a new method for three dimensional Shape Recognition. Traditional Computer Vision systems use bi-dimensional TV camera images. In most of the industrial Robotic applications, the excess of detail obtained by the TV camera is needless. Traditional classification algorithms spend a lot of time to process the excess of information. For the present work we developed a dedicated recognition system, which deflects a Laser beam over an object and digitizes the Reflected beam point by point over the surface. The intensity of the reflected beam is proportional to the observer distance. Using this technique it was possible to establish features to classify various objects. These features are the slope of the polyhedral surfaces, the boundary type and the inner edges. For each object the features are labeled and the classification algorithm searches in a \"knowledge data base\" for the object description. The recognition system used a He-Ne Laser and the reflected signal was captured by a photo-transistor. The object to be recognized is placed over a rotating table which can be rotated, supplying a new view for the classification. A microcomputer controls the system operation and the object is recognized in real time. The recognized objects were simple regular polyhedral, just as: 1 triangular base prism, 1 cube, 1 triangular base pyramid, 1 rectangular base pyramid. To check that the proposed technology was correct, we used a dedicated mathematical approach, which can be extended to other surfaces, such as curves, in future works.

Com o aumento da capacidade de armazenamento de informação em bancos de dados e em computadores pessoais, surge a necessidade de algoritmos computacionais capazes de realizar o processamento automático para recuperação desses dados. Esse fato não é diferente para objetos tridimensionais armazenados em formato de arquivos. Nesta Dissertação de Mestrado foram estudadas novas técnicas para processamento desses objetos utilizando uma abordagem não comum à área: técnicas para análise de séries temporais, tais como scattering wavelets e gráficos de recorrência. No caso de recuperação total de objetos, ou seja, dado uma malha tridimensional encontrar outras malhas que são visualmente semelhantes, uma única característica é extraída curvatura gaussiana e variação de superfície, por exemplo e ordenada como uma série com a informação provida pelo vetor de Fiedler. Então processa-se essa série utilizando a técnica scattering wavelets, que são capazes de analisar o comportamento temporal de conjunto de dados seriais. Para esse problema, os resultados obtidos são comparáveis com outras abordagens apresentadas na literatura que utilizam várias características para se chegar ao resultado. Já no caso de recuperação parcial de objetos, em que apenas uma parte do objeto é dado como parâmetro de busca, é necessário realizar uma segmentação das malhas para se encontrar outras partes que são visualmente semelhantes. Ao utilizarmos um gráfico de recorrência para analisar os objetos, é possível encontrar não apenas a região mais semelhante dentro da mesma (ou de outra) malha, mas também se obtém todas as regiões que são similares ao parâmetro de busca. / With the increasing data storage capacity of databases and personal computers, arises the necessity of computer algorithms capable of performing processing for automatic recovery of data and information. This fact is no different for three-dimensional objects stored in files. In this Masters Thesis we studied new techniques for processing such data objects using an unusual approach to the geometric processing area: techniques for analyzing time series, such as scattering wavelets and recurrence plots. For shape retrieval problem, i.e., given a tridimensional mesh try finding other meshes that are visually similar, our method extract only one feature Gaussian curvature and surface variation, for example and organize it as a series using information given by Fiedler vector. Then, the next step is to process the resulting series using a technique called scattering wavelets, that is capable of analyzing the temporal behavior of a set of serial data. For this problem, the results are comparable with other approaches reported in the literature that use multiple characteristics to find a matching mesh. In the case of partial retrieval of objects, in which only a part of the object is given as search parameter, it is necessary to perform a segmentation of the meshes in order to find other parts that are visually similar to the query. By using Recurrence Plot to analyze the objects, our method can find not only the most similar region within the same (or other) object, but also get all the regions that are similar to the search parameter.

Esta tese descreve uma abordagem para a utilização da informação de cores no sistema de visão artificial com inspiração biológica denominada Cyvis-1. Considerando-se que grande parte da literatura sobre segmentação de imagens se refere a imagens em níveis de cinza, informações cromáticas na segmentação permanecem uma área que ainda deve ser mais bem explorada e para a qual se direcionou o interesse da presente pesquisa. Neste trabalho, o subsistema de cor do Cyvis-1 é definido, mantendo-se o vínculo com os princípios que inspiram o sistema de visão como um todo: hierarquia, modularidade, especialização do processamento, integração em vários níveis, representação efetiva da informação visual e integração com conhecimento de nível alto. O subsistema de cor se insere neste escopo, propondo uma técnica para segmentação de imagens coloridas baseada em mapas auto-organizáveis para a classificação dos pontos da imagem. A segmentação incorpora a determinação do número de classes sem supervisão, tornando o processo mais independente de intervenção humana. Por este processo de segmentação, são produzidos mapas das regiões encontradas e um mapa de bordas, derivado das regiões. Uma segunda proposta do trabalho é um estudo comparativo do desempenho de técnicas de segmentação por bordas. A comparação é feita em relação a um mapa de bordas de referência e o comportamento de várias técnicas é analisado segundo um conjunto de atributos locais baseados em contrastes de intensidade e cor. Derivada desta comparação, propõe-se também uma combinação para a geração de um mapa de bordas a partir da seleção das técnicas segundo seus desempenhos locais. Finalmente, integrando os aspectos anteriores, é proposta urna estruturação do módulo de cor, adicionalmente com a aquisição de imagens, a análise de formas e o reconhecimento de objetos poliédricos. Há, neste contexto, a integração ao módulo de estéreo, que proporciona o cálculo de dados tridimensionais, essenciais para o reconhecimento dos objetos. Para cada parte deste trabalho são propostas formas de avaliação para a validação dos resultados, demonstrando e caracterizando a eficiência e as limitações de cada uma. / This thesis describes an approach to color information processing in the biologically-inspired artificial vision system named Cyvis-1. Considering that most of the current literature in image segmentation deals with gray level images, color information remains an incipient area, which has motivated this research. This work defines the color subsystem within the Cyvis-1 underlying phylosophy, whose main principles include hierarchy, modularity, processing specialization, multilevel integration, effective representation of visual information, and high-level knowledge integration. The color subsystem is then introduced according to this framework, with a proposal of a segmentation technique based on self-organizing maps. The number of regions in the image is achieved through a unsupervised clustering approach, so no human interaction is needed. Such segmentation technique produces region oriented representation of the classes, which are used to derive an edge map. Another main topic in this work is a comparative study of the edge maps produced by several edge-oriented segmentation techniques. A reference edge map is used as standard segmentation, to which other edge maps are compared. Such analysis is carried out by means of local attributes (local gray level and \"color\" contrasts). As a consequence of the comparison, a combination edge map is also proposed, based on the conditional selection of techniques considering the local attributes. Finally, the integration of two above topics is proposed, which is characterized by the design of the color subsystem of Cyvis-1, altogether with the modules for image acquisition, shape analysis and polyhedral object recognition. In such a context, the integration with the stereo subsystem is accomplished, allowing the evaluation of the three-dimensional data needed for object recognition. Assessment and validation of the three proposals were carried out, providing the means for analyzing their efficiency and limitations.

Esta tese descreve uma abordagem para a utilização da informação de cores no sistema de visão artificial com inspiração biológica denominada Cyvis-1. Considerando-se que grande parte da literatura sobre segmentação de imagens se refere a imagens em níveis de cinza, informações cromáticas na segmentação permanecem uma área que ainda deve ser mais bem explorada e para a qual se direcionou o interesse da presente pesquisa. Neste trabalho, o subsistema de cor do Cyvis-1 é definido, mantendo-se o vínculo com os princípios que inspiram o sistema de visão como um todo: hierarquia, modularidade, especialização do processamento, integração em vários níveis, representação efetiva da informação visual e integração com conhecimento de nível alto. O subsistema de cor se insere neste escopo, propondo uma técnica para segmentação de imagens coloridas baseada em mapas auto-organizáveis para a classificação dos pontos da imagem. A segmentação incorpora a determinação do número de classes sem supervisão, tornando o processo mais independente de intervenção humana. Por este processo de segmentação, são produzidos mapas das regiões encontradas e um mapa de bordas, derivado das regiões. Uma segunda proposta do trabalho é um estudo comparativo do desempenho de técnicas de segmentação por bordas. A comparação é feita em relação a um mapa de bordas de referência e o comportamento de várias técnicas é analisado segundo um conjunto de atributos locais baseados em contrastes de intensidade e cor. Derivada desta comparação, propõe-se também uma combinação para a geração de um mapa de bordas a partir da seleção das técnicas segundo seus desempenhos locais. Finalmente, integrando os aspectos anteriores, é proposta urna estruturação do módulo de cor, adicionalmente com a aquisição de imagens, a análise de formas e o reconhecimento de objetos poliédricos. Há, neste contexto, a integração ao módulo de estéreo, que proporciona o cálculo de dados tridimensionais, essenciais para o reconhecimento dos objetos. Para cada parte deste trabalho são propostas formas de avaliação para a validação dos resultados, demonstrando e caracterizando a eficiência e as limitações de cada uma. / This thesis describes an approach to color information processing in the biologically-inspired artificial vision system named Cyvis-1. Considering that most of the current literature in image segmentation deals with gray level images, color information remains an incipient area, which has motivated this research. This work defines the color subsystem within the Cyvis-1 underlying phylosophy, whose main principles include hierarchy, modularity, processing specialization, multilevel integration, effective representation of visual information, and high-level knowledge integration. The color subsystem is then introduced according to this framework, with a proposal of a segmentation technique based on self-organizing maps. The number of regions in the image is achieved through a unsupervised clustering approach, so no human interaction is needed. Such segmentation technique produces region oriented representation of the classes, which are used to derive an edge map. Another main topic in this work is a comparative study of the edge maps produced by several edge-oriented segmentation techniques. A reference edge map is used as standard segmentation, to which other edge maps are compared. Such analysis is carried out by means of local attributes (local gray level and \"color\" contrasts). As a consequence of the comparison, a combination edge map is also proposed, based on the conditional selection of techniques considering the local attributes. Finally, the integration of two above topics is proposed, which is characterized by the design of the color subsystem of Cyvis-1, altogether with the modules for image acquisition, shape analysis and polyhedral object recognition. In such a context, the integration with the stereo subsystem is accomplished, allowing the evaluation of the three-dimensional data needed for object recognition. Assessment and validation of the three proposals were carried out, providing the means for analyzing their efficiency and limitations.

Com o aumento da capacidade de armazenamento de informação em bancos de dados e em computadores pessoais, surge a necessidade de algoritmos computacionais capazes de realizar o processamento automático para recuperação desses dados. Esse fato não é diferente para objetos tridimensionais armazenados em formato de arquivos. Nesta Dissertação de Mestrado foram estudadas novas técnicas para processamento desses objetos utilizando uma abordagem não comum à área: técnicas para análise de séries temporais, tais como scattering wavelets e gráficos de recorrência. No caso de recuperação total de objetos, ou seja, dado uma malha tridimensional encontrar outras malhas que são visualmente semelhantes, uma única característica é extraída curvatura gaussiana e variação de superfície, por exemplo e ordenada como uma série com a informação provida pelo vetor de Fiedler. Então processa-se essa série utilizando a técnica scattering wavelets, que são capazes de analisar o comportamento temporal de conjunto de dados seriais. Para esse problema, os resultados obtidos são comparáveis com outras abordagens apresentadas na literatura que utilizam várias características para se chegar ao resultado. Já no caso de recuperação parcial de objetos, em que apenas uma parte do objeto é dado como parâmetro de busca, é necessário realizar uma segmentação das malhas para se encontrar outras partes que são visualmente semelhantes. Ao utilizarmos um gráfico de recorrência para analisar os objetos, é possível encontrar não apenas a região mais semelhante dentro da mesma (ou de outra) malha, mas também se obtém todas as regiões que são similares ao parâmetro de busca. / With the increasing data storage capacity of databases and personal computers, arises the necessity of computer algorithms capable of performing processing for automatic recovery of data and information. This fact is no different for three-dimensional objects stored in files. In this Masters Thesis we studied new techniques for processing such data objects using an unusual approach to the geometric processing area: techniques for analyzing time series, such as scattering wavelets and recurrence plots. For shape retrieval problem, i.e., given a tridimensional mesh try finding other meshes that are visually similar, our method extract only one feature Gaussian curvature and surface variation, for example and organize it as a series using information given by Fiedler vector. Then, the next step is to process the resulting series using a technique called scattering wavelets, that is capable of analyzing the temporal behavior of a set of serial data. For this problem, the results are comparable with other approaches reported in the literature that use multiple characteristics to find a matching mesh. In the case of partial retrieval of objects, in which only a part of the object is given as search parameter, it is necessary to perform a segmentation of the meshes in order to find other parts that are visually similar to the query. By using Recurrence Plot to analyze the objects, our method can find not only the most similar region within the same (or other) object, but also get all the regions that are similar to the search parameter.