A evolução dos dispositivos de armazenamento e das redes de computadores permitiram que os vídeos digitais assumissem um importante papel no desenvolvimento de sistemas de informação multimídia. Com a finalidade de aproveitar todo o potencial dos vídeos digitais no desenvolvimento desses sistemas, técnicas automatizadas eficientes para análise, interpretação e recuperação são necessárias. A recuperação de vídeos baseada em conteúdo (CBVR, do inglês content-based video retrieval) permite o processamento e a análise do conteúdo de vídeos digitais visando à extração de informações relevantes que viabilizem indexação e recuperação. Trabalhos científicos têm proposto a aplicação de CBVR em bases de vídeos médicos a fim de proporcionar diferentes contribuições como diagnóstico auxiliado por computador, suporte à tomada de decisão e disponibilização de bases de vídeos para utilização em treinamento e educação médica. Em geral, características visuais são as principais informações utilizadas no contexto de CBVR aplicada em vídeos médicos. No entanto, muitos diagnósticos são realizados por meio da análise dos sons produzidos em diferentes estruturas e órgãos do corpo humano. Um exemplo é o diagnóstico cardíaco que, além de exames de imagem como ecocardiografia e ressonância magnética, também pode empregar a análise dos sons provenientes do coração por meio da auscultação. O objetivo deste trabalho consistiu em aplicar e avaliar extratores de características de som em conjunto com extratores de características visuais para viabilizar CBVR e, então, inferir se a abordagem resultou em ganhos com relação ao desempenho de recuperação quando comparada à utilização apenas das características visuais. Vídeos médicos constituíram nosso principal interesse, porém o trabalho considerou também vídeos não relacionados à área médica para a validação da abordagem. Justifica-se o objetivo, pois a análise do som, visando a obter descritores relevantes para melhorar os resultados de recuperação, ainda é pouco explorada na literatura científica. Essa afirmação foi evidenciada com a condução de uma revisão sistemática sobre o tema. Dois conjuntos de experimentos foram conduzidos visando a validar a abordagem de CBVR mencionada. O primeiro conjunto de experimentos foi aplicado sobre uma base de vídeos sintetizados para validação da abordagem. Já o segundo, foi aplicado em uma base de vídeos construídos utilizando-se imagens provenientes de exames de ressonância magnética em conjunto com sons provenientes de auscultação do coração. Os resultados foram analisados utilizando-se as métricas de revocação e precisão, bem como o gráfico que as relaciona. Demonstrou-se que a abordagem é promissora por meio da melhora significativa dos resultados de recuperação nos diferentes cenários de combinação entre características visuais e sonoras experimentados / Advance of storage devices and computer networks has contributed to digital videos assume an important role in the development of multimedia information systems. In order to take advantage of the full potential of digital videos in the development of these systems, it is necessary the development of efficient techniques for automated data analysis, interpretation and retrieval. Content-based video retrieval (CBVR) allows processing and analysis of content in digital videos to extract relevant information and enable indexing and retrieval. Scientific studies have proposed the application of CBVR in medical video databases in order to provide different contributions like computer-aided diagnosis, decision-making support or availability of video databases for use in medical training and education. In general, visual characteristics are the main information used in the context of CBVR applied in medical videos. However, many diagnoses are performed by analysing the sounds produced in different structures and organs of the human body. An example is the cardiac diagnosis which, in addition to images generated by echocardiography and magnetic resonance imaging, for example, may also employ the analysis of sounds from the heart by means of auscultation. The objective of this work was evaluating combination between audio signal and visual features to enable CBVR and investigating how much this approach can improve retrieval results comparing to using only visual features. Medical videos are the main data of interest in this work, but video segments not related to the medical field were also used to validate the approach. The objectives of this work are justifiable because audio signal analysis, in order to get relevant descriptors to improve retrieval results, is still little explored in the scientific literature. This statement was evidenced by results of a systematic review. Two experiment sets were conducted to validate the CBVR approach described. The first experiment set was applied to a synthetic images database specially built to validate the approach, while the second experiment was applied to a database composed of digital videos created from magnetic resonance imaging and heart sounds from auscultation. Results were analyzed using the recall and precision metrics, as well as the graph which relates these metrics. Results showed that this approach is promising due the significantly improvement obtained in retrieval results to different scenarios of combination between visual and audio signal features

Na última década observou-se grande interesse pra o desenvolvimento de técnicas para Recuperação de Imagens Baseada em Conteúdo devido à explosão na quantidade de imagens capturadas e à necessidade de armazenamento e recuperação dessas imagens. A área médica especificamente é um exemplo que gera um grande fluxo de informações, principalmente imagens digitais para a realização de diagnósticos. Porém um problema ainda permanecia sem solução que tratava-se de como atingir a similaridade baseada na percepção do usuário, uma vez que para que se consiga uma recuperação eficaz, deve-se caracterizar e quantificar o melhor possível tal similaridade. Nesse contexto, o presente trabalho de Doutorado visou trazer novas contribuições para a área de recuperação de imagens por contúdo. Dessa forma, almejou ampliar o alcance de consultas por similaridade que atendam às expectativas do usuário. Tal abordagem deve permitir ao sistema CBIR a manutenção da semântica da consulta desejada pelo usuário. Assim, foram desenvolvidos três métodos principais. O primeiro método visou a seleção de características por demanda baseada na intenção do usuário, possibilitando dessa forma agregação de semântica ao processo de seleção de características. Já o segundo método culminou no desenvolvimento de abordagens para coleta e agragação de perfis de usuário, bem como novas formulações para quantificar a similaridade perceptual dos usuários, permitindo definir dinamicamente a função de distância que melhor se adapta à percepção de um determinado usuário. O terceiro método teve por objetivo a modificação dinâmica de funções de distância em diferentes ciclos de realimentação. Para tanto foram definidas políticas para realizar tal modificação as quais foram baseadas na junção de informações a priori da base de imagens, bem como, na percepção do usuário no processo das consultas por similaridade. Os experimentos realizados mostraram que os métodos propostos contribuíram de maneira efetiva para caracterizar e quantificar a similaridade baseada na percepção do usuário, melhorando consideravelmente a busca por conteúdo segundo as expectativas dos usuários / In the last decade techniques for content-based image retrieval (CBIR) have been intensively explored due to the increase in the amount of capttured images and the need of fast retrieval of them. The medical field is a specific example that generates a large flow of information, especially digital images employed for diagnosing. One issue that still remains unsolved deals with how to reach the perceptual similarity. That is, to achieve an effectivs retrieval, one must characterize and quantify the perceptual similarity regarding the specialist in the field. Therefore, the present thesis was conceived tofill in this gap creating a consistent support to perform similarity queries over images, maintaining the semantics of a given query desired by tyhe user, bringing new contribuitions to the content-based retrieval area. To do so, three main methods were developed. The first methods applies a novel retrieval approach that integrates techniques of feature selection and relevance feedback to preform demand-driven feature selection guided by perceptual similarity, tuning the mining process on the fly, according to the user´s intention. The second method culminated in the development of approaches for harvesting and surveillance of user profiles, as well as new formulations to quantify the perceptual similarity of users , allowing to dynamically set the distance function that best fits the perception of a given user. The third method introduces a novel approach to enhance the retrieval process through user feedback and profiling, modifying the distance function in each feedback cycle choosing the best one for each cycle according to the user expectation. The experiments showed that the proposed metods effectively contributed to capture the perceptual similarity, improving in a great extent the image retrieval according to users´expectations

Neste projeto foi desenvolvido um método computacional para verificação da melhor combinação tela intensificadora - filme para exames mamográficos através do estudo de suas características sensitométricas. O software, desenvolvido em ambiente Delphi para windows, apresenta na tela do microcomputador a imagem a ser obtida para cada tipo de combinação tela intensificadora - filme, utilizando imagens de \"Phantoms\" e de mamas reais. Em razão da ampla quantidade de fatores que influenciam a imagem mamográfica final, tais como magnificação, característica dos filmes e telas intensificadoras e condições da processadora, o método proposto pode proporcionar uma ampla avaliação da qualidade dos sistemas de imagem mamográfica de uma forma simples, rápida e automática, através de procedimentos de simulação computacional. A simulação investigou a influência que um determinado sistema de registro exerce sobre a qualidade da imagem, possibilitando conhecer previamente a imagem final a ser obtida com diferentes equipamentos e sistemas de registro. Dentre os sistemas investigados, três filmes (Kodak Min R 2000, Fuji UM MA-HC e Fuji ADM) e duas telas intensificadoras (Kodak Min R 2000 e Fuji AD Mammo Fine), aquele que apresentou melhores resultados, com melhor qualidade de imagens e menor exposição à paciente foi o de tela Min R 2000 com filme Min R 2000 da Kodak. / The present research has as main objective the development of a computational method for verification of the best combination screen-film for mammographic examinations through the study of its sensitometric characteristics. The software interface was developed in Delphi for windows and display the image to be gotten for each type of combination screen-film, using images of Phantoms and real breasts. Because several factors influence the final mammographic image, such as magnification, characteristic of the films and screens and conditions of the processing, the method can provide an ample evaluation of the quality of the systems of mammographic image of a simple, fast and automatic form, through procedures of computational simulation. The simulation investigates the influence of a register system on the quality of the image, making it possible to know the final image previously to be gotten with different equipment and register systems. Three films (Kodak Min R 2000, Fuji UM MA-HC and Fuji ADM) and two screens (Kodak Min R 2000 and Fuji AD Mammo Fine) was avaliable and the screen Min R 2000 with film Min R 2000 was the best result with less exposure.

O presente trabalho consiste na elaboração de uma metodologia envolvendo técnicas computacionais para proporcionar informações provenientes de avaliação de qualidade de equipamentos mamográficos. A investigação conduzida levou em conta, além da necessária determinação de parâmetros operacionais - como tensão de pico (kVp), corrente de tubo, ponto focal, dose, tempo de exposição, camada semi-redutora -, a influência das características do digitalizador usado no processo de digitalização das imagens a ser avaliadas pelo esquema computacional, seja esse um sistema de aquisição digital direta ou indireta. Dessa forma, foi elaborado um protocolo de pré-processamento da imagem para compensar os efeitos do digitalizador antes da avaliação dos parâmetros de qualidade através dela. Simultaneamente ao desenvolvimento dos softwares necessários ao esquema, foi projetado e desenvolvido um simulador radiográfico para servir como instrumento para obtenção tanto das imagens a ser processadas pelo modelo computacional, como dos dados referentes aos parâmetros operacionais. O sistema foi desenvolvido tomando um mamógrafo calibrado e um instrumento de precisão como referências e testado em outros equipamentos mamográficos em operação em clínicas e hospitais. Os resultados foram consistentes com as análises comparativas utilizando as referências, o que podem fazer do sistema uma ferramenta útil na avaliação de qualidade em mamografia. / The present work consists on developing a computational methodology to provide information regarding to mammographic equipment quality evaluation. This investigation have taken into account, beyond the required operational parameters, such as kVp, electrical current, focal point, dose, exposition time, half-value layer, the influence of the film digitizer utilized for digitization process on the images to be evaluated by the computational scheme, either this a system of direct or indirect digital acquisition. Like so, it was elaborated an image pre-processing protocol to compensate the digitization effect on digital image, before the evaluation of quality control parameters through itself. Simultaneously to the development of the necessary software to the system, a radiographic phantom was developed to be used for achievement of either the images to be processed by the computational model, as operational parameters data. The system was developed taking calibrated mammographic equipment and a precise measurement instrument as references, besides, it was tested in other mammographic equipment in operation on clinics and hospitals. Results had shown consistent with the comparative analyses using those references, which can turn this system a useful tool for evaluation of mammography quality.

A possibilidade de armazenamento de imagens no formato digital favoreceu a evolução de diversos ramos de atividades, especialmente as áreas de pesquisa e clínica médica. Ao mesmo tempo, o volume crescente de imagens armazenadas deu origem a um problema de relevância e complexidade consideráveis: a Recuperação de Imagens Baseada em Conteúdo, que, em outras palavras, diz respeito à capacidade de um sistema de armazenamento processar operações de consulta de imagens a partir de características visuais, extraídas automaticamente por meio de métodos computacionais. Das principais questões que constituem este problema, amplamente conhecido pelo termo CBIR - Content-Based Image Retrieval, fazem parte as seguintes: Como interpretar ou representar matematicamente o conteúdo de uma imagem? Quais medidas que podem caracterizar adequadamente este conteúdo? Como recuperar imagens de um grande repositório utilizando o conteúdo extraído? Como estabelecer um critério matemático de similaridade entre estas imagens? O trabalho desenvolvido e apresentado nesta tese busca, exatamente, responder perguntas deste tipo, especialmente para os domínios de imagens médicas e da biologia genética, onde a demanda por sistemas computacionais que incorporam técnicas CBIR é consideravelmente alta por diversos motivos. Motivos que vão desde a necessidade de se buscar informação visual que estava até então inacessível pela falta de anotações textuais, até o interesse em poder contar com auxílio computacional confiável para a importante tarefa de diagnóstico clínico. Neste trabalho são propostos métodos e soluções inovadoras para o problema de segmentação e extração de características de imagens médicas e imagens de padrões espaciais de expressão genética. A segmentação é o processo de delimitação automático de regiões de interesse da imagem que possibilita uma caracterização bem mais coerente do conteúdo visual, comparado com as tradicionais técnicas de caracterização global e direta da imagem. Partindo desta idéia, as técnicas de extração de características desenvolvidas neste trabalho empregam métodos adaptativos de segmentação de imagens e alcançam resultados excelentes na tarefa de recuperação baseada em conteúdo / Storing images in digital format has supported the evolution of several branches of activities, specially the research area and medical clinic. At the same time, the increasing volume of stored images has originated a topic of considerable relevance and complexity: the Content- Based Imagem Retrieval, which, in other works, is related to the ability of a computational system in processing image queries based on visual features automatically extracted by computational methods. Among the main questions that constitute this issue, widely known as CBIR, are these: How to mathematically express image content? What measures can suitably characterize this content? How to retrieve images from a large dataset employing the extracted content? How to establish a mathematical criterion of similarity among the imagens? The work developed and presented in this thesis aims at answering questions like those, especially for the medical images domain and genetical biology, where the demand for computational systems that embody CBIR techniques is considerably high for several reasons. Reasons that range from the need for retrieving visual information that was until then inaccessible due to the lack of textual annotations, until the interest in having liable computational support for the important task of clinical diagnosis. In this work are proposed innovative methods and solutions for the problem of image segmentation and feature extraction of medical images and images of gene expression patterns. Segmentation is the process that enables a more coherent representation of image?s visual content than that provided by traditional methods of global and direct representation. Grounded in such idea, the feature extraction techniques developed in this work employ adaptive image segmentation methods, and achieve excellent results on the task of Content-Based Image Retrieval

A medida de similaridade é parte fundamental no corregistro de imagens, guiando todo seu processo. Neste estudo foi feita a comparação entre diferentes métricas de similaridade no contexto do corregistro não rígido (ou elástico) de imagens médicas. Como as imagens cardíacas representam as mais desaadoras situações em corregistro de imagens médicas, foram utilizadas para teste imagens de ressonância magnética nuclear e imagens de ultrasom cardíaco com contraste. 10 métricas de similaridades diferentes foram comparadas extensivamente, quanto ao seu desempenho para o corregistro não rígido: a soma do quadrado das diferenças (SQD), correlação cruzada (CC), correlação cruzada normalizada (CCN), informação mútua (IM), entropia da diferença (ED), variância da diferença (VD), energia (EN), campo de gradiente normalizado (CGN), medida pontual de informação mútua (MPIM), medida pontual de entropia da diferença (MPED). As métricas baseadas em entropias de informação, IM, ED, foram generalizadas em termos da entropia de Tsallis e avaliadas em seu parâmetro q. Os resultados apresentados mostram a eciência das métricas estudadas para diferentes parâmetros, como dimensão da região de comparação entre as imagens, dimensão da região de busca por similaridade, número de tons de cinza das imagens e parâmetro entrópico. Estes achados podem ser úteis para a construção de denições apropriadas para o corregistro não-rígido, utilizado no corregistro de imagens médicas complexas. / The similarity measurement plays a key role in images registration, driving the whole process of registration. In this study a comparison was made between dierent metrics of similarity in the context of non-rigid registration in medical images. As cardiac images represent the most challenging situation in medical image registration, it has been used as test heart magnetic resonance imaging (MRI) and cardiac ultrasound contrast images. In this work ten different similarity metrics have been compared extensively, as well its performance for the non-rigid registration process: the sum of the squared differences (SQD), cross- correlation (CC), normalized cross correlation (CCN), mutual information (IM), the entropy difference (ED), variance of the difference (VD), energy (EN), eld of normalized gradient (CGN), point measure of mutual information (MPIM), point measure of entropy differences (MPED). Metrics based on information entropies, IM, ED were eneralized in terms of Tsallis entropy and evaluated in its parameter q. The presented results show the effectiveness of the studied metrics for different parameters such as similarity window search size, similarity region search size, image maximum gray level, and entropic parameter. These nding can be helpful to construct appropriate non-rigid registration settings for complex medical image registration.

A possibilidade de recuperar e comparar imagens usando as suas características visuais intrínsecas é um recurso valioso para responder a consultas por similaridade em imagens médicas. Desse modo, a agregação desses recursos aos Sistemas de Arquivamento e Comunicação de Imagens (Picture Archiving and Communication Systems - PACS) vêm potencializar a utilidade e importância destes no contexto de atividades tais como ensino e treinamento de novos radiologistas, estudos de casos e auxílio ao diagnóstico de forma geral, uma vez que as consultas por similaridade permitem que casos parecidos possam ser facilmente recuperados. O trabalho apresentado nesta tese possui duas vertentes. Primeiro, ele apresenta novos métodos de extração e de características, com o objetivo de obter a essência das imagens, considerando um critério específico. Os atributos obtidos pelos algoritmos de extração são armazenados em vetores de características para posteriormente serem utilizados para indexar e recuperar as imagens baseando-se em seu conteúdo, para responder a consultas por similaridade. Há uma relação próxima entre os vetores de características e as funções de distância utilizadas para compará-los. Assim, a segunda parte deste trabalho trata da proposta, análise e comparação de novas famílias de funções de distância. As funções de distância propostas têm por objetivo tratar o problema do gap semântico, o qual representa o principal obstáculo das funções de distância tradicionais, derivadas da família Lp, quando processam consultas por similaridade. As principais contribuições desta tese incluem o desenvolvimento de novos métodos de extração e comparação de características de imagens, que operam sobre os três principais descritores de baixo nível de imagens: distribuição de cor, textura e forma. Os experimentos realizados mostraram que os ganhos em precisão são maiores para os métodos propostos, quando comparados com algoritmos tradicionais. No que diz respeito às famílias de funções de distância propostas (WAID e SAID), pelos resultados iniciais obtidos, podemos afirmar que eles são bastante promissores no sentido de se aproximarem da expectativa do usuário, no momento de comparar imagens. Os resultados obtidos com esse trabalho podem ser futuramente integrados aos PACS. Particularmente, pretendemos acrescentar novos algoritmos e métodos ao cbPACS, que consiste em um sistema PACS em construção, desenvolvido em uma colaboração entre o Grupo de Bases de Dados e Imagens (GBDI) do Instituto de Ciências Matemáticas e de Computação - USP e o Centro de Ciências da Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto - USP / The ability of retrieving and comparing images using their inherent pictorial information is a valuable asset to answer similarity queries over medical images. Thus, having such resources added in Picture Archiving and Communication Systems (PACS) increase their applicability and importance in the context of teaching and training new radiologists on diagnosing, since that similar cases can be easily retrieved. Similarity queries also play an important role on gathering close images, what allows to perform case studies, as well as to aid on diagnosing. The work presented in this thesis is twofold. First, it presents new feature extraction techniques, which aim at obtaining the essence of the images regarding a given criteria. The features obtained by the algorithms are stored in feature vectors and employed to index and retrieve the images by content, in order to answer similarity queries. There is a close relationship among feature vectors and the distance function employed to compare them. Thus, the second, part of this work concerns the comparison, analysis and proposal of new families of distance functions to compare the features extracted from the images. The distance functions proposed intend to deal with the semantic gap problem, which is the main drawback of the traditional distance functions derived from the Lp metrics when processing similarity queries. The main contributions of this thesis include the development of new image feature extractors that works on the three aspects of raw image data (color distribution, texture and shape). The experiments have shown that the gain in precision are higher for all the feature extractors proposed, when comparing with the state-of-the-art algorithms. Regarding the two families of distance functions WAID and SAID proposed, by the initial experiments performed we can claim that they are very promising on preserving the user expectation when comparing images. The results provided by this work can be straightforwardly integrated to PACS. Particularly, we intend to add the new algorithms and methods to cbPACS, which is under joined development between the Image Data Base Group of Instituto de CiLncias Matemáticas e de Computaçno of USP and Centro de CiLncias de Imagens e Física Médica of Faculdade de Medicina de Ribeirno Preto of USP

O objetivo desse trabalho é apresentar as características de um Sistema de Apoio ao Diagnóstico em Sistema Hospitalar Suportando Busca por Imagens Similares, a ser desenvolvido e implantado no Hospital das Clínicas de Ribeirão Preto. A recuperação de imagens baseada no conteúdo é uma área de pesquisa que tem evoluído bastante nos últimos anos. Assim, um sistema de busca e obtenção de imagens, utilizando tal técnica, deve ser extensível aos novos algoritmos de extração de características e métodos de indexação. A extração de características de imagens, tais como informações de cor, textura, forma e o relacionamento entre elas são utilizadas para descrever o conteúdo das imagens. Essas características são então utilizadas para indexar e possibilitar a comparação de imagens no processo de recuperação. O sistema proposto utilizará um método de indexação de dados recém-desenvolvido – a Slim-tree – para indexar as características extraídas das imagens. Através desse método o Sistema de Apoio ao Diagnóstico possibilitará a consulta por conteúdo em imagens médicas. / This works presents the main characteristics of a diagnosis support system based on image similarity search for medical applications. This system was developed to be used in the Clinical Hospital of Ribeirao Preto of the University of Sao Paulo. The content-based image retrieval (CBIR) researching area has evolved greatly in the last years. Thus, a CBIR system should be able to incorporate the new techniques developed, such as, new feature extraction algorithms and indexing methods among others. Traditionally, the main features extracted from images to get the image essence are color, texture, shape and the relationship among them. Therefore, such features describe the images under analysis, and are used to index and to compare images during the content-based retrieval process. The proposed system takes advantage of a new metric access method - the Slim-tree, which allows the indexing and the retrieval of the images through their extracted features.

O desenvolvimento tecnológico proporciona uma melhoria na qualidade de vida devido à facilidade, rapidez e flexibilidade no acesso à informação. Na área biomédica, a tecnologia é reconhecidamente uma importante aliada, permitindo o rápido desenvolvimento de métodos e técnicas que auxiliam o profissional na atenção à saúde. Recentes avanços na análise computadorizada de imagens médicas contribuem para o diagnóstico precoce de uma série de doenças. Nesse trabalho é apresentada uma metodologia para o desenvolvimento de um sistema computacional para caracterização de padrões em imagens pulmonares, baseado em técnicas de redes neurais artificiais. No estudo, buscou-se verificar a utilização de redes neurais auto-organizáveis como ferramenta de extração de atributos e redução de dimensionalidade de imagens radiográficas de tórax, objetivando a caracterização de lesões intersticiais de pulmão. Para a redução de dimensionalidade e extração de atributos, implementou-se um algoritmo baseado nos mapas auto-organizáveis (SOM), com algumas variações, obtendo-se uma redução dos cerca de 3 milhões de pixels que compõe uma imagem, para 240 elementos. Para a classificação dos padrões, utilizou-se uma rede Perceptron multi-camadas (MLP), validada com a metodologia leave-one-out. Com uma base contendo 79 exemplos de padrão linear, 37 exemplos de padrão nodular, 30 exemplos de padrão misto, e 72 exemplos de padrão normal, o classificador obteve a média de 89,5% de acerto, sendo 100% de classificação correta para o padrão linear, 67,5% para o padrão nodular, 63,3% para o padrão misto, e 100% para o padrão normal. Os resultados obtidos comprovam a validade da metodologia. / The technological development provides an improvement in the quality of life due to easiness, speed and flexibility in the access to the information. In the biomedical area, the technology is admitted as an important allied, allowing the fast development of methods and techniques that assist the professional in the health care. Recent advances in the computerized analysis of medical images contribute for the precocious diagnosis of a series of diseases. In this work a methodology for the development of a computational system for characterization of patterns in pulmonary images, based in techniques of artificial neural networks is presented. In the study, has searched for the verification the use of self-organizing neural networks as a feature extraction and dimensionality reduction tool of chest radiographs, willing to characterize interstitial lung disease. For the dimensionality reduction and feature extraction, an algorithm based on Self-Organizing Maps (SOM) was implemented, with some variations, getting a reduction of about 3 million pixels that it composes an image, for 240 elements. For the pattern classification, a Multilayer Perceptron (MLP) was used, validated with the leave-one-out methodology. With a database containing 79 samples of linear pattern, 37 samples of nodular pattern, 30 samples of mixed pattern, and 72 samples of normal pattern, the classifier provided an average result of 89.5% of right classification, with 100% of right classification for linear pattern, 67.5% for nodular pattern, 63.3% for mixed pattern, and 100% for normal pattern. The results prove the validity of the methodology.

A evolução dos dispositivos de armazenamento e das redes de computadores permitiram que os vídeos digitais assumissem um importante papel no desenvolvimento de sistemas de informação multimídia. Com a finalidade de aproveitar todo o potencial dos vídeos digitais no desenvolvimento desses sistemas, técnicas automatizadas eficientes para análise, interpretação e recuperação são necessárias. A recuperação de vídeos baseada em conteúdo (CBVR, do inglês content-based video retrieval) permite o processamento e a análise do conteúdo de vídeos digitais visando à extração de informações relevantes que viabilizem indexação e recuperação. Trabalhos científicos têm proposto a aplicação de CBVR em bases de vídeos médicos a fim de proporcionar diferentes contribuições como diagnóstico auxiliado por computador, suporte à tomada de decisão e disponibilização de bases de vídeos para utilização em treinamento e educação médica. Em geral, características visuais são as principais informações utilizadas no contexto de CBVR aplicada em vídeos médicos. No entanto, muitos diagnósticos são realizados por meio da análise dos sons produzidos em diferentes estruturas e órgãos do corpo humano. Um exemplo é o diagnóstico cardíaco que, além de exames de imagem como ecocardiografia e ressonância magnética, também pode empregar a análise dos sons provenientes do coração por meio da auscultação. O objetivo deste trabalho consistiu em aplicar e avaliar extratores de características de som em conjunto com extratores de características visuais para viabilizar CBVR e, então, inferir se a abordagem resultou em ganhos com relação ao desempenho de recuperação quando comparada à utilização apenas das características visuais. Vídeos médicos constituíram nosso principal interesse, porém o trabalho considerou também vídeos não relacionados à área médica para a validação da abordagem. Justifica-se o objetivo, pois a análise do som, visando a obter descritores relevantes para melhorar os resultados de recuperação, ainda é pouco explorada na literatura científica. Essa afirmação foi evidenciada com a condução de uma revisão sistemática sobre o tema. Dois conjuntos de experimentos foram conduzidos visando a validar a abordagem de CBVR mencionada. O primeiro conjunto de experimentos foi aplicado sobre uma base de vídeos sintetizados para validação da abordagem. Já o segundo, foi aplicado em uma base de vídeos construídos utilizando-se imagens provenientes de exames de ressonância magnética em conjunto com sons provenientes de auscultação do coração. Os resultados foram analisados utilizando-se as métricas de revocação e precisão, bem como o gráfico que as relaciona. Demonstrou-se que a abordagem é promissora por meio da melhora significativa dos resultados de recuperação nos diferentes cenários de combinação entre características visuais e sonoras experimentados / Advance of storage devices and computer networks has contributed to digital videos assume an important role in the development of multimedia information systems. In order to take advantage of the full potential of digital videos in the development of these systems, it is necessary the development of efficient techniques for automated data analysis, interpretation and retrieval. Content-based video retrieval (CBVR) allows processing and analysis of content in digital videos to extract relevant information and enable indexing and retrieval. Scientific studies have proposed the application of CBVR in medical video databases in order to provide different contributions like computer-aided diagnosis, decision-making support or availability of video databases for use in medical training and education. In general, visual characteristics are the main information used in the context of CBVR applied in medical videos. However, many diagnoses are performed by analysing the sounds produced in different structures and organs of the human body. An example is the cardiac diagnosis which, in addition to images generated by echocardiography and magnetic resonance imaging, for example, may also employ the analysis of sounds from the heart by means of auscultation. The objective of this work was evaluating combination between audio signal and visual features to enable CBVR and investigating how much this approach can improve retrieval results comparing to using only visual features. Medical videos are the main data of interest in this work, but video segments not related to the medical field were also used to validate the approach. The objectives of this work are justifiable because audio signal analysis, in order to get relevant descriptors to improve retrieval results, is still little explored in the scientific literature. This statement was evidenced by results of a systematic review. Two experiment sets were conducted to validate the CBVR approach described. The first experiment set was applied to a synthetic images database specially built to validate the approach, while the second experiment was applied to a database composed of digital videos created from magnetic resonance imaging and heart sounds from auscultation. Results were analyzed using the recall and precision metrics, as well as the graph which relates these metrics. Results showed that this approach is promising due the significantly improvement obtained in retrieval results to different scenarios of combination between visual and audio signal features