Content Based Image Retrieval (CBIR) systems represent images in the database by color, texture, and shape information. In this thesis, we concentrate on tex- ture features and introduce a new generic texture descriptor, namely, Statistical Analysis of Structural Information (SASI). Moreover, in order to increase the re- trieval rates of a CBIR system, we propose a new method that can also adapt an image retrieval system into a con&macr / gurable one without changing the underlying feature extraction mechanism and the similarity function. SASI is based on statistics of clique autocorrelation coe&plusmn / cients, calculated over structuring windows. SASI de&macr / nes a set of clique windows to extract and measure various structural properties of texture by using a spatial multi- resolution method. Experimental results, performed on various image databases, indicate that SASI is more successful then the Gabor Filter descriptors in cap- turing small granularities and discontinuities such as sharp corners and abrupt changes. Due to the &deg / exibility in designing the clique windows, SASI reaches higher average retrieval rates compared to Gabor Filter descriptors. However, the price of this performance is increased computational complexity. Since, retrieving of similar images of a given query image is a subjective task, it is desirable that retrieval mechanism should be con&macr / gurable by the user. In the proposed method, basically, original feature space of a content-based retrieval system is nonlinearly transformed into a new space, where the distance between the feature vectors is adjusted by learning. The transformation is realized by Arti&macr / cial Neural Network architecture. A cost function is de&macr / ned for learning and optimized by simulated annealing method. Experiments are done on the texture image retrieval system, which use SASI and Gabor Filter features. The results indicate that con&macr / gured image retrieval system is signi&macr / cantly better than the original system.

Os Sistemas de Gerenciamento de Bases de Dados (SGBD) foram desenvolvidos para armazenar e recuperar de maneira eficiente dados formados apenas por números ou cadeias de caracteres. Entretanto, nas últimas décadas houve um aumento expressivo, não só da quantidade, mas da complexidade dos dados manipulados em bases de dados, dentre eles os de natureza multimídia (como imagens, áudio e vídeo), informações geo-referenciadas, séries temporais, entre outros. Assim, surgiu a necessidade do desenvolvimento de novas técnicas que permitam a manipulação eficiente de tipos de dados complexos. Para atender às buscas necessárias às aplicações de base de dados modernas é preciso que os SGBD ofereçam suporte para buscas por similaridade ? consultas que realizam busca por objetos da base similares a um objeto de consulta, de acordo com uma certa medida de similaridade. Outro fator importante que veio contribuir para a necessidade de suportar a realização de consultas por similaridade em SGBD está relacionado à integração de técnicas de mineração de dados. É fundamental para essa integração o fornecimento de recursos pelos SGBD que permitam a realização de operações básicas para as diversas técnicas de mineração de dados existentes. Uma operação básica para várias dessas técnicas, tais como a técnica de detecção de agrupamentos de dados, é justamente o cálculo de medidas de similaridade entre pares de objetos de um conjunto de dados. Embora haja necessidade de fornecer suporte para a realização desse tipo de consultas em SGBD, o atual padrão da linguagem SQL não prevê a realização de consultas por similaridade. Esta tese pretende contribuir para o fornecimento desse suporte, incorporando ao SQL recursos capazes de permitir a realização de operações de consulta por similaridade sobre grandes bases de dados complexos de maneira totalmente integrada com os demais recursos da linguagem / Database Management Systems (DBMS) were developed to store and efficiently retrieve only data composed by numbers and small strings. However, over the last decades, there was an expressive increase in the volume and complexity of the data being managed, such as multimedia data (images, audio tracks and video), geo-referenced information and time series. Thus, the need to develop new techniques that allow the efficient handling of complex data types also increased. In order to support these data and the corresponding applications, the DBMS needs to support similarity queries, i.e., queries that search for objects similar to a query object according to a similarity measure. The need to support similarity queries in DBMS is also related to the integration of data mining techniques, which requires the DBMS acting as the provider for resources that allow the execution of basic operations for several existing data mining techniques. A basic operation for several of these techniques, such as clustering detection, is again the computation of similarity measures among pairs of objects of a data set. Although there is a need to execute these kind of queries in DBMS, the SQL standard does not allow the specification of similarity queries. Hence, this thesis aims at contributing to support such queries, integrating to the SQL the resources capable to execute similarity query operations over large sets of complex data

There is an accelerating demand to access and work over the visual content of documents. Because of the insufficiency of text-based techniques for storing this data, content-based image retrieval (CBIR) systems have become a promising field. Due this fact, in this study a CBIR system is implemented that is Mpeg-7 compliant and ORDBMS based. The database contains images and their content summaries that are parsed from XML files. The summaries describe their dominant colors, color histograms, color spaces and labels, in order to be compliant with Mpeg-7. The query process requires only the summary not the image itself. Software implementation of the system is based on JSP and servlet technologies using Oracle database and Tomcat web server. It is shown that the usage of these tools in the proposed architecture brings security, portability, and speed.

Os Sistemas de Gerenciamento de Bases de Dados (SGBD) foram desenvolvidos para armazenar e recuperar de maneira eficiente dados formados apenas por números ou cadeias de caracteres. Entretanto, nas últimas décadas houve um aumento expressivo, não só da quantidade, mas da complexidade dos dados manipulados em bases de dados, dentre eles os de natureza multimídia (como imagens, áudio e vídeo), informações geo-referenciadas, séries temporais, entre outros. Assim, surgiu a necessidade do desenvolvimento de novas técnicas que permitam a manipulação eficiente de tipos de dados complexos. Para atender às buscas necessárias às aplicações de base de dados modernas é preciso que os SGBD ofereçam suporte para buscas por similaridade ? consultas que realizam busca por objetos da base similares a um objeto de consulta, de acordo com uma certa medida de similaridade. Outro fator importante que veio contribuir para a necessidade de suportar a realização de consultas por similaridade em SGBD está relacionado à integração de técnicas de mineração de dados. É fundamental para essa integração o fornecimento de recursos pelos SGBD que permitam a realização de operações básicas para as diversas técnicas de mineração de dados existentes. Uma operação básica para várias dessas técnicas, tais como a técnica de detecção de agrupamentos de dados, é justamente o cálculo de medidas de similaridade entre pares de objetos de um conjunto de dados. Embora haja necessidade de fornecer suporte para a realização desse tipo de consultas em SGBD, o atual padrão da linguagem SQL não prevê a realização de consultas por similaridade. Esta tese pretende contribuir para o fornecimento desse suporte, incorporando ao SQL recursos capazes de permitir a realização de operações de consulta por similaridade sobre grandes bases de dados complexos de maneira totalmente integrada com os demais recursos da linguagem / Database Management Systems (DBMS) were developed to store and efficiently retrieve only data composed by numbers and small strings. However, over the last decades, there was an expressive increase in the volume and complexity of the data being managed, such as multimedia data (images, audio tracks and video), geo-referenced information and time series. Thus, the need to develop new techniques that allow the efficient handling of complex data types also increased. In order to support these data and the corresponding applications, the DBMS needs to support similarity queries, i.e., queries that search for objects similar to a query object according to a similarity measure. The need to support similarity queries in DBMS is also related to the integration of data mining techniques, which requires the DBMS acting as the provider for resources that allow the execution of basic operations for several existing data mining techniques. A basic operation for several of these techniques, such as clustering detection, is again the computation of similarity measures among pairs of objects of a data set. Although there is a need to execute these kind of queries in DBMS, the SQL standard does not allow the specification of similarity queries. Hence, this thesis aims at contributing to support such queries, integrating to the SQL the resources capable to execute similarity query operations over large sets of complex data

Os Sistemas de Gerenciamento de Bases de Dados devem atualmente ser capazes de gerenciar dados complexos, como dados multimídia, sequências genéticas, séries temporais, além dos dados tradicionais. Em consultas em grandes coleções de dados complexos, a similaridade entre os dados é o fator mais importante, e pode ser adequadamente expressada quando esses dados são representados em espaços métricos. Independentemente do domínio de um tipo de dados, existem aplicações que devem acompanhar a evolução temporal dos elementos de dados. Porém, os Métodos de Acesso Métrico existentes consideram que os dados são imutáveis com o decorrer do tempo. Visando o tratamento do tempo e dinamicidade em dados representados em espaços métricos, o trabalho apresentado nesta tese foi desenvolvido em duas frentes principais de atividades. A primeira frente tratou da inclusão das operações de remoção e atualização em métodos de acesso métrico, e visa atender às necessidades de domínios de aplicação em que dados em espaços métricos sofram atualização frequente, independentemente de necessitarem de tratamento temporal. Desta frente de atividades também resultou um novo método de otimização de àrvores métricas, baseado no algoritmo de remoção desenvolvido. A segunda frente de atividades aborda a inclusão do conceito de evolução temporal em dados representados em espaços métricos. Para isso foi proposto o Espaço Métrico-temporal, um modelo de representação de dados que permite a comparação de elementos métricos associado a informações temporais. O modelo conta com um método para identificar as contribuições relativas das componentes métrica e temporal no cálculo da similaridade. Também foram apresentadas estratégias para análise de trajetórias de dados métricos com o decorrer do tempo, através da imersão de espaços métrico-temporais em espaços dimensionais. Por fim, foi apresentado um novo método de balanceamento de múltiplos descritores para representação de imagens, fruto de modificações no método proposto para identificar as contribuições das componentes que podem formar um espaço métrico-temporal / Nowadays, the Database Management Systems (DBMS) must be able to manage complex data, such as multimedia data, genetic sequences, temporal series, besides the traditional data. For queries on large collections of complex data, the similarity among elements is the most relevant concept, and it can be adequately expressed when data are represented in metric spaces. Regardless of the data domain, there are applications that must tracking the evolution of data over time However, the existing Metric Access Methods assume that the data elements are immutable. Aiming at both treating time and allowing changes in metric data, the work presented in this thesis consisted of two main parts. The first part addresses the inclusion of the operations for element remotion and updating in metric access methods. These operations are meant to application domains that work with metric data that changes over time, regardless of the needed to manage temporal information. A new method for metric trees optimization was also developed in this part of the work. It was based on the proposed remotion algorithm. The second part of the thesis addresses including the temporal evolution concept in data represented in metric spaces. The Metric-Temporal Space was proposed, a representation model to allow comparing elements consisting of metric data with temporal information associated. The model includes a method to identify the relative contributions of the temporal and the metric components in the final similarity calculation. Strategies for trajectory analysis of metric data over time was also presented, through the immersion of metric-temporal spaced in dimensional spaces. Finally, a new method for weighting multiple image descriptors was presented. It was derived from changes in the proposed method to identify the contributions of the components of the metric-temporal space

The audio signals can provide rich semantic cues for analyzing multimedia content, so audio information has been recently used for content-based multimedia indexing and retrieval. Due to growing amount of audio data, demand for efficient retrieval techniques is increasing. In this thesis work, we propose a complete, scalable and extensible audio based content management and retrieval system for news broadcasts. The proposed system considers classification, segmentation, analysis and retrieval of an audio stream. In the sound classification and segmentation stage, a sound stream is segmented by classifying each sub segment into silence, pure speech, music, environmental sound, speech over music, and speech over environmental sound in multiple steps. Support Vector Machines and Hidden Markov Models are employed for classification and these models are trained by using different sets of MPEG-7 features. In the analysis and retrieval stage, two alternatives exist for users to query audio data. The first of these isolates user from main acoustic classes by providing semantic domain based fuzzy classes. The latter offers users to query audio by giving an audio sample in order to find out the similar segments or by requesting expressive summary of the content directly. Additionally, a series of tests was conducted on audio tracks of TRECVID news broadcasts to evaluate the performance of the proposed solution.

Os Sistemas de Gerenciamento de Bases de Dados devem atualmente ser capazes de gerenciar dados complexos, como dados multimídia, sequências genéticas, séries temporais, além dos dados tradicionais. Em consultas em grandes coleções de dados complexos, a similaridade entre os dados é o fator mais importante, e pode ser adequadamente expressada quando esses dados são representados em espaços métricos. Independentemente do domínio de um tipo de dados, existem aplicações que devem acompanhar a evolução temporal dos elementos de dados. Porém, os Métodos de Acesso Métrico existentes consideram que os dados são imutáveis com o decorrer do tempo. Visando o tratamento do tempo e dinamicidade em dados representados em espaços métricos, o trabalho apresentado nesta tese foi desenvolvido em duas frentes principais de atividades. A primeira frente tratou da inclusão das operações de remoção e atualização em métodos de acesso métrico, e visa atender às necessidades de domínios de aplicação em que dados em espaços métricos sofram atualização frequente, independentemente de necessitarem de tratamento temporal. Desta frente de atividades também resultou um novo método de otimização de àrvores métricas, baseado no algoritmo de remoção desenvolvido. A segunda frente de atividades aborda a inclusão do conceito de evolução temporal em dados representados em espaços métricos. Para isso foi proposto o Espaço Métrico-temporal, um modelo de representação de dados que permite a comparação de elementos métricos associado a informações temporais. O modelo conta com um método para identificar as contribuições relativas das componentes métrica e temporal no cálculo da similaridade. Também foram apresentadas estratégias para análise de trajetórias de dados métricos com o decorrer do tempo, através da imersão de espaços métrico-temporais em espaços dimensionais. Por fim, foi apresentado um novo método de balanceamento de múltiplos descritores para representação de imagens, fruto de modificações no método proposto para identificar as contribuições das componentes que podem formar um espaço métrico-temporal / Nowadays, the Database Management Systems (DBMS) must be able to manage complex data, such as multimedia data, genetic sequences, temporal series, besides the traditional data. For queries on large collections of complex data, the similarity among elements is the most relevant concept, and it can be adequately expressed when data are represented in metric spaces. Regardless of the data domain, there are applications that must tracking the evolution of data over time However, the existing Metric Access Methods assume that the data elements are immutable. Aiming at both treating time and allowing changes in metric data, the work presented in this thesis consisted of two main parts. The first part addresses the inclusion of the operations for element remotion and updating in metric access methods. These operations are meant to application domains that work with metric data that changes over time, regardless of the needed to manage temporal information. A new method for metric trees optimization was also developed in this part of the work. It was based on the proposed remotion algorithm. The second part of the thesis addresses including the temporal evolution concept in data represented in metric spaces. The Metric-Temporal Space was proposed, a representation model to allow comparing elements consisting of metric data with temporal information associated. The model includes a method to identify the relative contributions of the temporal and the metric components in the final similarity calculation. Strategies for trajectory analysis of metric data over time was also presented, through the immersion of metric-temporal spaced in dimensional spaces. Finally, a new method for weighting multiple image descriptors was presented. It was derived from changes in the proposed method to identify the contributions of the components of the metric-temporal space

Sistemas PACS (Picture Archieving and Communication Systems) têm sido desenvolvidos para armazenar de maneira integrada tanto os dados textuais e temporais dos pacientes quanto as imagens dos exames médicos a que eles se submetem para ampliar o uso das imagens no auxílio ao diagnóstico. Outra ferramenta valiosa para o auxílio ao diagnóstico médico são os sistemas CAD (Computer-Aided Diagnosis), para os quais pesquisas recentes mostram que o seu uso melhora significativamente a performance dos radiologistas em detectar corretamente anomalias. Dentro deste contexto, muitos trabalhos têm buscado métodos que possam reduzir o problema do \"gap semântico\", que refere-se ao que é perdido pela descrição sucinta da imagem e o que o usuário espera recuperar/reconhecer utilizando tal descrição. A grande maioria dos sistemas CBIR (do inglês Content-based image retrieval ) utiliza características primárias (baixo nível) para descrever elementos relevantes da imagem e proporcionar recuperação baseada em conteúdo. É necessário \"fundir\" múltiplos vetores com uma caracterí?stica em um vetor composto de características que possui baixa dimensionalidade e que ainda preserve, dentro do possível, as informações necessárias para a recuperação de imagens. O objetivo deste trabalho é propor novos extratores de características, baseados nos subespaços de imagens médicas gerados por transformadas wavelets. Estas características são armazenadas em vetores de características, os quais representam numericamente as imagens e permitindo assim sua busca por semelhança utilizando o conteúdo das próprias imagens. Esses vetores serão usados em um sistema de mineração de imagens em desenvolvimento no GBdI-ICMC-USP, o StARMiner, permitindo encontrar padrões pertencentes às imagens que as levem a ser classificadas em categorias / Picture Archiving and Communication Systems (PACS) aim at storing all the patients data, including their images, time series and textual description, allowing fast and effective transfer of information among devices and workstations. Therefore, PACS can be a powerful tool on improving the decision making during a diagnosing process. The CAD (Computer-Aided Diagnosis) systems have been recently employed to improve the diagnosis confidence, and recent research shows that they can effectively raise the radiologists performance on detecting anomalies on images. Content-based image retrieval (CBIR) techniques are essential to support CAD systems, and can significantly improve the PACS applicability. CBIR works on raw level features extracted from the images to describe the most meaningful characteristics of the images following a specific criterium. Usually, it is necessary to put together several features to compose a feature vector to describe an image more precisely. Therefore, the dimensionality of the feature vector is frequently large and many features can be correlated to each other. The objective of this Master Dissertation is to build new image features, based on wavelet-generated subspaces. The features form the feature vector, which succinctly represent the images and are used to process similarity queries. The feature vectors are analyzed by the StARMiner system, under development in the GbdI-ICMC-USP, in order to find the most meaningful features to represent the images as well as to find patterns in the images that allow them to be classified into categories. The project developed was evaluated with three different image sets and the results are promising

The popularization of social media, combined with the widespread use of smartphones and the use of advanced equipment in hospitals and medical centers has generated single and sequences of complex data, including images of high quality and in large quantity. Providing appropriate tools to extract meaningful knowledge from such data is a big challenge, and taking advantage of existing approaches to find patterns from images can be meaningful. While many potential techniques have been proposed to analyze images, most of the processing performed by image mining techniques consider the entire image. Thus, regions that are not of interest are considered in the analysis step, without proper distinction and consequently damaging most tasks. This doctorate PhD research has the following thesis: The analysis of image regions, combined to additional information, leads to more accurate mining results regarding the entire image, and also helps the processing of sequences of images, speeding-up costly pipelines and making it possible to infer knowledge from objects movement. We evaluate this thesis in three application scenarios. In the first scenario, we analyzed regions of images from emergency situations, gathered from social media and which depict smoke regions. We were able to segment smoke regions and improve the classification of smoke images by up to 23%, compared to global approaches. In the second scenario, we worked with images from the medical context, containing Interstitial Lung Diseases (ILD). We classified the images considering the uncertainty of each lung region to contain different abnormalities, representing the obtained results with a heat map visualization. Our approach was able to outperform its competitors in the classification of lung regions by up to four of five classes of abnormalities. In the third scenario, we dealt with sequences of microscopic images depicting embryos being developed over time. Using region-based information of images, we were able to track and predict cells over time and build their motion vector. Our approaches showed an improvement of up to 57% in quality, and a speed-up of the tracking pipeline by up to 81:9%. Therefore, this PhD research contributed to the state-of-the-art by introducing methods of region-based image analysis for the three aforementioned application scenarios. / A popularização de redes sociais e o uso generalizado de smartphones e equipamentos avançados em hospitais têm gerado dados complexos e sequências de dados, tais como imagens de alta qualidade, em grande quantidade. Fornecer ferramentas apropriadas para extrair conhecimento útil de tais dados é um grande desafio, e tirar vantagem de abordagens existentes para encontrar padrões em imagens pode ser significativo. Enquanto diversas técnicas em potencial têm sido propostas para analisar imagens, grande parte dessas técnicas consideram a imagem inteira na análise. Assim, regiões que não são de interesse são consideradas na etapa de análise, sem distinção apropriada e consequentemente prejudicando diversas tarefas. Esta pesquisa de Doutorado baseou-se na seguinte tese: A análise de regiões de imagens, combinada com informações adicionais, leva a resultados de mineração mais precisos em relação à imagem inteira, ajudando também no processamento de sequências de imagens, acelerando pipelines custosos e tornando possível inferir conhecimento do movimento de objetos. Essa tese foi avaliada em três cenários de aplicação. No primeiro cenário, foram analisadas regiões de imagens de situações de emergência, obtidas por meio de redes sociais e que apresentavam regiões de fumaça. Os métodos propostos são capazes de segmentar regiões de fumaça e melhorar a classificação global de imagens em até 23% em comparação ao estado da arte. No segundo cenário, foram abordadas imagens do contexto médico, contendo doenças pulmonares intersticiais. As imagens foram classificadas considerando a incerteza de cada região do pulmão em conter diferentes anormalidades, representando os resultados obtidos por meio de uma visualização baseada em mapas de calor. A abordagem proposta foi melhor que os competidores na tarefa de classificação de regiões pulmonares, apresentando melhores resultados em até quatro de cinco anormalidades. No terceiro cenário, foram tratadas de sequências de imagens microscópicas, exibindo embriões se desenvolvendo ao longo do tempo. Com o uso de informações das imagens baseadas em regiões, foi possível rastrear e predizer trajetórias de células ao longo do tempo, e também construir o vetor de movimento das mesmas. As abordagens propostas mostraram uma melhora de até 57% em qualidade, e uma melhora de tempo no pipeline de rastreamento de até 81:9%. Esta tese de Doutorado contribuiu para o estado da arte introduzindo métodos de análise de imagem baseados em região para os três cenários de aplicação mencionados anteriormente.

[pt] Este trabalho apresenta uma proposta de solução do problema de deteção de tomada de câmera de vídeos MPEG-1 e MPEG-2. A abordagem proposta está baseada na aplicação de diversas heurísticas para eliminação de quadros semelhantes, de forma a extrair um conjunto de quadros que representam os cortes entre tomadas de câmera vizinhas. Essas heurí­sticas analisam informações no domínio compactado, obtidas diretamente do fluxo de dados codificado dos ví­deos, como forma de eliminar o processo de descompressão MPEG e diminuir o volume de dados manipulados durante a análise. A observação dos valores assumidos pelas diversas métricas utilizadas demonstrou a existência de padrões falsos de corte relacionados à história do processo de codificação do ví­deo. Por esta razões, as análises das informações codificadas para detecção das tomadas de câmera procuram identificar padrões estabelecidos pelo processo de codificação, considerados assinaturas dos codificadores. Para distinção entre quadros com características de corte, de quadros com características influenciadas pelo codificador, são propostas filtragens para suavizar a influência dessas assinaturas nos valores obtidos pelas métricas de caracterização de similaridade. / [en] This works presents a proposal for finding shot cuts in MPEG-1 and MPEG-2 videos. The proposed approach is based on heuristics for eliminating similar frames and thus extracting a set of frames positioned at cuts points. These heuristics analyze the compressed data, retrieved from MPEG video streams, without any decompression, thus saving time and space during the shot finding process. The existence of false cut patterns is noticed by studying the data returned by the chosen metrics. In face of such false positives (related to choices made during the history of the video encoding process), the analysis of the compressed data tries to identify patterns in the encoded stream, considered as compressor signatures. To distinguish between cut frames and frames characterized by the encoding process, some filters are proposed in order to alleviate the compressor influence on the similarity metrics results.