Content Based Image Retrieval (CBIR) systems represent images in the database by color, texture, and shape information. In this thesis, we concentrate on tex- ture features and introduce a new generic texture descriptor, namely, Statistical Analysis of Structural Information (SASI). Moreover, in order to increase the re- trieval rates of a CBIR system, we propose a new method that can also adapt an image retrieval system into a con&macr / gurable one without changing the underlying feature extraction mechanism and the similarity function. SASI is based on statistics of clique autocorrelation coe&plusmn / cients, calculated over structuring windows. SASI de&macr / nes a set of clique windows to extract and measure various structural properties of texture by using a spatial multi- resolution method. Experimental results, performed on various image databases, indicate that SASI is more successful then the Gabor Filter descriptors in cap- turing small granularities and discontinuities such as sharp corners and abrupt changes. Due to the &deg / exibility in designing the clique windows, SASI reaches higher average retrieval rates compared to Gabor Filter descriptors. However, the price of this performance is increased computational complexity. Since, retrieving of similar images of a given query image is a subjective task, it is desirable that retrieval mechanism should be con&macr / gurable by the user. In the proposed method, basically, original feature space of a content-based retrieval system is nonlinearly transformed into a new space, where the distance between the feature vectors is adjusted by learning. The transformation is realized by Arti&macr / cial Neural Network architecture. A cost function is de&macr / ned for learning and optimized by simulated annealing method. Experiments are done on the texture image retrieval system, which use SASI and Gabor Filter features. The results indicate that con&macr / gured image retrieval system is signi&macr / cantly better than the original system.

Abstract Modern technology has made it possible to produce, process, transmit and store digital images efficiently. Consequently, the amount of visual information is increasing at an accelerating rate in many diverse application areas. To fully exploit this new content-based image retrieval techniques are required. Document image retrieval systems can be utilized in many organizations which are using document image databases extensively. This thesis presents document image retrieval techniques and new approaches to improve database content. The goal of the thesis is to develop a functional retrieval system and to demonstrate that better retrieval results can be achieved with the proposed database generation methods. Retrieval system architecture, a document data model, and tools for querying document image databases are introduced. The retrieval framework presented allows users to interactively define, construct and combine queries using document or image properties: physical (structural), semantic, textual and visual image content. A technique for combining primitive features like color, shape and texture into composite features is presented. A novel search base reduction technique which uses structural and content properties of documents is proposed for speeding up the query process. A new model for database generation within the image retrieval system is presented. An approach for automated document image defect detection and management is presented to build high quality and retrievable database objects. In image database population, image feature profiles and their attributes are manipulated automatically to better match with query requirements determined by the available query methods, the application environment and the user. Experiments were performed with multiple image databases containing over one thousand images. They comprised a range of document and scene images from different categories, properties and condition. The results show that better recall and accuracy for retrieval is achieved with the proposed optimization techniques. The search base reduction technique results in a considerable speed-up in overall query processing. The constructed document image retrieval system performs well in different retrieval scenarios and provides a consistent basis for algorithm development. The proposed modular system structure and interfaces facilitate its usage in a wide variety of document image retrieval applications.

Os Sistemas de Gerenciamento de Bases de Dados (SGBD) foram desenvolvidos para armazenar e recuperar de maneira eficiente dados formados apenas por números ou cadeias de caracteres. Entretanto, nas últimas décadas houve um aumento expressivo, não só da quantidade, mas da complexidade dos dados manipulados em bases de dados, dentre eles os de natureza multimídia (como imagens, áudio e vídeo), informações geo-referenciadas, séries temporais, entre outros. Assim, surgiu a necessidade do desenvolvimento de novas técnicas que permitam a manipulação eficiente de tipos de dados complexos. Para atender às buscas necessárias às aplicações de base de dados modernas é preciso que os SGBD ofereçam suporte para buscas por similaridade ? consultas que realizam busca por objetos da base similares a um objeto de consulta, de acordo com uma certa medida de similaridade. Outro fator importante que veio contribuir para a necessidade de suportar a realização de consultas por similaridade em SGBD está relacionado à integração de técnicas de mineração de dados. É fundamental para essa integração o fornecimento de recursos pelos SGBD que permitam a realização de operações básicas para as diversas técnicas de mineração de dados existentes. Uma operação básica para várias dessas técnicas, tais como a técnica de detecção de agrupamentos de dados, é justamente o cálculo de medidas de similaridade entre pares de objetos de um conjunto de dados. Embora haja necessidade de fornecer suporte para a realização desse tipo de consultas em SGBD, o atual padrão da linguagem SQL não prevê a realização de consultas por similaridade. Esta tese pretende contribuir para o fornecimento desse suporte, incorporando ao SQL recursos capazes de permitir a realização de operações de consulta por similaridade sobre grandes bases de dados complexos de maneira totalmente integrada com os demais recursos da linguagem / Database Management Systems (DBMS) were developed to store and efficiently retrieve only data composed by numbers and small strings. However, over the last decades, there was an expressive increase in the volume and complexity of the data being managed, such as multimedia data (images, audio tracks and video), geo-referenced information and time series. Thus, the need to develop new techniques that allow the efficient handling of complex data types also increased. In order to support these data and the corresponding applications, the DBMS needs to support similarity queries, i.e., queries that search for objects similar to a query object according to a similarity measure. The need to support similarity queries in DBMS is also related to the integration of data mining techniques, which requires the DBMS acting as the provider for resources that allow the execution of basic operations for several existing data mining techniques. A basic operation for several of these techniques, such as clustering detection, is again the computation of similarity measures among pairs of objects of a data set. Although there is a need to execute these kind of queries in DBMS, the SQL standard does not allow the specification of similarity queries. Hence, this thesis aims at contributing to support such queries, integrating to the SQL the resources capable to execute similarity query operations over large sets of complex data

There is an accelerating demand to access and work over the visual content of documents. Because of the insufficiency of text-based techniques for storing this data, content-based image retrieval (CBIR) systems have become a promising field. Due this fact, in this study a CBIR system is implemented that is Mpeg-7 compliant and ORDBMS based. The database contains images and their content summaries that are parsed from XML files. The summaries describe their dominant colors, color histograms, color spaces and labels, in order to be compliant with Mpeg-7. The query process requires only the summary not the image itself. Software implementation of the system is based on JSP and servlet technologies using Oracle database and Tomcat web server. It is shown that the usage of these tools in the proposed architecture brings security, portability, and speed.

Os Sistemas de Gerenciamento de Bases de Dados (SGBD) foram desenvolvidos para armazenar e recuperar de maneira eficiente dados formados apenas por números ou cadeias de caracteres. Entretanto, nas últimas décadas houve um aumento expressivo, não só da quantidade, mas da complexidade dos dados manipulados em bases de dados, dentre eles os de natureza multimídia (como imagens, áudio e vídeo), informações geo-referenciadas, séries temporais, entre outros. Assim, surgiu a necessidade do desenvolvimento de novas técnicas que permitam a manipulação eficiente de tipos de dados complexos. Para atender às buscas necessárias às aplicações de base de dados modernas é preciso que os SGBD ofereçam suporte para buscas por similaridade ? consultas que realizam busca por objetos da base similares a um objeto de consulta, de acordo com uma certa medida de similaridade. Outro fator importante que veio contribuir para a necessidade de suportar a realização de consultas por similaridade em SGBD está relacionado à integração de técnicas de mineração de dados. É fundamental para essa integração o fornecimento de recursos pelos SGBD que permitam a realização de operações básicas para as diversas técnicas de mineração de dados existentes. Uma operação básica para várias dessas técnicas, tais como a técnica de detecção de agrupamentos de dados, é justamente o cálculo de medidas de similaridade entre pares de objetos de um conjunto de dados. Embora haja necessidade de fornecer suporte para a realização desse tipo de consultas em SGBD, o atual padrão da linguagem SQL não prevê a realização de consultas por similaridade. Esta tese pretende contribuir para o fornecimento desse suporte, incorporando ao SQL recursos capazes de permitir a realização de operações de consulta por similaridade sobre grandes bases de dados complexos de maneira totalmente integrada com os demais recursos da linguagem / Database Management Systems (DBMS) were developed to store and efficiently retrieve only data composed by numbers and small strings. However, over the last decades, there was an expressive increase in the volume and complexity of the data being managed, such as multimedia data (images, audio tracks and video), geo-referenced information and time series. Thus, the need to develop new techniques that allow the efficient handling of complex data types also increased. In order to support these data and the corresponding applications, the DBMS needs to support similarity queries, i.e., queries that search for objects similar to a query object according to a similarity measure. The need to support similarity queries in DBMS is also related to the integration of data mining techniques, which requires the DBMS acting as the provider for resources that allow the execution of basic operations for several existing data mining techniques. A basic operation for several of these techniques, such as clustering detection, is again the computation of similarity measures among pairs of objects of a data set. Although there is a need to execute these kind of queries in DBMS, the SQL standard does not allow the specification of similarity queries. Hence, this thesis aims at contributing to support such queries, integrating to the SQL the resources capable to execute similarity query operations over large sets of complex data

Sistemas PACS (Picture Archieving and Communication Systems) têm sido desenvolvidos para armazenar de maneira integrada tanto os dados textuais e temporais dos pacientes quanto as imagens dos exames médicos a que eles se submetem para ampliar o uso das imagens no auxílio ao diagnóstico. Outra ferramenta valiosa para o auxílio ao diagnóstico médico são os sistemas CAD (Computer-Aided Diagnosis), para os quais pesquisas recentes mostram que o seu uso melhora significativamente a performance dos radiologistas em detectar corretamente anomalias. Dentro deste contexto, muitos trabalhos têm buscado métodos que possam reduzir o problema do \"gap semântico\", que refere-se ao que é perdido pela descrição sucinta da imagem e o que o usuário espera recuperar/reconhecer utilizando tal descrição. A grande maioria dos sistemas CBIR (do inglês Content-based image retrieval ) utiliza características primárias (baixo nível) para descrever elementos relevantes da imagem e proporcionar recuperação baseada em conteúdo. É necessário \"fundir\" múltiplos vetores com uma caracterí?stica em um vetor composto de características que possui baixa dimensionalidade e que ainda preserve, dentro do possível, as informações necessárias para a recuperação de imagens. O objetivo deste trabalho é propor novos extratores de características, baseados nos subespaços de imagens médicas gerados por transformadas wavelets. Estas características são armazenadas em vetores de características, os quais representam numericamente as imagens e permitindo assim sua busca por semelhança utilizando o conteúdo das próprias imagens. Esses vetores serão usados em um sistema de mineração de imagens em desenvolvimento no GBdI-ICMC-USP, o StARMiner, permitindo encontrar padrões pertencentes às imagens que as levem a ser classificadas em categorias / Picture Archiving and Communication Systems (PACS) aim at storing all the patients data, including their images, time series and textual description, allowing fast and effective transfer of information among devices and workstations. Therefore, PACS can be a powerful tool on improving the decision making during a diagnosing process. The CAD (Computer-Aided Diagnosis) systems have been recently employed to improve the diagnosis confidence, and recent research shows that they can effectively raise the radiologists performance on detecting anomalies on images. Content-based image retrieval (CBIR) techniques are essential to support CAD systems, and can significantly improve the PACS applicability. CBIR works on raw level features extracted from the images to describe the most meaningful characteristics of the images following a specific criterium. Usually, it is necessary to put together several features to compose a feature vector to describe an image more precisely. Therefore, the dimensionality of the feature vector is frequently large and many features can be correlated to each other. The objective of this Master Dissertation is to build new image features, based on wavelet-generated subspaces. The features form the feature vector, which succinctly represent the images and are used to process similarity queries. The feature vectors are analyzed by the StARMiner system, under development in the GbdI-ICMC-USP, in order to find the most meaningful features to represent the images as well as to find patterns in the images that allow them to be classified into categories. The project developed was evaluated with three different image sets and the results are promising

Os Sistemas de Gerenciamento de Bases de Dados devem atualmente ser capazes de gerenciar dados complexos, como dados multimídia, sequências genéticas, séries temporais, além dos dados tradicionais. Em consultas em grandes coleções de dados complexos, a similaridade entre os dados é o fator mais importante, e pode ser adequadamente expressada quando esses dados são representados em espaços métricos. Independentemente do domínio de um tipo de dados, existem aplicações que devem acompanhar a evolução temporal dos elementos de dados. Porém, os Métodos de Acesso Métrico existentes consideram que os dados são imutáveis com o decorrer do tempo. Visando o tratamento do tempo e dinamicidade em dados representados em espaços métricos, o trabalho apresentado nesta tese foi desenvolvido em duas frentes principais de atividades. A primeira frente tratou da inclusão das operações de remoção e atualização em métodos de acesso métrico, e visa atender às necessidades de domínios de aplicação em que dados em espaços métricos sofram atualização frequente, independentemente de necessitarem de tratamento temporal. Desta frente de atividades também resultou um novo método de otimização de àrvores métricas, baseado no algoritmo de remoção desenvolvido. A segunda frente de atividades aborda a inclusão do conceito de evolução temporal em dados representados em espaços métricos. Para isso foi proposto o Espaço Métrico-temporal, um modelo de representação de dados que permite a comparação de elementos métricos associado a informações temporais. O modelo conta com um método para identificar as contribuições relativas das componentes métrica e temporal no cálculo da similaridade. Também foram apresentadas estratégias para análise de trajetórias de dados métricos com o decorrer do tempo, através da imersão de espaços métrico-temporais em espaços dimensionais. Por fim, foi apresentado um novo método de balanceamento de múltiplos descritores para representação de imagens, fruto de modificações no método proposto para identificar as contribuições das componentes que podem formar um espaço métrico-temporal / Nowadays, the Database Management Systems (DBMS) must be able to manage complex data, such as multimedia data, genetic sequences, temporal series, besides the traditional data. For queries on large collections of complex data, the similarity among elements is the most relevant concept, and it can be adequately expressed when data are represented in metric spaces. Regardless of the data domain, there are applications that must tracking the evolution of data over time However, the existing Metric Access Methods assume that the data elements are immutable. Aiming at both treating time and allowing changes in metric data, the work presented in this thesis consisted of two main parts. The first part addresses the inclusion of the operations for element remotion and updating in metric access methods. These operations are meant to application domains that work with metric data that changes over time, regardless of the needed to manage temporal information. A new method for metric trees optimization was also developed in this part of the work. It was based on the proposed remotion algorithm. The second part of the thesis addresses including the temporal evolution concept in data represented in metric spaces. The Metric-Temporal Space was proposed, a representation model to allow comparing elements consisting of metric data with temporal information associated. The model includes a method to identify the relative contributions of the temporal and the metric components in the final similarity calculation. Strategies for trajectory analysis of metric data over time was also presented, through the immersion of metric-temporal spaced in dimensional spaces. Finally, a new method for weighting multiple image descriptors was presented. It was derived from changes in the proposed method to identify the contributions of the components of the metric-temporal space

The audio signals can provide rich semantic cues for analyzing multimedia content, so audio information has been recently used for content-based multimedia indexing and retrieval. Due to growing amount of audio data, demand for efficient retrieval techniques is increasing. In this thesis work, we propose a complete, scalable and extensible audio based content management and retrieval system for news broadcasts. The proposed system considers classification, segmentation, analysis and retrieval of an audio stream. In the sound classification and segmentation stage, a sound stream is segmented by classifying each sub segment into silence, pure speech, music, environmental sound, speech over music, and speech over environmental sound in multiple steps. Support Vector Machines and Hidden Markov Models are employed for classification and these models are trained by using different sets of MPEG-7 features. In the analysis and retrieval stage, two alternatives exist for users to query audio data. The first of these isolates user from main acoustic classes by providing semantic domain based fuzzy classes. The latter offers users to query audio by giving an audio sample in order to find out the similar segments or by requesting expressive summary of the content directly. Additionally, a series of tests was conducted on audio tracks of TRECVID news broadcasts to evaluate the performance of the proposed solution.

Os Sistemas de Gerenciamento de Bases de Dados devem atualmente ser capazes de gerenciar dados complexos, como dados multimídia, sequências genéticas, séries temporais, além dos dados tradicionais. Em consultas em grandes coleções de dados complexos, a similaridade entre os dados é o fator mais importante, e pode ser adequadamente expressada quando esses dados são representados em espaços métricos. Independentemente do domínio de um tipo de dados, existem aplicações que devem acompanhar a evolução temporal dos elementos de dados. Porém, os Métodos de Acesso Métrico existentes consideram que os dados são imutáveis com o decorrer do tempo. Visando o tratamento do tempo e dinamicidade em dados representados em espaços métricos, o trabalho apresentado nesta tese foi desenvolvido em duas frentes principais de atividades. A primeira frente tratou da inclusão das operações de remoção e atualização em métodos de acesso métrico, e visa atender às necessidades de domínios de aplicação em que dados em espaços métricos sofram atualização frequente, independentemente de necessitarem de tratamento temporal. Desta frente de atividades também resultou um novo método de otimização de àrvores métricas, baseado no algoritmo de remoção desenvolvido. A segunda frente de atividades aborda a inclusão do conceito de evolução temporal em dados representados em espaços métricos. Para isso foi proposto o Espaço Métrico-temporal, um modelo de representação de dados que permite a comparação de elementos métricos associado a informações temporais. O modelo conta com um método para identificar as contribuições relativas das componentes métrica e temporal no cálculo da similaridade. Também foram apresentadas estratégias para análise de trajetórias de dados métricos com o decorrer do tempo, através da imersão de espaços métrico-temporais em espaços dimensionais. Por fim, foi apresentado um novo método de balanceamento de múltiplos descritores para representação de imagens, fruto de modificações no método proposto para identificar as contribuições das componentes que podem formar um espaço métrico-temporal / Nowadays, the Database Management Systems (DBMS) must be able to manage complex data, such as multimedia data, genetic sequences, temporal series, besides the traditional data. For queries on large collections of complex data, the similarity among elements is the most relevant concept, and it can be adequately expressed when data are represented in metric spaces. Regardless of the data domain, there are applications that must tracking the evolution of data over time However, the existing Metric Access Methods assume that the data elements are immutable. Aiming at both treating time and allowing changes in metric data, the work presented in this thesis consisted of two main parts. The first part addresses the inclusion of the operations for element remotion and updating in metric access methods. These operations are meant to application domains that work with metric data that changes over time, regardless of the needed to manage temporal information. A new method for metric trees optimization was also developed in this part of the work. It was based on the proposed remotion algorithm. The second part of the thesis addresses including the temporal evolution concept in data represented in metric spaces. The Metric-Temporal Space was proposed, a representation model to allow comparing elements consisting of metric data with temporal information associated. The model includes a method to identify the relative contributions of the temporal and the metric components in the final similarity calculation. Strategies for trajectory analysis of metric data over time was also presented, through the immersion of metric-temporal spaced in dimensional spaces. Finally, a new method for weighting multiple image descriptors was presented. It was derived from changes in the proposed method to identify the contributions of the components of the metric-temporal space

Sistemas PACS (Picture Archieving and Communication Systems) têm sido desenvolvidos para armazenar de maneira integrada tanto os dados textuais e temporais dos pacientes quanto as imagens dos exames médicos a que eles se submetem para ampliar o uso das imagens no auxílio ao diagnóstico. Outra ferramenta valiosa para o auxílio ao diagnóstico médico são os sistemas CAD (Computer-Aided Diagnosis), para os quais pesquisas recentes mostram que o seu uso melhora significativamente a performance dos radiologistas em detectar corretamente anomalias. Dentro deste contexto, muitos trabalhos têm buscado métodos que possam reduzir o problema do \"gap semântico\", que refere-se ao que é perdido pela descrição sucinta da imagem e o que o usuário espera recuperar/reconhecer utilizando tal descrição. A grande maioria dos sistemas CBIR (do inglês Content-based image retrieval ) utiliza características primárias (baixo nível) para descrever elementos relevantes da imagem e proporcionar recuperação baseada em conteúdo. É necessário \"fundir\" múltiplos vetores com uma caracterí?stica em um vetor composto de características que possui baixa dimensionalidade e que ainda preserve, dentro do possível, as informações necessárias para a recuperação de imagens. O objetivo deste trabalho é propor novos extratores de características, baseados nos subespaços de imagens médicas gerados por transformadas wavelets. Estas características são armazenadas em vetores de características, os quais representam numericamente as imagens e permitindo assim sua busca por semelhança utilizando o conteúdo das próprias imagens. Esses vetores serão usados em um sistema de mineração de imagens em desenvolvimento no GBdI-ICMC-USP, o StARMiner, permitindo encontrar padrões pertencentes às imagens que as levem a ser classificadas em categorias / Picture Archiving and Communication Systems (PACS) aim at storing all the patients data, including their images, time series and textual description, allowing fast and effective transfer of information among devices and workstations. Therefore, PACS can be a powerful tool on improving the decision making during a diagnosing process. The CAD (Computer-Aided Diagnosis) systems have been recently employed to improve the diagnosis confidence, and recent research shows that they can effectively raise the radiologists performance on detecting anomalies on images. Content-based image retrieval (CBIR) techniques are essential to support CAD systems, and can significantly improve the PACS applicability. CBIR works on raw level features extracted from the images to describe the most meaningful characteristics of the images following a specific criterium. Usually, it is necessary to put together several features to compose a feature vector to describe an image more precisely. Therefore, the dimensionality of the feature vector is frequently large and many features can be correlated to each other. The objective of this Master Dissertation is to build new image features, based on wavelet-generated subspaces. The features form the feature vector, which succinctly represent the images and are used to process similarity queries. The feature vectors are analyzed by the StARMiner system, under development in the GbdI-ICMC-USP, in order to find the most meaningful features to represent the images as well as to find patterns in the images that allow them to be classified into categories. The project developed was evaluated with three different image sets and the results are promising