A fim de auxiliar usuários durante o consumo de produtos, sistemas Web passaram a incorporar módulos de recomendação de itens. As abordagens mais populares são a baseada em conteúdo, que recomenda itens a partir de características que são do seu interesse, e a filtragem colaborativa, que recomenda itens bem avaliados por usuários com perfis semelhantes ao do usuário alvo, ou que são semelhantes aos que foram bem avaliados pelo usuário alvo. Enquanto que a primeira abordagem apresenta limitações como a sobre-especialização e a análise limitada de conteúdo, a segunda enfrenta problemas como o novo usuário e/ou novo item, também conhecido como partida fria. Apesar da variedade de técnicas disponíveis, um problema comum existente na maioria das abordagens é a falta de informações semânticas para representar os itens do acervo. Trabalhos recentes na área de Sistemas de Recomendação têm estudado a possibilidade de usar bases de conhecimento da Web como fonte de informações semânticas. Contudo, ainda é necessário investigar como usufruir de tais informações e integrá-las de modo eficiente em sistemas de recomendação. Dessa maneira, este trabalho tem o objetivo de investigar como informações semânticas provenientes de bases de conhecimento podem beneficiar sistemas de recomendação por meio da descrição semântica de itens, e como o cálculo da similaridade semântica pode amenizar o desafio enfrentado no cenário de partida fria. Como resultado, obtém-se uma técnica que pode gerar recomendações adequadas ao perfil dos usuários, incluindo itens novos do acervo que sejam relevantes. Pode-se observar uma melhora de até 10% no RMSE, no cenário de partida fria, quando se compara o sistema proposto com o sistema cuja predição de notas é baseada na correlação de notas. / In order to support users during the consumption of products,Web systems have incorporated recommendation techniques. The most popular approaches are content-based, which recommends items based on interesting features to the user, and collaborative filtering, which recommends items that were well evaluated by users with similar preferences to the target user, or that have similar features to items which were positively evaluated. While the first approach has limitations such as overspecialization and limited content analysis, the second technique has problems such as the new user and the new item, limitation also known as cold start. In spite of the variety of techniques available, a common problem is the lack of semantic information to represent items features. Recent works in the field of recommender systems have been studying the possibility to use knowledge databases from the Web as a source of semantic information. However, it is still necessary to investigate how to use and integrate such semantic information in recommender systems. In this way, this work has the proposal to investigate how semantic information gathered from knowledge databases can help recommender systems by semantically describing items, and how semantic similarity can overcome the challenge confronted in the cold-start scenario. As a result, we obtained a technique that can produce recommendations suited to users profiles, including relevant new items available in the database. It can be observed an improvement of up to 10% in the RMSE in the cold start scenario when comparing the proposed system with the system whose rating prediction is based on the correlation of rates.

A possibilidade de armazenamento de imagens no formato digital favoreceu a evolução de diversos ramos de atividades, especialmente as áreas de pesquisa e clínica médica. Ao mesmo tempo, o volume crescente de imagens armazenadas deu origem a um problema de relevância e complexidade consideráveis: a Recuperação de Imagens Baseada em Conteúdo, que, em outras palavras, diz respeito à capacidade de um sistema de armazenamento processar operações de consulta de imagens a partir de características visuais, extraídas automaticamente por meio de métodos computacionais. Das principais questões que constituem este problema, amplamente conhecido pelo termo CBIR - Content-Based Image Retrieval, fazem parte as seguintes: Como interpretar ou representar matematicamente o conteúdo de uma imagem? Quais medidas que podem caracterizar adequadamente este conteúdo? Como recuperar imagens de um grande repositório utilizando o conteúdo extraído? Como estabelecer um critério matemático de similaridade entre estas imagens? O trabalho desenvolvido e apresentado nesta tese busca, exatamente, responder perguntas deste tipo, especialmente para os domínios de imagens médicas e da biologia genética, onde a demanda por sistemas computacionais que incorporam técnicas CBIR é consideravelmente alta por diversos motivos. Motivos que vão desde a necessidade de se buscar informação visual que estava até então inacessível pela falta de anotações textuais, até o interesse em poder contar com auxílio computacional confiável para a importante tarefa de diagnóstico clínico. Neste trabalho são propostos métodos e soluções inovadoras para o problema de segmentação e extração de características de imagens médicas e imagens de padrões espaciais de expressão genética. A segmentação é o processo de delimitação automático de regiões de interesse da imagem que possibilita uma caracterização bem mais coerente do conteúdo visual, comparado com as tradicionais técnicas de caracterização global e direta da imagem. Partindo desta idéia, as técnicas de extração de características desenvolvidas neste trabalho empregam métodos adaptativos de segmentação de imagens e alcançam resultados excelentes na tarefa de recuperação baseada em conteúdo / Storing images in digital format has supported the evolution of several branches of activities, specially the research area and medical clinic. At the same time, the increasing volume of stored images has originated a topic of considerable relevance and complexity: the Content- Based Imagem Retrieval, which, in other works, is related to the ability of a computational system in processing image queries based on visual features automatically extracted by computational methods. Among the main questions that constitute this issue, widely known as CBIR, are these: How to mathematically express image content? What measures can suitably characterize this content? How to retrieve images from a large dataset employing the extracted content? How to establish a mathematical criterion of similarity among the imagens? The work developed and presented in this thesis aims at answering questions like those, especially for the medical images domain and genetical biology, where the demand for computational systems that embody CBIR techniques is considerably high for several reasons. Reasons that range from the need for retrieving visual information that was until then inaccessible due to the lack of textual annotations, until the interest in having liable computational support for the important task of clinical diagnosis. In this work are proposed innovative methods and solutions for the problem of image segmentation and feature extraction of medical images and images of gene expression patterns. Segmentation is the process that enables a more coherent representation of image?s visual content than that provided by traditional methods of global and direct representation. Grounded in such idea, the feature extraction techniques developed in this work employ adaptive image segmentation methods, and achieve excellent results on the task of Content-Based Image Retrieval

Dans cette thèse, nous nous sommes intéressés au problème de la classification à « grain fin » qui est une tâche de classification particulière où les classes peuvent être visuellement distinguables seulement à partir de détails subtils et où le contexte agit souvent comme une source de bruit. Ce travail est principalement motivé par le besoin de concevoir des représentations d'images plus « fines » pour adresser de telles tâches de classification qui nécessitent un encodage d’informations discriminantes très fines et localisées. L'originalité principale de notre approche est d’intégrer dans une représentation globale de haute dimension une mesure de consistance géométrique locale entre l’image à représenter et les images d’une base de référence (que nous considérons comme un vocabulaire visuel possiblement constitué d’un grand nombre d’images). Ceci nous permet d’encoder dans une représentation vectorielle des motifs très localisés et géométriquement consistant avec l’image (contrairement aux méthodes de codage traditionnelles comme les Bag-of-Visual-Word, les vecteurs de Fisher ou les vecteurs VLAD). Plus en détails : Nous proposons dans un premier temps une approche de classification d'instances d'entités visuelles basée sur un classificateur par plus proches voisins qui agrège les similarités entre l'image requête et celles de la base d'apprentissage. Les similarités sont calculées avec prise en compte de la consistance géométrique locale entre les descripteurs locaux de la requête et ceux des images de la base d'apprentissage. Cette base pouvant être constituée de nombreux descripteurs locaux, nous proposons de passer notre méthode à l’échelle en utilisant des méthodes de recherche approximatives de plus proches voisins. Par la suite, nous avons mis au point un nouveau noyau de similarité entre des images basé sur les descripteurs locaux qu'elles partagent dans une base de référence. Nous avons nommé ce noyau Shared Nearest Neighbors Kernel (SNN Kernel), qui peut être utilisé comme n'importe quel autre noyau dans les machines à noyau. Nous avons dérivé, à partir de ce dernier, une représentation explicite globale des images à décrire. Cette représentation encode la similarité de l'image considérée avec les différentes régions visuelles des images de la base correspondant au vocabulaire visuel. Nous avons également rendu possible l'intégration de l'information de consistance géométrique dans nos représentations à l'aide de l'algorithme RANSAC amélioré que nous avons proposé dans notre contribution précédente. La classification des images se fait ensuite par un modèle linéaire appris sur ces représentations. Finalement, nous proposons, comme troisième contribution, une stratégie permettant de considérablement réduire, jusqu'à deux ordres de grandeur, la dimension de la représentation d'image sur-complète précédemment présentée tout en conservant une performance de classification compétitive aux méthodes de l’état de l’art. Nous avons validé nos approches en conduisant une série d’expérimentations sur plusieurs tâches de classification impliquant des objets rigides comme FlickrsLogos32 ou Vehicles29, mais aussi sur des tâches impliquant des concepts visuels plus finement discriminables comme la base FGVC-Aircrafts, Oxford-Flower102 ou CUB-Birds200. Nous avons aussi démontré des résultats significatifs sur des tâches de classification audio à grain fin comme la tâche d'identification d'espèce d'oiseau de LifeCLEF2015 en proposant une extension temporelle de notre représentation d'image. Finalement, nous avons montré que notre technique de réduction de dimension permet d’obtenir un vocabulaire visuel très interprétable composé des régions d'image les plus représentatives pour les concepts visuels représentés dans la base d’apprentissage. / This thesis focuses on the issue of fine-grained classification which is a particular classification task where classes may be visually distinguishable only from subtle localized details and where background often acts as a source of noise. This work is mainly motivated by the need to devise finer image representations to address such fine-grained classification tasks by encoding enough localized discriminant information such as spatial arrangement of local features.To this aim, the main research line we investigate in this work relies on spatially localized similarities between images computed thanks to efficient approximate nearest neighbor search techniques and localized parametric geometry. The main originality of our approach is to embed such spatially consistent localized similarities into a high-dimensional global image representation that preserves the spatial arrangement of the fine-grained visual patterns (contrary to traditional encoding methods such as BoW, Fisher or VLAD Vectors). In a nutshell, this is done by considering all raw patches of the training set as a large visual vocabulary and by explicitly encoding their similarity to the query image. In more details:The first contribution proposed in this work is a classification scheme based on a spatially consistent k-nn classifier that relies on pooling similarity scores between local features of the query and those of the similar retrieved images in the vocabulary set. As this set can be composed of a lot of local descriptors, we propose to scale up our approach by using approximate k-nearest neighbors search methods. Then, the main contribution of this work is a new aggregation-based explicit embedding derived from a newly introduced match kernel based on shared nearest neighbors of localized feature vectors combined with local geometric constraints. The originality of this new similarity-based representation space is that it directly integrates spatially localized geometric information in the aggregation process.Finally, as a third contribution, we proposed a strategy to drastically reduce, by up to two orders of magnitude, the high-dimensionality of the previously introduced over-complete image representation while still providing competitive image classification performance.We validated our approaches by conducting a series of experiments on several classification tasks involving rigid objects such as FlickrsLogos32 or Vehicles29 but also on tasks involving finer visual knowledge such as FGVC-Aircrafts, Oxford-Flower102 or CUB-Birds200. We also demonstrated significant results on fine-grained audio classification tasks such as the LifeCLEF 2015 bird species identification challenge by proposing a temporal extension of our image representation. Finally, we notably showed that our dimensionality reduction technique used on top of our representation resulted in highly interpretable visual vocabulary composed of the most representative image regions for different visual concepts of the training base.

A possibilidade de recuperar e comparar imagens usando as suas características visuais intrínsecas é um recurso valioso para responder a consultas por similaridade em imagens médicas. Desse modo, a agregação desses recursos aos Sistemas de Arquivamento e Comunicação de Imagens (Picture Archiving and Communication Systems - PACS) vêm potencializar a utilidade e importância destes no contexto de atividades tais como ensino e treinamento de novos radiologistas, estudos de casos e auxílio ao diagnóstico de forma geral, uma vez que as consultas por similaridade permitem que casos parecidos possam ser facilmente recuperados. O trabalho apresentado nesta tese possui duas vertentes. Primeiro, ele apresenta novos métodos de extração e de características, com o objetivo de obter a essência das imagens, considerando um critério específico. Os atributos obtidos pelos algoritmos de extração são armazenados em vetores de características para posteriormente serem utilizados para indexar e recuperar as imagens baseando-se em seu conteúdo, para responder a consultas por similaridade. Há uma relação próxima entre os vetores de características e as funções de distância utilizadas para compará-los. Assim, a segunda parte deste trabalho trata da proposta, análise e comparação de novas famílias de funções de distância. As funções de distância propostas têm por objetivo tratar o problema do gap semântico, o qual representa o principal obstáculo das funções de distância tradicionais, derivadas da família Lp, quando processam consultas por similaridade. As principais contribuições desta tese incluem o desenvolvimento de novos métodos de extração e comparação de características de imagens, que operam sobre os três principais descritores de baixo nível de imagens: distribuição de cor, textura e forma. Os experimentos realizados mostraram que os ganhos em precisão são maiores para os métodos propostos, quando comparados com algoritmos tradicionais. No que diz respeito às famílias de funções de distância propostas (WAID e SAID), pelos resultados iniciais obtidos, podemos afirmar que eles são bastante promissores no sentido de se aproximarem da expectativa do usuário, no momento de comparar imagens. Os resultados obtidos com esse trabalho podem ser futuramente integrados aos PACS. Particularmente, pretendemos acrescentar novos algoritmos e métodos ao cbPACS, que consiste em um sistema PACS em construção, desenvolvido em uma colaboração entre o Grupo de Bases de Dados e Imagens (GBDI) do Instituto de Ciências Matemáticas e de Computação - USP e o Centro de Ciências da Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto - USP / The ability of retrieving and comparing images using their inherent pictorial information is a valuable asset to answer similarity queries over medical images. Thus, having such resources added in Picture Archiving and Communication Systems (PACS) increase their applicability and importance in the context of teaching and training new radiologists on diagnosing, since that similar cases can be easily retrieved. Similarity queries also play an important role on gathering close images, what allows to perform case studies, as well as to aid on diagnosing. The work presented in this thesis is twofold. First, it presents new feature extraction techniques, which aim at obtaining the essence of the images regarding a given criteria. The features obtained by the algorithms are stored in feature vectors and employed to index and retrieve the images by content, in order to answer similarity queries. There is a close relationship among feature vectors and the distance function employed to compare them. Thus, the second, part of this work concerns the comparison, analysis and proposal of new families of distance functions to compare the features extracted from the images. The distance functions proposed intend to deal with the semantic gap problem, which is the main drawback of the traditional distance functions derived from the Lp metrics when processing similarity queries. The main contributions of this thesis include the development of new image feature extractors that works on the three aspects of raw image data (color distribution, texture and shape). The experiments have shown that the gain in precision are higher for all the feature extractors proposed, when comparing with the state-of-the-art algorithms. Regarding the two families of distance functions WAID and SAID proposed, by the initial experiments performed we can claim that they are very promising on preserving the user expectation when comparing images. The results provided by this work can be straightforwardly integrated to PACS. Particularly, we intend to add the new algorithms and methods to cbPACS, which is under joined development between the Image Data Base Group of Instituto de CiLncias Matemáticas e de Computaçno of USP and Centro de CiLncias de Imagens e Física Médica of Faculdade de Medicina de Ribeirno Preto of USP

Submitted by Silvana Teresinha Dornelles Studzinski (sstudzinski) on 2015-10-21T12:12:38Z No. of bitstreams: 1 Marcos de Meira Góis_.pdf: 1916593 bytes, checksum: e5b2eae456a204d1173418cd2ed3480f (MD5) / Made available in DSpace on 2015-10-21T12:12:38Z (GMT). No. of bitstreams: 1 Marcos de Meira Góis_.pdf: 1916593 bytes, checksum: e5b2eae456a204d1173418cd2ed3480f (MD5) Previous issue date: 2015-08-04 / Nenhuma / Os Sistemas de Recomendação já estão consolidados como ferramentas que apoiam os usuários a superar as dificuldades geradas pelo volume excessivo de conteúdos disponíveis em formato digital, tendo sido projetados para realizar de forma automatizada as tarefas de classificação de conteúdos e de relacionamento deste com interesses e necessidades dos usuários. Um dos problemas ainda observados nestes sistemas está relacionado com a fragilidade de algumas abordagens de classificação e relacionamento de conteúdo que se baseiam principalmente em aspectos sintáticos dos conteúdos tratados. Os sistemas de recomendação baseados em conhecimento buscam mitigar este problema a partir da incorporação de elementos semânticos nos processos de indexação e relacionamento dos materiais. Apesar de bons resultados observados, ainda são identificadas necessidades de investigação, tanto nas atividades de classificação dos conteúdos, como na representação e tratamento dos relacionamentos entre conteúdos e possíveis interessados. Este trabalho busca colaborar com o desenvolvimento nesta área a partir da proposta de um sistema de recomendação baseado em conhecimento e voltado para a recomendação de materiais educacionais em um contexto de pequenos grupos de estudantes. O diferencial deste sistema se dá através de um processo de incorporação da semântica associada com os assuntos tratados e também com a utilização de aspectos semânticos para representar as necessidades e relacionamentos originados pelos usuários do sistema. O principal diferencial deste sistema está localizado na utilização de um algoritmo de recomendação híbrido, no qual tanto aspectos sintáticos como semânticos são empregados. Para avaliar o sistema de recomendação proposto, foi realizada a sua prototipação e teste em um ambiente controlado. / The Recommendation systems are already established as tools that support users to overcome the difficulties caused by the excessive volume of content available in digital format and was designed to conduct automated the content classification tasks and relationship of this with wins users. One of the problems observed in these systems is related to the weakness of some classification approaches and content relationship rely mainly on methodical aspects of the discussed subjects. Recommendation systems based on knowledge seek to mitigate this problem from the incorporation of semantic elements in the indexing processes and material relationship. Despite good results observed, research needs are also identified, both used to classify content activities, such as the representation and treatment of relationships between content and potential stakeholders. This paper seeks to contribute to the development in this area from the proposal for a recommendation system based on knowledge and facing the recommendation of educational materials in a context of small groups of students. The spread of this system is through a semantics of the merger process associated with these types of concerns and also with the use of semantic aspects to represent the needs and relationships originated by system users. The main distinguishing feature of this system is located in the use of a hybrid recommendation algorithm in which both syntactic and semantic aspects are employed. To evaluate the proposed recommendation system, it is due for prototyping and testing in a controlled environment.

Le développement des techniques de traitement des requêtes de classement est un axe de recherche très actif dans le domaine de la recherche d'information. Plusieurs applications nécessitent le traitement des requêtes de classement multicritères, telles que les méta-moteurs de recherche sur le web, la recherche dans les réseaux sociaux, la recherche dans les bases de documents multimédia, etc. Contrairement aux requêtes booléennes traditionnelles, dans lesquelles le filtrage est basé sur des prédicats qui retournent vrai ou faux, les requêtes de classement utilisent des prédicats de similarité retournant un score de pertinence. Ces requêtes spécifient une fonction d'agrégation qui combine les scores individuels produits par les prédicats de similarité permettant de calculer un score global pour chaque objet. Les k objets avec les meilleurs scores globaux sont retournés dans le résultat final. Dans cette thèse, nous étudions dans un premier temps les techniques et algorithmes proposés dans la littérature conçus pour le traitement des requêtes top-k multicritères dans des contextes spécifiques de type et de coût d'accès aux scores, et nous proposons un cadre générique capable d'exprimer tous ces algorithmes. Ensuite, nous proposons une nouvelle stratégie en largeur «breadth-first», qui maintient l'ensemble courant des k meilleurs objets comme un tout, à la différence des stratégies en profondeur habituelles qui se focalisent sur le meilleur candidat. Nous présentons un nouvel algorithme «Breadth-Refine» (BR), basé sur cette stratégie et adaptable à n'importe quelle configuration de type et de coût d'accès aux scores. Nous montrons expérimentalement la supériorité de l'algorithme BR sur les algorithmes existants. Dans un deuxième temps, nous proposons une adaptation des algorithmes top-k à la recherche approximative, dont l'objectif est de trouver un compromis entre le temps de recherche et la qualité du résultat retourné. Nous explorons l'approximation par arrêt prématuré de l'exécution et proposons une première étude expérimentale du potentiel d'approximation des algorithmes top-k. Dans la dernière partie de la thèse, nous nous intéressons à l'application des techniques top-k multicritères à la recherche par le contenu dans les grandes bases de données multimédia. Dans ce contexte, un objet multimédia (une image par exemple) est représenté par un ou plusieurs descripteurs, en général sous forme de vecteurs numériques qui peuvent être vus comme des points dans un espace multidimensionnel. Nous explorons la recherche des k plus proches voisins (k-ppv) dans ces espaces et proposons une nouvelle technique de recherche k-ppv approximative «Multi-criteria Search Algorithm » (MSA) basée sur les principes des algorithmes top-k. Nous comparons MSA à des méthodes de l'état de l'art dans le contexte des grandes bases multimédia où les données ainsi que les structures d'index sont stockées sur disque, et montrons qu'il produit rapidement un très bon résultat approximatif. / Efficient processing of ranking queries is an important issue in today information retrieval applications such as meta-search engines on the web, information retrieval in social networks, similarity search in multimedia databases, etc. We address the problem of top-k multi-criteria query processing, where queries are composed of a set of ranking predicates, each one expressing a measure of similarity between data objects on some specific criteria. Unlike traditional Boolean predicates returning true or false, similarity predicates return a relevance score in a given interval. The query also specifies an aggregation function that combines the scores produced by the similarity predicates. Query results are ranked following the global score and only the best k ones are returned.In this thesis, we first study the state of the art techniques and algorithms designed for top-k multi-criteria query processing in specific conditions for the type of access to the scores and cost settings, and propose a generic framework able to express any top-k algorithm. Then we propose a new breadth-first strategy that maintains the current best k objects as a whole instead of focusing only on the best one such as in all the state of the art techniques. We present Breadth-Refine (BR), a new top-k algorithm based on this strategy and able to adapt to any combination of source access types and to any cost settings. Experiments clearly indicate that BR successfully adapts to various settings, with better results than state of the art algorithms.Secondly, we propose an adaptation of top-k algorithms to approximate search aiming to a compromise between execution time and result quality. We explore approximation by early stopping of the execution and propose a first experimental study of the approximation potential of top-k algorithms. Finally, we focus on the application of multi-criteria top-k techniques to Large Scale Content-Based Image Retrieval. In this context an image is represented by one or several descriptors, usually numeric vectors that can be seen as points in a multidimensional space. We explore the k-Nearest Neighbors search on such space and propose “Multi-criteria Search Algorithm” (MSA) a new technique for approximate k-NN based on multi-criteria top-k techniques. We compare MSA with state of the art methods in the context of large multimedia databases, where the database and the index structure are stored on disk, and show that MSA quickly produces very good approximate results.

O objetivo desse trabalho é apresentar as características de um Sistema de Apoio ao Diagnóstico em Sistema Hospitalar Suportando Busca por Imagens Similares, a ser desenvolvido e implantado no Hospital das Clínicas de Ribeirão Preto. A recuperação de imagens baseada no conteúdo é uma área de pesquisa que tem evoluído bastante nos últimos anos. Assim, um sistema de busca e obtenção de imagens, utilizando tal técnica, deve ser extensível aos novos algoritmos de extração de características e métodos de indexação. A extração de características de imagens, tais como informações de cor, textura, forma e o relacionamento entre elas são utilizadas para descrever o conteúdo das imagens. Essas características são então utilizadas para indexar e possibilitar a comparação de imagens no processo de recuperação. O sistema proposto utilizará um método de indexação de dados recém-desenvolvido – a Slim-tree – para indexar as características extraídas das imagens. Através desse método o Sistema de Apoio ao Diagnóstico possibilitará a consulta por conteúdo em imagens médicas. / This works presents the main characteristics of a diagnosis support system based on image similarity search for medical applications. This system was developed to be used in the Clinical Hospital of Ribeirao Preto of the University of Sao Paulo. The content-based image retrieval (CBIR) researching area has evolved greatly in the last years. Thus, a CBIR system should be able to incorporate the new techniques developed, such as, new feature extraction algorithms and indexing methods among others. Traditionally, the main features extracted from images to get the image essence are color, texture, shape and the relationship among them. Therefore, such features describe the images under analysis, and are used to index and to compare images during the content-based retrieval process. The proposed system takes advantage of a new metric access method - the Slim-tree, which allows the indexing and the retrieval of the images through their extracted features.

Le routage par clé et par contenu sont des systèmes de routage ou la destination d'un message suit un parcours entre les nœuds du réseau qui dépend seulement du contenu du message même. On peut les trouver utilisés soit dans des systèmes pair-à-pair connus comme Réseaux Overlay Structurés (Structured Overlay Networks, SON), soit dans les architecture internet de nouvelle génération, les Réseaux Centrés sur les Contenus (Content-Centric Networks, CCN). Le but de cette thèse est double. D'un côté, on explore le sujet de l'interconnexion et de la coopération des réseaux d'overlay, et on propose une architecture capable de permettre à plusieurs réseaux d'overlay hétérogènes, avec différentes topologies et différents mécanismes de routage, d'interagir, grâce à une infrastructure basée sur des nœuds passerelles. On montre, par des moyennes de simulation et déploiement dans un réseaux réel, que la solution est scalable et permet un routage quasi-exhaustif avec un nombre relativement bas des nœuds passerelle bien connectés. De plus, on présente deux exemples d'applications qui pourront bénéficier de cette architecture. Dans une deuxième partie, on rentre plutôt dans les possibilités offertes par le routage basé sur les contenus hors sa "zone de confort": d'abord, on analyse les améliorations qu'un réseau d'overlay structuré peut porter à un système de diffusion vidéo pair-à-pair, en termes de qualité du vidéo et de perte des paquets pendant la transmission. Après, on examine un système entièrement centré sur le routage basé sur les contenus, en développant une solution de diffusion vidéo en temps réel dans un réseau CCN. / Key-based and content-based routing are a class of routing techniques where the destination and routing path for a message depends solely on the content of the message itself. This kind of routing has been implemented in certain peer-to-peer systems, known as Structured Overlay Networks (SON), or in the Next Generation Internet architectures, under the name of Content-Centric Networks (CCN). The scope of this thesis is twofold: on the one side, we explore the topic of the interconnection and cooperation of different structured overlays, and propose architecture capable of allowing several heterogeneous overlay networks, with different topologies and different routing schemes, to interact, thanks to a lightweight infrastructure consisting of co-located nodes. Through the use of simulations and real-world deployment, we show how this solution is scalable and how it facilitates quasi-exhaustive routing, with even a relatively low number of well-connected co-located nodes. To address the problem of scaling network design to millions of nodes, we propose a mathematical model capable of deriving basic performance figures for an interconnected system. Furthermore, we present two application examples that could greatly benefit from such architecture. On the other side, we investigate a little further into the capabilities of content-based routing outside of its "comfort zone": first, we analyze the improvement that a SON could bring to a peer-to-peer real-time video streaming system (P2P-TV), in terms of chunk loss and Quality of Experience. Then, we move the approach to a fully content-based domain, implementing the P2P-TV solution on top of Content-Centric Networks.

A evolução dos dispositivos de armazenamento e das redes de computadores permitiram que os vídeos digitais assumissem um importante papel no desenvolvimento de sistemas de informação multimídia. Com a finalidade de aproveitar todo o potencial dos vídeos digitais no desenvolvimento desses sistemas, técnicas automatizadas eficientes para análise, interpretação e recuperação são necessárias. A recuperação de vídeos baseada em conteúdo (CBVR, do inglês content-based video retrieval) permite o processamento e a análise do conteúdo de vídeos digitais visando à extração de informações relevantes que viabilizem indexação e recuperação. Trabalhos científicos têm proposto a aplicação de CBVR em bases de vídeos médicos a fim de proporcionar diferentes contribuições como diagnóstico auxiliado por computador, suporte à tomada de decisão e disponibilização de bases de vídeos para utilização em treinamento e educação médica. Em geral, características visuais são as principais informações utilizadas no contexto de CBVR aplicada em vídeos médicos. No entanto, muitos diagnósticos são realizados por meio da análise dos sons produzidos em diferentes estruturas e órgãos do corpo humano. Um exemplo é o diagnóstico cardíaco que, além de exames de imagem como ecocardiografia e ressonância magnética, também pode empregar a análise dos sons provenientes do coração por meio da auscultação. O objetivo deste trabalho consistiu em aplicar e avaliar extratores de características de som em conjunto com extratores de características visuais para viabilizar CBVR e, então, inferir se a abordagem resultou em ganhos com relação ao desempenho de recuperação quando comparada à utilização apenas das características visuais. Vídeos médicos constituíram nosso principal interesse, porém o trabalho considerou também vídeos não relacionados à área médica para a validação da abordagem. Justifica-se o objetivo, pois a análise do som, visando a obter descritores relevantes para melhorar os resultados de recuperação, ainda é pouco explorada na literatura científica. Essa afirmação foi evidenciada com a condução de uma revisão sistemática sobre o tema. Dois conjuntos de experimentos foram conduzidos visando a validar a abordagem de CBVR mencionada. O primeiro conjunto de experimentos foi aplicado sobre uma base de vídeos sintetizados para validação da abordagem. Já o segundo, foi aplicado em uma base de vídeos construídos utilizando-se imagens provenientes de exames de ressonância magnética em conjunto com sons provenientes de auscultação do coração. Os resultados foram analisados utilizando-se as métricas de revocação e precisão, bem como o gráfico que as relaciona. Demonstrou-se que a abordagem é promissora por meio da melhora significativa dos resultados de recuperação nos diferentes cenários de combinação entre características visuais e sonoras experimentados / Advance of storage devices and computer networks has contributed to digital videos assume an important role in the development of multimedia information systems. In order to take advantage of the full potential of digital videos in the development of these systems, it is necessary the development of efficient techniques for automated data analysis, interpretation and retrieval. Content-based video retrieval (CBVR) allows processing and analysis of content in digital videos to extract relevant information and enable indexing and retrieval. Scientific studies have proposed the application of CBVR in medical video databases in order to provide different contributions like computer-aided diagnosis, decision-making support or availability of video databases for use in medical training and education. In general, visual characteristics are the main information used in the context of CBVR applied in medical videos. However, many diagnoses are performed by analysing the sounds produced in different structures and organs of the human body. An example is the cardiac diagnosis which, in addition to images generated by echocardiography and magnetic resonance imaging, for example, may also employ the analysis of sounds from the heart by means of auscultation. The objective of this work was evaluating combination between audio signal and visual features to enable CBVR and investigating how much this approach can improve retrieval results comparing to using only visual features. Medical videos are the main data of interest in this work, but video segments not related to the medical field were also used to validate the approach. The objectives of this work are justifiable because audio signal analysis, in order to get relevant descriptors to improve retrieval results, is still little explored in the scientific literature. This statement was evidenced by results of a systematic review. Two experiment sets were conducted to validate the CBVR approach described. The first experiment set was applied to a synthetic images database specially built to validate the approach, while the second experiment was applied to a database composed of digital videos created from magnetic resonance imaging and heart sounds from auscultation. Results were analyzed using the recall and precision metrics, as well as the graph which relates these metrics. Results showed that this approach is promising due the significantly improvement obtained in retrieval results to different scenarios of combination between visual and audio signal features

Com a crescente utilização de imagens médicas na prática clínica, torna-se necessária a introdução de tecnologias que garantam o armazenamento, indexação e recuperação eficaz dessas imagens. O sistema de recuperação de imagens médicas baseada em conteúdo (S-CBIR) compõe a base de tecnologias computacionais que oferecem aos usuários médicos aplicativos para apoio ao diagnóstico, sendo capaz de responder a consultas por similaridade por meio de características pictóricas extraídas das imagens médicas. Embora as pesquisas em S-CBIR tenham iniciado há quase duas décadas, atualmente existe uma discrepância em relação à quantidade de trabalhos publicados na literatura e os sistemas que, de fato, foram implementados e avaliados. Além disso, muitos protótipos vêm sendo discutidos, mas até o final da escrita desta tese, não foram encontradas evidências de que algum deles esteja disponível comercialmente. Essa limitação é conhecida pela comunidade científica da área por gap de aplicação. Em geral, isso ocorre devido à dificuldade dessas aplicações em superar alguns desafios, como a divergência entre os resultados obtidos automaticamente pelo sistema e aqueles esperados pelos médicos (gap semântico), entre outros gap. Outros fatores também podem ser relatados, como a tendência da não utilização de modelos de qualidade sistematizados para o desenvolvimento dos sistemas, e a carência de modelos que sejam específicos no domínio de aplicação. Com base nesses desafios e em boas práticas de métodos, técnicas e ferramentas da Engenharia de Software, esta tese apresenta um Modelo de Qualidade para melhorias de S-CBIR (MQ-SCBIR), que tem por objetivo apoiar o desenvolvimento e avaliação de S-CBIR, a partir de diretrizes para aumentar o nível de qualidade, buscando a superação do gap de aplicação. O MQ-SCBIR foi construído com base em: evidências adquiridas por meio de uma revisão sistemática e pesquisa empírica sobre como esses sistemas vêm sendo desenvolvidos e avaliados na literatura e na prática; resultados da avaliação de um S-CBIR baseados em testes heurísticos em um ambiente real; modelos bem estabelecidos, como o Capability Maturity Model Integration e Melhoria de Processo do Software Brasileiro; e em experiências pessoais. O uso do MQ-SCBIR pode trazer benefícios para as organizações desenvolvedoras, como a redução da complexidade no desenvolvimento, incluindo a garantia de implementação de boas práticas de qualidade de software e práticas específicas para a superação das limitações de S-CBIR durante o processo de desenvolvimento. / The development of technologies for storing, indexing and recovering clinical images is paramount to support the increasing use of these images in clinical diagnostic evaluation. Content-based image retrieval systems (CBIR-S) are some of the main computational technologies which offer physicians different applications to aid diagnostic processes. They allow similarity queries by extracting pictorial features from medical images. Even though research on S-CBIR started almost two decades ago, there are discrepancies regarding the amount of studies available in the literature and the number of systems which have actually been implemented and evaluated. Many prototypes have been discussed, but up to the moment this study was completed we found no evidence that any of those systems are either commercially available or being currently used in clinical practice. This limitation is known as application gap. In general, this happens due to the difficulty to overcome some obstacles, such as the differences between the results retrieved automatically by the system and those expected by the physicians (semantic gap). Other factors can also be described, such as the tendency towards not using systematic quality models to develop these systems and the lack of specific models for this domain of application. Based on these challenges and also on best practice methods, techniques and tools from software engineering, this work presents a quality model to improve S-CBIR systems (QM-CBIRS). It strives to tackle limitations during the development process by overcoming the semantic gap. The QM-CBIRS was built upon evidence gathered by means of a systematic review on the state-of-the-art and empiric research on the development and evaluation of these systems. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. Apart from that, results from the assessment of a CBIR-S based on empiric tests and on diagnostic tasks in radiology and well-established software quality models, such as CMMI and the Brazilian Software Improvement Process are presented. The use of QM-CBIRS might be beneficial to development teams in many ways, for example, by increasing the quality of CBIR systems and reducing complexity, thus surpassing limitations from CBIR systems during the development process.