No description available.

When human’s visual system is looking at two pictures taken in some indoor location, it is fairly easy to tell whether they were taken in exactly the same place, even when the location has never been visited in reality. It is possible due to being able to pay attention to the multiple factors such as spatial properties (windows shape, room shape), common patterns (floor, walls) or presence of specific objects (furniture, lighting). Changes in camera pose, illumination, furniture location or digital alteration of the image (e.g. watermarks) has little influence on this ability. Traditional approaches to measuring the perceptual similarity of images struggled to reproduce this skill. This thesis defines the Indoor scene verification (ISV) problem as distinguishing whether two indoor scene images were taken in the same indoor space or not. It explores the capabilities of state-of-the-art perceptual similarity metrics by introducing two new datasets designed specifically for this problem. Perceptual hashing, ORB, FaceNet and NetVLAD are evaluated as the baseline candidates. The results show that NetVLAD provides the best results on both datasets and therefore is chosen as the baseline for the experiments aiming to improve it. Three of them are carried out testing the impact of using the different training dataset, changing deep neural network architecture and introducing new loss function. Quantitative analysis of AUC score shows that switching from VGG16 to MobileNetV2 allows for improvement over the baseline. / Med mänskliga synförmågan är det ganska lätt att bedöma om två bilder som tas i samma inomhusutrymme verkligen har tagits i exakt samma plats även om man aldrig har varit där. Det är möjligt tack vare många faktorer, sådana som rumsliga egenskaper (fönsterformer, rumsformer), gemensamma mönster (golv, väggar) eller närvaro av särskilda föremål (möbler, ljus). Ändring av kamerans placering, belysning, möblernas placering eller digitalbildens förändring (t. ex. vattenstämpel) påverkar denna förmåga minimalt. Traditionella metoder att mäta bildernas perceptuella likheter hade svårigheter att reproducera denna färdighet . Denna uppsats definierar verifiering av inomhusbilder, Indoor SceneVerification (ISV), som en ansats att ta reda på om två inomhusbilder har tagits i samma utrymme eller inte. Studien undersöker de främsta perceptuella identitetsfunktionerna genom att introducera två nya datauppsättningar designade särskilt för detta. Perceptual hash, ORB, FaceNet och NetVLAD identifierades som potentiella referenspunkter. Resultaten visar att NetVLAD levererar de bästa resultaten i båda datauppsättningarna, varpå de valdes som referenspunkter till undersökningen i syfte att förbättra det. Tre experiment undersöker påverkan av användning av olika datauppsättningar, ändring av struktur i neuronnätet och införande av en ny minskande funktion. Kvantitativ AUC-värdet analys visar att ett byte frånVGG16 till MobileNetV2 tillåter förbättringar i jämförelse med de primära lösningarna.

Nos últimos anos o mundo tem vivenciado uma avalanche de novas tecnologias para auxílio ao diagnóstico médico. Esses esforços buscam um diagnóstico rápido e preciso através de exames e informações sobre a condição física do paciente. Através do uso de imagens médicas, a radiologia busca a visualização de órgãos ou estruturas internas do corpo humano para encontrar respostas às suspeitas de problemas físicos expressos por sinais e sintomas relatados pelo paciente. Nessa área, os Sistemas de Comunicação e Armazenamento de Imagens (PACS) têm ajudado no armazenamento e organização do crescente número de imagens geradas pelos exames realizados nos hospitais. Trabalhos de pesquisa médica têm evidenciado o potencial de uso dessas imagens como auxílio à prática da Medicina Baseada em Casos Similares (MBCS). Por esse motivo, há na literatura um esforço contínuo em desenvolver técnicas computacionais para recuperação de imagens baseada em conteúdos similares (CBIR) em grandes conjuntos de dados. As consultas por similaridade são essenciais para apoiar a prática da MBCS e a descoberta de comportamentos de lesões causadas por diversas doenças. A evolução e intensificação das pesquisas em CBIR têm encontrado vários desafios. Um desses é a divergência entre os resultados obtidos automaticamente e aqueles esperados pelos radiologistas (descontinuidade semântica). Outro desafio é a falta de estudos sobre a viabilidade clínica dessas ferramentas como forma de auxílio ao diagnóstico. Esses obstáculos são dois dos principais responsáveis pela não efetivação dessa tecnologia no ambiente médico-hospitalar. Mediante o exposto acima, este trabalho de pesquisa propõe um mecanismo para contornar essa descontinuidade semântica e ao mesmo tempo aproximar o CBIR do ambiente real de aplicação. A contribuição principal deste trabalho foi o desenvolvimento de uma metodologia baseada em parâmetros perceptuais que aproximam o sistema ao nível de percepção do usuário médico. Em seguida, foi realizado um estudo sobre a viabilidade clínica do sistema CBIR no Hospital das Clínicas de Ribeirão Preto. A metodologia proposta foi aplicada e os resultados comprovaram a aplicabilidade de Sistemas CBIR como ferramenta de auxílio ao diagnóstico em um ambiente clínico real / In recent years the world has experienced an avalanche of new technologies to aid medical diagnosis. These efforts seek a quick and accurate diagnosis through exams and information about the patient\'s physical condition. The radiology studies the visualization of the organs or structures through the use of images. In this area, the Picture Archiving and Communication Systems (PACS) have helped in the storage and organization of the growing number of images generated by exams performed in hospitals. Medical research papers have shown the potential use of these images as an aid to the Similar Case-Based Reasoning (SCBR) practice in Medicine. For this reason, there is an ongoing effort in the literature to develop computational techniques for Content-Based Image Retrieval (CBIR) in large data sets. Similarity queries are essential to support the practice of SCBR. The evolution and intensification of research in CBIR have encountered several challenges. One of these is the discrepancy between the results obtained automatically and those expected by radiologists (semantic gap). Another challenge is the lack of studies on the clinical viability of these tools as a way to assist in diagnosis. These obstacles are the two main responsible for reservation in using this technology in the medical hospital environment. Considering this scenario, this research proposes a mechanism to overcome this semantic gap and bring the real environment to the CBIR application. The main contribution for this research was the development of a methodology based on Perceptual Parameters to approximate the system to the level of user perception. Then we conducted a study on the clinical viability of a CBIR system at the Clinical Hospital of the University of São Paulo at Ribeirão Preto. The proposed methodology was applied and the results showed the applicability of CBIR systems as a computer aided diagnosis tool in a real clinical environment

Nos últimos anos o mundo tem vivenciado uma avalanche de novas tecnologias para auxílio ao diagnóstico médico. Esses esforços buscam um diagnóstico rápido e preciso através de exames e informações sobre a condição física do paciente. Através do uso de imagens médicas, a radiologia busca a visualização de órgãos ou estruturas internas do corpo humano para encontrar respostas às suspeitas de problemas físicos expressos por sinais e sintomas relatados pelo paciente. Nessa área, os Sistemas de Comunicação e Armazenamento de Imagens (PACS) têm ajudado no armazenamento e organização do crescente número de imagens geradas pelos exames realizados nos hospitais. Trabalhos de pesquisa médica têm evidenciado o potencial de uso dessas imagens como auxílio à prática da Medicina Baseada em Casos Similares (MBCS). Por esse motivo, há na literatura um esforço contínuo em desenvolver técnicas computacionais para recuperação de imagens baseada em conteúdos similares (CBIR) em grandes conjuntos de dados. As consultas por similaridade são essenciais para apoiar a prática da MBCS e a descoberta de comportamentos de lesões causadas por diversas doenças. A evolução e intensificação das pesquisas em CBIR têm encontrado vários desafios. Um desses é a divergência entre os resultados obtidos automaticamente e aqueles esperados pelos radiologistas (descontinuidade semântica). Outro desafio é a falta de estudos sobre a viabilidade clínica dessas ferramentas como forma de auxílio ao diagnóstico. Esses obstáculos são dois dos principais responsáveis pela não efetivação dessa tecnologia no ambiente médico-hospitalar. Mediante o exposto acima, este trabalho de pesquisa propõe um mecanismo para contornar essa descontinuidade semântica e ao mesmo tempo aproximar o CBIR do ambiente real de aplicação. A contribuição principal deste trabalho foi o desenvolvimento de uma metodologia baseada em parâmetros perceptuais que aproximam o sistema ao nível de percepção do usuário médico. Em seguida, foi realizado um estudo sobre a viabilidade clínica do sistema CBIR no Hospital das Clínicas de Ribeirão Preto. A metodologia proposta foi aplicada e os resultados comprovaram a aplicabilidade de Sistemas CBIR como ferramenta de auxílio ao diagnóstico em um ambiente clínico real / In recent years the world has experienced an avalanche of new technologies to aid medical diagnosis. These efforts seek a quick and accurate diagnosis through exams and information about the patient\'s physical condition. The radiology studies the visualization of the organs or structures through the use of images. In this area, the Picture Archiving and Communication Systems (PACS) have helped in the storage and organization of the growing number of images generated by exams performed in hospitals. Medical research papers have shown the potential use of these images as an aid to the Similar Case-Based Reasoning (SCBR) practice in Medicine. For this reason, there is an ongoing effort in the literature to develop computational techniques for Content-Based Image Retrieval (CBIR) in large data sets. Similarity queries are essential to support the practice of SCBR. The evolution and intensification of research in CBIR have encountered several challenges. One of these is the discrepancy between the results obtained automatically and those expected by radiologists (semantic gap). Another challenge is the lack of studies on the clinical viability of these tools as a way to assist in diagnosis. These obstacles are the two main responsible for reservation in using this technology in the medical hospital environment. Considering this scenario, this research proposes a mechanism to overcome this semantic gap and bring the real environment to the CBIR application. The main contribution for this research was the development of a methodology based on Perceptual Parameters to approximate the system to the level of user perception. Then we conducted a study on the clinical viability of a CBIR system at the Clinical Hospital of the University of São Paulo at Ribeirão Preto. The proposed methodology was applied and the results showed the applicability of CBIR systems as a computer aided diagnosis tool in a real clinical environment

Problémy jako je jemnozrnná kategorizace či výpočty s využitím lidských zdrojů se v posledních letech v komunitě stávají stále populárnějšími, což dosvědčuje i značné množství publikací na tato témata. Zatímco většina těchto prací využívá "klasických'' obrazových příznaků extrahovaných počítačem, tato se zaměřuje především na percepční vlastnosti, které nemohou být snadno zachyceny počítači a vyžadují zapojení lidí do procesu sběru dat. Práce zkoumá možnosti levného a efektivního získávání percepčních podobností od uživatelů rovněž ve vztahu ke škálovatelnosti. Dále vyhodnocuje několik relevantních experimentů a představuje metody zlepšující efektivitu sběru dat. Jsou zde také shrnuty a porovnány metody učení multidimenzionálního indexování a prohledávání tohoto prostoru. Získané výsledky jsou následně užity v komplexním experimentu vyhodnoceném na datasetu obrázků jídel. Procedura začíná získáváním podobností od uživatelů, pokračuje vytvořením multidimenzionálního prostoru jídel a končí prohledáváním tohoto prostoru.