[pt] Esta dissertação investiga o uso das estruturas planares extraídas de imagens RGB-Dem aplicações de Realidade Aumentada. Ter o modelo da cena é fundamental para as aplicações de realidade aumentada. O uso de imagens RGB-D auxilia bastante o processo da construção destes modelos, pois elas fornecem a geometria e os aspectos fotométricos da cena. Devido a grande parte das aplicações de realidade aumentada utilizarem superfícies planares como sua principal componente para projeção de objetos virtuais, é fundamental ter um método robusto e eficaz para obter e representar as estruturas que constituem estas superfícies planares. Neste trabalho, apresentaremos um método para identificar, segmentar e representar estruturas planares a partir de imagens RGB-D. Nossa representação das estruturas planares são polígonos bidimensionais triangulados, simplificados e texturizados, que estão no sistema de coordenadas do plano, onde os pontos destes polígonos definem as regiões deste plano. Demonstramos através de diversos experimentos e da implementação de uma aplicação de realidade aumentada, as técnicas e métodos utilizados para extrair as estruturas planares a partir das imagens RGB-D. / [en] This dissertation investigates the use of planar geometric structures extracted from RGB-D images in Augmented Reality Applications. The model of a scene is essential for augmented reality applications. RGB-D images can greatly help the construction of these models because they provide geometric and photometric information about the scene. Planar structures are prevalent in many 3D scenes and, for this reason, augmented reality applications use planar surfaces as one of the main components for projection of virtual objects. Therefore, it is extremely important to have robust and efficient methods to acquire and represent the structures that compose these planar surfaces. In this work, we will present a method for identifying, targeting and representing planar structures from RGB-D images. Our planar structures representation is triangulated two-dimensional polygons, simplified and textured, forming a triangle mesh intrinsic to the plane that defines regions in this space corresponding to surface of objects in the 3D scene. We have demonstrated through various experiments and implementation of an augmented reality application, the techniques and methods used to extract the planar structures from the RGB-D images.

[pt] A Visão Computacional pode ser utilizada para capturar gestos e criar dispositivos de interação com computadores mais intuitivos e rápidos. Os dispositivos comerciais atuais de interação baseados em gestos utilizam equipamentos caros (dispositivos de seguimento, luvas, câmeras especiais, etc.) e ambientes especiais que dificultam a difusão para o público em geral. Este trabalho apresenta um estudo sobre a viabilidade de utilizarmos câmeras Web como dispositivo de interação baseado em gestos da Mão. Em nosso estudo consideramos que a mão humana está limpa, isto é, sem nenhum dispositivo (mecânico, magnético ou óptico) colocado nela. Consideramos ainda que o ambiente onde ocorre a interação tem as características de um ambiente de trabalho normal, ou seja, sem luzes ou panos de fundo especiais. Para avaliar a viabilidade deste mecanismo de interação, desenvolvemos alguns protótipos. Neles os gestos da mão e as posições dos dedos são utilizados para simular algumas funções presentes em mouses e teclados, tais como selecionar estados e objetos e definir direções e posições. Com base nestes protótipos apresentamos algumas conclusões e sugestões para trabalhos futuros. / [en] Computer Vision can be used to capture gestures and create more intuitive and faster devices to interact with computers. Current commercial gesture-based interaction devices make use of expensive equipment (tracking devices, gloves, special cameras, etc.) and special environments that make the dissemination of such devices to the general public difficult. This work presents a study on the feasibility of using Web cameras as interaction devices based on hand-gestures. In our study, we consider that the hand is clean, that is, it has no (mechanical, magnetic or optical) device. We also consider that the environment where the interaction takes place has the characteristics of a normal working place, that is, without special lights or backgrounds. In order to evaluate the feasibility of such interaction mechanism, we have developed some prototypes of interaction devices. In these prototypes, hand gestures and the position of fingers were used to simulate some mouse and keyboard functions, such as selecting states and objects, and defining directions and positions. Based on these prototypes, we present some conclusions and suggestions for future works.

[pt] Assinaturas e caligrafias foram utilizadas durante décadas como uma marca característica de cada indivíduo. Por trás dos métodos utilizados para reconhecer estas caracterísitcas está o fato que toda pessoa possui seu próprio jeito de mover a mão enquanto escreve. Sendo assim é razoável pensar que cada pintor tem uma maneira própria de atacar a tela de pintura com o seu pincel, deixando assim um padrão pessoal de acidentes geométricos, que poderiam ser utilizados para identificá-lo.A partir desse principio surge a idéia de aplicar visão computacional para reconhecer padrões específicos de cada pintor que poderiam ser utilizados no processo de autenticar quadros de arte. A dissertação aqui descrita apresenta os resultados de uma pesquisa que objetiva o desenvolvimento de um método para definir a autenticidade de quadros de arte. Um novo procedimento para segmentação de pinceladas em um quadro juntamente com uma nova técnica de medição de textura para capturar as assinaturas nas pinceladas é proposto. Além disso, o trabalho investiga a utilização de métodos não- paramétricos de classificação, para discriminar entre potenciais pintores. O método proposto é avaliado com um conjunto de experimentos cujo objetivo é discriminar entre dois pintores brasileiros muito conhecidos: Portinari e Bianco. / [en] Signatures and hand writings were used during decades as a unique characteristic to recognize an individual. Methods to recognize these characteristics were base don the fact that each individual has an unique way to move his hand while writing. Taking that into account, it is reasonable to think that each painter has an unique way to strike the painting board with his stroke, leaving a distinguishing personal pattern, that can be used to identify him. From this principle comes the idea to apply computer vision to recognize specific patterns that could be used in the process of authentication of fine art paintings.This work shows the results of a research where the main purpose is to develop a methodology to find the authenticity of fine art paintings. A new segmentation process of strokes of a painting allied to a new technique of texture measure to get the implicit signatures in the strokes is proposed. Beyond that, this work investigates non-parametric classification methods to discriminate potential painters. The proposed method is evaluated with a set of experiments where the purpose is to discriminate between two well known Brazilian painters : Portinari and Bianco.

[pt] Alvo de intenso estudo da visão computacional, a reconstrução densa 3D teve um importante marco com os primeiros sistemas em tempo real a alcançarem precisão milimétrica com uso de câmeras RGBD e GPUs. Entretanto estes métodos não são aplicáveis a dispositivos de menor poder computacional. Tendo a limitação de recursos computacionais como requisito, o objetivo deste trabalho é apresentar um método de odometria visual utilizando câmeras comuns e sem a necessidade de GPU, baseado em técnicas de Structure from Motion (SFM) com features esparsos, utilizando as informações de uma reconstrução densa. A Odometria visual é o processo de estimar a orientação e posição de um agente (um robô, por exemplo), a partir das imagens. Esta dissertação fornece uma comparação entre a precisão da odometria calculada pelo método proposto e pela reconstrução densa utilizando o Kinect Fusion. O resultado desta pesquisa é diretamente aplicável na área de realidade aumentada, tanto pelas informações da odometria que podem ser usadas para definir a posição de uma câmera, como pela reconstrução densa, que pode tratar aspectos como oclusão dos objetos virtuais com reais. / [en] Aim of intense research in the field computational vision, dense 3D reconstruction achieves an important landmark with first methods running in real time with millimetric precision, using RGBD cameras and GPUs. However these methods are not suitable for low computational resources. Having low computational resources as requirement, the goal of this work is to show a method of visual odometry using regular cameras, without using a GPU. The proposed method is based on technics of sparse Structure From Motion (SFM), using data provided by dense 3D reconstruction. Visual odometry is the process of estimating the position and orientation of an agent (a robot, for instance), based on images. This dissertation compares the proposed method with the odometry calculated by Kinect Fusion. Results of this research are applicable in augmented reality. Odometry provided by this work can be used to model a camera and the data from dense 3D reconstruction, can be used to handle occlusion between virtual and real objects.

[pt] A indústria mineral vem presenciando, ao longo das últimas décadas, uma redução da qualidade de minério de ferro extraído e o surgimento de novas demandas ambientais. Esta conjuntura fortalece a busca por produtos provenientes do minério de ferro que atendam aos requisitos da indústria siderúrgica, como é o caso de novos aglomerados de minério de ferro. A Microtomografia de Raios-X (microCT) permite a caracterização da estrutura tridimensional de uma amostra, com resolução micrométrica, de forma não-destrutiva. Entretanto, tal técnica apresenta diversas limitações. Quanto melhor a resolução, maior o tempo de análise e menor o volume de amostra adquirido. Modelos de Super Resolução (SR), baseados em Deep Learning, são uma poderosa ferramenta para aprimorar digitalmente a resolução de imagens tomográficas adquiridas em pior resolução. Este trabalho propõe o desenvolvimento de uma metodologia para treinar três modelos de SR, baseados na arquitetura EDSR, a partir de imagens tomográficas de briquetes de redução direta: Um modelo para aumento de resolução de 16 um para 6 um, outro para aumento de 6 um para 2 um, e o terceiro para aumento de 4 um para 2 um. Esta proposta tem como objetivo mitigar as limitações do microCT, auxiliando o desenvolvimento de novas metodologias de Processamento Digital de Imagens para os aglomerados. A metodologia inclui diferentes propostas para avaliação do desempenho da SR, como comparação de PSNR e segmentação de poros. Os resultados apontam que a SR foi capaz de aprimorar a resolução das imagens tomográficas e mitigar ruídos habituais da tomografia. / [en] The mining industry has been witnessing a reduction of extracted iron ore s quality and the advent of new environmental demands. This situation reinforces a search for iron ore products that meet the requirements of the steel industry, such as new iron ore agglomerates. X-ray microtomography (microCT) allows the characterization of a sample s three-dimensional structure, with micrometer resolution, in a non-destructive analysis. However, this technique presents several limitations. Better resolutions greatly increase analysis time and decrease the acquired sample’s volume. Super-Resolution (SR) models, based on Deep Learning, are a powerful tool to digitally enhance the resolution of tomographic images acquired at lower resolutions. This work proposes the development of a methodology to train three SR models, based on EDSR architecture, using tomographic images of direct reduction briquettes: A model for enhancing the resolution from 16 um to 6 um, another for enhancing from 6 um to 2 um, and the third for enhancing 4 um to 2 um. This proposal aims to mitigate the limitations of microCT, assisting the development and implementation of new Digital Image Processing methodologies for agglomerates. The methodology includes different proposals for SR s performance evaluation, such as PSNR comparison and pore segmentation. The results indicate that SR can improve the resolution of tomographic images and reduce common tomography noise.

[pt] A identificação e categorização de proteínas homólogas são tarefas fundamentais no campo da biologia, que dependem de ferramentas que analisam sequências de nucleotídeos ou aminoácidos. No entanto, a detecção automatizada de padrões evolutivos, assim como outras características, usando métodos tradicionais, ainda apresenta desafios científicos. Neste estudo, propomos uma nova abordagem de representação de dados em camadas, que permite explorar padrões evolutivos e outras características de sequências na busca por similaridades, classificação e agrupamento. Utiliza-se um processo livre de alinhamento e são propostos novos algoritmos de similaridade que permitem aprimorar a eficácia dessa abordagem. Esses algoritmos utilizam técnicas inspiradas na percepção humana para capturar similaridades dentro das representações de moléculas biológicas. Avaliações experimentais demonstram bom desempenho e alta precisão em comparação com abordagens propostas anteriormente. Essa representação em camadas se mostra promissora na identificação de proteínas similares, principalmente com características de homólogas distantes. Além disso, sugere-se também o desenvolvimento de novos métodos e algoritmos de aprendizado de máquina em bioinformática que envolvam a privacidade e segurança de dados biológicos. / [en] The identification and categorization of homologous proteins are fundamental tasks in the field of biology, relying on tools that analyze nucleotide oramino acid sequences. However, automated detection of evolutionary patternsand additional attributes using traditional methods still presents research challenges. In this study, we propose a novel layered data representation approachthat allows us to explore evolutionary patterns and other sequence features insimilarity searching, classification, and clustering. It employs an alignment-freeprocess, and we introduce new similarity algorithms to enhance the effectiveness of this approach. These algorithms leverage techniques inspired by humanperception to capture subtle similarities within biological molecules representations. Experimental evaluations demonstrate good performance and high accuracy compared to previously proposed approaches. This layered representationshows promise in identifying similar proteins, especially with distant homologscharacteristics. Furthermore, it also suggests the development of new methods and machine learning (ML) algorithms in bioinformatics that address theprivacy and security of biological data.

[pt] A inteligência artificial tem gerado resultados promissores na área médica, especialmente na última década. Contudo, os modelos de melhor desempenho apresentam opacidade em relação ao seu funcionamento interno. Nesta tese, são apresentadas novas metodologias e abordagens para o desenvolvimento de classificadores explicáveis de imagens médicas. Dois principais métodos, Squaregrid e EvEx, foram desenvolvidos. O primeiro consiste em uma geração mais grosseira, porém rápida, de heatmaps explicativos via segmentações em grades quadrados, enquanto o segundo baseia-se em otimização multi-objetivo, baseada em computação evolucionária, visando ao ajuste fino de parâmetros de segmentação. Notavelmente, ambas as técnicas são agnósticas ao modelo, o que facilita sua utilização para qualquer tipo de classificador de imagens. O potencial destas abordagens foi avaliado em três estudos de caso de classificações médicas: metástases em linfonodos, malária e COVID-19. Para alguns destes casos foram analisados modelos de classificação existentes, publicamente disponíveis. Por outro lado, em outros estudos de caso, novos modelos tiveram que ser treinados. No caso do estudo de COVID-19, a ResNet50 treinada levou a F-scores acima de 0,9 para o conjunto de teste de uma competição para classificação de coronavirus, levando ao terceiro lugar geral. Adicionalmente, técnicas de inteligência artificial já existentes como LIME e GradCAM, bem como Vanilla, Smooth e Integrated Gradients também foram usadas para gerar heatmaps e possibilitar comparações. Os resultados aqui descritos ajudaram a demonstrar e preencher parcialmente lacunas associadas à integração das áreas de inteligência artificial explicável e medicina. Eles também ajudaram a demonstrar que as diferentes abordagens de inteligência artificial explicável podem gerar heatmaps que focam em características diferentes da imagem. Isso por sua vez demonstra a importância de combinar abordagens para criar um panorama mais completo sobre os modelos classificadores, bem como extrair informações sobre o que estes aprendem. / [en] Artificial Intelligence has generated promissing results for the medical area, especially on the last decade. However, the best performing models present opacity when it comes to their internal working. In this thesis, methodologies and approaches are presented for the develpoment of explainable classifiers of medical images. Two main methods, Squaregrid and EvEx, were developed. The first consistts in a rough, but fast, generation of heatmaps via segmentations in square grids, and the second in genetic multi objective optimizations aiming at the fine-tuning of segmentation parameters. Notably, both techniques are agnostic to the model,which facilitates their utilization for any kind of image classifier. The potential of these approaches was demonstrated in three case studies of medical classifications: lymph node mestastases, malária and COVID-19. In some of these cases, already existing classifier models were analyzed, while in some others new models were trained. For the COVID-19 study, the trained ResNet50 provided F-scores above 0.9 in a test set from a coronavirus classification competition, resulting in the third place overall. Additionally, already existing explainable artificial intelligence techniques, such as LIME and GradCAM, as well as Vanilla, Smooth and Integrated Gradients, were also used to generate heatmaps and enable comparisons. The results here described help to demonstrate and improve the gaps in integrating the areas of explainable artificial intelligence and medicine. They also aided in demonstrating that the different types of approaches in explainable artificial intelligence can generate heatmaps that focus on different characteristics of the image. This shows the importance of combining approaches to create a more complete overview of classifier models, as well as extracting informations about what they learned from data.

[pt] O apoio diagnóstico de exames médicos por imagem utilizando técnicas de Inteligência Artificial tem sido amplamente discutido e pesquisado academicamente. Diversas técnicas computacionais para segmentação e classificação de tais imagens são continuamente criadas, testadas e aperfeiçoadas. Destes estudos emergem sistemas com alto grau de especialização que se utilizam de técnicas de visão computacional e aprendizagem de máquina para segmentar e classificar imagens de exames utilizando conhecimento adquirido através de grandes coleções de exames devidamente laudados. No domínio médico há ainda a dificuldade de se conseguir bases de dados qualificada para realização da extração de conhecimento pelos sistemas de aprendizagem de máquina. Neste trabalho propomos a construção de uma arquitetura de software que suporte o desenvolvimento de sistemas de apoio diagnóstico que possibilite: (i) a utilização em múltiplos tipos exames, (ii) que consiga segmentar e classificar, (iii) utilizando não só de estratégias padrão de aprendizado de máquina como, (iv) o conhecimento do domínio médico disponível. A motivação é facilitar a tarefa de geração de classificadores que possibilite, além de buscar marcadores patológicos específicos, ser aplicado em objetivos diversos da atividade médica, como o diagnóstico pontual, triagem e priorização do atendimento. / [en] The image medical exam diagnostic support using Artificial Intelligence techniques has been extensively discussed and academically researched. Several computational techniques for segmentation and classification of such images are continuously created, tested and improved. From these studies, highly specialized systems that use computational vision and machine learning techniques to segment and classify exam images using knowledge acquired through large collections of lauded exams. In the medical domain, there is still the difficulty of obtaining qualified databases to support the extraction of knowledge by machine learning systems. In this work we propose a software architecture construction that supports diagnostic support systems development that allows: (i) use of multiple exam types, (ii) supporting segmentation and classification, (iii) using not only machine learning techniques as, (iv) knowledge of the available medical domain. The motivation is to facilitate the generation of classifiers task that, besides searching for specific pathological markers, can be applied to different medical activity objectives, such as punctual diagnosis, triage and prioritization of care.

[pt] Esta dissertação estuda métodos e algoritmos para critérios de seleções dos retângulos envolventes focando em arquiteturas de detecção de objetos baseada redes neurais convolucionais para tempo real, que processam mais de 30fps, que também possibilitam a expansão para outras arquiteturas. O objetivo desta dissertação é melhorar as métricas Recall e Precision, proporcionando mais assertividade nos resultados destas arquiteturas sem a necessidade de recriá-las ou retreiná-las, diminuindo, assim, os recursos para manutenções. As arquiteturas que trabalham em tempo real normalmente não apresentam melhores resultados, pois são desenvolvidas visando a redução do tempo de execução. Para resolver estes problemas, serão testados outros métodos de critérios de seleção de retângulos envolventes em estado da arte, são eles: Nonmaximum Suppression (NMS), Soft-NMS, Non-Maximum Weighted (NMW) e Weighted Boxes Fusion (WBF). Os resultados obtidos foram comparados aos originais das arquiteturas, utilizando as métricas mAP, Recall e Precision. Através desta comparação foi possível comprovar que os novos critérios apresentaram bons resultados. O tempo de execução dos novos critérios também foi analisado com execuções de imagens em lotes, contornando alguns overheads dos critérios mais pesados. As arquiteturas utilizadas como base nos experimentos foram baseadas nos sistemas YOLOv3-Tiny e YOLOv4-Tiny, utilizando o dataset QMUL-OpenLogo público e especializado em logotipos e baseado em fotos reais. / [en] This dissertation studies methods and algorithms for bounding box selection criteria focusing on object detection architectures based on convolutional neural networks for real-time, processing over 30fps, which also allow expansion to other architectures. The goal of this study is to improve the Recall and Precision metrics, providing more assertiveness in the results of these architectures without the need to recreate or retrain them, thus reducing the resources for maintenance. Architectures that work in real-time usually do not present good results, because they are developed aiming to reduce execution time. To solve these problems, other state-of-the-art bounding box selection criteria methods will be tested: Non-maximum Suppression (NMS), Soft-NMS, Non-Maximum Weighted (NMW) and Weighted Boxes Fusion (WBF). The results obtained were compared to the original architectures, using the mAP, Recall and Precision metrics. Through this comparison it was possible to prove that the new criteria presented satisfactory results. The execution time of the new criteria was also analyzed with batch image executions, bypassing some overheads of the heavier criteria. The architectures used as basis for the experiments were based on the YOLOv3-Tiny and YOLOv4-Tiny systems, using the public dataset QMUL-OpenLogo specialized in logos and based on real photos.