[pt] Nos últimos anos tem ocorrido um notável desenvolvimento de técnicas de Image Inpainting, entretanto transpor esse conhecimento para aplicações em vídeo tem se mostrado um desafio. Além dos desafios inerentes a tarefa de Video Inpainting (VI), utilizar essa técnica requer um trabalho prévio de anotação da área que será reconstruída. Se a aplicação do método for para remover um objeto ao longo de um vídeo, então a anotação prévia deve ser uma máscara da área deste objeto frame a frame. A tarefa de propagar a anotação de um objeto ao longo de um vídeo é conhecida como Video Object Segmentation (VOS) e já existem técnicas bem desenvolvidas para solucionar este problemas. Assim, a proposta desse trabalho é aplicar técnicas de VOS para gerar insumo para um algoritmo de VI. Neste trabalho iremos analisar o impacto de utilizar anotações preditas no resultado final de um modelo de VI. / [en] In recent years there has been a remarkable development of Image Inpainting techniques, but using this knowledge in video application is still a challenge. Besides the inherent challenges of the Video Inpainting (VI) task, applying this technique requires a previous job of labeling the area that should be reconstructed. If this method is used to remove an object from the video, then the annotation should be a mask of this object s area frame by frame. The task of propagating an object mask in a video is known as Video Object Segmentation (VOS) and there are already well developed techniques to solve this kind of task. Therefore, this work aims to apply VOS techniques to create the inputs for an VI algorithm. In this work we shall analyse the impact in the result of a VI algorithm when we use a predicted annotation as the input.

[pt] Em grandes indústrias, como construção, metalúrgica e petróleo, trabalhadores são continuamente expostos a vários tipos de perigos em seus locais de trabalho. Segundo a Organização Internacional do Trabalho (OIT), anualmente ocorrem cerca de 340 milhões de acidentes de trabalho. Equipamentos de Proteção Individual (EPI) são utilizados para garantir a proteção essencial da saúde e segurança dos trabalhadores. Com isto, há um grande esforço para garantir que esses tipos de equipamentos sejam usados de maneira adequada em ambientes de trabalho. Em tais ambientes, é comum ter câmeras de circuito fechado de televisão (CFTV) para monitorar os trabalhadores, pois essas podem ser usadas para verificar o uso adequado de EPIs. Alguns trabalhos presentes na literatura abordam o problema de verificação automática de EPIs usando imagens de CFTV como entrada; no entanto, muitos destes trabalhos não conseguem lidar com a detecção de uso seguro de múltiplos equipamentos e outros até mesmo pulam a fase de verificação, fazendo apenas a detecção. Neste trabalho, propomos um novo componente de análise de segurança cognitiva para um sistema de monitoramento. Este componente atua para detectar o uso adequado de EPIs em tempo real, usando fluxo de dados de câmeras de CFTV comuns. Construímos este componente do sistema com base nas melhores técnicas de Aprendizado Profundo voltadas para a tarefa de detecção de objetos. A metodologia proposta é robusta com resultados consistentes e promissores em termos da métrica Mean Average Precision (mAP) e pode atuar em tempo real. / [en] In large industries, such as construction, metallurgy, and oil, workers are continually exposed to various hazards in their workplace. Accordingly to the International Labor Organization (ILO), there are 340 million occupational accidents annually. Personal Protective Equipment (PPE) is used to ensure the essential protection of workers health and safety. There is a great effort to ensure that these types of equipment are used properly. In such an environment, it is common to have closed-circuit television (CCTV) cameras to monitor workers, as those can be used to verify the PPE s proper usage. Some works address this problem using CCTV images; however, they frequently can not deal with multiples safe equipment usage detection and others even skip the verification phase, making only the detection. In this paper, we propose a novel cognitive safety analysis component for a monitoring system. This component acts to detect the proper usage of PPE s in real-time using data stream from regular CCTV cameras. We built the system component based on the top of state-of-art deep learning techniques for object detection. The methodology is robust with consistent and promising results for Mean Average Precision (mAP) and can act in real-time.

[pt] Esta pesquisa aborda o processo de aplicação das diretrizes e recomendações de acessibilidade com foco em daltonismo e baixa visão dentro do ambiente corporativo, local esse considerado dinâmico. É evidenciado na pesquisa a complexidade desse cenário, uma vez que diversos fatores influenciam o processo de implementação das diretrizes, sendo a visão da empresa em relação ao tema o mais significativo deles. Assim, a pesquisa visou discutir a experiência dos designers durante os processos de design de interfaces acessíveis a fim de compreender as dificuldades e limitações que enfrentam. Para isso, foi realizado uma revisão sistemática de literatura para identificar o que já foi estudado até o momento no meio acadêmico com relação ao tema, bem como o levantamento bibliográfico sobre a acessibilidade na web, a fim de compreender mais profundamente o daltonismo e a baixa visão, além das definições legais referente a acessibilidade digital. Além disso, foi realizada uma análise digital das ferramentas e plugins mais utilizados para realizar a validação do nível de acessibilidade na interface e simular a deficiência visual, para ser possível compreender quais são as melhores práticas no campo da acessibilidade, se essas ferramentas atendem a esses critérios e se impactam no resultado das interfaces. Por fim, foi identificado por meio de relatos a partir de entrevistas semiestruturadas, as experiências desses profissionais e as falas dos entrevistados foram utilizadas na construção do diagrama de afinidade com o intuito de levantar insights. O resultado da pesquisa ressalta a importância do designer durante o processo, bem como, oferecer sugestões e estratégias para que os designers possam superar os desafios e impulsionar uma cultura mais inclusiva nas organizações. / [en] This research addresses the process of applying accessibility guidelines and recommendations with a focus on color blindness and low vision within the corporate environment, which is considered dynamic. The complexity of this scenario is evidenced in the research, since several factors influence the process of implementing the guidelines, the most significant of which is the company s view on the subject. Thus, the research aimed to discuss the experience of designers during the design process of accessible interfaces in order to understand the difficulties and limitations they face. To this end, a systematic literature review was carried out to identify what has been studied so far in the academic environment in relation to the subject, as well as a bibliographic survey on web accessibility, to understand more deeply color blindness and low vision, in addition to the legal definitions regarding digital accessibility. In addition, a digital analysis of the most used tools and plugins was carried out to validate the level of accessibility in the interface and simulate visual impairment, so that it is possible to understand what the best practices in the field of accessibility are, whether these tools meet these criteria and whether they impact the result of the interfaces. Finally, it was identified through reports from semi-structured interviews, the experiences of these professionals and the statements of the interviewees were used in the construction of the affinity diagram to raise insights. The result of the research highlights the importance of the designer during the process, as well as offering suggestions and strategies so that designers can overcome the challenges and drive a more inclusive culture in organizations.

[pt] As expressões faciais transmitem muita informação sobre um indivíduo, tornando a capacidade de interpretá-las uma tarefa muito importante, com aplicações em diversas áreas, tais como Interação Homem Máquina, Jogos Digitais, storytelling interativo e TV/Cinema digital. Esta dissertação discute o processo de reconhecimento de emoções em tempo real usando ASM (Active Shape Model) e SVM (Support Vector Machine) e apresenta uma comparação entre duas formas comumente utilizadas na etapa de extração de atributos: faces neutra e média. Como não existe tal comparação na literatura, os resultados apresentados são valiosos para o desenvolvimento de aplicações envolvendo expressões de emoção em tempo real. O presente trabalho considera seis tipos de emoções: felicidade, tristeza, raiva, medo, surpresa e desgosto. / [en] The facial expressions provide a high amount of information about a person, making the ability to interpret them a high valued task that can be used in several fields of Informatics such as Human Machine Interface, Digital Games, interactive storytelling and digital TV/Cinema. This dissertation discusses the process of recognizing emotions in real time using ASM (Active Shape Model) and SVM (Support Vector Machine) and presents a comparison between two commonly used ways when extracting the attributes: neutral face and average. As such comparison can not be found in the literature, the results presented are valuable to the development of applications that deal with emotion expression in real time. The current study considers six types of emotions: happiness, sadness, anger, fear, surprise and disgust.

[pt] Dada a importância dos provedores de serviços logísticos e da existência de uma carência na definição clara das fronteiras entre os diversos tipos de Party Logistics - PLs (1PL, 2 PL, 3PL, 4PL e 5PL), a presente dissertação apresenta uma proposta de metodologia para classificá-los baseada em um estudo exploratório fundamentado em uma análise da literatura acadêmica. A metodologia tem por base os conceitos de complexidade logística, tipos de contratos, responsáveis pela execução do serviço, características do investimento, formas de governança, tipos de relacionamentos, capabilidades, vantagem competitiva e agregação de valor à cadeia. A teoria do custo de transação e a visão baseada em recursos, auxiliam na elaboração da metodologia. As características são associadas aos PLs com o intuito de defini-los e de indicar uma fronteira clara entre cada um deles. / [en] Given the importance of logistic service providers and the existence of a lack in the definition frontiers among the different Party Logistics - PLs (1PL, 2PL, 3PL, 4PL and 5PL), the present dissertation presents a methodology proposal to classify these Party Logistics based on an exploratory study supported by an analysis in the academic literature. The methodology uses the following concepts: logistic complexity, contract types, investment characteristics, governance forms, relationships types, responsible for the service execution, capabilities, competitive advantage, and value aggregation. The transaction cost theory and the resource-based view help in the elaboration of the methodology. The characteristics are associated to the PLs towards defining them and indicating a clear frontier among each of them.

[pt] Ao mesmo tempo em que a autonomia de robôs pessoais e domésticos aumenta, cresce a necessidade de interação dos mesmos com o ambiente. A interação mais básica de um robô com o ambiente é feita pela percepção deste e sua navegação. Para uma série de aplicações não é prático prover modelos geométricos válidos do ambiente a um robô antes de seu uso. O robô necessita, então, criar estes modelos enquanto se movimenta e percebe o meio em que está inserido através de sensores. Ao mesmo tempo é necessário minimizar a complexidade requerida quanto a hardware e sensores utilizados. No presente trabalho, um algoritmo iterativo baseado em entropia é proposto para planejar uma estratégia de exploração visual, permitindo a construção eficaz de um modelo em grafo do ambiente. O algoritmo se baseia na determinação da informação presente em sub-regiões de uma imagem panorâmica 2-D da localização atual do robô obtida com uma câmera fixa sobre o mesmo. Utilizando a métrica de entropia baseada na Teoria da Informação de Shannon, o algoritmo determina nós potenciais para os quais deve se prosseguir a exploração. Através de procedimento de Visual Tracking, em conjunto com a técnica SIFT (Scale Invariant Feature Transform), o algoritmo auxilia a navegação do robô para cada nó novo, onde o processo é repetido. Um procedimento baseado em transformações invariáveis a determinadas variações espaciais (desenvolvidas a partir de Fourier e Mellin) é utilizado para auxiliar o processo de guiar o robô para nós já conhecidos. Também é proposto um método baseado na técnica SIFT. Os processos relativos à obtenção de imagens, avaliação, criação do grafo, e prosseguimento dos passos citados continua até que o robô tenha mapeado o ambiente com nível pré-especificado de detalhes. O conjunto de nós e imagens obtidos são combinados de modo a se criar um modelo em grafo do ambiente. Seguindo os caminhos, nó a nó, um robô pode navegar pelo ambiente já explorado. O método é particularmente adequado para ambientes planos. As componentes do algoritmo proposto foram desenvolvidas e testadas no presente trabalho. Resultados experimentais mostrando a eficácia dos métodos propostos são apresentados. / [en] As the autonomy of personal service robotic systems increases so has their need to interact with their environment. The most basic interaction a robotic agent may have with its environment is to sense and navigate through it. For many applications it is not usually practical to provide robots in advance with valid geometric models of their environment. The robot will need to create these models by moving around and sensing the environment, while minimizing the complexity of the required sensing hardware. This work proposes an entropy-based iterative algorithm to plan the robot´s visual exploration strategy, enabling it to most efficiently build a graph model of its environment. The algorithm is based on determining the information present in sub-regions of a 2- D panoramic image of the environment from the robot´s current location using a single camera fixed on the mobile robot. Using a metric based on Shannon s information theory, the algorithm determines potential locations of nodes from which to further image the environment. Using a Visual Tracking process based on SIFT (Scale Invariant Feature Transform), the algorithm helps navigate the robot to each new node, where the imaging process is repeated. An invariant transform (based on Fourier and Mellin) and tracking process is used to guide the robot back to a previous node. Also, an SIFT based method is proposed to accomplish such task. This imaging, evaluation, branching and retracing its steps continues until the robot has mapped the environment to a pre-specified level of detail. The set of nodes and the images taken at each node are combined into a graph to model the environment. By tracing its path from node to node, a service robot can navigate around its environment. This method is particularly well suited for flat-floored environments. The components of the proposed algorithm were developed and tested. Experimental results show the effectiveness of the proposed methods.

[pt] Esta dissertação investiga o uso das estruturas planares extraídas de imagens RGB-Dem aplicações de Realidade Aumentada. Ter o modelo da cena é fundamental para as aplicações de realidade aumentada. O uso de imagens RGB-D auxilia bastante o processo da construção destes modelos, pois elas fornecem a geometria e os aspectos fotométricos da cena. Devido a grande parte das aplicações de realidade aumentada utilizarem superfícies planares como sua principal componente para projeção de objetos virtuais, é fundamental ter um método robusto e eficaz para obter e representar as estruturas que constituem estas superfícies planares. Neste trabalho, apresentaremos um método para identificar, segmentar e representar estruturas planares a partir de imagens RGB-D. Nossa representação das estruturas planares são polígonos bidimensionais triangulados, simplificados e texturizados, que estão no sistema de coordenadas do plano, onde os pontos destes polígonos definem as regiões deste plano. Demonstramos através de diversos experimentos e da implementação de uma aplicação de realidade aumentada, as técnicas e métodos utilizados para extrair as estruturas planares a partir das imagens RGB-D. / [en] This dissertation investigates the use of planar geometric structures extracted from RGB-D images in Augmented Reality Applications. The model of a scene is essential for augmented reality applications. RGB-D images can greatly help the construction of these models because they provide geometric and photometric information about the scene. Planar structures are prevalent in many 3D scenes and, for this reason, augmented reality applications use planar surfaces as one of the main components for projection of virtual objects. Therefore, it is extremely important to have robust and efficient methods to acquire and represent the structures that compose these planar surfaces. In this work, we will present a method for identifying, targeting and representing planar structures from RGB-D images. Our planar structures representation is triangulated two-dimensional polygons, simplified and textured, forming a triangle mesh intrinsic to the plane that defines regions in this space corresponding to surface of objects in the 3D scene. We have demonstrated through various experiments and implementation of an augmented reality application, the techniques and methods used to extract the planar structures from the RGB-D images.

[pt] Assinaturas e caligrafias foram utilizadas durante décadas como uma marca característica de cada indivíduo. Por trás dos métodos utilizados para reconhecer estas caracterísitcas está o fato que toda pessoa possui seu próprio jeito de mover a mão enquanto escreve. Sendo assim é razoável pensar que cada pintor tem uma maneira própria de atacar a tela de pintura com o seu pincel, deixando assim um padrão pessoal de acidentes geométricos, que poderiam ser utilizados para identificá-lo.A partir desse principio surge a idéia de aplicar visão computacional para reconhecer padrões específicos de cada pintor que poderiam ser utilizados no processo de autenticar quadros de arte. A dissertação aqui descrita apresenta os resultados de uma pesquisa que objetiva o desenvolvimento de um método para definir a autenticidade de quadros de arte. Um novo procedimento para segmentação de pinceladas em um quadro juntamente com uma nova técnica de medição de textura para capturar as assinaturas nas pinceladas é proposto. Além disso, o trabalho investiga a utilização de métodos não- paramétricos de classificação, para discriminar entre potenciais pintores. O método proposto é avaliado com um conjunto de experimentos cujo objetivo é discriminar entre dois pintores brasileiros muito conhecidos: Portinari e Bianco. / [en] Signatures and hand writings were used during decades as a unique characteristic to recognize an individual. Methods to recognize these characteristics were base don the fact that each individual has an unique way to move his hand while writing. Taking that into account, it is reasonable to think that each painter has an unique way to strike the painting board with his stroke, leaving a distinguishing personal pattern, that can be used to identify him. From this principle comes the idea to apply computer vision to recognize specific patterns that could be used in the process of authentication of fine art paintings.This work shows the results of a research where the main purpose is to develop a methodology to find the authenticity of fine art paintings. A new segmentation process of strokes of a painting allied to a new technique of texture measure to get the implicit signatures in the strokes is proposed. Beyond that, this work investigates non-parametric classification methods to discriminate potential painters. The proposed method is evaluated with a set of experiments where the purpose is to discriminate between two well known Brazilian painters : Portinari and Bianco.

[pt] Alvo de intenso estudo da visão computacional, a reconstrução densa 3D teve um importante marco com os primeiros sistemas em tempo real a alcançarem precisão milimétrica com uso de câmeras RGBD e GPUs. Entretanto estes métodos não são aplicáveis a dispositivos de menor poder computacional. Tendo a limitação de recursos computacionais como requisito, o objetivo deste trabalho é apresentar um método de odometria visual utilizando câmeras comuns e sem a necessidade de GPU, baseado em técnicas de Structure from Motion (SFM) com features esparsos, utilizando as informações de uma reconstrução densa. A Odometria visual é o processo de estimar a orientação e posição de um agente (um robô, por exemplo), a partir das imagens. Esta dissertação fornece uma comparação entre a precisão da odometria calculada pelo método proposto e pela reconstrução densa utilizando o Kinect Fusion. O resultado desta pesquisa é diretamente aplicável na área de realidade aumentada, tanto pelas informações da odometria que podem ser usadas para definir a posição de uma câmera, como pela reconstrução densa, que pode tratar aspectos como oclusão dos objetos virtuais com reais. / [en] Aim of intense research in the field computational vision, dense 3D reconstruction achieves an important landmark with first methods running in real time with millimetric precision, using RGBD cameras and GPUs. However these methods are not suitable for low computational resources. Having low computational resources as requirement, the goal of this work is to show a method of visual odometry using regular cameras, without using a GPU. The proposed method is based on technics of sparse Structure From Motion (SFM), using data provided by dense 3D reconstruction. Visual odometry is the process of estimating the position and orientation of an agent (a robot, for instance), based on images. This dissertation compares the proposed method with the odometry calculated by Kinect Fusion. Results of this research are applicable in augmented reality. Odometry provided by this work can be used to model a camera and the data from dense 3D reconstruction, can be used to handle occlusion between virtual and real objects.

[pt] A inteligência artificial tem gerado resultados promissores na área médica, especialmente na última década. Contudo, os modelos de melhor desempenho apresentam opacidade em relação ao seu funcionamento interno. Nesta tese, são apresentadas novas metodologias e abordagens para o desenvolvimento de classificadores explicáveis de imagens médicas. Dois principais métodos, Squaregrid e EvEx, foram desenvolvidos. O primeiro consiste em uma geração mais grosseira, porém rápida, de heatmaps explicativos via segmentações em grades quadrados, enquanto o segundo baseia-se em otimização multi-objetivo, baseada em computação evolucionária, visando ao ajuste fino de parâmetros de segmentação. Notavelmente, ambas as técnicas são agnósticas ao modelo, o que facilita sua utilização para qualquer tipo de classificador de imagens. O potencial destas abordagens foi avaliado em três estudos de caso de classificações médicas: metástases em linfonodos, malária e COVID-19. Para alguns destes casos foram analisados modelos de classificação existentes, publicamente disponíveis. Por outro lado, em outros estudos de caso, novos modelos tiveram que ser treinados. No caso do estudo de COVID-19, a ResNet50 treinada levou a F-scores acima de 0,9 para o conjunto de teste de uma competição para classificação de coronavirus, levando ao terceiro lugar geral. Adicionalmente, técnicas de inteligência artificial já existentes como LIME e GradCAM, bem como Vanilla, Smooth e Integrated Gradients também foram usadas para gerar heatmaps e possibilitar comparações. Os resultados aqui descritos ajudaram a demonstrar e preencher parcialmente lacunas associadas à integração das áreas de inteligência artificial explicável e medicina. Eles também ajudaram a demonstrar que as diferentes abordagens de inteligência artificial explicável podem gerar heatmaps que focam em características diferentes da imagem. Isso por sua vez demonstra a importância de combinar abordagens para criar um panorama mais completo sobre os modelos classificadores, bem como extrair informações sobre o que estes aprendem. / [en] Artificial Intelligence has generated promissing results for the medical area, especially on the last decade. However, the best performing models present opacity when it comes to their internal working. In this thesis, methodologies and approaches are presented for the develpoment of explainable classifiers of medical images. Two main methods, Squaregrid and EvEx, were developed. The first consistts in a rough, but fast, generation of heatmaps via segmentations in square grids, and the second in genetic multi objective optimizations aiming at the fine-tuning of segmentation parameters. Notably, both techniques are agnostic to the model,which facilitates their utilization for any kind of image classifier. The potential of these approaches was demonstrated in three case studies of medical classifications: lymph node mestastases, malária and COVID-19. In some of these cases, already existing classifier models were analyzed, while in some others new models were trained. For the COVID-19 study, the trained ResNet50 provided F-scores above 0.9 in a test set from a coronavirus classification competition, resulting in the third place overall. Additionally, already existing explainable artificial intelligence techniques, such as LIME and GradCAM, as well as Vanilla, Smooth and Integrated Gradients, were also used to generate heatmaps and enable comparisons. The results here described help to demonstrate and improve the gaps in integrating the areas of explainable artificial intelligence and medicine. They also aided in demonstrating that the different types of approaches in explainable artificial intelligence can generate heatmaps that focus on different characteristics of the image. This shows the importance of combining approaches to create a more complete overview of classifier models, as well as extracting informations about what they learned from data.