[pt] É cada vez mais comum, na transmissão de eventos esportivos pelas emissoras de televisão, a inserção, em tempo real, de elementos sintéticos na imagem, como anúncios, marcações no campo, etc. Geralmente, essa inserção é feita através do emprego de câmeras especiais, previamente calibradas e dotadas de dispositivos que registram seu movimento e a mudança de seus parâmetros. De posse destas informações, é simples inserir novos elementos na cena com a projeção apropriada. Nesta tese, é apresentado um algoritmo para recuperar, em tempo real e sem utilizar qualquer informação adicional, a posição e os parâmetros da câmera em uma seqüência de imagens contendo a visualização de modelos conhecidos. Para tal, é explorada a existência, nessas imagens, de segmentos de retas que compõem a visualização do modelo cujas posições são conhecidas no mundo tridimensional. Quando se trata de uma partida de futebol, por exemplo, o modelo em questão é composto pelo conjunto das linhas do campo, segundo as regras que definem sua geometria e dimensões. Inicialmente, são desenvolvidos métodos para a extração de segmentos de retas longos da primeira imagem. Em seguida é localizada uma imagem do modelo no conjunto desses segmentos com base em uma árvore de interpretação. De posse desse reconhecimento, é feito um reajuste nos segmentos que compõem a visualização do modelo, sendo obtidos pontos de interesse que são repassados a um procedimento capaz de encontrar a câmera responsável pela visualização do modelo. Para a segunda imagem da seqüência em diante, apenas uma parte do algoritmo é utilizada, levando em consideração a coerência entre quadros, a fim de aumentar o desempenho e tornar possível o processamento em tempo real. Entre diversas aplicações que podem ser empregadas para comprovar o desempenho e a validade do algoritmo proposto, está uma que captura imagens através de uma câmera para demonstrar o funcionamento do algoritmo on line. A utilização de captura de imagens permite testar o algoritmo em inúmeros casos, incluindo modelos e ambientes diferentes. / [en] In the television casting of sports events, it has become very common to insert synthetic elements to the images in real time, such as adds, marks on the field, etc. Usually, this insertion is made using special cameras, previously calibrated and provided with features that record their movements and parameter changes. With such information, inserting new objects to the scene with the adequate projection is a simple task. In the present work, we will introduce an algorithm to retrieve, in real time and using no additional information, the position and parameters of the camera in a sequence of images containing the visualization of previously-known models. For such, the method explores the existence in these images of straight-line segments that compose the visualization of the model whose positions are known in the three-dimensional world. In the case of a soccer match, for example, the respective model is composed by the set of field lines determined by the rules that define their geometry and dimensions. Firstly, methods are developed to extract long straight- line segments from the first image. Then an image of the model is located in the set formed by such segments based on an interpretation tree. With such information, the segments that compose the visualization of the model are readjusted, resulting in the obtainment of interest points which are then passed to a proceeding able to locate the camera responsible for the model`s visualization. For the second image on, only a part of the algorithm is used, taking into account the coherence between the frames, with the purpose of improving performance to allow real-time processing. Among several applications that can be employed to evaluate the performance and quality of the proposed method, there is one that captures images with a camera to show the on-line functioning of the algorithm. By using image capture, we can test the algorithm in a great variety of instances, including different models and environments.

[pt] Robótica coletiva de enxame é uma abordagem para o controle de sistemas robóticos multi-agentes baseada em insetos sociais e outros sistemas naturais que apresentam características de auto-organização e emergência, com aplicações disruptivas em robótica e inúmeras possibilidades de expansão em outras áreas. Porém, sendo um campo relativamente novo existem poucas plataformas experimentais para seu estudo, e as existentes são, em sua maioria, especialmente desenvolvidas para tarefas e algoritmos específicos. Uma plataforma de estudos genérica para o estudo de sistemas robóticos coletivos é, por si só, uma tarefa tecnológica não trivial além de ser um recurso valioso para um centro de pesquisas interessado em realizar experimentos no assunto. Neste trabalho dois importantes algoritmos de controle colaborativo multi-robôs foram estudados: busca do melhor caminho e transporte coletivo. Uma análise completa dos mecanismos biológicos, dos modelos lógicos e do desenvolvimento dos algoritmos é apresentada. Para realizar os experimentos uma plataforma genérica foi desenvolvida baseada nos robôs móveis “iRobot Create”. Sensores virtuais são implementados em através de um sistema de visão computacional combinado com um simulador em tempo real. O sistema de sensores virtuais permite a incorporação de sensores ideais no sistema experimental, incluindo modelos mais complexos de sensores reais, incluindo a possibilidade da adição de ruído simulador nas leituras. Esta abordagem permite também a utilização de sensores para detecção de objetos virtuais, criados pelo simulador, como paredes virtuais e feromônios virtuais. Cada robô possui um sistema eletrônico embarcado especialmente desenvolvido baseado em micro controlador ARM. A eletrônica adicionada é responsável por receber as leituras dos sensores virtuais através de um link de radio em um protocolo customizado e calcular, localmente, o comportamento do robô. Os algoritmos são implementados na linguagem de alto nível Lua. Mesmo com as leituras dos sensores virtuais sendo transmitidas de um sistema centralizado é importante ressaltar que todo o algoritmo de inteligência é executado localmente por cada agente. As versões modificadas e adaptadas dos algoritmos estudados na plataforma com sensores virtuais foram analisadas, juntamente com suas limitações, e se mostraram compatíveis com os resultados esperados e acessíveis na literatura que utiliza sistemas experimentais mais específicos e mais dispendiosos. Portanto a plataforma desenvolvida se mostra capaz como ferramenta para experimentos em controle de sistemas robóticos multi-agentes com baixo custo de implementação, além da inclusão, através do mecanismo de sensores virtuais, de sensores ainda em desenvolvimento ou comercialmente indisponíveis. / [en] Swarm robotics is an approach to multi-robot control based on social insects and other natural systems, which shows self-organization and emergent characteristics, with disruptive applications on robotics and possibilities in a variety of areas. But, being a relatively new field of research, there are few experimental platforms to its study, and most of them are crafted for very specific tasks and algorithms. A general study platform of swarm robotics, by itself, is a non-trivial technological deed and also a very valuable asset to a research center willing to run experiments on the topic. In this work, two important algorithms in multi-robot collaborative control strategies are studied: path finding and collective transport. A complete analysis of the biological mechanisms, models and computer abstractions that resulted in the development of those algorithms is shown. To perform the multi-robot experiments, several “iRobot Create” mobile robots are employed. Virtual sensors and virtual walls are implemented in real time in the experimental system through cameras and especially developed computer vision software. Virtual sensors allow the incorporation of ideal sensors in the experimental system, including complete models of real sensors, with the possibility of adding virtual noise to the measurements. This approach also allows the use of sensors to detect virtually created objects, such as virtual walls or virtual pheromones. Each physical robot has a customized embedded system, based on the ARM microprocessor, which receives the virtual sensors readings through a radio link in an also customized protocol. The behavior of each autonomous agent is locally calculated using the high-level programming language Lua. Even though the virtual sensor readings are transmitted from an external centralized computer system, all behaviors are locally and independently calculated by each agent. The adaptations of the studied algorithms to the platform with virtual sensors are analyzed, along with its limitations. It is shown that the experimental results using virtual sensors are coherent with results from the literature using very specialized and expensive robot/sensor setups. Therefore, the developed platform is able to experimentally study new control strategies and swarm algorithms with a low setup cost, including the possibility of virtually incorporating sensors that are still under development or not yet commercially available.

[pt] Imprescindível para quaisquer aplicações de visão computacional ou realidade aumentada, a calibração de câmera é o processo no qual se obtém os parâmetros intrínsecos e extrínsecos da câmera, tais como distância focal, ponto principal e valores que mensuram a distorção ótica da lente. Atualmente o método mais utilizado para calibrar uma câmera envolve o uso de imagens de um padrão planar em diferentes perspectivas, a partir das quais se extrai pontos de controle para montar um sistema de equações lineares cuja solução representa os parâmetros da câmera, que são otimizados com base no erro de reprojeção 2D. Neste trabalho, foi escolhido o padrão de calibração aneliforme por oferecer maior precisão na detecção dos pontos de controle. Ao aplicarmos técnicas como transformação frontal-paralela, refinamento iterativo dos pontos de controle e segmentação adaptativa de elipses, nossa abordagem apresentou melhoria no resultado do processo de calibração. Além disso, propomos estender o modelo de otimização ao redefinir a função objetivo, considerando não somente o erro de reprojeção 2D, mas também o erro de colinearidade 2D. / [en] Crucial for any computer vision or augmented reality application, the camera calibration is the process in which one gets the intrinsics and the extrinsics parameters of a camera, such as focal length, principal point and distortions values. Nowadays, the most used method to deploy the calibration comprises the use of images of a planar pattern in different perspectives, in order to extract control points to set up a system of linear equations whose solution represents the camera parameters, followed by an optimization based on the 2D reprojection error. In this work, the ring calibration pattern was chosen because it offers higher accuracy on the detection of control points. Upon application of techniques such as fronto-parallel transformation, iterative refinement of the control points and adaptative segmentation of ellipses, our approach has reached improvements in the result of the calibration process. Furthermore, we proposed extend the optimization model by modifying the objective function, regarding not only the 2D reprojection error but also the 2D collinearity error.

[pt] Breakouts são zonas colapsadas nas paredes de poços causadas por falhas de compressão. A identificação desses artefatos é fundamental para estimar a estabilidade das perfurações e para obter a orientação e magnitude da tensão horizontal máxima presente na formação rochosa. Tradicionalmente, os intérpretes caracterizam os breakouts manualmente em perfis de imagem, o que pode ser considerado uma tarefa muito demorada e trabalhosa por conta do tamanho massivo dos dados. Outros aspectos que dificultam a interpretação estão associados à complexidade das estruturas e a presença de diversos artefatos ruidosos nos dados de perfil. Sendo assim, métodos tradicionais de processamento de imagem tornam-se ineficientes para solucionar essa tarefa de detecção. Nos últimos anos, soluções baseadas em aprendizado profundo tem se tornado cada vez mais promissoras para problemas de visão computacional, tais como, detecção e segmentação de objetos em imagens. O presente trabalho tem como objetivo a classificação pixel a pixel das regiões de breakouts em dados de perfil de imagem. Para isso foi empregado a rede neural convolucional DC-UNet de forma supervisionada. Essa arquitetura é uma variação do modelo clássico U-Net, a qual é uma rede consagrada na segmentação de dados médicos. A metodologia proposta atingiu uma média de 72.3por cento de F1-Score e, em alguns casos, os resultados qualitativos mostraram-se melhores que a interpretação de referência. Após avaliação dos resultados junto a especialistas da área, o método pode ser considerado promissor na caracterização e segmentação automática de estruturas em perfis de imagem de poços. / [en] Breakouts are collapsed zones on wellbore walls caused by compressive failure. Their identification is fundamental for estimating the borehole s stability and obtaining the direction and magnitude of the maximum horizontal stress in the rock formation. Traditionally, professional interpreters identify and characterize breakouts manually in image logs, which can be considered a very laborious and time-consuming task due to the massive size of the wellbore data. Other aspects that make the interpretation difficult are the complexity of the structures of interest and several noisy artifacts in the image log data. Therefore, more than traditional image processing methods are required to solve this detection task. In recent years, solutions based on deep learning have become increasingly promising for computer vision problems, such as object detection and image segmentation. This work explores using a convolutional neural network to create a pixel-by-pixel classification of the breakout regions in the image log data. The architecture model used in this work for the supervised training was the DC-UNet. This architecture is a variation of the classical U-Net, an acknowledged network for medical image segmentation. The proposed method reached an average F-Score of 72.3 percent and qualitative results with some prediction cases even better than ground truth. After evaluating the results, the work can be considered promising for automatically characterizing and segmenting borehole structures in well image logs.

[pt] Nos últimos anos tem ocorrido um notável desenvolvimento de técnicas de Image Inpainting, entretanto transpor esse conhecimento para aplicações em vídeo tem se mostrado um desafio. Além dos desafios inerentes a tarefa de Video Inpainting (VI), utilizar essa técnica requer um trabalho prévio de anotação da área que será reconstruída. Se a aplicação do método for para remover um objeto ao longo de um vídeo, então a anotação prévia deve ser uma máscara da área deste objeto frame a frame. A tarefa de propagar a anotação de um objeto ao longo de um vídeo é conhecida como Video Object Segmentation (VOS) e já existem técnicas bem desenvolvidas para solucionar este problemas. Assim, a proposta desse trabalho é aplicar técnicas de VOS para gerar insumo para um algoritmo de VI. Neste trabalho iremos analisar o impacto de utilizar anotações preditas no resultado final de um modelo de VI. / [en] In recent years there has been a remarkable development of Image Inpainting techniques, but using this knowledge in video application is still a challenge. Besides the inherent challenges of the Video Inpainting (VI) task, applying this technique requires a previous job of labeling the area that should be reconstructed. If this method is used to remove an object from the video, then the annotation should be a mask of this object s area frame by frame. The task of propagating an object mask in a video is known as Video Object Segmentation (VOS) and there are already well developed techniques to solve this kind of task. Therefore, this work aims to apply VOS techniques to create the inputs for an VI algorithm. In this work we shall analyse the impact in the result of a VI algorithm when we use a predicted annotation as the input.

[pt] Em grandes indústrias, como construção, metalúrgica e petróleo, trabalhadores são continuamente expostos a vários tipos de perigos em seus locais de trabalho. Segundo a Organização Internacional do Trabalho (OIT), anualmente ocorrem cerca de 340 milhões de acidentes de trabalho. Equipamentos de Proteção Individual (EPI) são utilizados para garantir a proteção essencial da saúde e segurança dos trabalhadores. Com isto, há um grande esforço para garantir que esses tipos de equipamentos sejam usados de maneira adequada em ambientes de trabalho. Em tais ambientes, é comum ter câmeras de circuito fechado de televisão (CFTV) para monitorar os trabalhadores, pois essas podem ser usadas para verificar o uso adequado de EPIs. Alguns trabalhos presentes na literatura abordam o problema de verificação automática de EPIs usando imagens de CFTV como entrada; no entanto, muitos destes trabalhos não conseguem lidar com a detecção de uso seguro de múltiplos equipamentos e outros até mesmo pulam a fase de verificação, fazendo apenas a detecção. Neste trabalho, propomos um novo componente de análise de segurança cognitiva para um sistema de monitoramento. Este componente atua para detectar o uso adequado de EPIs em tempo real, usando fluxo de dados de câmeras de CFTV comuns. Construímos este componente do sistema com base nas melhores técnicas de Aprendizado Profundo voltadas para a tarefa de detecção de objetos. A metodologia proposta é robusta com resultados consistentes e promissores em termos da métrica Mean Average Precision (mAP) e pode atuar em tempo real. / [en] In large industries, such as construction, metallurgy, and oil, workers are continually exposed to various hazards in their workplace. Accordingly to the International Labor Organization (ILO), there are 340 million occupational accidents annually. Personal Protective Equipment (PPE) is used to ensure the essential protection of workers health and safety. There is a great effort to ensure that these types of equipment are used properly. In such an environment, it is common to have closed-circuit television (CCTV) cameras to monitor workers, as those can be used to verify the PPE s proper usage. Some works address this problem using CCTV images; however, they frequently can not deal with multiples safe equipment usage detection and others even skip the verification phase, making only the detection. In this paper, we propose a novel cognitive safety analysis component for a monitoring system. This component acts to detect the proper usage of PPE s in real-time using data stream from regular CCTV cameras. We built the system component based on the top of state-of-art deep learning techniques for object detection. The methodology is robust with consistent and promising results for Mean Average Precision (mAP) and can act in real-time.

[pt] As expressões faciais transmitem muita informação sobre um indivíduo, tornando a capacidade de interpretá-las uma tarefa muito importante, com aplicações em diversas áreas, tais como Interação Homem Máquina, Jogos Digitais, storytelling interativo e TV/Cinema digital. Esta dissertação discute o processo de reconhecimento de emoções em tempo real usando ASM (Active Shape Model) e SVM (Support Vector Machine) e apresenta uma comparação entre duas formas comumente utilizadas na etapa de extração de atributos: faces neutra e média. Como não existe tal comparação na literatura, os resultados apresentados são valiosos para o desenvolvimento de aplicações envolvendo expressões de emoção em tempo real. O presente trabalho considera seis tipos de emoções: felicidade, tristeza, raiva, medo, surpresa e desgosto. / [en] The facial expressions provide a high amount of information about a person, making the ability to interpret them a high valued task that can be used in several fields of Informatics such as Human Machine Interface, Digital Games, interactive storytelling and digital TV/Cinema. This dissertation discusses the process of recognizing emotions in real time using ASM (Active Shape Model) and SVM (Support Vector Machine) and presents a comparison between two commonly used ways when extracting the attributes: neutral face and average. As such comparison can not be found in the literature, the results presented are valuable to the development of applications that deal with emotion expression in real time. The current study considers six types of emotions: happiness, sadness, anger, fear, surprise and disgust.

[pt] Ao mesmo tempo em que a autonomia de robôs pessoais e domésticos aumenta, cresce a necessidade de interação dos mesmos com o ambiente. A interação mais básica de um robô com o ambiente é feita pela percepção deste e sua navegação. Para uma série de aplicações não é prático prover modelos geométricos válidos do ambiente a um robô antes de seu uso. O robô necessita, então, criar estes modelos enquanto se movimenta e percebe o meio em que está inserido através de sensores. Ao mesmo tempo é necessário minimizar a complexidade requerida quanto a hardware e sensores utilizados. No presente trabalho, um algoritmo iterativo baseado em entropia é proposto para planejar uma estratégia de exploração visual, permitindo a construção eficaz de um modelo em grafo do ambiente. O algoritmo se baseia na determinação da informação presente em sub-regiões de uma imagem panorâmica 2-D da localização atual do robô obtida com uma câmera fixa sobre o mesmo. Utilizando a métrica de entropia baseada na Teoria da Informação de Shannon, o algoritmo determina nós potenciais para os quais deve se prosseguir a exploração. Através de procedimento de Visual Tracking, em conjunto com a técnica SIFT (Scale Invariant Feature Transform), o algoritmo auxilia a navegação do robô para cada nó novo, onde o processo é repetido. Um procedimento baseado em transformações invariáveis a determinadas variações espaciais (desenvolvidas a partir de Fourier e Mellin) é utilizado para auxiliar o processo de guiar o robô para nós já conhecidos. Também é proposto um método baseado na técnica SIFT. Os processos relativos à obtenção de imagens, avaliação, criação do grafo, e prosseguimento dos passos citados continua até que o robô tenha mapeado o ambiente com nível pré-especificado de detalhes. O conjunto de nós e imagens obtidos são combinados de modo a se criar um modelo em grafo do ambiente. Seguindo os caminhos, nó a nó, um robô pode navegar pelo ambiente já explorado. O método é particularmente adequado para ambientes planos. As componentes do algoritmo proposto foram desenvolvidas e testadas no presente trabalho. Resultados experimentais mostrando a eficácia dos métodos propostos são apresentados. / [en] As the autonomy of personal service robotic systems increases so has their need to interact with their environment. The most basic interaction a robotic agent may have with its environment is to sense and navigate through it. For many applications it is not usually practical to provide robots in advance with valid geometric models of their environment. The robot will need to create these models by moving around and sensing the environment, while minimizing the complexity of the required sensing hardware. This work proposes an entropy-based iterative algorithm to plan the robot´s visual exploration strategy, enabling it to most efficiently build a graph model of its environment. The algorithm is based on determining the information present in sub-regions of a 2- D panoramic image of the environment from the robot´s current location using a single camera fixed on the mobile robot. Using a metric based on Shannon s information theory, the algorithm determines potential locations of nodes from which to further image the environment. Using a Visual Tracking process based on SIFT (Scale Invariant Feature Transform), the algorithm helps navigate the robot to each new node, where the imaging process is repeated. An invariant transform (based on Fourier and Mellin) and tracking process is used to guide the robot back to a previous node. Also, an SIFT based method is proposed to accomplish such task. This imaging, evaluation, branching and retracing its steps continues until the robot has mapped the environment to a pre-specified level of detail. The set of nodes and the images taken at each node are combined into a graph to model the environment. By tracing its path from node to node, a service robot can navigate around its environment. This method is particularly well suited for flat-floored environments. The components of the proposed algorithm were developed and tested. Experimental results show the effectiveness of the proposed methods.

[pt] Esta dissertação investiga o uso das estruturas planares extraídas de imagens RGB-Dem aplicações de Realidade Aumentada. Ter o modelo da cena é fundamental para as aplicações de realidade aumentada. O uso de imagens RGB-D auxilia bastante o processo da construção destes modelos, pois elas fornecem a geometria e os aspectos fotométricos da cena. Devido a grande parte das aplicações de realidade aumentada utilizarem superfícies planares como sua principal componente para projeção de objetos virtuais, é fundamental ter um método robusto e eficaz para obter e representar as estruturas que constituem estas superfícies planares. Neste trabalho, apresentaremos um método para identificar, segmentar e representar estruturas planares a partir de imagens RGB-D. Nossa representação das estruturas planares são polígonos bidimensionais triangulados, simplificados e texturizados, que estão no sistema de coordenadas do plano, onde os pontos destes polígonos definem as regiões deste plano. Demonstramos através de diversos experimentos e da implementação de uma aplicação de realidade aumentada, as técnicas e métodos utilizados para extrair as estruturas planares a partir das imagens RGB-D. / [en] This dissertation investigates the use of planar geometric structures extracted from RGB-D images in Augmented Reality Applications. The model of a scene is essential for augmented reality applications. RGB-D images can greatly help the construction of these models because they provide geometric and photometric information about the scene. Planar structures are prevalent in many 3D scenes and, for this reason, augmented reality applications use planar surfaces as one of the main components for projection of virtual objects. Therefore, it is extremely important to have robust and efficient methods to acquire and represent the structures that compose these planar surfaces. In this work, we will present a method for identifying, targeting and representing planar structures from RGB-D images. Our planar structures representation is triangulated two-dimensional polygons, simplified and textured, forming a triangle mesh intrinsic to the plane that defines regions in this space corresponding to surface of objects in the 3D scene. We have demonstrated through various experiments and implementation of an augmented reality application, the techniques and methods used to extract the planar structures from the RGB-D images.

[pt] O apoio diagnóstico de exames médicos por imagem utilizando técnicas de Inteligência Artificial tem sido amplamente discutido e pesquisado academicamente. Diversas técnicas computacionais para segmentação e classificação de tais imagens são continuamente criadas, testadas e aperfeiçoadas. Destes estudos emergem sistemas com alto grau de especialização que se utilizam de técnicas de visão computacional e aprendizagem de máquina para segmentar e classificar imagens de exames utilizando conhecimento adquirido através de grandes coleções de exames devidamente laudados. No domínio médico há ainda a dificuldade de se conseguir bases de dados qualificada para realização da extração de conhecimento pelos sistemas de aprendizagem de máquina. Neste trabalho propomos a construção de uma arquitetura de software que suporte o desenvolvimento de sistemas de apoio diagnóstico que possibilite: (i) a utilização em múltiplos tipos exames, (ii) que consiga segmentar e classificar, (iii) utilizando não só de estratégias padrão de aprendizado de máquina como, (iv) o conhecimento do domínio médico disponível. A motivação é facilitar a tarefa de geração de classificadores que possibilite, além de buscar marcadores patológicos específicos, ser aplicado em objetivos diversos da atividade médica, como o diagnóstico pontual, triagem e priorização do atendimento. / [en] The image medical exam diagnostic support using Artificial Intelligence techniques has been extensively discussed and academically researched. Several computational techniques for segmentation and classification of such images are continuously created, tested and improved. From these studies, highly specialized systems that use computational vision and machine learning techniques to segment and classify exam images using knowledge acquired through large collections of lauded exams. In the medical domain, there is still the difficulty of obtaining qualified databases to support the extraction of knowledge by machine learning systems. In this work we propose a software architecture construction that supports diagnostic support systems development that allows: (i) use of multiple exam types, (ii) supporting segmentation and classification, (iii) using not only machine learning techniques as, (iv) knowledge of the available medical domain. The motivation is to facilitate the generation of classifiers task that, besides searching for specific pathological markers, can be applied to different medical activity objectives, such as punctual diagnosis, triage and prioritization of care.