Neste trabalho apresenta-se o desenvolvimento e avaliação de um sistema de reconstrução 3D por luz estruturada. O sistema denominado de Scan3DSL é baseado em uma câmara digital de pequeno formato e um projetor de padrões. O modelo matemático para a reconstrução 3D é baseado na equação paramétrica da reta formada pelo raio de luz projetado combinado com as equações de colinearidade. Uma estratégia de codificação de padrões foi desenvolvida para permitir o reconhecimento dos padrões projetados em um processo automático. Uma metodologia de calibração permite a determinação dos vetores diretores de cada padrão projetado e as coordenadas do centro de perspectiva do projetor de padrões. O processo de calibração é realizado com a aquisição de múltiplas imagens em um plano de calibração com tomadas em diferentes orientações e posições. Um conjunto de algoritmos de processamento de imagens foi implementado para propiciar a localização precisa dos padrões e de algumas feições, como o centro de massa e quinas. Para avaliar a precisão e as potencialidades da metodologia, um protótipo foi construído, integrando uma única câmara e um projetor de padrões. Experimentos mostram que um modelo de superfície pode ser obtido em um tempo total de processamento inferior a 10 segundos, e com erro absoluto em profundidade em torno de 0,2 mm. Evidencia-se com isso a potencialidade de uso em várias aplicações. / The purpose of this work is to present a structured light system developed. The system named Scan3DSL is based on off-the-shelf digital cameras and a projector of patterns. The mathematical model for 3D reconstruction is based on the parametric equation of the projected straight line combined with the collinearity equations. A pattern codification strategy was developed to allow fully automatic pattern recognition. A calibration methodology enables the determination of the direction vector of each pattern and the coordinates of the perspective centre of the pattern projector. The calibration processes are carried out with the acquisition of several images of a flat surface from different distances and orientations. Several processes were combined to provide a reliable solution for patterns location. In order to assess the accuracy and the potential of the methodology, a prototype was built integrating in a single mount a projector of patterns and a digital camera. The experiments using reconstructed surfaces with real data indicated a relative accuracy of 0.2 mm in depth could be achieved, in a processing time less than 10 seconds.

O uso de sistemas de assistência ao motorista (DAS) baseados em visão tem contribuído consideravelmente na redução de acidentes e consequentemente no auxílio de uma melhor condução. Estes sistemas utilizam basicamente uma câmera de vídeo embarcada (normalmente fixada no para-brisa) com o propósito de extrair informações acerca da rodovia e ajudar o condutor num melhor processo de dirigibilidade. Pequenas distrações ou a perda de concentração podem ser suficientes para que um acidente ocorra. Este trabalho apresenta uma proposta para o desenvolvimento de algoritmos para extrair informações sobre a sinalização em rodovias. Mais precisamente, serão abordados algoritmos de calibração de câmera explorando a geometria da pista, de extração da marcação de pintura (sinalização horizontal) e detecção e identificação de placas de trânsito (sinalização vertical). Os resultados experimentais indicam que o método de calibração de câmera alcançou bons resultados na obtenção dos parâmetros extrínsecos com erros inferiores a 0:5 . O erro médio encontrado nos experimentos com relação a estimativa da altura da câmera foi em torno de 12 cm (erro relativo aproximado de 10%), permitindo explorar o uso da realidade aumentada como uma possível aplicação. A acurácia global para a detecção e reconhecimento da sinalização horizontal (marcas seccionadas, contínuas e mistas) foi acima de 96% perante uma diversidade de situações apresentadas, tais como: sombras, variação de iluminação, degradação do asfalto e pintura. O uso da câmera calibrada para a detecção da sinalização vertical contribui para delimitar o espaço de varredura da janela deslizante do detector, bem como realizar a procura por placas em uma única escala para cada região de busca, caracterizada pela distância ao veículo. Os resultados apresentados reportam uma taxa global de classificação de aproximadamente 99% para o sinal de proibido ultrapassar, considerando-se uma base de dados limitada a 962 amostras. / The use of driver assistance systems (DAS) based on computer vision has helped considerably in reducing accidents and consequently aid in better driving. These systems primarily use an embedded video camera (usually fixed on the windshield) for the purpose of extracting information about the highway and assisting the driver in a better handling process. Small distractions or loss of concentration may be sufficient for an accident to occur. This work presents the development of algorithms to extract information about traffic signs on highways. More specifically, this work will tackle a camera calibration algorithm that exploits the geometry of the road track, algorithms for the extraction of road marking paint (lane markings) and detection and identification of vertical traffic signs. Experimental results indicate that the proposed method for obtaining the extrinsic parameters achieve good results with errors of less than 0:5 . The average error in our experiments, related to the camera height, were around 12 cm (relative error around 10%). Global accuracy for the detection and classification of road lane markings (dashed, solid, dashed-solid, solid-dashed or double solid) were over 96%. Finally, our camera calibration algorithm was used to reduce the search region and to define the scale of a slidingwindow detector for vertical traffic signs. The use of the calibrated camera for the detection of traffic signs contributes to define the scanning area of the sliding window and perform a search for signs on a unique scale for each region of interest, determined by the distance to the vehicle. The results reported a global classification rate of approximately 99% for the no overtaking sign, considering a limited of 962 samples.

[pt] Robótica coletiva de enxame é uma abordagem para o controle de sistemas robóticos multi-agentes baseada em insetos sociais e outros sistemas naturais que apresentam características de auto-organização e emergência, com aplicações disruptivas em robótica e inúmeras possibilidades de expansão em outras áreas. Porém, sendo um campo relativamente novo existem poucas plataformas experimentais para seu estudo, e as existentes são, em sua maioria, especialmente desenvolvidas para tarefas e algoritmos específicos. Uma plataforma de estudos genérica para o estudo de sistemas robóticos coletivos é, por si só, uma tarefa tecnológica não trivial além de ser um recurso valioso para um centro de pesquisas interessado em realizar experimentos no assunto. Neste trabalho dois importantes algoritmos de controle colaborativo multi-robôs foram estudados: busca do melhor caminho e transporte coletivo. Uma análise completa dos mecanismos biológicos, dos modelos lógicos e do desenvolvimento dos algoritmos é apresentada. Para realizar os experimentos uma plataforma genérica foi desenvolvida baseada nos robôs móveis “iRobot Create”. Sensores virtuais são implementados em através de um sistema de visão computacional combinado com um simulador em tempo real. O sistema de sensores virtuais permite a incorporação de sensores ideais no sistema experimental, incluindo modelos mais complexos de sensores reais, incluindo a possibilidade da adição de ruído simulador nas leituras. Esta abordagem permite também a utilização de sensores para detecção de objetos virtuais, criados pelo simulador, como paredes virtuais e feromônios virtuais. Cada robô possui um sistema eletrônico embarcado especialmente desenvolvido baseado em micro controlador ARM. A eletrônica adicionada é responsável por receber as leituras dos sensores virtuais através de um link de radio em um protocolo customizado e calcular, localmente, o comportamento do robô. Os algoritmos são implementados na linguagem de alto nível Lua. Mesmo com as leituras dos sensores virtuais sendo transmitidas de um sistema centralizado é importante ressaltar que todo o algoritmo de inteligência é executado localmente por cada agente. As versões modificadas e adaptadas dos algoritmos estudados na plataforma com sensores virtuais foram analisadas, juntamente com suas limitações, e se mostraram compatíveis com os resultados esperados e acessíveis na literatura que utiliza sistemas experimentais mais específicos e mais dispendiosos. Portanto a plataforma desenvolvida se mostra capaz como ferramenta para experimentos em controle de sistemas robóticos multi-agentes com baixo custo de implementação, além da inclusão, através do mecanismo de sensores virtuais, de sensores ainda em desenvolvimento ou comercialmente indisponíveis. / [en] Swarm robotics is an approach to multi-robot control based on social insects and other natural systems, which shows self-organization and emergent characteristics, with disruptive applications on robotics and possibilities in a variety of areas. But, being a relatively new field of research, there are few experimental platforms to its study, and most of them are crafted for very specific tasks and algorithms. A general study platform of swarm robotics, by itself, is a non-trivial technological deed and also a very valuable asset to a research center willing to run experiments on the topic. In this work, two important algorithms in multi-robot collaborative control strategies are studied: path finding and collective transport. A complete analysis of the biological mechanisms, models and computer abstractions that resulted in the development of those algorithms is shown. To perform the multi-robot experiments, several “iRobot Create” mobile robots are employed. Virtual sensors and virtual walls are implemented in real time in the experimental system through cameras and especially developed computer vision software. Virtual sensors allow the incorporation of ideal sensors in the experimental system, including complete models of real sensors, with the possibility of adding virtual noise to the measurements. This approach also allows the use of sensors to detect virtually created objects, such as virtual walls or virtual pheromones. Each physical robot has a customized embedded system, based on the ARM microprocessor, which receives the virtual sensors readings through a radio link in an also customized protocol. The behavior of each autonomous agent is locally calculated using the high-level programming language Lua. Even though the virtual sensor readings are transmitted from an external centralized computer system, all behaviors are locally and independently calculated by each agent. The adaptations of the studied algorithms to the platform with virtual sensors are analyzed, along with its limitations. It is shown that the experimental results using virtual sensors are coherent with results from the literature using very specialized and expensive robot/sensor setups. Therefore, the developed platform is able to experimentally study new control strategies and swarm algorithms with a low setup cost, including the possibility of virtually incorporating sensors that are still under development or not yet commercially available.

[pt] Imprescindível para quaisquer aplicações de visão computacional ou realidade aumentada, a calibração de câmera é o processo no qual se obtém os parâmetros intrínsecos e extrínsecos da câmera, tais como distância focal, ponto principal e valores que mensuram a distorção ótica da lente. Atualmente o método mais utilizado para calibrar uma câmera envolve o uso de imagens de um padrão planar em diferentes perspectivas, a partir das quais se extrai pontos de controle para montar um sistema de equações lineares cuja solução representa os parâmetros da câmera, que são otimizados com base no erro de reprojeção 2D. Neste trabalho, foi escolhido o padrão de calibração aneliforme por oferecer maior precisão na detecção dos pontos de controle. Ao aplicarmos técnicas como transformação frontal-paralela, refinamento iterativo dos pontos de controle e segmentação adaptativa de elipses, nossa abordagem apresentou melhoria no resultado do processo de calibração. Além disso, propomos estender o modelo de otimização ao redefinir a função objetivo, considerando não somente o erro de reprojeção 2D, mas também o erro de colinearidade 2D. / [en] Crucial for any computer vision or augmented reality application, the camera calibration is the process in which one gets the intrinsics and the extrinsics parameters of a camera, such as focal length, principal point and distortions values. Nowadays, the most used method to deploy the calibration comprises the use of images of a planar pattern in different perspectives, in order to extract control points to set up a system of linear equations whose solution represents the camera parameters, followed by an optimization based on the 2D reprojection error. In this work, the ring calibration pattern was chosen because it offers higher accuracy on the detection of control points. Upon application of techniques such as fronto-parallel transformation, iterative refinement of the control points and adaptative segmentation of ellipses, our approach has reached improvements in the result of the calibration process. Furthermore, we proposed extend the optimization model by modifying the objective function, regarding not only the 2D reprojection error but also the 2D collinearity error.

[pt] Breakouts são zonas colapsadas nas paredes de poços causadas por falhas de compressão. A identificação desses artefatos é fundamental para estimar a estabilidade das perfurações e para obter a orientação e magnitude da tensão horizontal máxima presente na formação rochosa. Tradicionalmente, os intérpretes caracterizam os breakouts manualmente em perfis de imagem, o que pode ser considerado uma tarefa muito demorada e trabalhosa por conta do tamanho massivo dos dados. Outros aspectos que dificultam a interpretação estão associados à complexidade das estruturas e a presença de diversos artefatos ruidosos nos dados de perfil. Sendo assim, métodos tradicionais de processamento de imagem tornam-se ineficientes para solucionar essa tarefa de detecção. Nos últimos anos, soluções baseadas em aprendizado profundo tem se tornado cada vez mais promissoras para problemas de visão computacional, tais como, detecção e segmentação de objetos em imagens. O presente trabalho tem como objetivo a classificação pixel a pixel das regiões de breakouts em dados de perfil de imagem. Para isso foi empregado a rede neural convolucional DC-UNet de forma supervisionada. Essa arquitetura é uma variação do modelo clássico U-Net, a qual é uma rede consagrada na segmentação de dados médicos. A metodologia proposta atingiu uma média de 72.3por cento de F1-Score e, em alguns casos, os resultados qualitativos mostraram-se melhores que a interpretação de referência. Após avaliação dos resultados junto a especialistas da área, o método pode ser considerado promissor na caracterização e segmentação automática de estruturas em perfis de imagem de poços. / [en] Breakouts are collapsed zones on wellbore walls caused by compressive failure. Their identification is fundamental for estimating the borehole s stability and obtaining the direction and magnitude of the maximum horizontal stress in the rock formation. Traditionally, professional interpreters identify and characterize breakouts manually in image logs, which can be considered a very laborious and time-consuming task due to the massive size of the wellbore data. Other aspects that make the interpretation difficult are the complexity of the structures of interest and several noisy artifacts in the image log data. Therefore, more than traditional image processing methods are required to solve this detection task. In recent years, solutions based on deep learning have become increasingly promising for computer vision problems, such as object detection and image segmentation. This work explores using a convolutional neural network to create a pixel-by-pixel classification of the breakout regions in the image log data. The architecture model used in this work for the supervised training was the DC-UNet. This architecture is a variation of the classical U-Net, an acknowledged network for medical image segmentation. The proposed method reached an average F-Score of 72.3 percent and qualitative results with some prediction cases even better than ground truth. After evaluating the results, the work can be considered promising for automatically characterizing and segmenting borehole structures in well image logs.

[pt] Nos últimos anos tem ocorrido um notável desenvolvimento de técnicas de Image Inpainting, entretanto transpor esse conhecimento para aplicações em vídeo tem se mostrado um desafio. Além dos desafios inerentes a tarefa de Video Inpainting (VI), utilizar essa técnica requer um trabalho prévio de anotação da área que será reconstruída. Se a aplicação do método for para remover um objeto ao longo de um vídeo, então a anotação prévia deve ser uma máscara da área deste objeto frame a frame. A tarefa de propagar a anotação de um objeto ao longo de um vídeo é conhecida como Video Object Segmentation (VOS) e já existem técnicas bem desenvolvidas para solucionar este problemas. Assim, a proposta desse trabalho é aplicar técnicas de VOS para gerar insumo para um algoritmo de VI. Neste trabalho iremos analisar o impacto de utilizar anotações preditas no resultado final de um modelo de VI. / [en] In recent years there has been a remarkable development of Image Inpainting techniques, but using this knowledge in video application is still a challenge. Besides the inherent challenges of the Video Inpainting (VI) task, applying this technique requires a previous job of labeling the area that should be reconstructed. If this method is used to remove an object from the video, then the annotation should be a mask of this object s area frame by frame. The task of propagating an object mask in a video is known as Video Object Segmentation (VOS) and there are already well developed techniques to solve this kind of task. Therefore, this work aims to apply VOS techniques to create the inputs for an VI algorithm. In this work we shall analyse the impact in the result of a VI algorithm when we use a predicted annotation as the input.

[pt] Em grandes indústrias, como construção, metalúrgica e petróleo, trabalhadores são continuamente expostos a vários tipos de perigos em seus locais de trabalho. Segundo a Organização Internacional do Trabalho (OIT), anualmente ocorrem cerca de 340 milhões de acidentes de trabalho. Equipamentos de Proteção Individual (EPI) são utilizados para garantir a proteção essencial da saúde e segurança dos trabalhadores. Com isto, há um grande esforço para garantir que esses tipos de equipamentos sejam usados de maneira adequada em ambientes de trabalho. Em tais ambientes, é comum ter câmeras de circuito fechado de televisão (CFTV) para monitorar os trabalhadores, pois essas podem ser usadas para verificar o uso adequado de EPIs. Alguns trabalhos presentes na literatura abordam o problema de verificação automática de EPIs usando imagens de CFTV como entrada; no entanto, muitos destes trabalhos não conseguem lidar com a detecção de uso seguro de múltiplos equipamentos e outros até mesmo pulam a fase de verificação, fazendo apenas a detecção. Neste trabalho, propomos um novo componente de análise de segurança cognitiva para um sistema de monitoramento. Este componente atua para detectar o uso adequado de EPIs em tempo real, usando fluxo de dados de câmeras de CFTV comuns. Construímos este componente do sistema com base nas melhores técnicas de Aprendizado Profundo voltadas para a tarefa de detecção de objetos. A metodologia proposta é robusta com resultados consistentes e promissores em termos da métrica Mean Average Precision (mAP) e pode atuar em tempo real. / [en] In large industries, such as construction, metallurgy, and oil, workers are continually exposed to various hazards in their workplace. Accordingly to the International Labor Organization (ILO), there are 340 million occupational accidents annually. Personal Protective Equipment (PPE) is used to ensure the essential protection of workers health and safety. There is a great effort to ensure that these types of equipment are used properly. In such an environment, it is common to have closed-circuit television (CCTV) cameras to monitor workers, as those can be used to verify the PPE s proper usage. Some works address this problem using CCTV images; however, they frequently can not deal with multiples safe equipment usage detection and others even skip the verification phase, making only the detection. In this paper, we propose a novel cognitive safety analysis component for a monitoring system. This component acts to detect the proper usage of PPE s in real-time using data stream from regular CCTV cameras. We built the system component based on the top of state-of-art deep learning techniques for object detection. The methodology is robust with consistent and promising results for Mean Average Precision (mAP) and can act in real-time.

[pt] No contexto de robos colaborativos, há um crescente interesse em Atuadores Elásticos em Série impulsionado pela necessidade de garantir segurança e funcionalidade. No entanto, as não linearidades inerentes a esses atuadores, como atrito, folga nas engrenagens e ruído, aumentam significativamente o desafio de controlar e modelar tais dispositivos. Além disso, um elemento elástico adiciona uma nova não linearidade. Visando essas características, este trabalho propõe um extenso trabalho de identificação do sistema para obter um modelo para um atuador elástico em série baseado em elastômero de baixo custo e original. As metodologias propostas investigam diferentes características do sistema. A primeira se concentra em modelar as não linearidades da junta elástica por meio de um modelo híbrido. A segunda contribuição visa examinar a precisão de redes neurais informadas por física para identificação de caixa cinza de parâmetros de atrito. Por último, é proposto uma metodologia para obter os estados da montagem usando vídeo. A partir dessas estimativas, é proposta uma identificação de caixa cinza usando vídeo. Todos os três estudos utilizam os dados da montagem do atuador. As duas primeiras contribuições obtiveram resultados importantes indicando a eficiência das metodologias propostas. A terceira contribuição mostrou o potencial da nova abordagem de identificação baseada em vídeo. / [en] In the context of human interactive robotics, there is a growing interest in Series Elastic Actuators (SEA), driven by the critical need to ensure safety and functionality. Moreover, a precise model is required to obtain optimal control. However, the inherent nonlinearities of those actuators, such as friction, gear backlash, and noise, greatly increase the challenge of controlling and modeling such devices. Furthermore, a compliant element adds a new nonlinearity, making the modeling task more challenging. Aiming to tackle these issues, this work proposes extensive system identification to obtain mathematical models characterizing the dynamics of an original low-cost elastomer-based SEA. The proposed methodologies investigate different characteristics of the system. The first focuses on modeling the elastic joint s nonlinearities through a hybrid model. The second contribution aims to examine the accuracy of physics-informed neural networks for gray-box identification of friction parameters. Lastly, a framework to obtain the states of the assembly using video is proposed. From these estimations, a gray-box identification using video is proposed. All three studies use the data from the actuator assembly. The first two contributions obtained important results indicating the efficiency of the proposed methodologies. The third contribution showed the potential of the novel video-based identification approach.

[pt] As expressões faciais transmitem muita informação sobre um indivíduo, tornando a capacidade de interpretá-las uma tarefa muito importante, com aplicações em diversas áreas, tais como Interação Homem Máquina, Jogos Digitais, storytelling interativo e TV/Cinema digital. Esta dissertação discute o processo de reconhecimento de emoções em tempo real usando ASM (Active Shape Model) e SVM (Support Vector Machine) e apresenta uma comparação entre duas formas comumente utilizadas na etapa de extração de atributos: faces neutra e média. Como não existe tal comparação na literatura, os resultados apresentados são valiosos para o desenvolvimento de aplicações envolvendo expressões de emoção em tempo real. O presente trabalho considera seis tipos de emoções: felicidade, tristeza, raiva, medo, surpresa e desgosto. / [en] The facial expressions provide a high amount of information about a person, making the ability to interpret them a high valued task that can be used in several fields of Informatics such as Human Machine Interface, Digital Games, interactive storytelling and digital TV/Cinema. This dissertation discusses the process of recognizing emotions in real time using ASM (Active Shape Model) and SVM (Support Vector Machine) and presents a comparison between two commonly used ways when extracting the attributes: neutral face and average. As such comparison can not be found in the literature, the results presented are valuable to the development of applications that deal with emotion expression in real time. The current study considers six types of emotions: happiness, sadness, anger, fear, surprise and disgust.

[pt] Ao mesmo tempo em que a autonomia de robôs pessoais e domésticos aumenta, cresce a necessidade de interação dos mesmos com o ambiente. A interação mais básica de um robô com o ambiente é feita pela percepção deste e sua navegação. Para uma série de aplicações não é prático prover modelos geométricos válidos do ambiente a um robô antes de seu uso. O robô necessita, então, criar estes modelos enquanto se movimenta e percebe o meio em que está inserido através de sensores. Ao mesmo tempo é necessário minimizar a complexidade requerida quanto a hardware e sensores utilizados. No presente trabalho, um algoritmo iterativo baseado em entropia é proposto para planejar uma estratégia de exploração visual, permitindo a construção eficaz de um modelo em grafo do ambiente. O algoritmo se baseia na determinação da informação presente em sub-regiões de uma imagem panorâmica 2-D da localização atual do robô obtida com uma câmera fixa sobre o mesmo. Utilizando a métrica de entropia baseada na Teoria da Informação de Shannon, o algoritmo determina nós potenciais para os quais deve se prosseguir a exploração. Através de procedimento de Visual Tracking, em conjunto com a técnica SIFT (Scale Invariant Feature Transform), o algoritmo auxilia a navegação do robô para cada nó novo, onde o processo é repetido. Um procedimento baseado em transformações invariáveis a determinadas variações espaciais (desenvolvidas a partir de Fourier e Mellin) é utilizado para auxiliar o processo de guiar o robô para nós já conhecidos. Também é proposto um método baseado na técnica SIFT. Os processos relativos à obtenção de imagens, avaliação, criação do grafo, e prosseguimento dos passos citados continua até que o robô tenha mapeado o ambiente com nível pré-especificado de detalhes. O conjunto de nós e imagens obtidos são combinados de modo a se criar um modelo em grafo do ambiente. Seguindo os caminhos, nó a nó, um robô pode navegar pelo ambiente já explorado. O método é particularmente adequado para ambientes planos. As componentes do algoritmo proposto foram desenvolvidas e testadas no presente trabalho. Resultados experimentais mostrando a eficácia dos métodos propostos são apresentados. / [en] As the autonomy of personal service robotic systems increases so has their need to interact with their environment. The most basic interaction a robotic agent may have with its environment is to sense and navigate through it. For many applications it is not usually practical to provide robots in advance with valid geometric models of their environment. The robot will need to create these models by moving around and sensing the environment, while minimizing the complexity of the required sensing hardware. This work proposes an entropy-based iterative algorithm to plan the robot´s visual exploration strategy, enabling it to most efficiently build a graph model of its environment. The algorithm is based on determining the information present in sub-regions of a 2- D panoramic image of the environment from the robot´s current location using a single camera fixed on the mobile robot. Using a metric based on Shannon s information theory, the algorithm determines potential locations of nodes from which to further image the environment. Using a Visual Tracking process based on SIFT (Scale Invariant Feature Transform), the algorithm helps navigate the robot to each new node, where the imaging process is repeated. An invariant transform (based on Fourier and Mellin) and tracking process is used to guide the robot back to a previous node. Also, an SIFT based method is proposed to accomplish such task. This imaging, evaluation, branching and retracing its steps continues until the robot has mapped the environment to a pre-specified level of detail. The set of nodes and the images taken at each node are combined into a graph to model the environment. By tracing its path from node to node, a service robot can navigate around its environment. This method is particularly well suited for flat-floored environments. The components of the proposed algorithm were developed and tested. Experimental results show the effectiveness of the proposed methods.