O objetivo deste trabalho é reconhecer gestos em tempo real apenas com o uso de câmeras, sem marcadores, roupas ou qualquer outro tipo de sensor. A montagem do ambiente de captura é simples, com apenas duas câmeras e um computador. O fundo deve ser estático, e contrastar com o usuário. A ausência de marcadores ou roupas especiais dificulta a tarefa de localizar os membros. A motivação desta tese é criar um ambiente de realidade virtual para treino de goleiros, que possibilite corrigir erros de movimentação, posicionamento e de escolha do método de defesa. A técnica desenvolvida pode ser aplicada para qualquer atividade que envolva gestos ou movimentos do corpo. O reconhecimento de gestos começa com a detecção da região da imagem onde se encontra o usuário. Nessa região, localizamos as regiões mais salientes como candidatas a extremidades do corpo, ou seja, mãos, pés e cabeça. As extremidades encontradas recebem um rótulo que indica a parte do corpo que deve representar. Um vetor com as coordenadas das extremidades é gerado. Para descobrir qual a pose do usuário, o vetor com as coordenadas das suas extremidades é classificado. O passo final é a classificação temporal, ou seja, o reconhecimento do gesto. A técnica desenvolvida é robusta, funcionando bem mesmo quando o sistema foi treinado com um usuário e aplicado a dados de outro. / Our aim in this work is to recognize gestures in real time with cameras, without markers or special clothes. The capture environment setup is simple, uses just two cameras and a computer. The background must be static, and its colors must be different the users. The absence of markers or special clothes difficults the location of the users limbs. The motivation of this thesis is to create a virtual reality environment for goalkeeper training, but the technique can be applied in any activity that involves gestures or body movements. The recognition of gestures starts with the background subtraction. From the foreground, we locate the more proeminent regions as candidates to body extremities, that is, hands, feet and head. The found extremities receive a label that indicates the body part it may represent. To classify the users pose, the vector with the coordinates of his extremities is compared to keyposes and the best match is selected. The final step is the temporal classification, that is, the gesture recognition. The developed technique is robust, working well even when the system was trained with an user and applied to another users data.

Navegação autônoma é um tópico abrangente cuja atenção por parte da comunidade de robôs móveis vemaumentando ao longo dos anos. O problema consiste em guiar um robô de forma inteligente por um determinado percurso sem ajuda humana. Esta dissertação apresenta um sistema de navegação para ambientes abertos baseado em visão estéreo. Uma câmera estéreo é utilizada na captação de imagens do ambiente e, utilizando o mapa de disparidades gerado por um método estéreo semi-global, dois métodos de detecção de obstáculos são utilizando para segmentar as imagens em regiões navegáveis e não navegáveis. Posteriormente esta classificação é utilizada em conjunto com um método de desvio de obstáculos, resultando em um sistema completo de navegação autônoma. Os resultados obtidos por está dissertação incluem a avaliação de dois métodos estéreo, esta sendo favorável ao método estéreo empregado (semi-global). Foram feitos testes visando avaliar a qualidade e custo computacional de dois métodos para detecção de obstáculos, um baseado em plano e outro baseado em cone. Tais testes deixaram claras as limitações de ambos os métodos e levaram a uma implementação paralela do método baseado em cone. Utilizando uma unidade de processamento gráfico, a versão paralelizada do método baseado em cone atingiu um ganho no tempo computacional de aproximadamente dez vezes. Por fim, os resultados demonstrarão o sistema completo em funcionamento, onde a plataforma robótica utilizada, um veículo elétrico, foi capaz de desviar de pessoas e cones alcançando seu objetivo seguramente / Autonomous navigation is a broad topic that has received increasing attention from the community of mobile robots over the years. The problem is to guide a robot in a smart way for a certain route without human help. This dissertation presents a navigation system for open environments based on stereo vision. A stereo camera is used to capture images of the environment and based on the disparity map generated by a semi-global stereo method, two obstacle detection methods are used to segment the images into navigable and non-navigable regions. Subsequently, this classification is employed in conjunction with a obstacle avoidance method, resulting in a complete autonomous navigation system. The results include an evaluation two stereo methods, this being favorable to the employed stereo method (semi-global). Tests were performed to evaluate the quality and computational cost of two methods for obstacle detection, a plane based one and a cone based. Such tests have left clear the limitations of both methods and led to a parallel implementation of the cone based method. Using a graphics processing unit, a parallel version of the cone based method reached a gain in computational time of approximately ten times. Finally, the results demonstrate the complete system in operation, where the robotic platform used, an electric vehicle, was able to dodge people and cones reaching its goal safely

Navegação autônoma é um tópico abrangente cuja atenção por parte da comunidade de robôs móveis vemaumentando ao longo dos anos. O problema consiste em guiar um robô de forma inteligente por um determinado percurso sem ajuda humana. Esta dissertação apresenta um sistema de navegação para ambientes abertos baseado em visão estéreo. Uma câmera estéreo é utilizada na captação de imagens do ambiente e, utilizando o mapa de disparidades gerado por um método estéreo semi-global, dois métodos de detecção de obstáculos são utilizando para segmentar as imagens em regiões navegáveis e não navegáveis. Posteriormente esta classificação é utilizada em conjunto com um método de desvio de obstáculos, resultando em um sistema completo de navegação autônoma. Os resultados obtidos por está dissertação incluem a avaliação de dois métodos estéreo, esta sendo favorável ao método estéreo empregado (semi-global). Foram feitos testes visando avaliar a qualidade e custo computacional de dois métodos para detecção de obstáculos, um baseado em plano e outro baseado em cone. Tais testes deixaram claras as limitações de ambos os métodos e levaram a uma implementação paralela do método baseado em cone. Utilizando uma unidade de processamento gráfico, a versão paralelizada do método baseado em cone atingiu um ganho no tempo computacional de aproximadamente dez vezes. Por fim, os resultados demonstrarão o sistema completo em funcionamento, onde a plataforma robótica utilizada, um veículo elétrico, foi capaz de desviar de pessoas e cones alcançando seu objetivo seguramente / Autonomous navigation is a broad topic that has received increasing attention from the community of mobile robots over the years. The problem is to guide a robot in a smart way for a certain route without human help. This dissertation presents a navigation system for open environments based on stereo vision. A stereo camera is used to capture images of the environment and based on the disparity map generated by a semi-global stereo method, two obstacle detection methods are used to segment the images into navigable and non-navigable regions. Subsequently, this classification is employed in conjunction with a obstacle avoidance method, resulting in a complete autonomous navigation system. The results include an evaluation two stereo methods, this being favorable to the employed stereo method (semi-global). Tests were performed to evaluate the quality and computational cost of two methods for obstacle detection, a plane based one and a cone based. Such tests have left clear the limitations of both methods and led to a parallel implementation of the cone based method. Using a graphics processing unit, a parallel version of the cone based method reached a gain in computational time of approximately ten times. Finally, the results demonstrate the complete system in operation, where the robotic platform used, an electric vehicle, was able to dodge people and cones reaching its goal safely

Curbs and road markings were designed to provide a visual low-level spatial perception of road environments. In this sense, a perception system capable of detecting those road features is of utmost importance for an autonomous vehicle. In vision-based approaches, few works have been developed for curb detection, and most of the advances on road marking detection have aimed lane markings only. Therefore, to detect all these road features, multiple algorithms running simultaneously would be necessary. Alternatively, as the main contribution of this work, it was proposed to employ an architecture of Fully Convolutional Neural Network (FCNN), denominated as 3CSeg-Multinet, to detect curbs and road markings in a single inference. Since there was no labeled dataset available for training and validation, a new one was generated with Brazilian urban scenes, and they were manually labeled. By visually analyzing experimental results, the proposed approach has shown to be effective and robust against most of the clutter present on images, running at around 10 fps in a Graphics Processing Unit (GPU). Moreover, with the intention of granting spatial perception, stereo vision techniques were used to project the detected road features in a point cloud. Finally, as a way to validate the applicability of the proposed perception system on a vehicle, it was also introduced a vision-based metric localization model for the urban scenario. In an experiment, compared to the ground truth, this localization method has revealed consistency on its pose estimations in a map generated by LIDAR. / Guias e sinalizações horizontais foram projetados para fornecer a percepção visual de baixo nível do espaço das vias urbanas. Deste modo, seria de extrema importância para um veículo autônomo ter um sistema de percepção capaz de detectar tais características visuais. Em abordagens baseadas em visão, poucos trabalhos foram desenvolvidos para detecção de guias, e a maioria dos avanços em detecção de sinalizações horizontais foi focada na detecção de faixas apenas. Portanto, para que fosse possível detectar todas essas características visuais, seria necessário executar diversos algoritmos simultaneamente. Alternativamente, como sendo a principal contribuição deste trabalho, foi proposto a adoção de uma Rede Neural Totalmente Convolutiva, denominado 3CSeg-Multinet, para detectar guias e sinalizações horizontais em apenas uma inferência. Como não havia um conjunto de dados rotulados disponível para treinar e validar a rede, foi gerado um novo conjunto com imagens capturadas em ambiente urbano brasileiro, e foi realizado a rotulação manual. Através de uma análise visual dos resultados experimentais obtidos, o método proposto mostrou-se eficaz e robusto contra a maioria dos fatores que causam confusão nas imagens, executando a aproximadamente 10 fps em uma GPU. Ainda, com o intuito de garantir a percepção espacial, foram usados métodos de visão estéreo para projetar as características detectadas em núvem de pontos. Finalmente, foi apresentado também um modelo de localização métrica baseado em visão para validar a aplicabilidade do sistema de percepção proposto em um veículo. Em um experimento, este método de localização revelou-se capaz de manter as estimativas consistentes com a verdadeira pose do veículo em um mapa gerado a partir de um sensor LIDAR.

Submitted by Liliane Ferreira (ljuvencia30@gmail.com) on 2018-11-26T13:24:36Z No. of bitstreams: 2 Dissertação - Gabriel da Silva Vieira - 2018.pdf: 13740412 bytes, checksum: ddb7d4353e4f2d7650b087dd0d4bd796 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2018-11-26T13:43:18Z (GMT) No. of bitstreams: 2 Dissertação - Gabriel da Silva Vieira - 2018.pdf: 13740412 bytes, checksum: ddb7d4353e4f2d7650b087dd0d4bd796 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2018-11-26T13:43:18Z (GMT). No. of bitstreams: 2 Dissertação - Gabriel da Silva Vieira - 2018.pdf: 13740412 bytes, checksum: ddb7d4353e4f2d7650b087dd0d4bd796 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2018-10-05 / Outro / Disparity maps are key components of a stereo vision system. Autonomous navigation, 3D reconstruction, and mobility are examples of areas of research which use disparity maps as an important element. Although a lot of work has been done in the stereo vision field, it is not easy to build stereo systems with concepts such as reuse and extensible scope. In this study, we explore this gap and it presents a software architecture that can accommodate different stereo methods through a standard structure. Firstly, it introduces some scenarios that illustrate use cases of disparity maps and it shows a novel architecture that foments code reuse. A Disparity Computation Framework (DCF) is presented and we discuss how its components are structured. Then we developed a prototype which closely follows the proposal architecture and we prepared some test cases to be performed. Furthermore, we have implemented disparity methods for validation purposes and to evaluate our disparity refinement method. This refinement method, named as Segmented Consistency Check (SCC), was designed to increase the robustness of stereo matching algorithms. It consists of a segmentation process, statistical analysis of grouping areas and a support weighted function to find and to fill in unknown disparities. The experimental results show that the DCF can satisfy different scenarios on-demand. Besides, they show that SCC method is an efficient approach that can make some enhancements in disparity maps, as reducing the disparity error measure. / Mapas de disparidade são elementos cruciais em sistemas de visão estéreo. Navegação autônoma, reconstrução 3D e mobilidade são exemplos de área de pesquisa que utilizam mapas de disparidade como elementos-chave. Embora muitos trabalhos têm sido feitos na área de visão estéreo, ainda assim, não é trivial construir sistemas estéreos com aplicação de conceitos como reutilização e escopo extensível. Neste estudo, exploramos essa lacuna e apresentamos uma arquitetura de software capaz de acomodar diferentes métodos de visão estéreo através de uma estrutura bem definida. Inicialmente, cenários que ilustram usos de mapa de disparidade são introduzidos e uma arquitetura que fomenta reutilização de código é apresentada. Dessa forma, um Framework de Cálculo de Disparidade (FCD) é apresentado e seus componentes são discutidos a fim de especificar a sua estrutura. Em seguida, um protótipo que segue a arquitetura proposta é apresentado e alguns casos de teste são preparados e executados. Além disso, métodos de cálculo de disparidade foram implementados para propostas de validação e para avaliar o método de refinamento de disparidade proposto pelos autores. Esse método de refinamento, chamado de Checagem de Consistência de Segmento (CCS), foi projetado para aumentar a robustez de algoritmos de combinação estéreo. Trata-se de um método que utiliza um processo de segmentação preliminar, análise estatística de áreas definidas e função ponderada de suporte para encontrar e preencher disparidades marcadas como desconhecidas. Os resultados dos experimentos realizados apontam que o FCD pode satisfazer diferentes cenários sob demanda. Além disso, os resultados mostram que o método CCS é uma abordagem eficiente que pode trazer certos melhoramentos em mapas de disparidade, como reduzir a medida de erro no cálculo de correspondências estéreo.