Os robôs móveis e de serviço vêm assumindo um papel cada vez mais amplo e importante junto à sociedade moderna. Um tipo importante de robô móvel autônomo são os robôs voltados para a vigilância e segurança em ambientes internos (indoor). Estes robôs móveis de vigilância permitem a execução de tarefas repetitivas de monitoramento de ambientes, as quais podem inclusive apresentar riscos à integridade física das pessoas, podendo assim ser executadas de modo autônomo e seguro pelo robô. Este trabalho teve por objetivo o desenvolvimento dos principais módulos que compõem a arquitetura de um sistema robótico de vigilância, que incluem notadamente: (i) a aplicação de sensores com percepção 3D (Kinect) e térmica (Câmera FLIR), de relativo baixo custo, junto a este sistema robótico; (ii) a detecção de intrusos (pessoas) através do uso conjunto dos sensores 3D e térmico; (iii) a navegação de robôs móveis autônomos com detecção e desvio de obstáculos, para a execução de tarefas de monitoramento e vigilância de ambientes internos; (iv) a identificação e reconhecimento de elementos do ambiente que permitem ao robô realizar uma navegação baseada em mapas topológicos. Foram utilizados métodos de visão computacional, processamento de imagens e inteligência computacional para a realização das tarefas de vigilância. O sensor de distância Kinect foi utilizado na percepção do sistema robótico, permitindo a navegação, desvio de obstáculos, e a identificação da posição do robô em relação a um mapa topológico utilizado. Para a tarefa de detecção de pessoas no ambiente foram utilizados os sensores Kinect e câmera térmica FLIR, integrando os dados fornecidos por ambos sensores, e assim, permitindo obter uma melhor percepção do ambiente e também permitindo uma maior confiabilidade na detecção de pessoas. Como principal resultado deste trabalho foi desenvolvido um iii sistema, capaz de navegar com o uso de um mapa topológico global, capaz de se deslocar em um ambiente interno evitando colisões, e capaz de detectar a presença de seres humanos (intrusos) no ambiente. O sistema proposto foi testado em situações reais com o uso de um robô móvel Pioneer P3AT equipado com os sensores Kinect e com uma Câmera FLIR, realizando as tarefas de navegação definidas com sucesso. Outras funcionalidades foram implementadas, como o acompanhamento da pessoa (follow me) e o reconhecimento de comandos gestuais, onde a integração destes módulos com o sistema desenvolvido constituem-se de trabalhos futuros propostos / Mobile robots and service robots are increasing their applications and importance in our modern society. An important type of autonomous mobile robot application is indoor monitoring and surveillance tasks. The adoption of mobile robots for indoor surveillance tasks allows the execution of repetitive environment patrolling, which may even pose risks to the physical integrity of persons. Thus these activities can be autonomously and safely performed by security robots. This work aimed at the development of key modules and components that integrates the general architecture of a surveillance robotic system, including: (i) the development and application of a 3D perception sensor (Kinect) and a thermal sensor (FLIR camera), representing a relatively low-cost solution for mobile robot platforms; (ii) the intruder detection (people) in the environment, through the joint use of 3D and thermal sensors; (iii) the autonomous navigation of mobile robots within obstacle detection and avoidance, performing the monitoring and surveillance tasks of indoor environments; (iv) the identification and recognition of environmental features that allow the robot to perform a navigation based on topological maps. We used methods from Computer Vision, Image Processing and Computational Intelligence to carry out the implementation of the mobile robot surveillance modules. The proximity and distance measurement sensor adopted in the robotic perception system was the Kinect, allowing navigation, obstacle avoidance, and identifying key positions of the robot with respect to a topological map. For the intruder detection task we used a Kinect sensor together with a FLIR thermal camera, integrating the data obtained from both sensors, and thus allowing a better understanding of the environment, and also allowing a greater reliability in people detection. As a main result of this work, it has been v developed a system capable of navigating using a global topological map, capable of moving itself autonomously into an indoor environment avoiding collisions, and capable of detect the presence of humans (intruders) into the environment. The proposed system has been tested in real situations with the use of a Pioneer P3AT mobile robot equipped with Kinect and FLIR camera sensors, performing successfully the defined navigation tasks. Other features have also been implemented, such as following a person and recognizing gestures, proposed as future works to be integrated into the developed system

A análise de comportamento coletivo e rastreamento de pedestres apresentam diversas aplicações, especialmente em sistemas de vigilância inteligente. Neste trabalho é proposta uma solução compreensiva com objetivo de atingir rastreamento de pedestre e reconhecimento de atividade coletiva de maneira robusta baseada na utilização de câmeras calibradas. Primeiramente, com o objetivo de remover a necessidade de calibração manual, nós apresentamos um método de calibração automática que explora detectores de pedestres e remoção de fundo para calibragem baseada em otimização não-linear. Adicionalmente, nós propomos a utilização da matriz de calibração para gerar candidatos coerentes com a geometria de cena em detectores de pedestres. Nossa abordagem tem como objetivo diminuir o intervalo de escalas comumente utilizado em detectores baseados em janelas deslizantes, gerando um número menor de extrações de atributos e reduzindo o número de falsos positivos na detecção. Em seguida, nós propomos um método de rastreamento de múltiplos pedestres utilizando câmeras calibradas. Nossa abordagem explora histogramas de cor para rastrear os pequenas regiões (patches) de cada alvo. Os vetores de deslocamento obtidos através do pareamento de atributos de aparência são combinados com um vetor obtido através de um preditor de movimento em coordenadas de mundo. Adicionalmente, nós incluímos informações originárias de detectores de pedestres para aumentar a acurácia do sistema e sua habilidade de recuperação a falhas. Por fim, nós propomos uma abordagem hierárquica de duas camadas para o problema de reconhecimento de atividade coletiva baseada no uso de classificadores Random Forests. No primeiro nível da técnica proposta, nós utilizamos distâncias entre pares de pessoas e suas respectivas velocidades relativas para classificar interações de pares. Estas interações são combinadas com a dinâmica do formato do grupo observado (e sua respectiva velocidade) para o reconhecimento de atividades coletivas. Os experimentos realizados neste trabalho demonstram a qualidade de nossas abordagens em sequências de vídeos disponíveis publicamente. Nossos resultados mostram serem competitivos quando comparados com técnicas do estado da arte e, particularmente, apresentam uma boa generalização entre diferentes cenários de captura de vídeo. / Collective behavior detection and pedestrian tracking present many applications, specially in surveillance systems. In this dissertation, we proposed a complete pipeline for achieving robust tracking and collective behavior recognition based on calibrated static cameras. To remove the necessity of manual calibration, we first present a fully automatic self-calibration system that explores pedestrian detection results and background removal at non-consecutive frames in order to calibrate a static camera using a non-linear cost function. We also propose the use of camera calibration to generate geometrically coherent candidates for pedestrian detection. Our approach aims to reduce the scale range typically used in sliding-window techniques, which leads to less feature extractions and decreased number of false positives. Then, we propose a multi-target pedestrian tracking algorithm using a calibrated static camera. The tracking approach explores color histograms to track patches of each target. Obtained displacement vectors are combined with the expected motion of pedestrians in the world coordinate system. The proposed tracker also incorporates pedestrian detector results to improve the system’s accuracy and its ability to recover from failure. Finally, we propose a two-layered approach for collective behavior recognition based on Random Forests classifiers. In the first level, we use inter-personal distances and relative speeds computed in the world coordinate system to classify asymmetrical pair interactions. Those interactions are combined with group shape dynamics and mean velocity to recognize the collective behavior. We devise a set of experiments to attest the quality of our approaches using publicly available datasets. Results have shown to be competitive against state-of-the-art techniques, and particularly of good generalization across different databases.

A análise de comportamento coletivo e rastreamento de pedestres apresentam diversas aplicações, especialmente em sistemas de vigilância inteligente. Neste trabalho é proposta uma solução compreensiva com objetivo de atingir rastreamento de pedestre e reconhecimento de atividade coletiva de maneira robusta baseada na utilização de câmeras calibradas. Primeiramente, com o objetivo de remover a necessidade de calibração manual, nós apresentamos um método de calibração automática que explora detectores de pedestres e remoção de fundo para calibragem baseada em otimização não-linear. Adicionalmente, nós propomos a utilização da matriz de calibração para gerar candidatos coerentes com a geometria de cena em detectores de pedestres. Nossa abordagem tem como objetivo diminuir o intervalo de escalas comumente utilizado em detectores baseados em janelas deslizantes, gerando um número menor de extrações de atributos e reduzindo o número de falsos positivos na detecção. Em seguida, nós propomos um método de rastreamento de múltiplos pedestres utilizando câmeras calibradas. Nossa abordagem explora histogramas de cor para rastrear os pequenas regiões (patches) de cada alvo. Os vetores de deslocamento obtidos através do pareamento de atributos de aparência são combinados com um vetor obtido através de um preditor de movimento em coordenadas de mundo. Adicionalmente, nós incluímos informações originárias de detectores de pedestres para aumentar a acurácia do sistema e sua habilidade de recuperação a falhas. Por fim, nós propomos uma abordagem hierárquica de duas camadas para o problema de reconhecimento de atividade coletiva baseada no uso de classificadores Random Forests. No primeiro nível da técnica proposta, nós utilizamos distâncias entre pares de pessoas e suas respectivas velocidades relativas para classificar interações de pares. Estas interações são combinadas com a dinâmica do formato do grupo observado (e sua respectiva velocidade) para o reconhecimento de atividades coletivas. Os experimentos realizados neste trabalho demonstram a qualidade de nossas abordagens em sequências de vídeos disponíveis publicamente. Nossos resultados mostram serem competitivos quando comparados com técnicas do estado da arte e, particularmente, apresentam uma boa generalização entre diferentes cenários de captura de vídeo. / Collective behavior detection and pedestrian tracking present many applications, specially in surveillance systems. In this dissertation, we proposed a complete pipeline for achieving robust tracking and collective behavior recognition based on calibrated static cameras. To remove the necessity of manual calibration, we first present a fully automatic self-calibration system that explores pedestrian detection results and background removal at non-consecutive frames in order to calibrate a static camera using a non-linear cost function. We also propose the use of camera calibration to generate geometrically coherent candidates for pedestrian detection. Our approach aims to reduce the scale range typically used in sliding-window techniques, which leads to less feature extractions and decreased number of false positives. Then, we propose a multi-target pedestrian tracking algorithm using a calibrated static camera. The tracking approach explores color histograms to track patches of each target. Obtained displacement vectors are combined with the expected motion of pedestrians in the world coordinate system. The proposed tracker also incorporates pedestrian detector results to improve the system’s accuracy and its ability to recover from failure. Finally, we propose a two-layered approach for collective behavior recognition based on Random Forests classifiers. In the first level, we use inter-personal distances and relative speeds computed in the world coordinate system to classify asymmetrical pair interactions. Those interactions are combined with group shape dynamics and mean velocity to recognize the collective behavior. We devise a set of experiments to attest the quality of our approaches using publicly available datasets. Results have shown to be competitive against state-of-the-art techniques, and particularly of good generalization across different databases.

In most cases today when a specific person's whereabouts is monitored through video surveillance it is done manually and his or her location when not seen is based on assumptions on how fast he or she can move. Since humans are good at recognizing people this can be done accurately, given good video data, but the time needed to go through all data is extensive and therefore expensive. Because of the rapid technical development computers are getting cheaper to use and therefore more interesting to use for tedious work. This thesis is a part of a larger project that aims to see to what extent it is possible to estimate a person of interest's time dependent 3D position, when seen in surveillance videos. The surveillance videos are recorded with non overlapping monocular cameras. Furthermore the project aims to see if the person of interest's movement, when position data is unavailable, could be predicted. The outcome of the project is a software capable of following a person of interest's movement with an error estimate visualized as an area indicating where the person of interest might be at a specific time. This thesis main focus is to implement and evaluate a people detector meant to be used in the project, reduce noise in position measurement, predict the position when the person of interest's location is unknown, and to evaluate the complete project. The project combines known methods in computer vision and signal processing and the outcome is a software that can be used on a normal PC running on a Windows operating system. The software implemented in the thesis use a Hough transform based people detector and a Kalman filter for one step ahead prediction. The detector is evaluated with known methods such as Miss-rate vs. False Positives per Window or Image (FPPW and FPPI respectively) and Recall vs. 1-Precision. The results indicate that it is possible to estimate a person of interest's 3D position with single monocular cameras. It is also possible to follow the movement, to some extent, were position data are unavailable. However the software needs more work in order to be robust enough to handle the diversity that may appear in different environments and to handle large scale sensor networks.

In this paper we present a component based person detection system that is capable of detecting frontal, rear and near side views of people, and partially occluded persons in cluttered scenes. The framework that is described here for people is easily applied to other objects as well. The motivation for developing a component based approach is two fold: first, to enhance the performance of person detection systems on frontal and rear views of people and second, to develop a framework that directly addresses the problem of detecting people who are partially occluded or whose body parts blend in with the background. The data classification is handled by several support vector machine classifiers arranged in two layers. This architecture is known as Adaptive Combination of Classifiers (ACC). The system performs very well and is capable of detecting people even when all components of a person are not found. The performance of the system is significantly better than a full body person detector designed along similar lines. This suggests that the improved performance is due to the components based approach and the ACC data classification structure.

Actuellement, il y a une demande croissante pour le déploiement de robots mobile dans des lieux publics. Pour alimenter cette demande, plusieurs chercheurs ont déployé des systèmes robotiques de prototypes dans des lieux publics comme les hôpitaux, les supermarchés, les musées, et les environnements de bureau. Une principale préoccupation qui ne doit pas être négligé, comme des robots sortent de leur milieu industriel isolé et commencent à interagir avec les humains dans un espace de travail partagé, est une interaction sécuritaire. Pour un robot mobile à avoir un comportement interactif sécuritaire et acceptable - il a besoin de connaître la présence, la localisation et les mouvements de population à mieux comprendre et anticiper leurs intentions et leurs actions. Cette thèse vise à apporter une contribution dans ce sens en mettant l'accent sur les modalités de perception pour détecter et suivre les personnes à proximité d'un robot mobile. Comme une première contribution, cette thèse présente un système automatisé de détection des personnes visuel optimisé qui prend explicitement la demande de calcul prévue sur le robot en considération. Différentes expériences comparatives sont menées pour mettre clairement en évidence les améliorations de ce détecteur apporte à la table, y compris ses effets sur la réactivité du robot lors de missions en ligne. Dans un deuxiè contribution, la thèse propose et valide un cadre de coopération pour fusionner des informations depuis des caméras ambiant affixé au mur et de capteurs montés sur le robot mobile afin de mieux suivre les personnes dans le voisinage. La même structure est également validée par des données de fusion à partir des différents capteurs sur le robot mobile au cours de l'absence de perception externe. Enfin, nous démontrons les améliorations apportées par les modalités perceptives développés en les déployant sur notre plate-forme robotique et illustrant la capacité du robot à percevoir les gens dans les lieux publics supposés et respecter leur espace personnel pendant la navigation.

The aim of this diploma thesis is to obtain information on the motion of people in a scene from the record of the stationary camera. The procedure to detect exceptional events in the scene was designed. Exceptional events can be fast-moving persons, or persons moving in di erent places than everyone else in the scene. To trace the motion of persons, two algorithms were applied and tested - Optical flow and CAMSHIFT. The analysis of the resulting motions is performed by monitoring the progress of motion, and its comparison with the other motions in the scene. The analysis result is represented by detected exceptional motions that can be found in the video. The areas where the motion occurs in the scene, and where the motion is the most common are also described together with the motion direction analysis. The exceptional motion parts extracted from the video represent the main result of the work.

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-04-18T15:01:39Z No. of bitstreams: 1 MARCELL MANFRIN BARBACENA - DISSERTAÇÃO PPGCC 2014..pdf: 1468565 bytes, checksum: b94d20ffdace21ece654986ffd8fbb63 (MD5) / Made available in DSpace on 2018-04-18T15:01:39Z (GMT). No. of bitstreams: 1 MARCELL MANFRIN BARBACENA - DISSERTAÇÃO PPGCC 2014..pdf: 1468565 bytes, checksum: b94d20ffdace21ece654986ffd8fbb63 (MD5) Previous issue date: 2014 / Impulsionadas pela crescente demanda por sistemas de segurança para proteção do indivíduo e da propriedade nos dias atuais, várias pesquisas têm sido desenvolvidas com foco na implantação de sistemas de vigilância por vídeo com ampla cobertura. Um dos problemas de pesquisa em aberto nas áreas de visão computacional e redes de computadores envolvem a escalabilidade desses sistemas, principalmente devido ao aumento do número de câmeras transmitindo vídeos em tempo real para monitoramento e processamento. Neste contexto, o objetivo geral deste trabalho é avaliar o impacto que a redução da taxa de transmissão dos fluxos de vídeos impõe na eficácia dos algoritmos de detecção de pessoas utilizados em sistemas inteligentes de videovigilância. Foram realizados experimentos utilizando vídeos em alta resolução no contexto de vigilância com tomadas externas e com um algoritmo de detecção de pessoas baseado em histogramas de gradientes orientados, nos quais se coletou, como medida de eficácia do algoritmo, a métrica de área sob a curva de precisão e revocação para, em sequência, serem aplicados os testes estatísticos de Friedman e de comparações múltiplas com um controle na aferição das hipóteses levantadas. Os resultados obtidos indicaram que é possível uma redução da taxa de transmissão em mais de 70% sem que haja redução da eficácia do algoritmo de detecção de pessoas. / Motivated by the growing demand for security systems to protect persons and properties in the nowadays, several researches have been developed focusing on the deployment of widearea video coverage surveillance systems. One open research problem in the areas of computer vision and computer networks involves the scalability of these systems, mainly due to the increasing number of cameras transmitting real-time video for monitoring and processing. In this context, the aim of this study was to evaluate the impact that transmission data-rate reduction of video streams imposes on the effectiveness of people detection algorithms used in intelligent video surveillance systems. With a proposed experimental design, experiments were performed using high-resolution wide-area external coverage video surveillance and using an algorithm for people detection based on histograms of oriented gradients. As a measure of effectiveness of the people detection algorithm, the metric of area under the precision-recall curve was collected and statistical tests of Friedman and multiple comparisons with a control were applied to evaluate the hypotheses. The results indicated that it is possible to reduce transmission rate by more than 70% without decrease in the effectiveness of the people detection algorithm.

Cette thèse CIFRE est effectuée dans un contexte industriel et présente un framework complet pour la détection, le suivi mono-caméra et de la ré-identification de personnes dans le contexte multi-caméras. Les performances élevés et le traitement en temps réel sont les deux contraintes critiques ayant guidé ce travail. La détection de personnes vise à localiser/délimiter les gens dans les séquences vidéo. Le détecteur proposé est basé sur une cascade de classifieurs de type LogitBoost appliqué sur des descripteurs de covariances. Une approche existante a fortement été optimisée, la rendant applicable en temps réel et fournissant de meilleures performances. La méthode d'optimisation est généralisable à d'autres types de détecteurs d'objets. Le suivi mono-caméra vise à fournir un ensemble d'images de chaque personne observée par chaque caméra afin d'extraire sa signature visuelle, ainsi qu'à fournir certaines informations du monde réel pour l'amélioration de la ré-identification. Ceci est réalisé par le suivi de points SIFT à l'aide d'une filtre à particules, ainsi qu'une méthode d'association de données qui infère le suivi des objets et qui gère la majorité des cas de figures possible, notamment les occultations. Enfin, la ré-identification de personnes est réalisée avec une approche basée sur l'apparence globale en améliorant grandement une approche existante, obtenant de meilleures performances tout en étabt applicable en temps réel. Une partie "conscience du contexte" est introduite afin de gérer le changement d'orientation des personnes, améliorant les performances dans le cas d'applications réelles. / This thesis is performed in industrial context and presents a whole framework for people detection and tracking in a camera network. It addresses the main process steps: people detection, people tracking in mono-camera context, and people re-identification in multi-camera context. High performances and real-time processing are considered as strong constraints. People detection aims to localise and delimits people in video sequences. The proposed people detection is performed using a cascade of classifiers trained using LogitBoost algorithm on region covariance descriptors. A state of the art approach is strongly optimized to process in real time and to provide better detection performances. The optimization scheme is generalizable to many other kind of detectors where all possible weak classifiers cannot be reasonably tested. People tracking in mono-camera context aims to provide a set of reliable images of every observed person by each camera, to extract his visual signature, and it provides some useful real world information for re-identification purpose. It is achieved by tracking SIFT features using a specific particle filter in addition to a data association framework which infer object tracking from SIFT points one, and which deals with most of possible cases, especially occlusions. Finally, people re-identification is performed using an appearance based approach by improving a state of the art approach, providing better performances while keeping the real-time processing advantage. A context-aware part is introduced to robustify the visual signature against people orientations, ensuring better re-identification performances in real application case.