Η παρούσα διπλωματική εργασία μελετά την ανίχνευση και παρακολούθηση της κίνησης των ανθρώπων μέσα από δίκτυα καμερών. Σκοπός της παρούσας εργασίας είναι η υλοποίηση ενός συστήματος ανίχνευσης , παρακολούθησης εκ νέου ταυτοποίησης των ανθρώπων που διέρχονται μέσα από ένα δίκτυο καμερών καθώς και να προτείνει ένα μοντέλο για την κατανόηση της τοπολογίας του δικτύου των καμερών. Το κύριο πρόβλημα υποδιαιρείται σε τρία επιμέρους υπό – προβλήματα. Το πρώτο αφορά την ανίχνευση κίνησης. Το δεύτερο την παρακολούθηση των ανθρώπων και τέλος το τρίτο αφορά την αντιστοίχηση τους μεταξύ των καμερών. Σαν αποτέλεσμα στο τέλος έχουμε για κάθε άνθρωπο το μονοπάτι που διέγραψε μέσα στο δίκτυο. Η Ανίχνευση κίνησης υλοποιείται με αφαίρεση φόντου. Η παρακολούθηση υλοποιείται με δύο χαρακτηριστικά, αυτά του κέντρου μάζας και του χρωματικού ιστογράμματος. Η τοπολογία του δικτύου ανακαλύπτεται με ένα μοντέλο που καταγράφει σημεία εισόδου και εξόδου συσχετισμένα με την αντίστοιχη κάμερα από την οποία εισήλθαν ή στην οποία εξήλθαν αντίστοιχα οι άνθρωποι. Κατόπιν γίνεται αντιστοίχηση των σημείων αυτών στις κρίσιμες περιοχές της κάθε κάμερας και η πλειοψηφία των συσχετίσεων τους ορίζει την επικοινωνούσα , για αυτές τις περιοχές , κάμερα. Τέλος γίνεται η αντιστοίχηση των διαδρομών μεταξύ καμερών με έλεγχο χώρο-χρονικών χαρακτηριστικών και χαρακτηριστικών εμφάνισης. Το σύστημα υλοποιήθηκε σε Matlab και έτρεξε σε Intel i7 με συχνότητα 2.93 Ghz και 8GB μνήμης ram. Οι αλγόριθμοι λειτούργησαν ικανοποιητικά με πολύ καλά αποτελέσματα, και μπορούν να περάσουν ως είσοδοι σε πληθώρα εφαρμογών υψηλοτέρου επιπέδου που έχουν ως σκοπό την αναγνώριση της ανθρώπινης δραστηριότητας και την κατανόηση συμπεριφοράς. / This thesis deals with the detection and motion tracking through camera networks. Its purpose is to implement a system for monitoring human movement and perform re-identification in camera networks. It also proposes a model for discovering the topology of cameras network. The main problem is divided into three sub – problems. The first one deals with motion detection , the second one tracks every human located in the plane, and finally the third one has to do with the re-identification between the cameras. As a result we find and identify all human’s paths traced in the network. At first we start with detection that involves also background subtraction. The background is recovered in a dynamic way at every frame and involves median selection. Tracking is accomplished using two features, the centroid and the color histogram. Network topology is discovered from a model which reports entry and exit points associated with the corresponding camera. The system is implemented in Matlab and runs on Intel i7 with frequency 2.93 Ghz and 8GB of ram. The algorithms perform well producing very good results, and can be fed as inputs to a variety of applications that deal with problems related to higher level recognition of human activity and behavior understanding.

From object tracking to 3D reconstruction, RGB-Depth (RGB-D) camera networks play an increasingly important role in many vision and graphics applications. With the recent explosive growth of Augmented Reality (AR) and Virtual Reality (VR) platforms, utilizing camera RGB-D camera networks to capture and render dynamic physical space can enhance immersive experiences for users. To maximize coverage and minimize costs, practical applications often use a small number of RGB-D cameras and sparsely place them around the environment for data capturing. While sparse color camera networks have been studied for decades, the problems of extrinsic calibration of and rendering with sparse RGB-D camera networks are less well understood. Extrinsic calibration is difficult because of inappropriate RGB-D camera models and lack of shared scene features. Due to the significant camera noise and sparse coverage of the scene, the quality of rendering 3D point clouds is much lower compared with synthetic models. Adding virtual objects whose rendering depend on the physical environment such as those with reflective surfaces further complicate the rendering pipeline. In this dissertation, I propose novel solutions to tackle these challenges faced by RGB-D camera systems. First, I propose a novel extrinsic calibration algorithm that can accurately and rapidly calibrate the geometric relationships across an arbitrary number of RGB-D cameras on a network. Second, I propose a novel rendering pipeline that can capture and render, in real-time, dynamic scenes in the presence of arbitrary-shaped reflective virtual objects. Third, I have demonstrated a teleportation application that uses the proposed system to merge two geographically separated 3D captured scenes into the same reconstructed environment. To provide a fast and robust calibration for a sparse RGB-D camera network, first, the correspondences between different camera views are established by using a spherical calibration object. We show that this approach outperforms other techniques based on planar calibration objects. Second, instead of modeling camera extrinsic using rigid transformation that is optimal only for pinhole cameras, different view transformation functions including rigid transformation, polynomial transformation, and manifold regression are systematically tested to determine the most robust mapping that generalizes well to unseen data. Third, the celebrated bundle adjustment procedure is reformulated to minimize the global 3D projection error so as to fine-tune the initial estimates. To achieve a realistic mirror rendering, a robust eye detector is used to identify the viewer's 3D location and render the reflective scene accordingly. The limited field of view obtained from a single camera is overcome by our calibrated RGB-D camera network system that is scalable to capture an arbitrarily large environment. The rendering is accomplished by raytracing light rays from the viewpoint to the scene reflected by the virtual curved surface. To the best of our knowledge, the proposed system is the first to render reflective dynamic scenes from real 3D data in large environments. Our scalable client-server architecture is computationally efficient - the calibration of a camera network system, including data capture, can be done in minutes using only commodity PCs.

L’intralogistique (ou logistique interne) s’intéresse au traitement et à l’optimisation des flux physiques au sein des entrepôts, centres de distribution et usines. Les systèmes de manutention automatisés sont au cœur de la logistique interne de plusieurs industries comme le commerce en ligne, la messagerie postale, la grande distribution, l’industrie manufacturière, le transport aéroportuaire, etc. Ces équipements composés de lignes de convoyage haute cadence permettent un transport sûr et fiable d’un volume considérable de biens et de marchandises tout en réduisant les coûts.L’automatisation de l’acheminement des flux physiques par les systèmes de manutention repose sur l’identification et le suivi en temps réel des charges transportées. Dans cette thèse, nous explorons une solution de suivi qui emploie un réseau de caméras intelligentes à champs recouvrants. L’objectif final étant de fournir l’information de suivi sur les charges transportées pour le pilotage d’un système de manutention.Le suivi d’objets est un problème fondamental de la vision par ordinateur qui a de nombreuses applications comme la vidéosurveillance, la robotique, les voitures autonomes, etc. Nous avons intégré plusieurs briques de base issues de la vidéosurveillance et traditionnellement appliquées aux scènes de surveillance automobile ou de surveillance des activités humaines pour constituer une chaine de suivi de référence. Cette chaine d’analyse vidéo étalon nous a permis de caractériser des hypothèses propres au convoyage d’objet. Nous proposons dans cette thèse d’incorporer cette connaissance métier dans la chaine de suivi pour en améliorer les performances. Nous avons, notamment pris en compte, dans l’étape de segmentation des images, le fait que les objets doivent pouvoir s’arrêter sans pour autant être intégrés aux modèles d’arrière-plan. Nous avons également exploité la régularité des trajectoires des objets convoyés dans les installations, permettant d’améliorer les modèles prédictifs de la position et de la vitesse des objets, dans les étapes de suivi. Enfin, nous avons intégré des contraintes de stricte monotonie dans l’ordre des colis sur le convoyeur, contraintes qui n’existent pas dans les scènes généralistes, pour ré-identifier les objets dans les situations où ils sont proches des eux les autres.Nous nous sommes par ailleurs attelés à un problème pratique d’optimisation des performances sur l’architecture multi-cœurs couplée aux caméras intelligentes. Dans ce cadre, nous avons a mis en place un apprentissage dynamique de la zone de l’image contenant le convoyeur. Cette zone d’intérêt nous a permis de limiter la mise à jour du modèle de fond à cette seule zone. Nous avons, par la suite, proposé une stratégie de parallélisation qui partitionne de manière adaptative cette région d’intérêt de l’image, afin d’équilibrer au mieux la charge de travail entre les différents cœurs de l’architecture des caméras intelligentes.Nous avons également traité la problématique du suivi sur plusieurs caméras. Nous avons proposé une approche basée sur un système de composition d’évènements. Cette approche nous a permis de fusionner les données de suivi local pour former les trajectoires globales des colis, tout en intégrant des informations issues du processus métier, par exemple la saisie de l’information de destination par des opérateurs sur un terminal avant la dépose des colis. Nous avons validé cette approche sur un système de manutention mis en place dans un centre de tri postal de grande envergure. Le réseau de caméras déployé est composé de 32 caméras qui assurent le suivi de plus de 400.000 colis/jour sur des lignes de dépose. Le taux d’erreur du suivi obtenu est inférieur à 1 colis sur 1000 (0,1%). / Intralogistics (or internal logistics) focuses on the management and optimization of internal production and distribution processes within warehouses, distribution centers, and factories. Automated handling systems play a crucial role in the internal logistics of several industries such as e-commerce, postal messaging, retail, manufacturing, airport transport, etc. These systems are composed by multiple high-speed conveyor lines that provide safe and reliable transportation of a large volume of goods and merchandise while reducing costs.The automation of the conveying process relies on the identification and the real-time tracking of the transported loads. In this thesis, we designed a tracking solution that employs a network of smart cameras with an overlapping field of view. The goal is to provide tracking information to control an automated handling system.Multiple object tracking is a fundamental problem of computer vision that has many applications such as video surveillance, robotics, autonomous cars, etc. We integrated several building blocks traditionally applied to traffic surveillance or human activities monitoring to constitute a tracking pipeline. We used this baseline tracking pipeline to characterize contextual scene information proper to the conveying scenario. We integrated this contextual information to the tracking pipeline to enhance the performance. In particular, we took into account the state of moving objects that become stationary in the background subtraction step to prevent their absorption to the background model. We have also exploited the regularity of objects trajectory to enhance the motion model associated with the tracked objects. Finally, we integrated the precedence ordering constraint among the conveyed object to reidentify them when they are close to each other.We have also tackled practical problems related to the optimization the execution of the proposed tracking problem in the multi-core architectures of smart cameras. In particular, we proposed a dynamic learning process that extracts the region of the image that corresponds to the conveyor lines. We reduced the number of the processed pixel by restricting the processing to this region of interest. We also proposed a parallelization strategy that adaptively partitions this region of interest of the image, in order to balance the workload between the different cores of the smart cameras.Finally, we proposed a multiple cameras tracking algorithms based on event composition. This approach fuses the local tracking generated by the smart cameras to form global object trajectories and information from third party systems such as the destination of the object entered by operators on a terminal. We validated the proposed approach for the control of a sorting system deployed in a postal distribution warehouse. A network of cameras composed of 32 cameras tracks more than 400.000 parcel/day in injections lines. The tracking error rate is less than 1 parcel in a 1000 (0.1%).