Στην παρούσα διπλωματική εργασία παρουσιάζεται μια νέα αρχιτεκτονική δικτύων που ονομάζεται DTN,για δίκτυα τα οποία αντιμετωπίζουν δυσκολίες στην επικοινωνία και στη συνδεσιμότητα των κόμβων τους. Τα δίκτυα αυτά αντιμετωπίζουν τέτοιες δυσκολίες λόγω του δυσμενoύς περιβάλλοντος στο οποίο βρίσκονται,όπως για παράδειγμα ένα δίκτυο στο διάστημα. Έτσι προχωρήσαμε στο σχεδιασμό ενός δικού μας DTN δικτύου που ονομάζεται planet-ece επιλέγοντας την DTN2 υλοποίηση του πρωτοκόλλoυ bundle για τους κόμβους μας καθώς είναι ιδανικότερη για όποιον θέλει να πειραματιστεί. Η ανάπτυξη αυτού του δικτύου έγινε με σκοπό να ερευνηθούν θέματα όπως της διαχείρισης ενός τέτοιου δικτύου (network management) και της ασφάλειας του (security).Βασιζόμενοι τώρα στο εγκατεστημένο πια DTN δίκτυό μας planet-ece και αφού έχει ελεγχθεί η σωστή του λειτουργία, το επόμενο βήμα ήταν να υλοποιηθεί ένας μηχανισμός παρακολούθησης (moniroting), ο οποίος θα μας επιτρέπει να εποπτεύουμε την κατάσταση του δικτύου και της ανταλλασόμενης κίνησης σε επίπεδο DTN. Έπειτα προχωρήσαμε στην υλοποίηση ενός συστήματος παρακολούθησης έξυπνων καμερών μέσω του DTN δικτύου μας planet-ece. Σε αυτή την υλοποίηση λοιπόν, αξιολογούμε την ασφάλεια και τη συμπεριφορά του συστήματος, εστιάζοντας στην επικοινωνία μέσω του δικτύου DTN με σκοπό να εκτιμήσουμε πώς συμπεριφέρεται ένα τέτοιο δίκτυο σε διάφορες πιθανές καταστάσεις, από γεγονότα και δικτυακή διαθεσιμότητα, με ή χωρίς ασφάλεια και σε σύγκριση με υπάρχουσες μεθόδους επικοινωνίας. / This thesis presents a new network architecture called DTN, for networks with difficulties in communication and connectivity. These networks are facing such difficulties due to extreme environmental surroundings, such as a network in space. So we proceeded to design our own DTN network called planet-ece selecting DTN2 implementation of Bundle Protocol for our nodes because is ideal for anyone who wants to experiment. The development of this network was designed to investigate issues such as management of such a network and security. Based now to our installed DTN network named planet-ece and after having verified the correct function, the next step was to implement a monitoring mechanism, which will allow us to monitor the network status and traffic in a DTN level. Then we proceeded to implement a secure DTN-based smart camera surveillance system through our DTN network planet-ece. In this implementation, therefore, we evaluate the safety and behavior of the system, focusing on communication via the DTN network in order to appreciate how such a system behaves in different possible situations, events and network availability, with or without security and in comparison with existing methods of communication.

Nous proposons un système dedétection et de suivi des personnes enmouvement dans des grands espaces. Notresolution repose sur un réseau de camérasintelligentes pour l'extraction desinformations spatio-temporelles despersonnes. Les caméras sont composées d'uncapteur 3D, d'un système embarqué et decommunication. Nous avons montrél'efficacité du placement des capteurs 3D enposition zénithale par rapport auxoccultations et variations d’échelle.Nous garantissons l'exécution des traitementsen temps-réel (~20 fps), permettantde détecter des déplacements rapides avecune précision jusqu’à 99 %, et capable d’unfiltrage paramétrique des cibles non désiréescomme les enfants ou les caddies.Nous avons réalisé une étude sur la viabilitétechnologique des résultats pour de grandsespaces, rendant la solution industrialisable / We propose a detection and trackingsystem of people moving in large spacessystem. Our solution is based on a network ofsmart cameras capable of retrievingspatiotemporal information from the observedpeople. These smart cameras are composed bya 3d sensor, an onboard system and acommunication and power supply system. Weexposed the efficacy of the overhead positionto decreasing the occlusion and the scale'svariation.Finally, we carried out a study on the use ofspace, and a global trajectories analysis ofrecovered information by our and otherssystems, able to track people in large andcomplex spaces.

IoT cameras can allow users to monitor their space remotely, but consumers are worried about the security implications. Their worries are neither unfounded as vulnerabilities repeatedly have been found in internet connected cameras. Have modern cameras learned from the mistakes of their predecessors? This thesis has performed a case study of a consumer smart camera popular on the Swedish market. The camera was evaluated through a pentest. The evaluation found that the camera’s cloud centric design allowed it to side step issues present in earlier models. However, it was demonstrated that it is possible to detect potentially sensitive events, e.g. when the camera notice motion, by just inspecting the amount of traffic it sends. Other tests were not able to demonstrate vulnerabilities though. Based on these findings it was concluded that the camera were more secure than it’s predecessors, which supports that the market has improved. / Konsumenter kan med IoT kameror på distans överse sin egendom. De är dock oroliga över hur säkra kamerorna är. Denna oro existerar inte utan god anledning. Sårbarheter har upprepade gånger påvisat finnas i internetuppkopplade kameror. Har dagens kameror lärt sig av deras föregångares misstag? Detta examensarbete har testat en smart kamera som är populär på den svenska marknaden. För att fastställa hur säker kameran är genomfördes ett penetrationstest. Undersökning fann att kameran lyckats kringgå tidigare vanliga sårbarheter genom att förlita sig på molnet. Undersökning kunde dock konstatera att en motståndare kan läcka potentiellt känslig information, t.ex. när kameran upptäcker rörelse, bara genom att mäta hur mycket nätverkstrafik kameran sänder. Undersökningen kunde dock inte påvisa andra sårbarheter. Baserat på dessa resultat fann studien att denna kamera är säkrare än sina föregångare, och att detta stödjer tesen att marknaden som helhet förbättrats.

Τα ασύρματα δίκτυα αισθητήρων (WSNs) είναι πολύ αναγνωρισμένα στις μέρες μας και γύρω από αυτά έχουν αναπτυχθεί χιλιάδες εφαρμογές που με χρήση άλλης τεχνολογίας ήταν σχεδόν ακατόρθωτες. Ένα WSN αποτελείται από κόμβους οι οποίοι είναι προγραμματισμένοι να επικοινωνούν και να συλλέγουν πληροφορίες μέσω των αισθητήρων που είναι αναρτημένοι πάνω τους. Οι πληροφορίες ή σύνολο των πληροφοριών καταλήγουν τελικά στους κόμβους που είναι προγραμματισμένοι ως τερματικοί κόμβοι ή βάσεις. Οι βάσεις είναι συνήθως συνδεδεμένες με ένα υπολογιστή και μεταφέρουν τα δεδομένα του δικτύου σε αυτόν. Τα κύρια χαρακτηριστικά των ασύρματων δικτύων αισθητήρων είναι η χαμηλή κατανάλωση ενεργείας των συσκευών-κόμβων (motes), η σταθερότητα και η απλότητα του κώδικα καθώς και η μεγάλη αξιοπιστία. Μερικές εφαρμογές των WSNs είναι για παράδειγμα η μέτρηση της υγρασίας στον τάπητα ενός γηπέδου γκολφ, η παρακολούθηση των κρίσιμων μεγεθών σε μεγάλες κατασκευές (π.χ. οι τάσεις των νημάτων μιας κρεμμαστης γέφυρας ή η παρακολούθηση της καταπόνησης των δοκών ενός ουρανοξύστη). Στα πλαίσια της διπλωματικής εργασίας αυτής παρουσιάζουμε ένα ασύρματο δίκτυο αισθητήρων όπου οι αισθητήρες είναι έξυπνες κάμερες! Παρουσιάζει μεγάλο ενδιαφέρον η μελέτη ενός τέτοιου δικτύου καθώς και η ανάπτυξη εφαρμογών γύρω από αυτό. / Wireless Sensor Networks (WSNs) are very much recognized these days, and thousands of applications have been developed in relation to them, which, would have been impossible if other technologies were used. A WSN is made up of nodes programmed to collect information through sensors attached to them and transmit them. The information ends up finally to the nodes which are programmed as terminal nodes or base-stations. These base-stations are usually connected to a computer and transfer the data that have been retrieved from the network to it. The main features of a WSN is the low energy consumption by the node equipment (motes), the stability and simplicity of the code as well as their great reliability. Some applications of the WSNs are, for example, the measurement of humidity in a golf course, the monitoring of the crucial sizes in great constructions (e.g. the tensions of the fibers in a suspension bridge, the monitoring of the strains of girders in a skyscraper) Within the context of this thesis, we present a WSN where the sensors are smart cameras! The study of such a network presents great interest as well as the development of applications based on it.

L’intralogistique (ou logistique interne) s’intéresse au traitement et à l’optimisation des flux physiques au sein des entrepôts, centres de distribution et usines. Les systèmes de manutention automatisés sont au cœur de la logistique interne de plusieurs industries comme le commerce en ligne, la messagerie postale, la grande distribution, l’industrie manufacturière, le transport aéroportuaire, etc. Ces équipements composés de lignes de convoyage haute cadence permettent un transport sûr et fiable d’un volume considérable de biens et de marchandises tout en réduisant les coûts.L’automatisation de l’acheminement des flux physiques par les systèmes de manutention repose sur l’identification et le suivi en temps réel des charges transportées. Dans cette thèse, nous explorons une solution de suivi qui emploie un réseau de caméras intelligentes à champs recouvrants. L’objectif final étant de fournir l’information de suivi sur les charges transportées pour le pilotage d’un système de manutention.Le suivi d’objets est un problème fondamental de la vision par ordinateur qui a de nombreuses applications comme la vidéosurveillance, la robotique, les voitures autonomes, etc. Nous avons intégré plusieurs briques de base issues de la vidéosurveillance et traditionnellement appliquées aux scènes de surveillance automobile ou de surveillance des activités humaines pour constituer une chaine de suivi de référence. Cette chaine d’analyse vidéo étalon nous a permis de caractériser des hypothèses propres au convoyage d’objet. Nous proposons dans cette thèse d’incorporer cette connaissance métier dans la chaine de suivi pour en améliorer les performances. Nous avons, notamment pris en compte, dans l’étape de segmentation des images, le fait que les objets doivent pouvoir s’arrêter sans pour autant être intégrés aux modèles d’arrière-plan. Nous avons également exploité la régularité des trajectoires des objets convoyés dans les installations, permettant d’améliorer les modèles prédictifs de la position et de la vitesse des objets, dans les étapes de suivi. Enfin, nous avons intégré des contraintes de stricte monotonie dans l’ordre des colis sur le convoyeur, contraintes qui n’existent pas dans les scènes généralistes, pour ré-identifier les objets dans les situations où ils sont proches des eux les autres.Nous nous sommes par ailleurs attelés à un problème pratique d’optimisation des performances sur l’architecture multi-cœurs couplée aux caméras intelligentes. Dans ce cadre, nous avons a mis en place un apprentissage dynamique de la zone de l’image contenant le convoyeur. Cette zone d’intérêt nous a permis de limiter la mise à jour du modèle de fond à cette seule zone. Nous avons, par la suite, proposé une stratégie de parallélisation qui partitionne de manière adaptative cette région d’intérêt de l’image, afin d’équilibrer au mieux la charge de travail entre les différents cœurs de l’architecture des caméras intelligentes.Nous avons également traité la problématique du suivi sur plusieurs caméras. Nous avons proposé une approche basée sur un système de composition d’évènements. Cette approche nous a permis de fusionner les données de suivi local pour former les trajectoires globales des colis, tout en intégrant des informations issues du processus métier, par exemple la saisie de l’information de destination par des opérateurs sur un terminal avant la dépose des colis. Nous avons validé cette approche sur un système de manutention mis en place dans un centre de tri postal de grande envergure. Le réseau de caméras déployé est composé de 32 caméras qui assurent le suivi de plus de 400.000 colis/jour sur des lignes de dépose. Le taux d’erreur du suivi obtenu est inférieur à 1 colis sur 1000 (0,1%). / Intralogistics (or internal logistics) focuses on the management and optimization of internal production and distribution processes within warehouses, distribution centers, and factories. Automated handling systems play a crucial role in the internal logistics of several industries such as e-commerce, postal messaging, retail, manufacturing, airport transport, etc. These systems are composed by multiple high-speed conveyor lines that provide safe and reliable transportation of a large volume of goods and merchandise while reducing costs.The automation of the conveying process relies on the identification and the real-time tracking of the transported loads. In this thesis, we designed a tracking solution that employs a network of smart cameras with an overlapping field of view. The goal is to provide tracking information to control an automated handling system.Multiple object tracking is a fundamental problem of computer vision that has many applications such as video surveillance, robotics, autonomous cars, etc. We integrated several building blocks traditionally applied to traffic surveillance or human activities monitoring to constitute a tracking pipeline. We used this baseline tracking pipeline to characterize contextual scene information proper to the conveying scenario. We integrated this contextual information to the tracking pipeline to enhance the performance. In particular, we took into account the state of moving objects that become stationary in the background subtraction step to prevent their absorption to the background model. We have also exploited the regularity of objects trajectory to enhance the motion model associated with the tracked objects. Finally, we integrated the precedence ordering constraint among the conveyed object to reidentify them when they are close to each other.We have also tackled practical problems related to the optimization the execution of the proposed tracking problem in the multi-core architectures of smart cameras. In particular, we proposed a dynamic learning process that extracts the region of the image that corresponds to the conveyor lines. We reduced the number of the processed pixel by restricting the processing to this region of interest. We also proposed a parallelization strategy that adaptively partitions this region of interest of the image, in order to balance the workload between the different cores of the smart cameras.Finally, we proposed a multiple cameras tracking algorithms based on event composition. This approach fuses the local tracking generated by the smart cameras to form global object trajectories and information from third party systems such as the destination of the object entered by operators on a terminal. We validated the proposed approach for the control of a sorting system deployed in a postal distribution warehouse. A network of cameras composed of 32 cameras tracks more than 400.000 parcel/day in injections lines. The tracking error rate is less than 1 parcel in a 1000 (0.1%).

Les systèmes de vision artificielle sont aujourd'hui limités à l'extraction de données issues de ce que les caméras « voient ». Cependant, la compréhension de ce qu'elles voient peut être enrichie en associant la connaissance du contexte et la connaissance d'interprétation d'un humain.Dans ces travaux de thèse, nous proposons une approche associant des algorithmes de vision atificielle à une modélisation sémantique du contexte d'acquisition.Cette approche permet de réaliser un raisonnement sur la connaissance extraite des images par les caméras en temps réel. Ce raisonnement offre une réponse aux problèmes d'occlusion et d'erreurs de détections inhérents aux algorithmes de vision artificielle. Le système complet permet d'offrir un ensemble de services intelligents (guidage, comptage...) tout en respectant la vie privée des personnes observées. Ces travaux forment la première étape du développement d'un bâtiment intelligent qui peut automatiquement réagir et évoluer en observant l'activité de ces usagers, i.e., un bâtiment intelligent qui prend en compte les informations contextuelles.Le résultat, nommé WiseNET, est une intelligence artificielle en charge des décisions au niveau du bâtiment (qui pourrait être étendu à un groupe de bâtiments ou même a l'échelle d'un ville intelligente). Elle est aussi capable de dialoguer avec l'utilisateur ou l'administrateur humain de manière explicite. / To date, computer vision systems are limited to extract digital data of what the cameras "see". However, the meaning of what they observe could be greatly enhanced by environment and human-skills knowledge.In this work, we propose a new approach to cross-fertilize computer vision with contextual information, based on semantic modelization defined by an expert.This approach extracts the knowledge from images and uses it to perform real-time reasoning according to the contextual information, events of interest and logic rules. The reasoning with image knowledge allows to overcome some problems of computer vision such as occlusion and missed detections and to offer services such as people guidance and people counting. The proposed approach is the first step to develop an "all-seeing" smart building that can automatically react according to its evolving information, i.e., a context-aware smart building.The proposed framework, named WiseNET, is an artificial intelligence (AI) that is in charge of taking decisions in a smart building (which can be extended to a group of buildings or even a smart city). This AI enables the communication between the building itself and its users to be achieved by using a language understandable by humans.

Vision systems have become ubiquitous. They are used for traffic monitoring, elderly care, video conferencing, virtual reality, surveillance, smart rooms, home automation, sport games analysis, industrial safety, medical care etc. In most vision systems, the data coming from the visual sensor(s) is processed before transmission in order to save communication bandwidth or achieve higher frame rates. The type of data processing needs to be chosen carefully depending on the targeted application, and taking into account the available memory, computational power, energy resources and bandwidth constraints. In this dissertation, we investigate how a vision system should be built under practical constraints. First, this system should be intelligent, such that the right data is extracted from the video source. Second, when processing video data this intelligent vision system should know its own practical limitations, and should try to achieve the best possible output result that lies within its capabilities. We study and improve a wide range of vision systems for a variety of applications, which go together with different types of constraints. First, we present a modulo-PCM-based coding algorithm for applications that demand very low complexity coding and need to preserve some of the advantageous properties of PCM coding (direct processing, random access, rate scalability). Our modulo-PCM coding scheme combines three well-known, simple, source coding strategies: PCM, binning, and interpolative coding. The encoder first analyzes the signal statistics in a very simple way. Then, based on these signal statistics, the encoder simply discards a number of bits of each image sample. The modulo-PCM decoder recovers the removed bits of each sample by using its received bits and side information which is generated by interpolating previous decoded signals. Our algorithm is especially appropriate for image coding. / Morbee, M. (2011). Optimized information processing in resource-constrained vision systems. From low-complexity coding to smart sensor networks [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/12126

Abstract The last decade was marked by a set of harmful events ranging from economical crises to organized crime, acts of terror and natural catastrophes. This has led to a paradigm transformation concerning security. Millions of surveillance cameras have been deployed, which led to new challenges, as the systems and operations behind those cameras could not cope with the rapid growth in number of video cameras and systems. Looking at today’s control rooms, often hundreds or even thousands of cameras are displayed, overloading security officers with irrelevant information. The purpose of this research was the creation of a novel video surveillance system with automated analysis mechanisms which enable security authorities and their operators to cope with this information flood. By automating the process, video surveillance was transformed into a proactive information system. The progress in technology as well as the ever increasing demand in security have proven to be an enormous driver for security technology research, such as this study. This work shall contribute to the protection of our personal freedom, our lives, our property and our society by aiding the prevention of crime and terrorist attacks that diminish our personal freedom. In this study, design science research methodology was utilized in order to ensure scientific rigor while constructing and evaluating artifacts. The requirements for this research were sought in close cooperation with high-level security authorities and prior research was studied in detail. The created construct, the “Intelligent Video Surveillance System”, is a distributed, highly-scalable software framework, that can function as a basis for any kind of high-performance video surveillance system, from installations focusing on high-availability to flexible cloud-based installation that scale across multiple locations and tens of thousands of cameras. First, in order to provide a strong foundation, a modular, distributed system architecture was created, which was then augmented by a multi-sensor analysis process. Thus, the analysis of data from multiple sources, combining video and other sensors in order to automatically detect critical events, was enabled. Further, an intelligent mobile client, the video surveillance local control, which addressed remote access applications, was created. Finally, a wireless self-contained surveillance system was introduced, a novel smart camera concept that enabled ad hoc and mobile surveillance. The value of the created artifacts was proven by evaluation at two real-world sites: An international airport, which has a large-scale installation with high-security requirements, and a security service provider, offering a multitude of video-based services by operating a video control center with thousands of cameras connected. / Tiivistelmä Viime vuosikymmen tunnetaan vahingollisista tapahtumista alkaen talouskriiseistä ja ulottuen järjestelmälliseen rikollisuuteen, terrori-iskuihin ja luonnonkatastrofeihin. Tämä tilanne on muuttanut suhtautumista turvallisuuteen. Miljoonia valvontakameroita on otettu käyttöön, mikä on johtanut uusiin haasteisiin, koska kameroihin liittyvät järjestelmät ja toiminnot eivät pysty toimimaan yhdessä lukuisien uusien videokameroiden ja järjestelmien kanssa. Nykyajan valvontahuoneissa voidaan nähdä satojen tai tuhansien kameroiden tuottavan kuvaa ja samalla runsaasti tarpeetonta informaatiota turvallisuusvirkailijoiden katsottavaksi. Tämän tutkimuksen tarkoitus oli luoda uusi videovalvontajärjestelmä, jossa on automaattiset analyysimekanismit, jotka mahdollistavat turva-alan toimijoiden ja niiden operaattoreiden suoriutuvan informaatiotulvasta. Automaattisen videovalvontaprosessin avulla videovalvonta muokattiin proaktiiviseksi tietojärjestelmäksi. Teknologian kehitys ja kasvanut turvallisuusvaatimus osoittautuivat olevan merkittävä ajuri turvallisuusteknologian tutkimukselle, kuten tämä tutkimus oli. Tämä tutkimus hyödyttää yksittäisen ihmisen henkilökohtaista vapautta, elämää ja omaisuutta sekä yhteisöä estämällä rikoksia ja terroristihyökkäyksiä. Tässä tutkimuksessa suunnittelutiedettä sovellettiin varmistamaan tieteellinen kurinalaisuus, kun artefakteja luotiin ja arvioitiin. Tutkimuksen vaatimukset perustuivat läheiseen yhteistyöhön korkeatasoisten turva-alan viranomaisten kanssa, ja lisäksi aiempi tutkimus analysoitiin yksityiskohtaisesti. Luotu artefakti - ’älykäs videovalvontajärjestelmä’ - on hajautettu, skaalautuva ohjelmistoviitekehys, joka voi toimia perustana monenlaiselle huipputehokkaalle videovalvontajärjestelmälle alkaen toteutuksista, jotka keskittyvät saatavuuteen, ja päättyen joustaviin pilviperustaisiin toteutuksiin, jotka skaalautuvat useisiin sijainteihin ja kymmeniin tuhansiin kameroihin. Järjestelmän tukevaksi perustaksi luotiin hajautettu järjestelmäarkkitehtuuri, jota laajennettiin monisensorianalyysiprosessilla. Siten mahdollistettiin monista lähteistä peräisin olevan datan analysointi, videokuvan ja muiden sensorien datan yhdistäminen ja automaattinen kriittisten tapahtumien tunnistaminen. Lisäksi tässä työssä luotiin älykäs kännykkäsovellus, videovalvonnan paikallinen kontrolloija, joka ohjaa sovelluksen etäkäyttöä. Viimeksi tuotettiin langaton itsenäinen valvontajärjestelmä – uudenlainen älykäs kamerakonsepti – joka mahdollistaa ad hoc -tyyppisen ja mobiilin valvonnan. Luotujen artefaktien arvo voitiin todentaa arvioimalla ne kahdessa reaalimaailman ympäristössä: kansainvälinen lentokenttä, jonka laajamittaisessa toteutuksessa on korkeat turvavaatimukset, ja turvallisuuspalveluntuottaja, joka tarjoaa moninaisia videopohjaisia palveluja videovalvontakeskuksen avulla käyttäen tuhansia kameroita.