Thesis (M.S.)--Auburn University, 2008. / Abstract. Vita. Includes bibliographical references (p. 94-101).

Deployment of cameras in Wireless Multimedia Sensor Networks (WMSNs) is crucial in achieving good coverage, accuracy and fault tolerance. With the decreased costs of wireless cameras, WMSNs provide opportunities for redundant camera deployment in order to get multiple disparate views of events. Referred to as multi-perspective coverage (MPC), this thesis proposes an optimal solution for camera deployment that can achieve full MPC for a given region. The solution is based on a Bi-Level mixed integer program (MIP) which works by solving two sub-problems named master and sub-problems. The master problem identifies a solution based on an initial set of points and then calls the sub-problem to cover the uncovered points iteratively. The Bi-Level algorithm is then revised to provide MPC with the minimum cost in Heteregeneous Visual Sensor Networks (VSNs) where cameras may have different price, resolution, Field-of-View (FoV) and Depth-of-Field (DoF). For a given average resolution, area, and variety of camera sensors, we propose a deployment algorithm which minimizes the total cost while guaranteeing 100\% MPC of the area and a minimum resolution. Furthermore, revised Bi-level algorithm provides the flexibility of achieving required resolution on sub-regions for a given region. The numerical results show the superiority of our approach with respect to existing approaches.

Abstract Multimedia Internet of Things (MIoT) refers to IP-enabled Wireless Multimedia Sensor Networks (WMSN) which are used to retrieve, not only scalar data, but also video and audio streams, and still images from the physical environment. Despite the prominent growth in demand of MIoT, several technical challenges still arise when dealing with practical deployments of WMSN. Most technical challenges in MIoT-and IoT in general-are, one way or another, related to the constrained nature of devices. This thesis provides novel contributions towards optimizing the most precious resource of wireless multimedia sensor nodeꟷthe energy. First, the dissertation proposes sleepyCAM power management model, which uses hierarchy in sensor-node architecture to minimize the idle power consumption of a camera node. Second, a prototype is developed to realize the energy saving potential of sleepyCAM in an event driven live video streaming application. Third, a heterogeneous multi-tier WMSN is developed to improve idle power consumption of camera nodes in large scale deployment. It applies hierarchy in sensor-network design, where low-power sensor nodes wake up more energy-consuming multimedia sensor nodes only when needed. A simple power consumption model is also formulated and applied to estimate the battery-life of MIoT devices. Finally, this thesis offers solutions to enhance manageability and service orchestration of WMSN software using container based virtualization, and study their energy implications. The measurement results show that both hierarchy in sensor-node and multi-tier network architecture significantly reduce the idle power consumption of WMSNs. Moreover, the empirical results also indicate that containers add fixed overhead during the boot-up and shutdown phase of the cameras, but nevertheless, have negligible impact during the video streaming session. / Tiivistelmä Multimediakyvykkäällä esineiden internetillä (Multimedia IoT, MIoT) viitataan IP-pohjaisiin langattomiin sensoriverkkoihin, jotka kykenevät perinteisen skalaarisen sensoridatan lisäksi tallentamaan ympäristöstään myös video- ja ääni- ja kuvadataa. Vaikka multimediakyvykkään esineiden internetin tarve kasvaa jatkuvasti useilla alueilla, teknologian kannattavan hyödyntämisen tiellä on vielä useita haasteita. Suurin osa näistä haasteista liittyy tavalla tai toisella esineiden internetin laitteiden rajoitettuun laitteisto- ja energiakapasiteettiin. Tämä väitöskirja esittelee uusia tapoja multimediakyvykkään esineiden internetin energiatehokkuuden parantamiseen, sillä esineiden internetin laitteiden käytettävissä oleva energiakapasiteetti on tyypillisesti erittäin rajallinen. Työn ensimmäisessä vaiheessa kehitettiin hierarkkinen sensorilaitearkkitehtuuri, sleepyCAM, joka tähtää kameralaitteen valmiustilan energiankulutuksen minimointiin herättämällä laitteen enemmän energiaa kuluttavat multimediasensoritoiminnot vain tarvittaessa. Työn seuraavassa vaiheessa sleepyCAM-mallista kehitettiin prototyyppi, jolla tutkittiin mallin energiansäästöpotentiaalia todellisen maailman videovalvontasovelluksessa. Kolmannessa vaiheessa kehitettiin hierarkkinen sensoriverkkoarkkitehtuuri, jossa matalamman energiatason sensorilaitteet herättävät enemmän energiaa kuluttavia multimediasensorilaitteita vain tarvittaessa, mikä parantaa valmiustilan energiatehokkuutta laajemmissa multimediasensoriverkoissa. Työssä kehitettiin myös yksinkertainen energiankulutusmalli multimediakyvykkäiden esineiden internetin laitteiden akunkeston arviointiin. Lopuksi väitöskirjassa tutkittiin multimediasensoriverkon palveluiden hallittavuuden parantamista konttipohjaisella orkestroidulla virtualisoinnilla sekä tutkittiin ratkaisun vaikutuksia energiankulutukseen. Prototyypeillä tehdyt todellisen maailman mittaukset osoittavat, että sekä sleepyCAM että hierarkkinen verkkoarkkitehtuuri vähentävät huomattavasti multimediasensorijärjestelmän kokonaisenergiankulutusta. Tulokset osoittavat myös, että virtualisoinnin käyttö lisää energiankulutusta videosensorilaitteen käynnistyksen ja sammutuksen yhteydessä, mutta videonsiirron aikana konttipohjaisen virtualisoinnin vaikutus energiankulutukseen on olematon.

Wireless Sensor and Actor Networks (WSANs) are distributed systems of heterogeneous devices, referred to as sensors and actors, which sense, control, and interact with the physical environment. Sensors are low-cost, low-power, multi-functional devices that communicate untethered in short distances. Actors are resource-rich devices that collect and process sensor data and consequently perform actions on the environment. This thesis is concerned with coordination and communication problems in WSANs, in datacentric and multimedia application scenarios. First, communication and coordination problems are jointly addressed in a unifying framework for the case of static actors. A sensor-actor coordination model is proposed, based on an event-driven partitioning paradigm. Sensors are partitioned into different sets and each set is associated with a different actor. Data delivery trees are created to optimally react to the event and timely deliver event data with minimum energy expenditure. The optimal partitioning strategy is determined bymathematical programming, and a distributed solution is also proposed. Furthermore, the actor-actor coordination problem is formulated as an optimal task assignment problem, and a distributed solution of the problem based on an analogy with a one-shot auction is presented. Application scenarios for WSANs with mobile actors are then studied. A location management scheme is introduced to handle the mobility of actors with minimal energy consumption for resource-constrained sensors. The proposed scheme, which is the first localization scheme specifically designed for WSANs, is shown to consistently reduce the energy consumption with respect to existing localization services for ad hoc and sensor networks. An optimal energy-aware forwarding rule is then derived for sensor-actor communication in fast varying Rayleigh channels. The proposed scheme allows controlling the delay of the data-delivery process based on power control, and reacts to network congestion by diverting traffic from congested to lightly-loaded actors. The mobility of actors is coordinated to optimally accomplish application-specific tasks, based on a nonlinear optimization model that accounts for location and capabilities of heterogeneous actors. The research challenges for delivery of multimedia traffic in wireless sensor and actor networks are then outlined. Finally, a cross-layer communication architecture based on Ultra Wide Band communications is described, whose design objective is to reliably and flexibly deliver QoS to multimedia applications in WSANs, by carefully leveraging and controlling interactions among layers according to application requirements. Performance evaluation shows how the proposed solution achieves the performance objectives of wireless sensor and actor networks.

Aujourd'hui, la prolifération de matériel peu coûteux tels que les caméras et les microphones capables de capturer du contenu multimédia de façon ubiquitaire a conduit à l'émergence des réseaux de capteurs sans fil multimédia/vidéo (RCSFM /RCSFV). En conséquence, un grand éventail d'applications peuvent être projetées dans de nombreux domaines de la vie de tous les jours. Par rapport aux réseaux de capteurs traditionnels (RCSF), les RCSFVs présentent des défis uniques principalement en raison de la grande quantité de données à capturer et à transmettre au-dessus d'un réseau contraint en ressources. Dans ce travail, nous avons d'abord proposé un protocole de routage hiérarchique appelé ELPC (Energy Level Passive Clustering) dont l'objectif principal est d'améliorer la durée de vie du réseau en présence de flux vidéo. Ceci est obtenu grâce à l'équilibrage des charges au moment de la construction de la topologie où le rôle de tête de groupe est alterné entre les noeuds candidats en fonction de leur niveau d'énergie. La deuxième contribution consiste en un protocole de routage multichemin qui prend les interférences inter-chemin en considération. Au lieu de supprimer complètement les interférences, notre protocole de routage multichemin tente de les minimiser en se basant sur l'ajout d'informations supplémentaires sur les noeuds voisins dans les messages de construction de la topologie. De plus, nous proposons un schéma de files d'attente à priorités multiples où l'influence des types de données. Les résultats des simulations montrent que l'utilisation de chemins moins interférents combinée à un régime de multipriorité permet une meilleure qualité vidéo / Nowadays, the proliferation of inexpensive hardware such as CMOS cameras and microphones that are able to ubiquitously capture multimedia content has led to the emergence of wireless multimedia/video sensor networks (WMSN/WVSN). As a consequence, a wide spectrum of applications can be projected in many areas and everyday life. Compared to traditional WSNs, WVSNs introduce unique challenges due mainly to the big amount of data to be captured and transmitted over a constrained network. In this work, we first propose a cluster-based (hierarchical) routing protocol called ELPC (Energy Level Passive Clustering) where the main objective is to enhance the network lifetime while handling video applications. This is achieved thanks to a load balancing feature where the role of clusterheads is alternated among candidate nodes depending on their energy level. The second contribution consists in a multipath routing protocol with interference awareness. Instead of completely suppressing interferences, our multipath routing protocol tries to minimize them through a simple algorithm without extra overhead. Multiple paths are built at once while minimizing their inter-path interferences thanks to some additional information on neighboring nodes piggybacked on the route request messages. In addition to interference awareness, we propose a multiqueue multipriority scheme where the influence of data type in a video is considered. Simulation results show that using less interfering paths combined to a multiqueue multipriority scheme allows for better video quality

With the introduction of Wireless Multimedia Sensor Networks, large-scale remote outdoor surveillance applications where the majority of the cameras will be battery-operated are envisioned. These are the applications where the frequency of incidents is too low to employ permanent staffing such as monitoring of land and marine border, critical infrastructures, bridges, water supplies, etc. Given the inexpensive costs of wireless resource constrained camera sensors, the size of these networks will be significantly larger than the traditional multi-camera systems. While large number of cameras may increase the coverage of the network, such a large size along with resource constraints poses new challenges, e.g., localization, classification, tracking or reactive behavior. This dissertation proposes a framework that transforms current multi-camera networks into low-cost and reactive systems which can be used in large-scale remote surveillance applications. Specifically, a remote surveillance system framework with three components is proposed: 1) Localization and tracking of objects / 2) Classification and identification of objects / and 3) Reactive behavior at the base-station. For each component, novel lightweight, storage-efficient and real-time algorithms both at the computation and communication level are designed, implemented and tested under a variety of conditions. The results have indicated the feasibility of this framework working with limited energy but having high object localization/classification accuracies. The results of this research will facilitate the design and development of very large-scale remote border surveillance systems and improve the systems effectiveness in dealing with the intrusions with reduced human involvement and labor costs.

Τα Ασύρματα Συνδεδεμένα Συστήματα αποτελούν ένα διαρκώς διευρυνόμενο τομέα στη σύγχρονη επιστημονική και τεχνολογική εξέλιξη. Το Κεφάλαιο 1 αρχικά εισάγει τον αναγνώστη σε αυτήν την κατηγορία συστημάτων. Στη συνέχειά του, παρουσιάζονται η δομή, οι εφαρμογές και τα προβλήματα που σχετίζονται με τα Ασύρματα Δίκτυα Αισθητήρων, που συγκαταλέγονται στα πλέον χαρακτηριστικά παραδείγματα ασύρματα συνδεδεμένων συστημάτων. Σε αντιστοιχία με τα προαναφερθέντα, αυτή η διδακτορική διατριβή προσεγγίζει κάποια από τα θέματα ερευνητικού ενδιαφέροντος στα Α.Δ.Α. στοχεύοντας στην επίλυση των αντίστοιχων επιστημονικών προβλημάτων. Το ερευνητικό έργο που εκπονήθηκε, αποτυπώνεται στα επόμενα κεφάλαια της διατριβής ως ακολούθως Στο Κεφάλαιο 2 προσεγγίζεται το σημαντικότερο πρόβλημα που αντιμετωπίζουν τα Α.Δ.Α. κάθε τύπου, δηλαδή αυτό της ενεργειακής ανεπάρκειας. Για το λόγο αυτό επιχειρείται η επίτευξη της εξοικονόμησης ενέργειας σε Α.Δ.Α. μέσω ενός καινοτόμου σχήματος ελέγχου που προτείνεται. Το σχήμα αυτό στοχεύει στην επίτευξη ενεργειακά ευφυούς δρομολόγησης δεδομένων. Η αποτελεσματικότητα του προτεινόμενου σχήματος εξετάζεται μέσω ενός εκτενούς συνόλου προσομοιώσεων που συγκρίνουν την απόδοσή του έναντι αυτής ενός από τα πλέον προηγμένα ιεραρχικά πρωτόκολλα για Α.Δ.Α. Το Κεφάλαιο 3 εστιάζει στη μετάδοση δεδομένων video σε Α.Δ.Α., μελετά τους περιορισμούς στου οποίους υπόκειται αυτή και περιγράφει την ανάπτυξη ενός καινοτόμου σχήματος ελέγχου το οποίο επιδιώκει από κοινού την ενεργειακή εξοικονόμηση και την παροχή υψηλής ποιότητας υπηρεσιών με ταυτόχρονη ικανοποίηση του διαθέσιμου εύρους ζώνης. Η απόδοση του προτεινόμενου σχήματος τόσο ως προς την ενεργειακή ευφυΐα όσο και προς τη διασφάλιση ποιότητας εξετάζεται μέσω εκτενών προσομοιώσεων. Στο Κεφάλαιο 4 της διατριβής αναπτύχθηκε ένα καινοτόμο σχήμα ελέγχου ποιότητας υπηρεσιών που αφορά τη σειριακή μετάδοση σε Α.Δ.Α. εικόνων οι οποίες χαρακτηρίζονται από χαμηλή ταχύτητα μεταβολής. Το προτεινόμενο σχήμα προσαρμόζει τη συμπίεση των ασύρματα μεταδιδόμενων εικόνων προκειμένου να ικανοποιούνται προκαθορισμένα όρια που αφορούν τον ανώτατο επιτρεπόμενο χρόνο μετάδοσης. Η απόδοση του προτεινόμενου σχήματος εξετάζεται μέσω εκτενών πειραμάτων. Το Κεφάλαιο 5 της διατριβής αυτής ασχολείται με την αντιμετώπιση της συμφόρησης δικτύου σε Α.Δ.Α.. Πιο συγκεκριμένα, ένα καινοτόμο σχήμα ελέγχου, προτείνεται με στόχο την ανίχνευση της επερχόμενης της συμφόρησης και την αποτροπή της περαιτέρω διάδοσής της. Η αποτελεσματικότητα του σχήματος ελέγχεται μέσω εκτεταμένων προσομοιώσεων. Τέλος, στο Κεφάλαιο 6 σκιαγραφείται το ερευνητικό έργο που επιτελέστηκε κατά την εκπόνηση αυτής της διδακτορικής διατριβής. Επιπρόσθετα, συνοψίζεται η επιστημονική συμβολή της διατριβής και παρουσιάζονται τα ερευνητικά συμπεράσματα που προήλθαν μέσω αυτής. Τέλος, προτείνονται κατευθύνσεις μελλοντικής έρευνας σχετικής με τα επιστημονικά θέματα που πραγματεύεται η διατριβή. / Wirelessly connected systems play a rapidly growing role in modern scientific and technological evolution. Chapter 1, at first introduces the reader into this type of systems. Next, the structure, applications and problems associated with the wireless sensor networks, which are among the most typical and widely used examples of wirelessly connected systems are described. In accordance to the aforementioned challenges that the utilization of WSNs faces, a research work has been performed in the context of this doctoral thesis which is organized as follows: In Chapter 2, the issue of energy conservation is approached in WSNs through the energy efficient control of routing. For this reason a novel reactive hierarchical protocol, named SHPER, for energy efficient data routing in WSNs, is proposed. The efficacy of the proposed scheme is examined through extensive simulation tests. Chapter 3 focuses at video communication over WSNs and examines the combined fulfillment of contradictory requirements such as the severe limitations concerning both the available energy resources and bandwidth and the call for high QoS. For this reason, PEMuR, a novel dual control scheme for efficient video communication, which aims at the attainment of both considerable energy saving and high QoS was introduced. Both the energy efficiency and the Qos efficiency of this dual scheme is evaluated through thorough simulations. Chapter 4 examines the transmission of image data over WSNs and introduces a novel QoS control scheme for the sequential transmission over Wireless Sensor Networks of slowly varying images. This scheme aims to adaptively adjust the compression of wirelessly transmitted images in order to conform to predefined upper bounds of the end-to-end image transmission time, while achieving the highest QoS. The effectiveness of the proposed QoS control algorithm is investigated through extended experiments with and without the occurrence of network congestion. Chapter 5 tries to correlate the occurrence of congestion in WSNs with the existence of specific variable and invariant factors and proposes a novel control scheme named PACA, which aims to both predict forthcoming congestion and prevent its further diffusion. The effectiveness of the proposed scheme is examined through extensive simulation tests. Finally, in Chapter 6, the research work performed within the context of this doctoral thesis is summarized. Additionally, the scientific contribution achieved is outlined. Moreover, the conclusions drawn from the research results are presented along with some relevant topics of future research.

L’émergence de petites caméras CMOS et de microphones MEMS, à coût et puissance réduits, a contribué au développement d’une technologie permettant la transmission de flux multimédia (audio, image, vidéo) : les réseaux de capteurs multimédia. Cette technologie, offrant de nouvelles perspectives d’applications potentielles où la collecte d’informations visuelles et/ou acoustiques apporte une plus- value certaine, suscite un intérêt manifeste. Avec des données multimédia, la qualité de service devient désormais une exigence fondamentale pour la transmission dans un environnement contraint en ressources. Dans le contexte spécifique de cette thèse, nous considérons un déploiement par voie aérienne d’une grande quantité de capteurs image pour des applications critiques de surveillance telles que la détection d’intrusion ou des opérations de recherche et sauvetage. La prise en compte de la criticité des applications constitue un aspect important de cette thèse, novateur par rapport aux contributions déjà effectuées dans le domaine. Nos travaux se fondent sur une méthode d’ordonnancement adaptatif de l’activité des capteurs image qui fournit, pour chacun d’entre eux, son ensemble de cover-sets. La détection d’un événement dans le réseau déclenche la transmission d’une large quantité d’informations visuelles, émanant de plusieurs sources pour résoudre les ambiguïtés. L’objectif de cette thèse est d’optimiser cette transmission simultanée d’images causant des désagréments sur le réseau. Nous avons tout d’abord proposé une stratégie de sélection des cover-sets pertinents à activer pour une transmission efficace des images capturées. Cette stratégie, basée sur des critères d’état et de voisinage, assure un compromis entre autonomie et criticité. Une extension multi-chemin de GPSR assure la remontée des images émises des sources sélectionnées au puits. Une seconde contribution, également une approche de sélection, se fonde sur les informations de chemins à 2 sauts pour la sélection des cover-sets. Contrairement à la précédente, elle accorde une priorité à la criticité par rapport à la préservation de l’énergie, même si cette préservation est faite de manière indirecte. Un protocole de routage multi-chemin T-GPSR essentiellement basé sur les informations à 2 sauts est associé à la seconde approche de sélection. Une étude de performances de la mobilité du puits sur les propositions basées sur les informations à 2 sauts constitue notre troisième contribution. / Recent advances of inexpensive and low-power CMOS cameras and MEMS mi- crophones have led to the emergence of Wireless Multimedia Sensor Networks (WMSNs). WMSNs promise a wide spectrum of potential applications which require to ubiquitously capture multimedia content (visual and audio information). To support the transmission of multimedia content in a resource constrained environment, WMSNs may require a certain level of quality of service (QoS) in terms of delay, bandwidth, jitter, reliability, quality level etc. In this thesis, we consider Wireless Image Sensor Networks (WISNs) where sensor nodes equipped with miniaturized visual cameras to provide accurate information in various geographical parts of an area of interest can be thrown in mass for mission-critical applications such as intrusion detection or search & rescue. An innovative and important aspect of this thesis is to take into account the criticality of applications. The network adopts an adaptive scheduling of image sensor node’s activity based on the application criticality level, where each node computes its cover-sets. So, event detection triggers the simulataneous transmission of a large volume of visual data from multiples sources to the Sink. The main objective of this thesis is to optimize this simultaneous transmission of images that can degrade network performance. With this goal in mind, we first proposed a multi-criteria approach to select the suitable cover-sets to be activated for reliable transmission of images in mission-critical applications. The proposed approach takes into account various parameters that affect the image quality at the Sink in a multi-hop transmission network and guarantees a compromise between autonomy and criticality. A modified version of GPSR routing protocol supporting the transmission of multimedia streams ensures the transfer of images from selected sources to the Sink. The second contribution consists in an optimized selection strategy based on 2-hop neighborhood information to determine the most relevant cover-sets to be activated to increase reliability for image transmission. This selection approach prioritizes the application’s criticality. A multipath extension of GPSR, called T-GPSR, wherein routing decisions are based 2-hop neighborhood information is also proposed. A performance study of the sink mobility on proposals based on 2-hop information is our third contribution.