Les systèmes de vidéosurveillance utilisent des caméras sophistiquées (caméras réseau, smart caméras) et des serveurs informatiques pour l’enregistrement vidéo dans un système entièrement numérique. Ces systèmes intègrent parfois des centaines de caméras et génèrent une quantité colossale de données, dépassant largement les capacités des agents humains. Ainsi, l'un des défis modernes les plus importants est de faire évoluer un système basé sur le Cloud intégrant plusieurs caméras intelligentes hétérogènes et l'adapter à une architecture Fog/Cloud pour en améliorer les performances. Les FPGA sont de plus en plus présents dans les architectures FCIoT (FoG-Cloud-IoT). Ils sont caractérisés par des modes de configuration dynamiques et partiels, permettant de s'adapter rapidement aux changements survenus tout en augmentant la puissance de calcul disponible. De telles plateformes présentent de sérieux défis scientifiques, notamment en termes de déploiement et de positionnement des FoGs.Cette thèse propose un modèle de vidéosurveillance composé de caméras intelligentes plug & play, dotées de FPGAs dynamiquement reconfigurables sur une base hiérarchique FOG/ CLOUD. Dans ce système fortement évolutif, à la fois en nombre de caméras et de cibles trackées, nous proposons une approche automatique et optimisée d’authentification des caméras et de leur association dynamique avec les FoGs. L’approche proposée comporte également une méthodologie pour l’affectation optimale des trackers matériels aux ressources électroniques disponibles pour maximiser les performances et minimiser la consommation d’énergie. Toutes les contributions ont été validées avec un prototype de taille réelle. / CCTV systems use sophisticated cameras (network cameras, smart cameras) and computer servers for video recording in a fully digital system. They often integrate hundreds of cameras generating a huge amount of data, far beyond human agent monitoring capabilities. One of the most important and modern challenges, in this field, is to scale an existing cloud-based video surveillance system with multiple heterogeneous smart cameras and adapt it to a Fog / Cloud architecture to improve performance without a significant cost overhead. Recently, FPGAs are becoming more and more present in FCIoT (FoG-Cloud-IoT) platform architectures. These components are characterized by dynamic and partial configuration modes, allowing platforms to quickly adapt themselves to changes resulting from an event, while increasing the available computing power. Today, such platforms present a certain number of serious scientific challenges, particularly in terms of deployment and positioning of FoGs. This thesis proposes a video surveillance model composed of plug & play smart cameras, equipped with dynamically reconfigurable FPGAs on a hierarchical FOG / CLOUD basis. In this highly dynamic and scalable system, both in terms of intelligent cameras (resources) and in terms of targets to track, we propose an automatic and optimized approach for camera authentication and their dynamic association with the FOG components of the system. The proposed approach also includes a methodology for an optimal allocation of hardware trackers to the electronic resources available in the system to maximize performance and minimize power consumption. All contributions have been validated with a real size prototype.

This report presents work on the detection and tracking of people in digital images. The employed detection technique is based on image processing and classification techniques. The work uses an object detection process to detect object candidate locations and a classification method using a Self-Organising Map neural network to identify the pedestrian head positions in an image. The proposed tracking technique with the support of a novel prediction method is based on the association of Cellular Automata (CA) and a Backpropagation Neural Network (BPNN). The tracking employs the CA to capture the pedestrian's movement behaviour, which in turn is learned by the BPNN in order to the estimated location of the pedestrians movement without the need to use empirical data. The report outlines this method and describes how it detects and identifies the pedestrian head locations within an image. Details of how the proposed prediction technique is applied to support the tracking process are then provided. Assessments of each component of the system and on the system as a whole have been carried out. The results obtained have shown that the novel prediction technique described is able to provide an accurate forecast of the movement of a pedestrian through a video image sequence.

Environ un tiers des personnes âgées vivant à domicile souffrent d'une chute chaque année. Les chutes les plus graves se produisent lorsque la personne est seule et incapable de se lever, ce qui entraîne un grand nombre de personnes âgées admis au service de gériatrique et un taux de mortalité malheureusement élevé. Le système PAL (Personally Assisted Living) apparaît comme une des solutions de ce problème. Ce système d’intelligence ambiante permet aux personnes âgées de vivre dans un environnement intelligent et pro-actif. Le travail de cette thèse s’inscrit dans le cadre de suivi des personnes âgées avec un maintien à domicile, la reconnaissance quotidienne des activités et le système automatique de détection des chutes à l'aide d'un ensemble de capteurs non intrusifs qui accorde l'intimité et le confort aux personnes âgées. En outre, une méthode de fusion tolérante aux fautes est proposée en utilisant un formalisme purement informationnel: filtre informationnel d’une part, et outils de la théorie de l’information d’autre part. Des résidus basés sur la divergence de Kullback-Leibler sont utilisés. Via un seuillage adéquat, ces résidus conduisent à la détection et à l’exclusion des défauts capteurs. Les algorithmes proposés ont été validés avec plusieurs scénarii différents contenant les différentes activités: marcher, s’asseoir, debout, se coucher et tomber. Les performances des méthodes développées ont montré une sensibilité supérieure à 94% pour la détection de chutes de personnes et plus de 92% pour la discrimination entre les différentes ADL (Activités de la vie quotidienne). / About one third of home-dwelling older people suffer a fall each year. The most painful falls occur when the person is alone and unable to get up, resulting in huge number of elders which are associated with institutionalization and high morbidity-mortality rate. The PAL (Personally Assisted Living) system appears to be one of the solutions of this problem. This ambient intelligence system allows elderly people to live in an intelligent and pro-active environment. This thesis describes the ongoing work of in-home elder tracking, activities daily living recognition, and automatic fall detection system using a set of non-intrusive sensors that grants privacy and comfort to the elders. In addition, a fault-tolerant fusion method is proposed using a purely informational formalism: information filter on the one hand, and information theory tools on the other hand. Residues based on the Kullback-Leibler divergence are used. Using an appropriate thresholding, these residues lead to the detection and the exclusion of sensors faults. The proposed algorithms were validated with many different scenarios containing the different activities: walking, sitting, standing, lying down, and falling. The performances of the developed methods showed a sensitivity of more than 94% for the fall detection of persons and more than 92% for the discrimination between the different ADLs (Activities of the daily life).

Το πρόβλημα της αντιστοίχισης εικόνων είναι ένα από τα σημαντικότερα στο πεδίο της υπολογιστικής όρασης, αφού η ευθυγράμμιση δύο ή περισσότερων εικόνων χρησιμοποιείται τουλάχιστον σαν στάδιο προεπεξεργασίας σε ένα μεγάλο αριθμό εφαρμογών. Στην εργασία αυτή μας απασχόλησε το πρόβλημα της στοίχισης εικόνων στις οποίες οι φωτομετρικές παραμορφώσεις είναι τοπικές και δεν μπορούν να μοντελοποιηθούν με το γενικό σφαιρικό μοντέλο της αντίθεσης και της φωτεινότητας, ή/και τμήματα των προς στοίχιση εικόνων είναι αποκλεισμένα από τη μια από αυτές. Για την αντιμετώπιση των παραπάνω προβλημάτων, η αντιστοίχηση των εικόνων προσεγγίστηκε μέσω της σταθμισμένης ελαχιστοποίησης μετρικών σφάλματος που βασίζονται στο τετραγωνικό σφάλμα. Συγκεκριμένα, εκμεταλλευόμαστε την αμεταβλητότητα της κανονικοποιημένης κλίσης μιας εικόνας σε τοπικές φωτομετρικές παραμορφώσεις και τη δυνατότητα στοίχισης κάθε ζεύγους αντίστοιχων εικονοστοιχείων των υπό στοίχιση εικόνων με την μεγιστοποίηση της μεταξύ τους συσχέτισης. Έτσι πετυχαίνουμε την αποσύνδεση του αρχικού προβλήματος σε δύο υποπροβλήματα η λύση των οποίων καταλήγει σε δύο υπερκαθορισμένα συστήματα γραμμικών εξισώσεων, καθένα εκ των οποίων έχει ως αγνώστους τις ανά κατεύθυνση παράμετρες του μετασχηματισμού που αναζητούμε για την εξάλειψη της γεωμετρικής παραμόρφωσης και ως δεξιό μέλος τις τιμές των φωτομετρικών παραμορφώσεων. Τελικά, με την επιλογή δύο κατάλληλων υποσυνόλων των προαναφερθέντων γραμμικών εξισώσεων, που εξασφαλίζουν την εφικτότητα των επιμέρους λύσεων οδηγούμαστε στον προσδιορισμό των βέλτιστων παραμέτρων. Η προτεινόμενη τεχνική δοκιμάστηκε στη βάση προσώπων Yale Β που έχει χρησιμοποιηθεί από άλλες τεχνικές αντιστοίχισης που είναι ειδικά προσαρμοσμένες για την αντιστοίχιση προσώπων. Η απόδοση της προτεινόμενης τεχνικής είναι πολύ καλή και υπερτερεί και στα ποσοστά σύγκλισης αλλά και στην ακρίβεια των λύσεων από την απόδοση των άλλων τεχνικών τόσο στη στοίχιση εικόνων που έχουν υποστεί γεωμετρικές παραμορφώσεις (από πολύ μικρές μέχρι και πολύ έντονες) όσο και σε εικόνες με διαφορετικές έντονες φωτομετρικές παραμορφώσεις. Επίσης, η προτεινόμενη τεχνική δοκιμάστηκε στις βάσεις του Affine Covariance Regions του University of Oxford στις οποίες το περιεχόμενο των εικόνων είναι γενικό και οι ειδικού σκοπού τεχνικές αποτυγχάνουν, με εξίσου πολύ καλή απόδοση. / The image registration problem is one of the most important problems in the field of computer vision, since the process of aligning two or more images is used, at least as a preprocessing step, in many applications. In this work, we employed the problem of image alignment in which the photometric deformations are local and can not be modeled with the general spherical model of contrast and brightness, and / or portions of images to align are occluded. To address these problems, the image registration was approached by minimizing the weighted error metric based on squared error. In particular, we exploit the invariance of the normalized image gradient in local photometric deformations so we can align each pair of corresponding pixels in the images by maximizing the correlation between them. Thus, we achieve to dissolve the original problem into two subproblems the solution of which leads to two over-determined systems of linear equations, each of which has the direction parameters of the transformation we seek to estimate as unknowns and as right member the values of photometric deformations. Ultimately, the choice of two suitable subsets of the above linear equations, ensuring the feasibility of individual solutions we are lead to the identification of best parameters. The proposed technique was tested in Yale B face database which has been used by other mapping techniques adapted to matching persons. The performance of the proposed technique is very good and superior at the convergence rates and the accuracy of the solutions to the performance of other techniques concerning both images that have undergone geometrical deformation (from very small to very intense) and images in different intense photometric deformations. Also, the proposed technique was tested on database of Affine Covariance Regions of the University of Oxford in which the content of the images is general and special-purpose techniques fail, with equally good performance.

- / -

Ο σκοπός της διπλωματικής εργασίας ήταν η βελτιστοποίηση ενός αλγορίθμου αναγνώρισης ανθρώπινων προσώπων και η εφαρμογή του σε μια έξυπνη κάμερα. Για την αναγνώριση των προσώπων χρησιμοποιήσαμε τον αλγόριθμο PCA ( Αλγόριθμος ανάλυσης κύριων συνιστωσών ). Η εφαρμογή του αλγορίθμου έγινε σε μια εργαστηριακή έξυπνη κάμερα εξοπλισμένη με τον επεξεργαστή LEON 2 όπως επίσης και με ενσωματωμένη μνήμη Sdram μεγέθους 16Mbytes. Η βελτιστοποίηση του αλγορίθμου έγινε με γνώμονα την δυνατότητα εφαρμογής του στην έξυπνη κάμερα. Έτσι η υλοποίηση έγινε αρχικά στο περιβάλλον Matlab στην συνέχεια υλοποιήθηκε σε C γλώσσα προγραμματισμού ενώ τέλος εφαρμόστηκε, μετά από κατάλληλες παραμετροποιήσεις, στην έξυπνη κάμερα. Η έξυπνη κάμερα είναι δυνατόν να καταγράφει και να αναγνωρίζει πρόσωπα με ικανοποιητική ακρίβεια, σε χρόνο μικρότερο του ενός δευτερολέπτου. Τα αποτελέσματα ήταν αρκετά ικανοποιητικά καθώς η κάμερα μπορεί και αναγνωρίζει συγκεκριμένα πρόσωπα, μέσα από ένα σύνολο ανθρώπων που παρακολουθεί. Κύριο πλεονέκτημα της υλοποίησης είναι η μεταφερσιμότητά της που την καθιστά εύχρηστη σε πολλές εφαρμογές που απαιτούν αναγνώριση προσώπων, καθώς επίσης θα μπορούσε να αποτελέσει την βάση για επιπλέον εφαρμογές που θα αποσκοπούσαν στην αναγνώριση διαφορετικών ειδώλων. / The propose of this thesis was the optimizing of an algorithm for Face Recognition, and the implementation of this algorithm to a smart camera. In order to identify the Faces we use the PCA algorithm (Principal Component Analysis) . The implementation of the algorithm was done in a laboratory smart camera, equipped with a LEON2 processor as well as embedded 16Mbytes Sdram memory. The optimization of the algorithm was based on the applicability in the smart camera. This implementation was done originally in Matlab environment, then implemented in C programming code and after the appropriate configurations applied to the smart camera. The smart camera can record and recognize faceswith sufficient accuracy, in less than one second. The results were quite good as the camera can also recognize individual Faces within a group of observed people. Main advantage of the implementation is the portability, which makes it useful in many applications that require identification of persons. Also could be the basis for further applications aimed at identifying different kind of images.

Η υπολογιστική εξισορρόπηση χρώματος είναι ένα βασικό προαπαιτούμενο για πολλές εφαρμογές όρασης μηχανών. Στην εργασία αυτή παρουσιάζονται πολλές πρόσφατες εξελίξεις και οι τελευταίες μέθοδοι εξισορρόπησης χρώματος. Προτείνονται επίσης διαφορετικά κριτήρια για την εκτίμηση των προσεγγίσεων αυτών. Επιχειρείται μια ταξινόμηση των μεθόδων αυτών και αυτές χωρίζονται σε τρεις ομάδες: τις στατικές μεθόδους, τις μεθόδους βασισμένες στο χρωματικό εύρος (gamut-based) και τις μεθόδους βασισμένες στην εκπαίδευση (learning-based). Ακόμη, συζητείται η πειραματική διάταξη συμπεριλαμβανομένης μιας επισκόπησης των δημόσια διαθέσιμων συνόλων δεδομένων εικόνας. Τέλος, γίνεται μια αξιολόγηση των μεθόδων που θεωρούνται αιχμής με βάση δύο σύνολα δεδομένων. / Computational color constancy is a fundamental prerequisite for many computer vision applications. This dissertation presents a survey of many recent developments and state-of-the- art methods. Several criteria are proposed that are used to assess the approaches. A taxonomy of existing algorithms is proposed and methods are separated in three groups: static methods, gamut-based methods and learning-based methods. Further, the experimental setup is discussed including an overview of publicly available data sets. Finally, various freely available methods, of which some are considered to be state-of-the-art, are evaluated on two data sets.

Cette thèse est consacrée à la détection des contours à partir d'images acquises par des caméras couleur mono-capteur. Dans ces dispositifs, le capteur est recouvert d'une mosaïque de filtres chromatiques (Color Filter Array, ou CFA) et forme une image (dite <<brute>> ou CFA) qui ne comporte qu'une seule composante couleur par pixel. Une procédure de dématriçage est classiquement appliquée à cette image pour estimer les deux composantes couleur manquantes en chaque pixel et obtenir une image couleur. Cependant, les artéfacts générés par le dématriçage peuvent altérer les performances des méthodes d'analyse bas-niveau des images. Ceci nous amène à éviter le dématriçage pour la détection des contours. Dans une approche de type gradient, nous proposons d'estimer les dérivées partielles soit en calculant les dérivées partielles dans les trois plans couleur (approche vectorielle), soit en estimant une luminance adaptée à la détection des contours (approche scalaire). L'état de l'art met en évidence que l'exploitation directe de l'image brute a été peu abordée et que les approches développées dans cette thèse sont originales. Pour l'approche vectorielle, nous proposons une adaptation de l'implantation récursive du filtre de Deriche au treillis du CFA. Pour l'approche luminance, nous utilisons un filtre optimal qui lisse et dérive conjointement les données brutes. Nous évaluons les performances des méthodes développées sur une base d'images synthétiques dont la vérité terrain est connue. Nous montrons ainsi que la détection des contours à partir des données brutes peut être satisfaisante tout en étant peu coûteuse en temps de calcul. / This thesis is devoted to edge detection from the raw image acquired by single-sensor cameras. Such cameras are fitted with Bayer Color Filter Array (CFA, generally Bayer one) and deliver raw CFA image, in which each pixel is characterized by only one out of the three colour components (red, green, or blue). A demosaicing procedure is necessary to estimate the other two missing colour components at each pixel, so as to obtain a colour image. This however produces artefacts that may affect the performance of low-level processing tasks applied to such estimated images. We propose to avoid demosaicing to compute partial derivatives for edge detection. Simple differentiation kernels, Deriche filters or shifted Deriche filters can be used either in a vector or a scalar approache. The vector approach computes partial derivatives for the three channels and the scalar approach first estimates a luminance image, then computes derivatives. The partial CFA derivatives are then used to compute Di Zenzo gradient for edge detection. We assess the performance of our methods on a large dataset of synthetic images with available edge ground truth. We show that CFA-based approaches may provide as accurate edge detection results as colour vector-based ones at much reduced computation cost.

Το σύστημα που σχεδιάστηκε βασίζεται στον soft-core επεξεργαστή Nios II της ALTERA. Εκτελεί βασικές ρουτίνες επεξεργασίας εικόνας όπως Median Filtering, Negative, Edge Detection, Image Sharpening και ο έλεγχος του επιτυγχάνεται μέσω της οθόνης αφής LTM. Αναλύονται όλες οι βασικές έννοιες, και περιγράφεται τόσο ο επεξεργαστής όσο και οι περιφερειακές μονάδες που χρησιμοποιήθηκαν (LTM, D5M Camera, PIO κτλ.). Το όλο σύστημα υλοποιήθηκε στο DE2-70 Board της ALTERA. / The system that has been developed, is based on the ALTERA‘s soft-core processor Nios II. It implements basic image-processing routines such as Median Filtering, Negative, Edge Detection, Image Sharpening and the control of the system is achieved via the LTM Touch Screen. All fundamental concepts are analyzed, and both the processor and the peripherals used (LTM, D5M Camera, PIO etc) are described in detail. The system was implemented on the ALTERAs DE2-70 Board.

- / -