Optical flow is the apparent motion of brightness patterns within an image scene. Algorithms used to calculate the optical flow for a sequence of images are useful in a variety of applications, including motion detection and obstacle avoidance. Typical optical flow algorithms are computationally intense and run slowly when implemented in software, which is problematic since many potential applications of the algorithm require real-time calculation in order to be useful. To increase performance of the calculation, optical flow has recently been implemented on FPGA and GPU platforms. These devices are able to process optical flow in real-time, but are generally less accurate than software solutions. For this thesis, two different optical flow algorithms have been implemented to run on a GPU using NVIDIA's CUDA SDK. Previous FPGA implementations of the algorithms exist and are used to make a comparison between the FPGA and GPU devices for the optical flow calculation. The first algorithm calculates optical flow using 3D gradient tensors and is able to process 640x480 images at about 238 frames per second with an average angular error of 12.1 degrees when run on a GeForce 8800 GTX GPU. The second algorithm uses increased smoothing and a ridge regression calculation to produce a more accurate result. It reduces the average angular error by about 2.3x, but the additional computational complexity of the algorithm also reduces the frame rate by about 1.5x. Overall, the GPU outperforms the FPGA in frame rate and accuracy, but requires much more power and is not as flexible. The most significant advantage of the GPU is the reduced design time and effort needed to implement the algorithms, with the FPGA designs requiring 10x to 12x the effort.

No description available.

Η παρούσα διπλωματική εργασία μελετά την ανίχνευση και παρακολούθηση της κίνησης των ανθρώπων μέσα από δίκτυα καμερών. Σκοπός της παρούσας εργασίας είναι η υλοποίηση ενός συστήματος ανίχνευσης , παρακολούθησης εκ νέου ταυτοποίησης των ανθρώπων που διέρχονται μέσα από ένα δίκτυο καμερών καθώς και να προτείνει ένα μοντέλο για την κατανόηση της τοπολογίας του δικτύου των καμερών. Το κύριο πρόβλημα υποδιαιρείται σε τρία επιμέρους υπό – προβλήματα. Το πρώτο αφορά την ανίχνευση κίνησης. Το δεύτερο την παρακολούθηση των ανθρώπων και τέλος το τρίτο αφορά την αντιστοίχηση τους μεταξύ των καμερών. Σαν αποτέλεσμα στο τέλος έχουμε για κάθε άνθρωπο το μονοπάτι που διέγραψε μέσα στο δίκτυο. Η Ανίχνευση κίνησης υλοποιείται με αφαίρεση φόντου. Η παρακολούθηση υλοποιείται με δύο χαρακτηριστικά, αυτά του κέντρου μάζας και του χρωματικού ιστογράμματος. Η τοπολογία του δικτύου ανακαλύπτεται με ένα μοντέλο που καταγράφει σημεία εισόδου και εξόδου συσχετισμένα με την αντίστοιχη κάμερα από την οποία εισήλθαν ή στην οποία εξήλθαν αντίστοιχα οι άνθρωποι. Κατόπιν γίνεται αντιστοίχηση των σημείων αυτών στις κρίσιμες περιοχές της κάθε κάμερας και η πλειοψηφία των συσχετίσεων τους ορίζει την επικοινωνούσα , για αυτές τις περιοχές , κάμερα. Τέλος γίνεται η αντιστοίχηση των διαδρομών μεταξύ καμερών με έλεγχο χώρο-χρονικών χαρακτηριστικών και χαρακτηριστικών εμφάνισης. Το σύστημα υλοποιήθηκε σε Matlab και έτρεξε σε Intel i7 με συχνότητα 2.93 Ghz και 8GB μνήμης ram. Οι αλγόριθμοι λειτούργησαν ικανοποιητικά με πολύ καλά αποτελέσματα, και μπορούν να περάσουν ως είσοδοι σε πληθώρα εφαρμογών υψηλοτέρου επιπέδου που έχουν ως σκοπό την αναγνώριση της ανθρώπινης δραστηριότητας και την κατανόηση συμπεριφοράς. / This thesis deals with the detection and motion tracking through camera networks. Its purpose is to implement a system for monitoring human movement and perform re-identification in camera networks. It also proposes a model for discovering the topology of cameras network. The main problem is divided into three sub – problems. The first one deals with motion detection , the second one tracks every human located in the plane, and finally the third one has to do with the re-identification between the cameras. As a result we find and identify all human’s paths traced in the network. At first we start with detection that involves also background subtraction. The background is recovered in a dynamic way at every frame and involves median selection. Tracking is accomplished using two features, the centroid and the color histogram. Network topology is discovered from a model which reports entry and exit points associated with the corresponding camera. The system is implemented in Matlab and runs on Intel i7 with frequency 2.93 Ghz and 8GB of ram. The algorithms perform well producing very good results, and can be fed as inputs to a variety of applications that deal with problems related to higher level recognition of human activity and behavior understanding.

With the growth of computer power, Digital Image Processing plays a more and more important role in the modern world, including the field of industry, medical, communications, spaceflight technology etc. There is no clear definition how to divide the digital image processing, but normally, digital image processing includes three main steps: low-level, mid-level and highlevel processing. Low-level processing involves primitive operations, such as: image preprocessing to reduce the noise, contrast enhancement, and image sharpening. Mid-level processing on images involves tasks such as segmentation (partitioning an image into regions or objects), description of those objects to reduce them to a form suitable for computer processing, and classification (recognition) of individual objects. Finally, higher-level processing involves "making sense" of an ensemble of recognised objects, as in image analysis. Based on the theory just described in the last paragraph, this thesis is organised in three parts: Colour Edge and Face Detection; Hand motion detection; Hand Gesture Detection and Medical Image Processing. II In Colour Edge Detection, two new images G-image and R-image are built through colour space transform, after that, the two edges extracted from G-image and R-image respectively are combined to obtain the final new edge. In Face Detection, a skin model is built first, then the boundary condition of this skin model can be extracted to cover almost all of the skin pixels. After skin detection, the knowledge about size, size ratio, locations of ears and mouth is used to recognise the face in the skin regions. In Hand Motion Detection, frame differe is compared with an automatically chosen threshold in order to identify the moving object. For some special situations, with slow or smooth object motion, the background modelling and frame differencing are combined in order to improve the performance. In Hand Gesture Recognition, 3 features of every testing image are input to Gaussian Mixture Model (GMM), and then the Expectation Maximization algorithm (EM)is used to compare the GMM from testing images and GMM from training images in order to classify the results. In Medical Image Processing (mammograms), the Artificial Neural Network (ANN) and clustering rule are applied to choose the feature. Two classifier, ANN and Support Vector Machine (SVM), have been applied to classify the results, in this processing, the balance learning theory and optimized decision has been developed are applied to improve the performance.

Ce mémoire s'intéresse à la détection de mouvement dans une séquence d'images acquises à l'aide d'une caméra fixe. Dans ce problème, la difficulté vient du fait que les mouvements récurrents ou non significatifs de la scène tels que les oscillations d'une branche, l'ombre d'un objet ou les remous d'une surface d'eau doivent être ignorés et classés comme appartenant aux régions statiques de la scène. La plupart des méthodes de détection de mouvement utilisées à ce jour reposent en fait sur le principe bas-niveau de la modélisation puis la soustraction de l'arrière-plan. Ces méthodes sont simples et rapides mais aussi limitées dans les cas où l'arrière-plan est complexe ou bruité (neige, pluie, ombres, etc.). Cette recherche consiste à proposer une technique d'amélioration de ces algorithmes dont l'idée principale est d'exploiter et mimer deux caractéristiques essentielles du système de vision humain. Pour assurer une vision nette de l’objet (qu’il soit fixe ou mobile) puis l'analyser et l'identifier, l'œil ne parcourt pas la scène de façon continue, mais opère par une série de ``balayages'' ou de saccades autour (des points caractéristiques) de l'objet en question. Pour chaque fixation pendant laquelle l'œil reste relativement immobile, l'image est projetée au niveau de la rétine puis interprétée en coordonnées log polaires dont le centre est l'endroit fixé par l'oeil. Les traitements bas-niveau de détection de mouvement doivent donc s'opérer sur cette image transformée qui est centrée pour un point (de vue) particulier de la scène. L'étape suivante (intégration trans-saccadique du Système Visuel Humain (SVH)) consiste ensuite à combiner ces détections de mouvement obtenues pour les différents centres de cette transformée pour fusionner les différentes interprétations visuelles obtenues selon ses différents points de vue. / This master thesis revolves around motion detection in sequences recorded from a fixed camera. This situation is challenging since we must ignore insignificant recurring motions such as oscillating branches, shadows, or waves on the surface of the water. Those must be classified as belonging to the background and static. Most motion detection techniques used nowadays are based on the simple and low level principle of background modeling and subtraction. These techniques are simple and fast but they reach their limit when they have to deal with complex or noisy images (from snowy, rainy, sunny weather, etc.). This research consist of proposing a technique aiming to improve those algorithms by mimicking two essential characteristics of the Human Visual System (HVS). To obtain a clear vision of an object (static or mobile) and then to analyse and identify it, our eye doesn't analyse the scene continuously but operates through several sweeping motions, or saccades, across the object. During each moment when the eye stays fixed, the image is projected on the retina and then interpreted as described by log-polar coordinates, where the center is the point fixed by the eye. Low level detection treatment should then operate on this transformed image which is centered on a particular point of view of the scene. The second step (the trans-saccadic integration of the HVS) is to combine all those data gathered from different points of view.

Le but de ce travail est d’étudier la faisabilité de la détection de mouvements dans des séquences d’images en utilisant l’équation de continuité et la dynamique de supraconductivité. Notre approche peut être motivée par le fait que l’équation de continuité apparait dans plusieurs techniques qui estiment le flot optique. Un grand nombre de techniques qui utilisent les flots optiques utilisent une contrainte appelée contrainte de l’invariance lumineuse. La dynamique de supraconductivité nous permet de nous affranchir de la contrainte de l’invariance lumineuse. Les expériences se feront avec la base de données de séquences d’images CDNET 2014. Pour obtenir les résultats numériques en terme de score F1, une combinaison sera faite par la suite entre la dynamique de supraconductivité et un méchanisme d’attention qui est un résumé des vérites de terrain. / The goal of this work is to study the feasibility of motion detection in images sequences by using the continuity equation and superconductivity dynamics. Our approach can be motivated by the fact that many techniques that compute the optic flow use the continuity equation combined with a constraint that is called the brightness constancy constraint. The dynamics of superconductivity allows us to escape from the brightness consistency constraint. The experiments will be done with a database of images sequences named CDNET 2014. To obtain the numerical results in terms of F1 score a combination will be done between the dynamics of superconductivity and a mechanism of attention which is a resume of the ground truth.

One of the major goals of this thesis is to investigate the extent to which correspondence noise, (i.e., the false pairing of dots in adjacent frames) limits motion detection performance in random dot kinematograms (RDKs). The performance measures of interest are Dmax and Dmin i.e., the largest and smallest inter-frame dot displacement, respectively, for which motion can be reliably detected. Dmax and threshold coherence (i.e., the smallest proportion of dots that must be moved between frames for motion to be reliably detected) in RDKs are known to be affected by false pairing or correspondence noise. Here the roles of correspondence noise and receptive field geometry in limiting performance are investigated. The range of Dmax observed in the literature is consistent with the current information-limit based interpretation. Dmin is interpreted in the light of correspondence noise and under-sampling. Based on the psychophysical experiments performed in the early parts of the dissertation, a model for correspondence noise based on the principle of receptive field scaling is developed for Dmax. Model simulations provide a good account of psychophysically estimated Dmax over a range of stimulus parameters, showing that correspondence noise and receptive field geometry have a major influence on displacement thresholds.

Τα ασύρματα δίκτυα αισθητήρων (WSNs) είναι πολύ αναγνωρισμένα στις μέρες μας και γύρω από αυτά έχουν αναπτυχθεί χιλιάδες εφαρμογές που με χρήση άλλης τεχνολογίας ήταν σχεδόν ακατόρθωτες. Ένα WSN αποτελείται από κόμβους οι οποίοι είναι προγραμματισμένοι να επικοινωνούν και να συλλέγουν πληροφορίες μέσω των αισθητήρων που είναι αναρτημένοι πάνω τους. Οι πληροφορίες ή σύνολο των πληροφοριών καταλήγουν τελικά στους κόμβους που είναι προγραμματισμένοι ως τερματικοί κόμβοι ή βάσεις. Οι βάσεις είναι συνήθως συνδεδεμένες με ένα υπολογιστή και μεταφέρουν τα δεδομένα του δικτύου σε αυτόν. Τα κύρια χαρακτηριστικά των ασύρματων δικτύων αισθητήρων είναι η χαμηλή κατανάλωση ενεργείας των συσκευών-κόμβων (motes), η σταθερότητα και η απλότητα του κώδικα καθώς και η μεγάλη αξιοπιστία. Μερικές εφαρμογές των WSNs είναι για παράδειγμα η μέτρηση της υγρασίας στον τάπητα ενός γηπέδου γκολφ, η παρακολούθηση των κρίσιμων μεγεθών σε μεγάλες κατασκευές (π.χ. οι τάσεις των νημάτων μιας κρεμμαστης γέφυρας ή η παρακολούθηση της καταπόνησης των δοκών ενός ουρανοξύστη). Στα πλαίσια της διπλωματικής εργασίας αυτής παρουσιάζουμε ένα ασύρματο δίκτυο αισθητήρων όπου οι αισθητήρες είναι έξυπνες κάμερες! Παρουσιάζει μεγάλο ενδιαφέρον η μελέτη ενός τέτοιου δικτύου καθώς και η ανάπτυξη εφαρμογών γύρω από αυτό. / Wireless Sensor Networks (WSNs) are very much recognized these days, and thousands of applications have been developed in relation to them, which, would have been impossible if other technologies were used. A WSN is made up of nodes programmed to collect information through sensors attached to them and transmit them. The information ends up finally to the nodes which are programmed as terminal nodes or base-stations. These base-stations are usually connected to a computer and transfer the data that have been retrieved from the network to it. The main features of a WSN is the low energy consumption by the node equipment (motes), the stability and simplicity of the code as well as their great reliability. Some applications of the WSNs are, for example, the measurement of humidity in a golf course, the monitoring of the crucial sizes in great constructions (e.g. the tensions of the fibers in a suspension bridge, the monitoring of the strains of girders in a skyscraper) Within the context of this thesis, we present a WSN where the sensors are smart cameras! The study of such a network presents great interest as well as the development of applications based on it.

La vision artificielle est un domaine de recherche en pleine évolution. Les nouvelles stratégies permettent d'avoir des réseaux de caméras intelligentes. Cela induit le développement de beaucoup d'applications de surveillance automatique via les caméras. Les travaux développés dans cette thèse concernent la mise en place d'un système de vidéosurveillance intelligente pour la détection de chutes en temps réel. La première partie de nos travaux consiste à pouvoir estimer de façon robuste la surface d'une personne à partir de deux (02) caméras ayant des vues complémentaires. Cette estimation est issue de la détection de chaque caméra. Dans l'optique d'avoir une détection robuste, nous avons fait recours à deux approches. La première approche consiste à combiner un algorithme de détection de mouvements basé sur la modélisation de l'arrière plan avec un algorithme de détection de contours. Une approche de fusion a été proposée pour rendre beaucoup plus efficiente le résultat de la détection. La seconde approche est basée sur les régions homogènes de l'image. Une première ségmentation est effectuée dans le but de déterminer les régions homogènes de l'image. Et pour finir, nous faisons la modélisation de l'arrière plan en se basant sur les régions. Une fois les pixels de premier plan obtenu, nous faisons une approximation par un polygone dans le but de réduire le nombre d'informations à manipuler. Pour l'estimation de cette surface nous avons proposé une stratégie de fusion dans le but d'agréger les détections des caméras. Cette stratégie conduit à déterminer l'intersection de la projection des divers polygones dans le plan de masse. La projection est basée sur les principes de l'homographie planaire. Une fois l'estimation obtenue, nous avons proposé une stratégie pour détecter les chutes de personnes. Notre approche permet aussi d'avoir une information précise sur les différentes postures de l'individu. Les divers algorithmes proposés ont été implémentés et testés sur des banques de données publiques dans le but de juger l'efficacité des approches proposées par rapport aux approches existantes dans l'état de l'art. Les résultats obtenus et qui ont été détaillés dans le présent manuscrit montrent l'apport de nos algorithmes. / Artificial vision is an involving field of research. The new strategies make it possible to have some autonomous networks of cameras. This leads to the development of many automatic surveillance applications using the cameras. The work developed in this thesis concerns the setting up of an intelligent video surveillance system for real-time people fall detection. The first part of our work consists of a robust estimation of the surface area of a person from two (02) cameras with complementary views. This estimation is based on the detection of each camera. In order to have a robust detection, we propose two approaches. The first approach consists in combining a motion detection algorithm based on the background modeling with an edge detection algorithm. A fusion approach has been proposed to make much more efficient the results of the detection. The second approach is based on the homogeneous regions of the image. A first segmentation is performed to find homogeneous regions of the image. And finally we model the background using obtained regions.

No description available.