Moving object detection techniques can be divided into two categories based on the type of the camera which is either static or active. Methods of static cameras can detect moving objects according to the variable regions on the video frame. However, the same method is not suitable for active cameras. The task of moving object detection for active cameras generally needs more complex algorithms and unique solutions. The aim of this thesis work is real time detection and tracking of moving objects with an active camera. For this purpose, feature based algorithms are implemented due to the computational efficiency of these kinds of algorithms and SURF (Speeded Up Robust Features) is mainly used for these algorithms. An algorithm is developed in C++ environment and OpenCV library is frequently used. The developed algorithm is capable of detecting and tracking moving objects by using a PTZ (Pan-Tilt-Zoom) camera at a frame rate of approximately 5 fps and with a resolution of 640x480.

In this thesis, a video tracking method is proposed that is based on both computer vision and estimation theory. For this purpose, the overall study is partitioned into four related subproblems. The first part is moving object detection / for moving object detection, two different background modeling methods are developed. The second part is feature extraction and estimation of optical flow between video frames. As the feature extraction method, a well-known corner detector algorithm is employed and this extraction is applied only at the moving regions in the scene. For the feature points, the optical flow vectors are calculated by using an improved version of Kanade Lucas Tracker. The resulting optical flow field between consecutive frames is used directly in proposed tracking method. In the third part, a particle filter structure is build to provide tracking process. However, the particle filter is improved by adding optical flow data to the state equation as a correction term. In the last part of the study, the performance of the proposed approach is compared against standard implementations particle filter based trackers. Based on the simulation results in this study, it could be argued that insertion of vision-based optical flow estimation to tracking formulation improves the overall performance.

This thesis is devoted to the problems of defining and developing the basic building blocks of an automated surveillance system. As its initial step, a background-modeling algorithm is described for segmenting moving objects from the background, which is capable of adapting to dynamic scene conditions, as well as determining shadows of the moving objects. After obtaining binary silhouettes for targets, object association between consecutive frames is achieved by a hypothesis-based tracking method. Both of these tasks provide basic information for higher-level processing, such as activity analysis and object identification. In order to recognize the nature of an event occurring in a scene, hidden Markov models (HMM) are utilized. For this aim, object trajectories, which are obtained through a successful track, are written as a sequence of flow vectors that capture the details of instantaneous velocity and location information. HMMs are trained with sequences obtained from usual motion patterns and abnormality is detected by measuring the distance to these models. Finally, MPEG-7 visual descriptors are utilized in a regional manner for object identification. Color structure and homogeneous texture parameters of the independently moving objects are extracted and classifiers, such as Support Vector Machine (SVM) and Bayesian plug-in (Mahalanobis distance), are utilized to test the performance of the proposed person identification mechanism. The simulation results with all the above building blocks give promising results, indicating the possibility of constructing a fully automated surveillance system for the future.

Visual target tracking problem consists of two topics: Obtaining targets from camera measurements and target tracking. Even though it has been studied for more than 30 years, there are still some problems not completely solved. Especially in the case of multiple targets, association of measurements to targets, creation of new targets and deletion of old ones are among those. What is more, it is very important to deal with the occlusion and crossing targets problems suitably. We believe that a slightly modified version of multiple hypothesis tracking can successfully deal with most of the aforementioned problems with sufficient success. Distance, track size, track color, gate size and track history are used as parameters to evaluate the hypotheses generated for measurement to track association problem whereas size and color are used as parameters for occlusion problem. The overall tracker has been fine tuned over some scenarios and it has been observed that it performs well over the testing scenarios as well. Furthermore the performance of the tracker is analyzed according to those parameters in both association and occlusion handling situations.

Les données de localisation sont présentes dans plusieurs aspects de notre vie. Nous assistons à une utilisation croissante de ce type de données par une variété d'applications. En conséquence, les systèmes d'information sont demandés à traiter des grands ensembles de données brutes afin de construire des abstractions de haut niveau. La convergence des services de localisation et des standards de la Web sémantique rendent plus faciles les taches d’interconnexion et d’annotation des trajectoires.Dans cette thèse, nous nous concentrons sur la modélisation de trajectoires dans le contexte de la Web sémantique. Nous proposons une ontologie pour représenter des épisodes génériques. Notre modèle couvre aussi des éléments contextuels qui peuvent être liés à des trajectoires. Nous proposons aussi un framework contenant trois algorithmes d'annotation des trajectoires. Le premier détecte les mouvements, les arrêts et les données manquants; le second est capable de compresser des séries temporelles et de créer des épisodes qui reprennent l'évolution des caractéristiques de la trajectoire; le troisième exploite les données liées pour annoter des trajectoires avec des éléments géographiques qui l’intersecte a partir des données d'OpenStreetMap.Comme résultats, nous avons une nouvelle ontologie qui peut représenter des phénomènes spatiotemporels dans différents niveaux de granularité. En outre, notre méthode de détection de mouvement-arrêt-bruit est capable de traiter des traces échantillonnées irrégulièrement et ne dépend pas des données externes; notre méthode de compression des séries temporelles est capable de trouver des valeurs qui la résume en même temps que des segments trop courts sont évités; et notre algorithme d'annotation spatiale explore des données liées et des relations entre concepts pour trouver des types pertinents d'entités spatiales qui peuvent décrire l'environnement où la trajectoire a eu lieu. / Location data is ubiquitous in many aspects of our lives. We are witnessing an increasing usage of this kind of data by a variety of applications. As a consequence, information systems are required to deal with large datasets containing raw data in order to build high level abstractions. Semantic Web technologies offers powerful representation tools for pervasive applications. The convergence of location-based services and Semantic Web standards allows an easier interlinking and annotation of trajectories.In this thesis, we focus in modeling mobile object trajectories in the context of the Semantic Web. First, we propose an ontology that allows the representation of generic episodes. Our model also handles contextual elements that may be related to trajectories. Second, we propose a framework containing three algorithms for automatic annotation of trajectories. The first one detects moves, stops, and noisy data; the second one is able to compress generic time series and create episodes that resumes the evolution of trajectory characteristics; the third one exploits the linked data cloud to annotate trajectories with geographic elements that intersects it with data from OpenStreetMap.As results of this thesis, we have a new ontology that can represent spatiotemporal phenomena at different levels of granularity. Moreover, our framework offers three novel algorithms for trajectory annotation. The move-stop-noise detection method is able to deal with irregularly sampled traces and do not depend on external data of the underlying geography; our time series compression method is able to find values that summarize a series at the same time that too small segments are avoided; and our spatial annotation algorithm explores linked data and the relationships among concepts to find relevant types of spatial features to describe the environment where the trajectory took place.

In this thesis, novel methods for background modeling, tracking, occlusion handling and event recognition via multi-camera configurations are presented. As the initial step, building blocks of typical single camera surveillance systems that are moving object detection, tracking and event recognition, are discussed and various widely accepted methods for these building blocks are tested to asses on their performance. Next, for the multi-camera surveillance systems, background modeling, occlusion handling, tracking and event recognition for two-camera configurations are examined. Various foreground detection methods are discussed and a background modeling algorithm, which is based on multi-variate mixture of Gaussians, is proposed. During occlusion handling studies, a novel method for segmenting the occluded objects is proposed, in which a top-view of the scene, free of occlusions, is generated from multi-view data. The experiments indicate that the occlusion handling algorithm operates successfully on various test data. A novel tracking method by using multi-camera configurations is also proposed. The main idea of multi-camera employment is fusing the 2D information coming from the cameras to obtain a 3D information for better occlusion handling and seamless tracking. The proposed algorithm is tested on different data sets and it shows clear improvement over single camera tracker. Finally, multi-camera trajectories of objects are classified by proposed multi-camera event recognition method. In this method, concatenated different view trajectories are used to train Gaussian Mixture Hidden Markov Models. The experimental results indicate an improvement for the multi-camera event recognition performance over the event recognition by using single camera.

Pour les véhicules intelligents autonomes ou semi-autonomes, la perception constitue la première tâche fondamentale à accomplir avant la décision et l’action. Grâce à l’analyse des données vidéo, Lidar et radar, elle fournit une représentation spécifique de l’environnement et de son état, à travers l’extraction de propriétés clés issues des données des capteurs. Comparé à d’autres modalités de perception telles que le GPS, les capteurs inertiels ou les capteurs de distance (Lidar, radar, ultrasons), les caméras offrent la plus grande quantité d’informations. Grâce à leur polyvalence, les caméras permettent aux systèmes intelligents d’extraire à la fois des informations contextuelles de haut niveau et de reconstruire des informations géométriques de la scène observée et ce, à haute vitesse et à faible coût. De plus, la technologie de détection passive des caméras permet une faible consommation d’énergie et facilite leur miniaturisation. L’utilisation des caméras n’est toutefois pas triviale et pose un certain nombre de questions théoriques liées à la façon dont ce capteur perçoit son environnement. Dans cette thèse, nous proposons un système de détection d’objets mobiles basé seule- ment sur l’analyse d’images. En effet, dans les environnements observés par un véhicule intelligent, les objets en mouvement représentent des obstacles avec un risque de collision élevé, et ils doivent être détectés de manière fiable et robuste. Nous abordons le problème de la détection d’objets mobiles à partir de l’extraction du contexte local reposant sur une segmentation de la route. Après transformation de l’image couleur en une image invariante à l’illumination, les ombres peuvent alors être supprimées réduisant ainsi leur influence négative sur la détection d’obstacles. Ainsi, à partir d’une sélection automatique de pixels appartenant à la route, une région d’intérêt où les objets en mouvement peuvent apparaître avec un risque de collision élevé, est extraite. Dans cette zone, les pixels appartenant à des objets mobiles sont ensuite identifiés à l’aide d’une approche plan+parallaxe. À cette fin, les pixels potentiellement mobiles et liés à l’effet de parallaxe sont détectés par une méthode de soustraction du fond de l’image; puis trois contraintes géométriques différentes: la contrainte épipolaire, la contrainte de cohérence structurelle et le tenseur trifocal, sont appliquées à ces pixels pour filtrer ceux issus de l’effet de parallaxe. Des équations de vraisemblance sont aussi proposées afin de combiner les différents contraintes d’une manière complémentaire et efficace. Lorsque la stéréovision est disponible, la segmentation de la route et la détection d’obstacles peuvent être affinées en utilisant une segmentation spécifique de la carte de disparité. De plus, dans ce cas, un algorithme de suivi robuste combinant les informations de l’image et la profondeur des pixels a été proposé. Ainsi, si l’une des deux caméras ne fonctionne plus, le système peut donc revenir dans un mode de fonctionnement monoculaire ce qui constitue une propriété importante pour la fiabilité et l’intégrité du système de perception. Les différents algorithmes proposés ont été testés sur des bases de données d’images publiques en réalisant une évaluation par rapport aux approches de l’état de l’art et en se comparant à des données de vérité terrain. Les résultats obtenus sont prometteurs et montrent que les méthodes proposées sont efficaces et robustes pour différents scénarios routiers et les détections s’avèrent fiables notamment dans des situations ambiguës. / For autonomous or semi-autonomous intelligent vehicles, perception constitutes the first fundamental task to be performed before decision and action/control. Through the analysis of video, Lidar and radar data, it provides a specific representation of the environment and of its state, by extracting key properties from sensor data with time integration of sensor information. Compared to other perception modalities such as GPS, inertial or range sensors (Lidar, radar, ultrasonic), the cameras offer the greatest amount of information. Thanks to their versatility, cameras allow intelligent systems to achieve both high-level contextual and low-level geometrical information about the observed scene, and this is at high speed and low cost. Furthermore, the passive sensing technology of cameras enables low energy consumption and facilitates small size system integration. The use of cameras is however, not trivial and poses a number of theoretical issues related to how this sensor perceives its environmen. In this thesis, we propose a vision-only system for moving object detection. Indeed,within natural and constrained environments observed by an intelligent vehicle, moving objects represent high risk collision obstacles, and have to be handled robustly. We approach the problem of detecting moving objects by first extracting the local contextusing a color-based road segmentation. After transforming the color image into illuminant invariant image, shadows as well as their negative influence on the detection process can be removed. Hence, according to the feature automatically selected onthe road, a region of interest (ROI), where the moving objects can appear with a high collision risk, is extracted. Within this area, the moving pixels are then identified usin ga plane+parallax approach. To this end, the potential moving and parallax pixels a redetected using a background subtraction method; then three different geometrical constraints : the epipolar constraint, the structural consistency constraint and the trifocaltensor are applied to such potential pixels to filter out parallax ones. Likelihood equations are also introduced to combine the constraints in a complementary and effectiveway. When stereo vision is available, the road segmentation and on-road obstacles detection can be refined by means of the disparity map with geometrical cues. Moreover, in this case, a robust tracking algorithm combining image and depth information has been proposed. If one of the two cameras fails, the system can therefore come back to a monocular operation mode, which is an important feature for perception system reliability and integrity. The different proposed algorithms have been tested on public images data set with anevaluation against state-of-the-art approaches and ground-truth data. The obtained results are promising and show that the proposed methods are effective and robust on the different traffic scenarios and can achieve reliable detections in ambiguous situations.

Dans ce manuscrit de thèse, nous présentons un descripteur robuste pour la soustraction d’arrière-plan qui est capable de décrire la texture à partir d’une séquence d’images. Ce descripteur est moins sensible aux bruits et produit un histogramme court, tout en préservant la robustesse aux changements d’éclairage. Un autre descripteur pour la reconnaissance dynamique des textures est également proposé. Le descripteur permet d’extraire non seulement des informations de couleur, mais aussi des informations plus détaillées provenant des séquences vidéo. Enfin, nous présentons une approche de sélection de caractéristiques basée sur le principe d'apprentissage par ensemble qui est capable de sélectionner les caractéristiques appropriées pour chaque pixel afin de distinguer les objets de premier plan de l’arrière plan. En outre, notre proposition utilise un mécanisme pour mettre à jour l’importance relative de chaque caractéristique au cours du temps. De plus, une approche heuristique est utilisée pour réduire la complexité de la maintenance du modèle d’arrière-plan et aussi sa robustesse. Par contre, cette méthode nécessite un grand nombre de caractéristiques pour avoir une bonne précision. De plus, chaque classificateur de base apprend un ensemble de caractéristiques au lieu de chaque caractéristique individuellement. Pour compenser ces limitations, nous avons amélioré cette approche en proposant une nouvelle méthodologie pour sélectionner des caractéristiques basées sur le principe du « wagging ». Nous avons également adopté une approche basée sur le concept de « superpixel » au lieu de traiter chaque pixel individuellement. Cela augmente non seulement l’efficacité en termes de temps de calcul et de consommation de mémoire, mais aussi la qualité de la détection des objets mobiles. / In this thesis, we present a robust descriptor for background subtraction which is able to describe texture from an image sequence. The descriptor is less sensitive to noisy pixels and produces a short histogram, while preserving robustness to illumination changes. Moreover, a descriptor for dynamic texture recognition is also proposed. This descriptor extracts not only color information, but also a more detailed information from video sequences. Finally, we present an ensemble for feature selection approach that is able to select suitable features for each pixel to distinguish the foreground objects from the background ones. Our proposal uses a mechanism to update the relative importance of each feature over time. For this purpose, a heuristic approach is used to reduce the complexity of the background model maintenance while maintaining the robustness of the background model. However, this method only reaches the highest accuracy when the number of features is huge. In addition, each base classifier learns a feature set instead of individual features. To overcome these limitations, we extended our previous approach by proposing a new methodology for selecting features based on wagging. We also adopted a superpixel-based approach instead of a pixel-level approach. This does not only increases the efficiency in terms of time and memory consumption, but also can improves the segmentation performance of moving objects.

Dans ce manuscrit de thèse, nous introduisons les avancées récentes sur la décomposition en matrices (et tenseurs) de rang faible et parcimonieuse ainsi que les contributions pour faire face aux principaux problèmes dans ce domaine. Nous présentons d’abord un aperçu des méthodes matricielles et tensorielles les plus récentes ainsi que ses applications sur la modélisation d’arrière-plan et la segmentation du premier plan. Ensuite, nous abordons le problème de l’initialisation du modèle de fond comme un processus de reconstruction à partir de données manquantes ou corrompues. Une nouvelle méthodologie est présentée montrant un potentiel intéressant pour l’initialisation de la modélisation du fond dans le cadre de VSI. Par la suite, nous proposons une version « double contrainte » de l’ACP robuste pour améliorer la détection de premier plan en milieu marin dans des applications de vidéo-surveillance automatisées. Nous avons aussi développé deux algorithmes incrémentaux basés sur tenseurs afin d’effectuer une séparation entre le fond et le premier plan à partir de données multidimensionnelles. Ces deux travaux abordent le problème de la décomposition de rang faible et parcimonieuse sur des tenseurs. A la fin, nous présentons un travail particulier réalisé en conjonction avec le Centre de Vision Informatique (CVC) de l’Université Autonome de Barcelone (UAB). / This thesis introduces the recent advances on decomposition into low-rank plus sparse matrices and tensors, as well as the main contributions to face the principal issues in moving object detection. First, we present an overview of the state-of-the-art methods for low-rank and sparse decomposition, as well as their application to background modeling and foreground segmentation tasks. Next, we address the problem of background model initialization as a reconstruction process from missing/corrupted data. A novel methodology is presented showing an attractive potential for background modeling initialization in video surveillance. Subsequently, we propose a double-constrained version of robust principal component analysis to improve the foreground detection in maritime environments for automated video-surveillance applications. The algorithm makes use of double constraints extracted from spatial saliency maps to enhance object foreground detection in dynamic scenes. We also developed two incremental tensor-based algorithms in order to perform background/foreground separation from multidimensional streaming data. These works address the problem of low-rank and sparse decomposition on tensors. Finally, we present a particular work realized in conjunction with the Computer Vision Center (CVC) at Autonomous University of Barcelona (UAB).

L’évolution des référentiels spatio-temporels et les dernières avancées des systèmes d’information géographique ont favorisé l’apparition de nouveaux types de services et d’applications liés à la localisation et à la mobilité d’entités d’intérêt dont la supervision et le contrôle d’objets mobiles en temps réel.Ces constats nous ont conduit à nous intéresser en tout premier lieu aux évolutions des objets qui peuvent être envisagées sous forme de trajectoires et offrent de nouvelles perspectives quant à l’analyse en temps réel de leurs comportements particuliers individuels et/ou collectifs.Dans le contexte industriel de l’entreprise Intactile Design, un enjeu majeur émerge : il s’agit de mettre à la disposition de tout expert, amené à prendre une décision au cours d’opérations de surveillance, le plus d'informations possibles relatives au contexte environnant les objets mobiles afin d’en extraire celles permettant la détection de comportements remarquables.L’objectif est donc d'analyser et d'exploiter la masse de données acquises à partir du suivi d'objets mobiles de divers types, et plongés dans des contextes différents de supervision. Pour ce faire, nous proposons une approche générique déclinable sur divers cas de supervision partant de l'hypothèse qui consiste à envisager, pour tout objet mobile, une seule et même trajectoire tout au long de sa vie.L'une des problématiques principales de cette recherche relève des difficultés d'interprétation des données recueillies en temps réel issues de l'observation des objets. En effet celles-ci sont massives, de compositions variables et parfois incomplètes, possiblement redondantes, voire sémantiquement hétérogènes. L'idée est de s’affranchir du manque de sémantique contextuelle et de l’absence de maîtrise des informations liées à l’analyse et à l’exploitation de ces données.L’approche consiste à proposer le recours à une ontologie cadre à des fins d’enrichissements des observations et analyses, et ce pour aider à la détection de comportements d'objets mobiles. L’ontologie cadre représente l'objet mobile et sa trajectoire au sein de tout contexte de supervision et ce de manière générique. Ce modèle s'inspire de travaux existants autour de la modélisation de données spatiales comme temporelles et les étend pour répondre à la spécificité de l’analyse sémantique en temps réel de la mobilité des objets. Pour rendre compte de la spécificité des différents contextes de supervision, l'ontologie est complétée par des règles métiers construites avec l'aide des experts du domaine. L'idée est tout à la fois de disposer d'une représentation de connaissances la plus expressive possible sans augmenter pour autant le coût du raisonnement ; et de rendre l'approche adaptable à toute thématique liée à la supervision.L'approche modulaire spécifiée a ensuite été mise en application au sein d'un prototype logiciel général qui fonctionne comme un système à base de connaissances. Il assure la structuration, enrichissement, extraction et analyse spatio-temporelle des connaissances conformes à notre modèle ontologique et donc offre les éléments nécessaires à la compréhension de comportements remarquables définis par les experts des domaines ciblés.Nous illustrons notre approche au travers d’un cas d’étude concret relatif au domaine des systèmes de supervision des opérations de défense terrestre. / The recent evolution of gazetteers and the latest advances in geographic information systems have promoted new types of services related to the location and mobility of entities of interest, including the real-time supervision and control of moving objects.On the strength of these facts, we are considering the motion of an object based on its trajectory (i.e., the path followed by this object in motion). At our sense, the modeling of trajectories of a number of moving objects offers new insights into real-time analysis of their individual and/or group specific behaviors.Within the industrial context of the company Intactile Design, enhancing decision making in real time for supervision purposes, turns out to be a major challenge. At the same time, much emphasis is being placed on making sure any accessible data, related to the context of the moving objects, are available to experts in order to fully support decision making processes. More importantly, the key idea is to find a strategy that enhances capabilities of detecting unusual behaviors whilst integrating some kind of valuable information related to the context.Consequently, the main objective is to collect and analyze all of the data acquired from the tracking of many different types of moving objects in a variety of supervision contexts.At this effect, we propose a generic and innovative approach that can be applied to any case of supervision based on the assumption that considers for every mobile object, a single and unique trajectory constantly changing over time.One of the main obstacles of this research is the difficulty of real-time interpreting of all of the collected data as these data are mostly complex, voluminous, semantically heterogeneous and incomplete.In this way, the idea is to overcome the lack of contextual semantics (i.e., semantics captured from the observations of the objects evolving within their contexts).To address these challenges, we propose a top domain ontology for moving objects and their trajectories, which is expressed in OWL 2 DL. The ontology attempts to describe the starting categories for the field of mobility and therefore is applicable to all supervision and control contexts.Additionally, this ontology is building upon a few number of existing ontologies that all refer to spatio-temporal knowledge, including GeoSPARQL and OWL Time.Moreover, the ontology and a set of business rules, provided by the experts on a domain of interest, are combined to fully capture the contextual semantics of the domain under consideration.The aim is double: on one side, to benefit from a knowledge representation as expressive as possible that offers a cost-effective reasoning, and on the other side to efficiently adapt the approach to any context related to supervision.Our modular approach is implemented through a general software prototype that runs as a knowledge-based system.The prototype ensures the sustainability, extraction and spatio-temporal reasoning of information that complies with our ontology, and therefore it offers the necessary elements to understand behaviors defined by the experts of the targeted areas.We illustrate our approach through a concrete case study of monitoring systems dedicated to land defense.