Intelligent vehicles require perception systems with high performances. Usually, perception system consists of multiple sensors, such as cameras, 2D/3D lidars or radars. The works presented in this Ph.D thesis concern several topics on cameras and lidar based perception for understanding dynamic scenes in urban environments. The works are composed of four parts.In the first part, a stereo vision based visual odometry is proposed by comparing several different approaches of image feature detection and feature points association. After a comprehensive comparison, a suitable feature detector and a feature points association approach is selected to achieve better performance of stereo visual odometry. In the second part, independent moving objects are detected and segmented by the results of visual odometry and U-disparity image. Then, spatial features are extracted by a kernel-PCA method and classifiers are trained based on these spatial features to recognize different types of common moving objects e.g. pedestrians, vehicles and cyclists. In the third part, an extrinsic calibration method between a 2D lidar and a stereoscopic system is proposed. This method solves the problem of extrinsic calibration by placing a common calibration chessboard in front of the stereoscopic system and 2D lidar, and by considering the geometric relationship between the cameras of the stereoscopic system. This calibration method integrates also sensor noise models and Mahalanobis distance optimization for more robustness. At last, dynamic occupancy grid mapping is proposed by 3D reconstruction of the environment, obtained from stereovision and Lidar data separately and then conjointly. An improved occupancy grid map is obtained by estimating the pitch angle between ground plane and the stereoscopic system. The moving object detection and recognition results (from the first and second parts) are incorporated into the occupancy grid map to augment the semantic meanings. All the proposed and developed methods are tested and evaluated with simulation and real data acquired by the experimental platform "intelligent vehicle SetCar" of IRTES-SET laboratory.

L’évolution des systèmes de capture des données concernant les objets mobiles a donné naissance à de nouvelles générations d’applications dans différents domaines. Les données capturées, communément appelées « trajectoires », sont au cœur des applications qui analysent et supervisent le trafic routier, maritime et aérien ou également celles qui optimisent le transport public. Elles sont aussi exploitées dans les domaines du jeu vidéo, du cinéma, du sport et dans le domaine de la biologie animale pour l’étude des comportements, par les systèmes de capture des mouvements. Aujourd’hui, les données produites par ces capteurs sont des données brutes à caractère spatio-temporel qui cachent des informations sémantiquement riches et enrichissantes pour un expert. L’objectif de cette thèse est d’associer automatiquement aux données spatio-temporelles des descriptions ou des concepts liés au comportement des objets mobiles, interprétables par les humains, mais surtout par les machines. Partant de ce constat, nous proposons un processus partant de l’expérience des objets mobiles de monde réel, notamment le bateau et l’avion, vers un modèle ontologique générique pour la trajectoire. Nous présentons quelques requêtes qui intéressent les experts du domaine et qui montrent l’impossibilité d’exploiter les trajectoires dans leurs états bruts. En effet, l’analyse de ces requêtes fait ressortir trois types de composantes sémantiques : thématique, spatiale et temporelle. Ces composantes doivent être rattachées aux données des trajectoires ce qui conduit à introduire un processus d’annotation qui transforme les trajectoires brutes en trajectoires sémantiques. Pour exploiter les trajectoires sémantiques, on construit une ontologie de haut niveau pour le domaine de la trajectoire qui modélise les données brutes et leurs annotations. Vu le besoin d’un raisonnement complet avec des concepts et des opérateurs spatiaux et temporaux, nous proposons la solution de réutilisation des ontologies de temps et d’espace. Dans cette thèse, nous présentons aussi notre travail issu d’une collaboration avec une équipe de recherche qui s’intéresse à l’analyse et à la compréhension des comportements des mammifères marins dans leur milieu naturel. Nous détaillons le processus utilisé dans les deux premiers domaines, qui part des données brutes représentant les déplacements des phoques jusqu’au modèle ontologique de trajectoire des phoques. Nous accordons une attention particulière à l’apport de l’ontologie de haut niveau définissant un cadre contextuel pour l’ontologie du domaine d’application. Enfin, cette thèse présente la difficulté de mise en œuvre sur des données de taille réelle (des centaines de milliers d’individus) lors du raisonnement à travers les mécanismes d’inférence utilisant des règles métiers. / The evolution of systems capture data on moving objects has given birth to new generations of applications in various fields. Captured data, commonly called ”trajectories”, are at the heart of applications that analyze and monitor road, maritime and air traffic or also those that optimize public transport. They are also used in the video game, movies, sports and field biology to study animal behavior, by motion capture systems. Today, the data produced by these sensors are raw spatio-temporal characters hiding semantically rich and meaningful informations to an expert data. So, the objective of this thesis is to automatically associate the spatio-temporal data descriptions or concepts related to the behavior of moving objects, interpreted by humans, but also by machines. Based on this observation, we propose a process based on the experience of real-world moving objects, including vessel and plane, to an ontological model for the generic path. We present some applications of interest to experts in the field and show the inability to use the paths in their raw state. Indeed, the analysis of these queries identified three types of semantic components : thematic, spatial and temporal. These components must be attached to data paths leading to enter an annotation that transforms raw semantic paths process trajectories. To exploit the semantic trajectories, we construct a high-level ontology for the domain of the path which models the raw data and their annotations. Given the need of complete reasoning with concepts and spatial and temporal operators, we propose the solution for reuse of ontologies time space. In this thesis, we also present our results from a collaboration with a research team that focuses on the analysis and understanding of the behavior of marine mammals in their natural environment. We describe the process used in the first two areas, which share raw data representing the movement of seals to ontological trajectory model seals. We pay particular attention to the contribution of the upper ontology defined in a contextual framework for ontology application. Finally, this thesis presents the difficulty of implementation on real data size (hundreds of thousands) when reasoning through inference mechanisms using business rules.

Nous nous intéressons dans cette thèse à la vision à travers les murs (VTM) par radar ULB, avec comme objectif la mise au point d’une chaîne de traitement de l’information (CTI) complète pouvant être utilisée par différents types de radar imageur VTM. Pour ce faire, nous souhaitons prendre en compte le moins possible d’information a priori, ni sur les cibles, ni sur leur contexte environnemental. De plus, la CTI doit répondre à des critères d’adaptabilité et de modularité pour pouvoir traiter les informations issues de deux types de radar, notamment, le pulsé et le FMCW, développés dans deux projets dans lesquels s’inscrivent les travaux de cette thèse. L’imagerie radar est un point important dans ce contexte, nous l’abordons par la combinaison des algorithmes de rétroprojection et trilatération, et montrons l’amélioration apportée avec l’utilisation d’un détecteur TFAC prenant en compte la forme des signatures des cibles. La mise au point de la CTI est notre principale contribution. Le flux d’images radar obtenu est scindé en deux parties. La première séquence dynamique contient les cibles mobiles qui sont ensuite suivies par une approche multihypothèse. La seconde séquence statique contient les cibles stationnaires ainsi que les murs intérieurs qui sont détectés par une méthode s’appuyant sur la transformée de Radon. Nous avons produit un simulateur VTM fonctionnant dans le domaine temporel et fréquentiel pour mettre au point les algorithmes de la CTI et tester leur robustesse. Plusieurs scénarios de simulation ainsi que de mesures expérimentales, montrent que la CTI construite est pertinente et robuste. Elle est ainsi validée pour les deux systèmes radar. / This report is focused on Through-the-wall surveillance (TTS) using UWB radar, with the objective of developing a complete information processing pipeline (IPP) which can be used by different types of imaging radar. To do this, we want to take into account any a priori information, nor on the target, or their environmental context. In addition, the IPP must meet criteria of adaptability and modularity to process information from two types of radar, including pulsed and FMCW developed in two projects that are part of the work of this thesis. Radar imaging is an important point in this context ; we approach it by combining backprojection and trilateration algorithms and show the improvement with the use of a CFAR detector taking into account the shape of the targets signatures.The development of the IPP is our main contribution. The flow of radar images obtained is divided into two parts. The first dynamic sequence contains moving targets are tracked by a multiple hypothesis approach. The second static sequence contains stationary targets and interior walls that are highlighted by Radon transformbases approach. We developed a simulator operating in time and frequency domain to design the algorithms of the IPP and test their robustness. Several simulated scenarios and experimental measurements show that our IPP is relevant and robust. It is thus validated for both radar systems.

This diploma thesis deals with separation of backgroud and moving objects in video. Video can be represented as series of frames and each frame represented as low - rank structure - matrix. This thesis describe sparse representation of signals and robust principal component analysis. It also presents and implements algorithms - models for reconstruction of real video.

This diploma thesis deals with separation of backgroud and moving objects in video. Video can be represented as series of frames and each frame represented as low - rank structure - matrix. This thesis describe sparse representation of signals and robust principal component analysis. It also presents and implements algorithms - models for reconstruction of real video.

This diploma thesis deals with separation of moving objects from static unchanging background in video sequence. In this thesis are described common method of separation and access using sparse signal representation. In the practical part of thesis was created video sequences, on which is verified the designed algorithm, implemented in Matlab, for obtaining background from damaged video frames and comparing this methods.

This diploma thesis deals with separation of moving objects from static unchanging background in video sequence. Thesis contains description of common method of separation and approach based sparse signal representation. In the practical part of thesis, there were created video sequences, which are used to verify designed algorithm implemented in Matlab interface, disegned to obtain separated background from damaged video frames.

This diploma thesis deals with separation of backgroud and moving objects in video. Video can be represented as series of frames and each frame represented as low - rank structure - matrix. This thesis describe sparse representation of signals and robust principal component analysis. It also presents and implements algorithms - models for reconstruction of real video.

This work treats the representation of moving objects and operations over these objects. Intro­duces the support for spatio-temporal data in Oracle Database 10g and presents two designs of moving objects database structure. Upon these designs a database was implemented using the user-defined data types. Sample application provides a graphical output of stored spatial data and allows us to call an implemented spatio-temporal operations. Finally, an evaluation of achieved results is done and possible extensions of project are discussed.

Les systèmes de perception, qui sont à la base du concept du véhicule intelligent, doivent répondre à des critères de performance à plusieurs niveaux afin d’assurer des fonctions d’aide à la conduite et/ou de conduite autonome. Aujourd’hui, la majorité des systèmes de perception pour véhicules intelligents sont basés sur la combinaison de données issues de plusieurs capteurs (caméras, lidars, radars, etc.). Les travaux de cette thèse concernent le développement d’un système de perception à base d’un capteur de vision stéréoscopique et d’un capteur lidar pour l’analyse de scènes dynamiques en environnement urbain. Les travaux présentés sont divisés en quatre parties.La première partie présente une méthode d’odométrie visuelle basée sur la stéréovision, avec une comparaison de différents détecteurs de primitives et différentes méthodes d’association de ces primitives. Un couple de détecteur et de méthode d’association de primitives a été sélectionné sur la base d’évaluation de performances à base de plusieurs critères. Dans la deuxième partie, les objets en mouvement sont détectés et segmentés en utilisant les résultats d’odométrie visuelle et l’image U-disparité. Ensuite, des primitives spatiales sont extraites avec une méthode basée sur la technique KPCA et des classifieurs sont enfin entrainés pour reconnaitre les objets en mouvement (piétons, cyclistes, véhicules). La troisième partie est consacrée au calibrage extrinsèque d’un capteur stéréoscopique et d’un Lidar. La méthode de calibrage proposée, qui utilise une mire plane, est basée sur l’exploitation d’une relation géométrique entre les caméras du capteur stéréoscopique. Pour une meilleure robustesse, cette méthode intègre un modèle de bruit capteur et un processus d’optimisation basé sur la distance de Mahalanobis. La dernière partie de cette thèse présente une méthode de construction d’une grille d’occupation dynamique en utilisant la reconstruction 3D de l’environnement, obtenue des données de stéréovision et Lidar de manière séparée puis conjointement. Pour une meilleure précision, l’angle entre le plan de la chaussée et le capteur stéréoscopique est estimé. Les résultats de détection et de reconnaissance (issus des première et deuxième parties) sont incorporés dans la grille d’occupation pour lui associer des connaissances sémantiques. Toutes les méthodes présentées dans cette thèse sont testées et évaluées avec la simulation et avec de données réelles acquises avec la plateforme expérimentale véhicule intelligent SetCar” du laboratoire IRTES-SET. / Intelligent vehicles require perception systems with high performances. Usually, perception system consists of multiple sensors, such as cameras, 2D/3D lidars or radars. The works presented in this Ph.D thesis concern several topics on cameras and lidar based perception for understanding dynamic scenes in urban environments. The works are composed of four parts.In the first part, a stereo vision based visual odometry is proposed by comparing several different approaches of image feature detection and feature points association. After a comprehensive comparison, a suitable feature detector and a feature points association approach is selected to achieve better performance of stereo visual odometry. In the second part, independent moving objects are detected and segmented by the results of visual odometry and U-disparity image. Then, spatial features are extracted by a kernel-PCA method and classifiers are trained based on these spatial features to recognize different types of common moving objects e.g. pedestrians, vehicles and cyclists. In the third part, an extrinsic calibration method between a 2D lidar and a stereoscopic system is proposed. This method solves the problem of extrinsic calibration by placing a common calibration chessboard in front of the stereoscopic system and 2D lidar, and by considering the geometric relationship between the cameras of the stereoscopic system. This calibration method integrates also sensor noise models and Mahalanobis distance optimization for more robustness. At last, dynamic occupancy grid mapping is proposed by 3D reconstruction of the environment, obtained from stereovision and Lidar data separately and then conjointly. An improved occupancy grid map is obtained by estimating the pitch angle between ground plane and the stereoscopic system. The moving object detection and recognition results (from the first and second parts) are incorporated into the occupancy grid map to augment the semantic meanings. All the proposed and developed methods are tested and evaluated with simulation and real data acquired by the experimental platform “intelligent vehicle SetCar” of IRTES-SET laboratory.