La détection d'objets mobiles dans des flux vidéo est une étape essentielle pour de nombreux algorithmes de vision par ordinateur. Cette tâche se complexifie lorsque la caméra utilisée est en mouvement. En effet, l'environnement capté par ce type de caméra apparaît en mouvement et il devient plus difficile de distinguer les objets qui effectuent réellement un mouvement de ceux qui constituent la partie statique de la scène. Dans cette thèse, nous apportons des contributions au problème de détection d'objets mobiles dans le flux vidéo d'une caméra mobile. L'idée principale qui nous permet de distinguer les éléments mobiles de ceux qui sont statiques repose sur un calcul de distance dans l'espace 3D. Les positions 3D de caractéristiques extraites des images sont estimées par triangulation puis leurs mouvements 3D sont analysés pour réaliser un étiquetage éparse statique/mobile de ces points. Afin de rendre la détection robuste au bruit, l'analyse des mouvements 3D des caractéristiques est comparée à d'autres points précédemment estimés statiques. Une mesure de confiance, mise à jour au cours du temps, est utilisée pour déterminer l'étiquette à attribuer à chacun des points. Nos contributions ont été appliquées à des jeux de données virtuelles (issus du projet Previz 2) et réelles (reconnus dans la communauté [Och+14]) et les comparaisons ont été réalisées avec l'état de l'art. Les résultats obtenus montrent que la contrainte 3D proposée dans cette thèse, couplée à une analyse statistique et temporelle des mouvements, permet de détecter des éléments mobiles dans le flux vidéo d'une caméra en mouvement et ce même dans des cas complexes où les mouvements apparents de la scène ne sont pas uniformes / Moving objects detection in video streams is a commonly used technique in many computer vision algorithms. The detection becomes more complex when the camera is moving. The environment observed by this type of camera appeared moving and it is more difficult to distinguish the objects which are in movement from the others that composed the static part of the scene. In this thesis we propose contributions for the detection of moving objects in the video stream of a moving camera. The main idea to differenciate between moving and static objects based on 3D distances. 3D positions of feature points extracted from images are estimated by triangulation and then their 3D motions are analyzed in order to provide a sparse static/moving labeling. To provide a more robust detection, the analysis of the 3D motions is compared to those of feature points previously estimated static. A confidance value updated over time is used to decide on labels to attribute to each point.We make experiments on virtual (from the Previz project 1) and real datasets (known by the community [Och+14]) and we compare the results with the state of the art. The results show that our 3D constraint coupled with a statistical and temporal analysis of motions allow to detect moving elements in the video stream of a moving camera even in complex cases where apparent motions of the scene are not similars

Cette thèse s’inscrit dans le contexte de l’analyse vidéo du trafic routier. Dans certaines grandes villes, des centaines de caméras produisent de très grandes quantités de données, impossible à manipuler sans traitement automatique. Notre principal objectif est d'aider les opérateurs humains en analysant automatiquement les données vidéo. Pour aider les contrôleurs de la circulation à prendre leurs décisions, il est important de connaître en temps réel, l'état du trafic (nombre de véhicules et vitesse des véhicules sur chaque segment de voie), mais aussi de disposer de statistiques temporelles tout au long de la journée, de la semaine, de la saison ou de l'année. Les caméras ont été déployées depuis longtemps pour le trafic et pour d'autres fins de surveillance, car elles fournissent une source d'information riche pour la compréhension humaine. L'analyse vidéo peut désormais apporter une valeur ajoutée aux caméras en extrayant automatiquement des informations pertinentes. De cette façon, la vision par ordinateur et l'analyse vidéo deviennent de plus en plus importantes pour les systèmes de transport intelligents (intelligent transport systems : ITSs). L’une des problématiques abordées dans cette thèse est liée au comptage automatique de véhicules. Pour être utile, un système de surveillance vidéo doit être entièrement automatique et capable de fournir, en temps réel, l'information qui concerne le comportement de l'objet dans la scène. Nous pouvons obtenir ces renseignements sur la détection et le suivi des objets en mouvement dans les vidéos, ce qui a été un domaine largement étudié. Néanmoins, la plupart des systèmes d'analyse automatique par vidéo ont des difficultés à gérer les situations particulières. Aujourd'hui, il existe de nombreux défis à résoudre tels que les occultations entre les différents objets, les arrêts longs, les changements de luminosité, etc… qui conduisent à des trajectoires incomplètes. Dans la chaîne de traitements que nous proposons, nous nous sommes concentrés sur l'extraction automatique de statistiques globales dans les scènes de vidéosurveillance routière. Notre chaîne de traitements est constituée par les étapes suivantes : premièrement, nous avons évalué différentes techniques de segmentation de vidéos et de détection d'objets en mouvement. Nous avons choisi une méthode de segmentation basée sur une version paramétrique du mélange de gaussiennes appliquée sur une hiérarchie de blocs, méthode qui est considérée actuellement comme l'un des meilleurs procédés pour la détection d'objets en mouvement. Nous avons proposé une nouvelle méthodologie pour choisir les valeurs optimales des paramètres d’un algorithme permettant d’améliorer la segmentation d’objets en utilisant des opérations morphologiques. Nous nous sommes intéressés aux différents critères permettant d’évaluer la qualité d’une segmentation, résultant d’un compromis entre une bonne détection des objets en mouvement, et un faible nombre de fausses détections, par exemple causées par des changements d’illumination, des reflets ou des bruits d’acquisition. Deuxièmement, nous effectuons une classification des objets, basée sur les descripteurs de Fourier, et nous utilisons ces descripteurs pour éliminer les objets de type piétons ou autres et ne conserver que les véhicules. Troisièmement, nous utilisons un modèle de mouvement et un descripteur basé sur les couleurs dominantes pour effectuer le suivi des objets extraits. En raison des difficultés mentionnées ci-dessus, nous obtenons des trajectoires incomplètes, qui donneraient une information de comptage erronée si elles étaient exploitées directement. Nous proposons donc d’agréger les données partielles des trajectoires incomplètes et de construire une information globale sur la circulation des véhicules dans la scène. Notre approche permet la détection des points d’entrée et de sortie dans les séquences d’images. Nous avons testé nos algorithmes sur des données privées provenant... / This thesis is written in the context of video traffic analysis. In several big cities, hundreds of cameras produce very large amounts of data, impossible to handle without automatic processing. Our main goal is to help human operators by automatically analyzing video data. To help traffic controllers make decisions, it is important to know the traffic status in real time (number of vehicles and vehicle speed on each path), but also to dispose of traffic statistics along the day, week, season or year. The cameras have been deployed for a long time for traffic and other monitoring purposes, because they provide a rich source of information for human comprehension. Video analysis can automatically extract relevant information. Computer vision and video analysis are becoming more and more important for Intelligent Transport Systems (ITSs). One of the issues addressed in this thesis is related to automatic vehicle counting. In order to be useful, a video surveillance system must be fully automatic and capable of providing, in real time, information concerning the behavior of the objects in the scene. We can get this information by detection and tracking of moving objects in videos, a widely studied field. However, most automated video analysis systems do not easily manage particular situations.Today, there are many challenges to be solved, such as occlusions between different objects, long stops of an object in the scene, luminosity changes, etc., leading to incomplete trajectories of moving objects detected in the scene. We have concentrated our work on the automatic extraction of global statistics in the scenes. Our workflow consists of the following steps: first, we evaluated different methods of video segmentation and detection of moving objects. We have chosen a segmentation method based on a parametric version of the Mixture of Gaussians, applied to a hierarchy of blocks, which is currently considered one of the best methods for the detection of moving objects. We proposed a new methodology to choose the optimal parameter values of an algorithm to improve object segmentation by using morphological operations. We were interested in the different criteria for evaluating the segmentation quality, resulting from a compromise between a good detection of moving objects, and a low number of false detections, for example caused by illumination changes, reflections or acquisition noises. Secondly, we performed an objects classification, based on Fourier descriptors, and we use these descriptors to eliminate pedestrian or other objects and retain only vehicles. Third, we use a motion model and a descriptor based on the dominant colors to track the extracted objects. Because of the difficulties mentioned above, we obtain incomplete trajectories, which, exploited as they are, give incorrect counting information. We therefore proposed to aggregate the partial data of the incomplete trajectories and to construct a global information on the vehicles circulation in the scene. Our approach allows to detect input and output points in image sequences. We tested our algorithms on private data from the traffic control center in Chiang Mai City, Thailand, as well as on MIT public video data. On this last dataset, we compared the performance of our algorithms with previously published articles using the same data. In several situations, we illustrate the improvements made by our method in terms of location of input / output zones, and in terms of vehicle counting.

Cette thèse, effectuée en partenariat entre la société Survey Copter, le laboratoire Hubert Curien et la Direction Générale de l’Armement (DGA), répond à des besoins tant militaires que civils dans le cadre de l’utilisation de drones à basse altitude. Dans un premier temps nous avons focalisé nos recherches sur la détection d’objets mobiles pour les mini-drones de surveillance destinés aux applications militaires, tels que ceux opérés par Survey Copter. Nous présentons d’abord la méthode que nous avons développé qui consiste en une comparaison entre un flot optique et le flot estimé, l’objectif étant de détecter les objets ayant un mouvement différent de celui correspondant à la scène dans sa globalité, et de maximiser la robustesse de cette détection vis-à-vis des problèmes induits par la parallaxe. Puis, nous décrivons le projet général dans lequel s’inscrit cette détection, en détaillant les choix technologiques et compromis qui ont été effectués, l’objectif étant de développer une carte électronique qui puisse être embarquée sur un drone et permettant d’apporter des fonctionnalités d’assistance aux opérateurs. Une seconde partie, réalisée en collaboration avec le Dr. Mubarak Shah, directeur du laboratoire CRCV en Floride, vise à apporter une solution au problème de sécurité qu’engendre le nombre grandissant de micro-drones de loisir évoluant dans l’espace aérien civil. La solution que nous proposons comporte deux étapes, premièrement elle utilise les informations cadastrales pour pré-calculer avant le décollage un plan de vol qui permet d’éviter les zones dangereuses comme les routes. La seconde étape intervient pendant le vol et permet d’adapter localement le plan de vol de façon à éviter le survol des objets mobiles tels que les voitures et piétons. Les résultats encourageants que nous avons obtenus grâce à notre méthode de détection d’objets mobiles ont conduit à une publication dans la conférence ISPA 2015, et notre contribution pour l’utilisation sécurisée de drones dans l’espace aérien civil va faire l’objet d’une soumission à la conférence ICRA 2017 / This thesis, in partnership between Survey Copter (a French company), theHubert Curien laboratory, and the DGA (a compnent of the FrenchMinistry of Defense), aims at providing solutions for low-altitude UAVs for both military and civil applications. We first focus on moving objects detection for military surveillance using mini-UAVs, such as Survey Copter’s products. Our method consists in comparing a dense optical flow with an estimated flow in order to isolate objects that are independently moving compared to the global scene. This method was developed to be robust to parallax which is an inherent problem of such platforms, parallax. In this thesis we also detail an on-going project that consists in the development of an embedded processing board able to provide all necessary functionalities to assist UAV operators in their mission. Given the recent popularity of consumer drones, we worked, with Dr. Mubarak Shah, Director of the CRCV laboratory in Florida, towards providing a solution to the security threat those vehicles represent for public safety. Our method consists in two steps. The first one is performed prior to takeoff by computing the safest path for the mission in order to avoid dangerous areas such as roads. The second is based on an in-flight adaptation process of the initial flight plan to avoid flying above some particular objects such as cars or pedestrians. The promising results obtained thaks to our moving objects detection method have led to a publication in ISPA 2015, and our contribution towards safe navigation of UAVs will be submitted in September to ICRA 2017

Motion segmentation is an important process for separating moving objects from the background. Common methods usually assume fixed camera, other approaches exist as well, but they are usually very computational intensive. This work presents an approach for scene segmentation to regions with coherent motion, which works faster than similar methods and it is capable of online processing with no prior knowledge of objects or camera. The main assumption is that the points belonging to a single objects are moving together and this applies as well in the opposite direction. The proposed method is based on tracking of feature points and searching for groups with similar motion by using RANSAC-based algorithm. Short-range repair of broken tracks is applied to increase the overall robustness of tracking. Found clusters are subsequently processed to represent separate moving objects.

Intelligent vehicles require perception systems with high performances. Usually, perception system consists of multiple sensors, such as cameras, 2D/3D lidars or radars. The works presented in this Ph.D thesis concern several topics on cameras and lidar based perception for understanding dynamic scenes in urban environments. The works are composed of four parts.In the first part, a stereo vision based visual odometry is proposed by comparing several different approaches of image feature detection and feature points association. After a comprehensive comparison, a suitable feature detector and a feature points association approach is selected to achieve better performance of stereo visual odometry. In the second part, independent moving objects are detected and segmented by the results of visual odometry and U-disparity image. Then, spatial features are extracted by a kernel-PCA method and classifiers are trained based on these spatial features to recognize different types of common moving objects e.g. pedestrians, vehicles and cyclists. In the third part, an extrinsic calibration method between a 2D lidar and a stereoscopic system is proposed. This method solves the problem of extrinsic calibration by placing a common calibration chessboard in front of the stereoscopic system and 2D lidar, and by considering the geometric relationship between the cameras of the stereoscopic system. This calibration method integrates also sensor noise models and Mahalanobis distance optimization for more robustness. At last, dynamic occupancy grid mapping is proposed by 3D reconstruction of the environment, obtained from stereovision and Lidar data separately and then conjointly. An improved occupancy grid map is obtained by estimating the pitch angle between ground plane and the stereoscopic system. The moving object detection and recognition results (from the first and second parts) are incorporated into the occupancy grid map to augment the semantic meanings. All the proposed and developed methods are tested and evaluated with simulation and real data acquired by the experimental platform "intelligent vehicle SetCar" of IRTES-SET laboratory.

Les systèmes de perception, qui sont à la base du concept du véhicule intelligent, doivent répondre à des critères de performance à plusieurs niveaux afin d’assurer des fonctions d’aide à la conduite et/ou de conduite autonome. Aujourd’hui, la majorité des systèmes de perception pour véhicules intelligents sont basés sur la combinaison de données issues de plusieurs capteurs (caméras, lidars, radars, etc.). Les travaux de cette thèse concernent le développement d’un système de perception à base d’un capteur de vision stéréoscopique et d’un capteur lidar pour l’analyse de scènes dynamiques en environnement urbain. Les travaux présentés sont divisés en quatre parties.La première partie présente une méthode d’odométrie visuelle basée sur la stéréovision, avec une comparaison de différents détecteurs de primitives et différentes méthodes d’association de ces primitives. Un couple de détecteur et de méthode d’association de primitives a été sélectionné sur la base d’évaluation de performances à base de plusieurs critères. Dans la deuxième partie, les objets en mouvement sont détectés et segmentés en utilisant les résultats d’odométrie visuelle et l’image U-disparité. Ensuite, des primitives spatiales sont extraites avec une méthode basée sur la technique KPCA et des classifieurs sont enfin entrainés pour reconnaitre les objets en mouvement (piétons, cyclistes, véhicules). La troisième partie est consacrée au calibrage extrinsèque d’un capteur stéréoscopique et d’un Lidar. La méthode de calibrage proposée, qui utilise une mire plane, est basée sur l’exploitation d’une relation géométrique entre les caméras du capteur stéréoscopique. Pour une meilleure robustesse, cette méthode intègre un modèle de bruit capteur et un processus d’optimisation basé sur la distance de Mahalanobis. La dernière partie de cette thèse présente une méthode de construction d’une grille d’occupation dynamique en utilisant la reconstruction 3D de l’environnement, obtenue des données de stéréovision et Lidar de manière séparée puis conjointement. Pour une meilleure précision, l’angle entre le plan de la chaussée et le capteur stéréoscopique est estimé. Les résultats de détection et de reconnaissance (issus des première et deuxième parties) sont incorporés dans la grille d’occupation pour lui associer des connaissances sémantiques. Toutes les méthodes présentées dans cette thèse sont testées et évaluées avec la simulation et avec de données réelles acquises avec la plateforme expérimentale véhicule intelligent SetCar” du laboratoire IRTES-SET. / Intelligent vehicles require perception systems with high performances. Usually, perception system consists of multiple sensors, such as cameras, 2D/3D lidars or radars. The works presented in this Ph.D thesis concern several topics on cameras and lidar based perception for understanding dynamic scenes in urban environments. The works are composed of four parts.In the first part, a stereo vision based visual odometry is proposed by comparing several different approaches of image feature detection and feature points association. After a comprehensive comparison, a suitable feature detector and a feature points association approach is selected to achieve better performance of stereo visual odometry. In the second part, independent moving objects are detected and segmented by the results of visual odometry and U-disparity image. Then, spatial features are extracted by a kernel-PCA method and classifiers are trained based on these spatial features to recognize different types of common moving objects e.g. pedestrians, vehicles and cyclists. In the third part, an extrinsic calibration method between a 2D lidar and a stereoscopic system is proposed. This method solves the problem of extrinsic calibration by placing a common calibration chessboard in front of the stereoscopic system and 2D lidar, and by considering the geometric relationship between the cameras of the stereoscopic system. This calibration method integrates also sensor noise models and Mahalanobis distance optimization for more robustness. At last, dynamic occupancy grid mapping is proposed by 3D reconstruction of the environment, obtained from stereovision and Lidar data separately and then conjointly. An improved occupancy grid map is obtained by estimating the pitch angle between ground plane and the stereoscopic system. The moving object detection and recognition results (from the first and second parts) are incorporated into the occupancy grid map to augment the semantic meanings. All the proposed and developed methods are tested and evaluated with simulation and real data acquired by the experimental platform “intelligent vehicle SetCar” of IRTES-SET laboratory.