Les systèmes intelligents sont de plus en plus présents dans notre société à l’instar des systèmes de surveillance et de protection de sites civils ou militaires. Leur but est de détecter les intrus et remonter une alarme ou une menace à un opérateur distant. Dans nos travaux, nous nous intéressons à de tels systèmes avec comme objectif de gérer au mieux la qualité de l’information présentée à l’opérateur en termes de fiabilité et précision. Nous nous concentrons sur la modalité image en vue de gérer des détections à la fois incertaines et imprécises de façon à présenter des objets fiables à l’opérateur.Pour préciser notre problème nous posons les contraintes suivantes. La première est que le système soit modulaire, l’une des briques (ou sous-fonctions) du système étant la détection de fragments correspondant potentiellement à des objets. Notre deuxième contrainte est alors de n’utiliser que des informations issues de la géométrie des détections fragmentaires : localisation spatiale dans l’image et taille des détections. Une menace est alors supposée d’autant plus importante que les détections sont de tailles importantes et temporellement persistantes.Le cadre formel choisi est la théorie des fonctions de croyance qui permet de modéliser des données à la fois imprécises et incertaines. Les contributions de cette thèse concernent la représentation des objets en termes de localisation imprécise et incertaine et le filtrage des objets.La représentation pertinente des informations est un point clé pour les problèmes d’estimation ou la prise de décision. Une bonne représentation se reconnaît au fait qu’en découlent des critères simples et performants pour résoudre des sous-problèmes. La représentation proposée dans cette thèse a été valorisée par le fait qu’un critère d’association entre nouvelles détections (fragments) et objets en construction, a pu être défini d’une façon simple et rigoureuse. Rappelons que cette association est une étape clé pour de nombreux problèmes impliquant des données non étiquettées, ce qui étend notre contribution au-delà de l’application considérée.Le filtrage des données est utilisé dans de nombreuses méthodes ou algorithmes pour robustifier les résultats en s’appuyant sur la redondance attendue des données s’opposant à l’inconsistance du bruit. Nous avons alors formulé ce problème en termes d’estimation dynamique d’un cadre de discernement contenant les ‘vraies hypothèses’. Ce cadre est estimé dynamiquement avec la prise en compte de nouvelles données (ou observations) permettant de détecter deux principaux types d’erreurs : la duplication de certaines hypothèses (objets dans notre application), la présence de fausses alarmes (dues au bruit ou aux fausses détections dans notre cas).Pour finir nous montrons la possibilité de coupler nos briques de construction des objets et de filtrage de ces derniers avec une brique de suivi utilisant des informations plus haut niveau, telle que les algorithmes de tracking classiques de traitement d’image.Mots clés: théorie des fonctions des croyances, association de données, filtrage. / Intelligent systems are more and more present in our society, like the systems of surveillance and civilian or military sites protection. Their purpose is to detect intruders and present the alarms or threats to a distant operator. In our work, we are interested in such systems with the aim to better handle the quality of information presented to the operator in terms of reliability and precision. We focus on the image modality and we have to handle detections that are both uncertain and imprecise in order to present reliable objects to the operator.To specify our problem, we consider the following constraints. The first one is that the system is modular; one subpart of the system is the detection of fragments corresponding potentially to objects. Our second constraint is then to use only information derived from the geometry of these fragmentary detections: spatial location in the image and size of the detections. Then, a threat is supposed all the more important as the detections have an important size and are temporally persistent.The chosen formal framework is the belief functions theory that allows modeling imprecise and uncertain data. The contributions of this thesis deal with the objects representation in terms of imprecise and uncertain location of the objects and object filtering.The pertinent representation of information is a key point for estimation problems and decision making. A representation is good when simple and efficient criteria for the resolution of sub problems can be derived. The representation proposed has allowed us to derive, in a simple and rigorous way, an association criterion between new detections (fragments) and objects under construction. We remind that this association is a key step for several problems with unlabelled data that extends our contribution beyond of the considered application.Data filtering is used in many methods and algorithms to robustify the results using the expected data redundancy versus the noise inconsistency. Then, we formulated our problem in terms of dynamic estimation of a discernment frame including the 'true hypotheses'. This frame is dynamically estimated taking into account the new data (or observations) that allow us to detect two main types of errors, namely the duplication of some hypotheses (objects in our application) and the presence of false alarms (due to noise or false detections in our case).Finally, we show the possibility of coupling our sub-functions dealing with object construction and their filtering with a tracking process using higher level information such as classical tracking algorithm in image processing.Keywords: belief functions theory, data association, filtering.

Dans cette thèse, nous nous intéressons à la résolution de problèmes de détection et de suivi d'objets mobiles multiples sur route, à partir de données télémétrique de type lidar à balayage. Les travaux dans le domaine de la détection et de suivi d'obstacles à partir de données lidar mettent généralement en oeure trois principales étapes : la détection, l'association de mesures et le filtrage. Cependant, il est connu que cette chaîne de traitement peut engendrer des pertes d'informations pouvant être à l'origine de cas de non détection ou de fausse alarme. Par ailleurs, les non-linéarités liées à la transformation polaire-cartésien des mesures lidar au cours de l'étape de détection ne permettent plus de préserver la statistique des bruits de mesure après traitement. Une autre difficulté, compte tenu de la nature spatialement distribuée des mesures lidar liées à un objet, est de pouvoir associer chaque impact à un unique véhicule tout en prenant en compte la variabilité temporelle du nombre d'impacts à lui associer. Seule une approche exploitant les données brutes permet de garantir l'optimalité de la chaîne de traitement. Cette thèse explore une nouvelle approche conjointe de détection et de suivi exploitant les données brutes du lidar, éliminant toute étape de pré-détection. L'approche proposé repose, d'une part, sur l'usage des méthodes de Monte Carlo séquentielles en raison de leur aptitude à traiter des modèles fortement non linéaire, , et, d'autre part, sur une modélisation des ojets compatible avec la perception lidar. La méthode est validée avec des données du simulateur SIVIC dans différentes situations expérimentales pour la détection et le suivi d'objets hétérogènes dans un cas lidar monoplan puis multiplan. / This thesis focus on the problem of multiobject detection and tracking multiple moving objects on the road, using a scanning laser rangefinder. The works in the field of obstacle detection and tracking from lidar data generally use three main stages : detection, measurement association and filtering. However, it is known that this processing chain can lead to a loss of information that may be reponsible for non-detection or false alarm problems. Furthermore, the non-linearities associated to the polar-to-Cartesian transformation of lidar measurements during the detection step cannot preserve the statistical properties of the measurement noise. Another difficulty, related to the spatially distributed nature of a lidar measurements of an object, is to associate each impact with a single vehicle while taking into account the temporal variability of the number of impacts. An approach that only exploits the raw data ensures the optimality of the processing chain. This thesis explores a new joint approach for detection and tracking that uses raw lidar data, while eliminating any step of predetection. The proposed approach is based, first, on the use of sequential Monte Carlo methods due to their ability to deal with highly non-linear models, and secondly, on an object modeling related to lidar measure. The method is validated with data from the simulator SIVIC under different experimental conditions for the detection and tracking of heterogeneous objects with monolayer and multilayer lidar.

Cette thèse résulte d'une collaboration CIFRE avec Thalès Optronique, société qui conçoit et développe des systèmes de désignation aéroportés pour des armements guidés laser. Le mode opératoire utilisé par ces systèmes requiert de la part du pilote une charge de travail importante. L'objectif de cette thèse est d'alléger cette charge, en rendant les systèmes de suivi actuels plus robustes face à des effets de perspective.<br /><br />Le thème principal de cette thèse est donc le suivi d'objets à partir d'images aériennes. Nous souhaitons utiliser la faisabilité d'une extraction d'information 3D à partir de séquences vidéo afin d'améliorer les algorithmes de suivi de matériels aéroportés existants. Pour cela, nous nous plaçons dans un cadre bayésien et formulons le suivi de manière probabiliste, au moyen d'un filtre particulaire. Nous avons mis en place trois algorithmes:<br /><br />Le premier est basé sur des histogrammes de couleurs, que l'on combine à un filtrage particulaire;<br />c'est un suivi purement 2D dans le sens où aucune information 3D réelle de la scène est utilisée.<br /><br />Le second est basé sur des modèles géométriques (qui peuvent être 2D ou 3D), que l'on combine à un filtrage particulaire. Nous ajoutons une étape supplémentaire au filtrage particulaire classique, nous permettant de changer de modèle lorsque l'algorithme le juge nécessaire.<br /><br />Enfin, le dernier algorithme combine les deux précédents; l'intégration d'histogrammes de couleurs et d'informations de contours dans un filtre particulaire permet non seulement de rendre le suivi d'objets plus robuste, mais aussi de prendre en compte de l'information 3D réelle de la scène observée.<br /><br />Un protocole d'évaluation a été mis en place pour évaluer les performances de ces algorithmes. Des résultats illustrent les performances de ces algorithmes.

Ce mémoire de thèse a pour sujet le suivi temps réel d'objets en trois dimensions, dans le but de réaliser des applications de réalité augmentée. En effet la réalité augmentée nécessite des algorithmes de suivi stables et précis. Si l'on désire en plus que le suivi soit effectué en temps réel vidéo, il faut alors trouver des compromis entre précision des résultats et vitesse de traitement. Ce mémoire contient la description des trois algorithmes de suivi développés durant cette thèse. Ils illustrent le cheminement suivi par nos travaux durant ces trois années, c'est-à-dire le suivi d'objets de plus en plus complexes, d'abord planaires, puis simples objets 3D, et enfin objets 3D complexes de modèle 3D inconnu. Le premier algorithme permet de suivre des objets planaires peu texturés. Il s'agit d'une extension d'un algorithme de suivi de plans efficace et rapide, basé sur l'utilisation d'informations de texture, auquel nous avons ajouté une composante de suivi de contour afin de pouvoir l'utiliser sur un ensemble plus vaste de motifs. Une fois ce travail sur le suivi planaire effectué, nous avons adapté l'algorithme de suivi de textures au suivi d'objets en trois dimensions. En utilisant de multiples occurrences de cet algorithme, réparties sur la surface de l'objet à suivre, couplées à un algorithme itératif d'estimation de pose, nous sommes parvenus à suivre en temps réel des objets simples effectuant des translations et des rotations à 360 degrés. Cet algorithme étant limité par le fait qu'il nous faut connaître un modèle 3D de l'objet à suivre, nous avons ensuite cherché à réaliser un algorithme permettant, lors d'une phase d'apprentissage, de générer un modèle statistique de l'objet à partir de vues clefs 2D. Basé sur le même algorithme de suivi de texture que précédemment, cet algorithme ne détermine pas la pose 3D de l'objet suivi mais décrit sa position comme étant la déformation d'une grille 2D.

Ce travail de thèse s'inscrit dans le domaine de la vision artificielle. Plus précisément, nous nous sommes intéressés au suivi temps réel vidéo d'objets 3D mobiles dans des séquences d'images. A l'orgine de ces travaux, se trouve un algorithme, développé au LASMEA, dédié au suivi de motifs planaires texturés. Nous nous sommes proposés d'adapter cette méthode de suivi 2D à l'estimation du mouvement apparent d'objets 3D. Pour cela, l'objet 3D est modélisé à l'aide d'une collection d'images de référence. Pour chacune de ces vues, la solution 2D citée précédemment permet de suivre les mouvements fronto parallèles (déplacements de l'objet parallèlement au plan image) qui ne modifient pas de façon majeure l'aspect apparent dans l'image. Le point délicat, solutionné dans le cadre de cette thèse, est la détection et la gestion du changement d'aspect du motif suivi dû à des rotations relatives (caméra/objet) en site et azimut. Sur le plan pratique, l'approche proposée a permis le développement d'un système expérimental de suivi d'un visage et la navigation automatique d'un bras robotique, muni d'une caméra embarquée, autour d'un objet 3D.

Cette thèse présente une nouvelle approche pour contrôler des algorithmes de suivi d'objets mobiles. Plus précisément, afin de s'adapter aux variations contextuelles de suivi, cette approche apprend à régler les paramètres des algorithmes de suivi d'objets basés sur l'apparence ou sur les points d'intérêt. Le contexte de suivi d'une vidéo est défini par un ensemble de caractéristiques : la densité des objets mobiles, leur niveau d'occultation, leur contraste et leur surface 2D. Dans une phase d'apprentissage supervisée, des valeurs de paramètres satisfaisantes sont déterminées pour chaque séquence d'apprentissage. Puis ces séquences sont classifiées en groupant leurs caractéristiques contextuelles. A chaque contexte sont associées les valeurs de paramètres apprises. Dans la phase de contrôle en ligne, deux approches sont proposées. Pour la première approche, quand le contexte change, les paramètres sont réglés en utilisant les valeurs apprises. Pour la deuxième, le réglage des paramètres est réalisé quand le contexte change et quand la qualité de suivi (calculée par un algorithme d'évaluation en ligne) n'est pas assez bonne. Un processus d'apprentissage en-ligne met à jour les relations contextes/paramètres. L'approche a été expérimentée avec des vidéos longues, complexes et plusieurs ensembles de vidéos publiques. Cette thèse propose cinq contributions : (1) une méthode de classification des vidéos pour apprendre hors-ligne les paramètres de suivi, (2) un algorithme d'évaluation en-ligne du suivi, (3) une méthode pour contrôler en ligne le suivi, (4) un algorithme de suivi pouvant s'adapter aux conditions de la scène, (5) une méthode de suivi robuste basée sur le filtre de Kalman et un suivi global.

L'objectif de ces travaux porte sur la navigation de robots autonomes sur de grandes distances dans des environnements extérieurs dynamiques, plus précisément sur le développement et l'évaluation de fonctions avancées de perception, embarquées sur des véhicules se déplaçant en convoi sur un itinéraire inconnu a priori, dans un environnement urbain ou naturel. Nous avons abordé trois problématiques : d'abord nous avons exploité plusieurs méthodes de l'état de l'art, pour qu'un véhicule A, équipé d'un capteur stéréoscopique, apprenne à la fois une trajectoire et un modèle de l'environnement supposé d'abord statique. Puis nous avons proposé deux modes pour l'exécution de cette trajectoire par un véhicule B équipé d'une simple caméra : soit un mode différé, dans lequel B charge toute la trajectoire apprise par A, puis l'exécute seul, soit un mode convoi, dans lequel B suit A, qui lui envoie par une communication HF, les tronçons de la trajectoire au fur et à mesure qu'ils sont appris. Enfin nous avons considéré le cas des environnements évolutifs et dynamiques, en traitant de la détection d'événements depuis les images acquises depuis un véhicule mobile: détection des changements (disparition ou apparition d'objets statiques, typiquement des véhicules garés dans un milieu urbain), ou de la détection d'objets mobiles (autres véhicules ou piétons).

Dans cette thèse, nous nous intéressons à la résolution de problèmes de détection et de suivi d'objets mobiles multiples sur route, à partir de données télémétrique de type lidar à balayage. Les travaux dans le domaine de la détection et de suivi d'obstacles à partir de données lidar mettent généralement en oeure trois principales étapes : la détection, l'association de mesures et le filtrage. Cependant, il est connu que cette chaîne de traitement peut engendrer des pertes d'informations pouvant être à l'origine de cas de non détection ou de fausse alarme. Par ailleurs, les non-linéarités liées à la transformation polaire-cartésien des mesures lidar au cours de l'étape de détection ne permettent plus de préserver la statistique des bruits de mesure après traitement. Une autre difficulté, compte tenu de la nature spatialement distribuée des mesures lidar liées à un objet, est de pouvoir associer chaque impact à un unique véhicule tout en prenant en compte la variabilité temporelle du nombre d'impacts à lui associer. Seule une approche exploitant les données brutes permet de garantir l'optimalité de la chaîne de traitement. Cette thèse explore une nouvelle approche conjointe de détection et de suivi exploitant les données brutes du lidar, éliminant toute étape de pré-détection. L'approche proposé repose, d'une part, sur l'usage des méthodes de Monte Carlo séquentielles en raison de leur aptitude à traiter des modèles fortement non linéaire, , et, d'autre part, sur une modélisation des ojets compatible avec la perception lidar. La méthode est validée avec des données du simulateur SIVIC dans différentes situations expérimentales pour la détection et le suivi d'objets hétérogènes dans un cas lidar monoplan puis multiplan.

Les travaux de cette thèse portent sur l'amélioration et l'optimisation de l'algorithme de suivi d'objet couleur Mean-Shift à la fois d’un point de vue robustesse du suivi et d’un point de vue architectural pour améliorer la vitesse d’exécution. La première partie des travaux a consisté en l'amélioration de la robustesse du suivi. Pour cela, l'impact des espaces de représentation couleur a été étudié, puis une méthode permettant la sélection de l'espace couleur représentant le mieux l'objet à suivre a été proposée. L'environnement de la cible changeant au cours du temps, une stratégie est mise en place pour resélectionner un espace couleur au moment opportun. Afin d'améliorer la robustesse dans le cas de séquences particulièrement difficile, le Mean-Shift avec stratégie de sélection a été couplé avec un autre algorithme plus coûteux en temps d'exécution : le suivi par covariance. L’objectif de ces travaux est d’obtenir un système complet fonctionnant en temps réel sur processeurs multi-cœurs SIMD. Une phase d’étude et d'optimisation a donc été réalisée afin de rendre les algorithmes paramétrables en complexité pour qu’ils puissent s’exécuter en temps réel sur différentes plateformes, pour différentes tailles d’images et d’objets suivi. Dans cette optique de compromis vitesse / performance, il devient ainsi possible de faire du suivi temps-réel sur des processeurs ARM type Cortex A9. / The work of this thesis focuses on the improvement and optimization of the Mean-Shift color object tracking algorithm, both from a theoretical and architectural point of view to improve both the accuracy and the execution speed. The first part of the work consisted in improving the robustness of the tracking. For this, the impact of color space representation on the quality of tracking has been studied, and a method for the selection of the color space that best represents the object to be tracked has been proposed. The method has been coupled with a strategy determining the appropriate time to recalculate the model. Color space selection method was also used in collaboration with another object tracking algorithm to further improve the tracking robustness for particularly difficult sequences : the covariance tracking which is more time consuming. The objective of this work is to obtain an entire real time system running on multi-core SIMD processors. A study and optimization phase has been made in order to obtain algorithms with a complexity that is configurable so that they can run in real time on different platforms, for various sizes of images and object tracking. In this context of compromise between speed and performance, it becomes possible to do real-time tracking on processors like ARM Cortex A9.

Le problème du suivi d'objets dans une vidéo se pose dans des domaines tels que la vision par ordinateur (vidéo-surveillance par exemple) et la post-production télévisuelle et cinématographique (effets spéciaux). Il se décline en deux variantes principales : le suivi d'une région d'intérêt, qui désigne un suivi grossier d'objet, et la segmentation spatio-temporelle, qui correspond à un suivi précis des contours de l'objet d'intérêt. Dans les deux cas, la région ou l'objet d'intérêt doivent avoir été préalablement détourés sur la première, et éventuellement la dernière, image de la séquence vidéo. Nous proposons dans cette thèse une méthode pour chacun de ces types de suivi ainsi qu'une implémentation rapide tirant partie du Graphics Processing Unit (GPU) d'une méthode de suivi de régions d'intérêt développée par ailleurs. La première méthode repose sur l'analyse de trajectoires temporelles de points saillants et réalise un suivi de régions d'intérêt. Des points saillants (typiquement des lieux de forte courbure des lignes isointensité) sont détectés dans toutes les images de la séquence. Les trajectoires sont construites en liant les points des images successives dont les voisinages sont cohérents. Notre contribution réside premièrement dans l'analyse des trajectoires sur un groupe d'images, ce qui améliore la qualité d'estimation du mouvement. De plus, nous utilisons une pondération spatio-temporelle pour chaque trajectoire qui permet d'ajouter une contrainte temporelle sur le mouvement tout en prenant en compte les déformations géométriques locales de l'objet ignorées par un modèle de mouvement global. La seconde méthode réalise une segmentation spatio-temporelle. Elle repose sur l'estimation du mouvement du contour de l'objet en s'appuyant sur l'information contenue dans une couronne qui s'étend de part et d'autre de ce contour. Cette couronne nous renseigne sur le contraste entre le fond et l'objet dans un contexte local. C'est là notre première contribution. De plus, la mise en correspondance par une mesure de similarité statistique, à savoir l'entropie du résiduel, d'une portion de la couronne et d'une zone de l'image suivante dans la séquence permet d'améliorer le suivi tout en facilitant le choix de la taille optimale de la couronne. Enfin, nous proposons une implémentation rapide d'une méthode de suivi de régions d'intérêt existante. Cette méthode repose sur l'utilisation d'une mesure de similarité statistique : la divergence de Kullback-Leibler. Cette divergence peut être estimée dans un espace de haute dimension à l'aide de multiples calculs de distances au k-ème plus proche voisin dans cet espace. Ces calculs étant très coûteux, nous proposons une implémentation parallèle sur GPU (grâce à l'interface logiciel CUDA de NVIDIA) de la recherche exhaustive des k plus proches voisins. Nous montrons que cette implémentation permet d'accélérer le suivi des objets, jusqu'à un facteur 15 par rapport à une implémentation de cette recherche nécessitant au préalable une structuration des données.