En stéréovision, une carte dense des disparités peut être déterminée grâce à des méthodes locales exploitant la mise en correspondance des contenus de voisinages bidimensionnels. Toutefois, dans le contexte d'une application de métrologie 3D, il n'est pas nécessaire que la carte soit dense, mais elle doit être très précise. Par ailleurs, en présence d'un fort effet de perspective, d'importantes variations locales de la disparité apparaissent et les méthodes locales exploitant des fenêtres 2D ne garantissent plus une précision suffisante. Dans ce travail, nous proposons une méthode de mise en correspondance qui exploite des caractéristiques extraites d'un ensemble de courbes de similarité calculées sur des fenêtres 1D. Nous établissons une notion de confiance reliant directement la précision à la densité de la carte des disparités obtenue, entre lesquelles il est alors possible de fixer un compromis. La méthode proposée est évaluée en comparant ses résultats à ceux obtenus par six autres méthodes locales similaires. Nous montrons ainsi son efficacité, tout particulièrement quand la scène contient un plan fortement incliné. Nous testons finalement notre méthode dans le cadre d'une application de détection d'obstacles à l'avant d'un véhicule routier. Nous montrons qu'en segmentant notre carte des disparités par un procédé assez simple, la détection des obstacles est possible et surtout plus précise qu'avec des cartes des disparités calculées sur des voisinages 2D. / Ln stereovision, a dense disparity map can be computed thanks to local methods that match 2D image neighbourhoods. ln the context of 3D metrology, obtaining a dense disparity map is not mandatory, but high accuracy is required. Moreover, because of important local variations of disparity values due to high perspective conditions, we show that 2D methods do not reach a sufficient level of accuracy. ln this work, we propose a new matching method based on the analysis of several characteristics extracted from a set of similarity curves computed using ID neighbourhoods. We compute confidence values directly Iinked to accuracy and density properties of the disparity map. This confidence values are used to tu ne a tradeoff between density and accuracy of the disparity maps. The proposed method is evaluated by comparing its results with those computed with six similar local methods. ln this way, we show its efficiency, particularly with scenes having a strong perspective. FinaIly, we validate our ID method in an obstacle detection application. We show that a quite basic segmentation process applied to our disparity maps yields better results than with disparity maps computed using 2D neighbourhoods.

Cette thèse s'intéresse à l'apport d'un modèle virtuel 3D urbain pour l'égo-localisation de véhicules intelligents ainsi que la détection et la localisation d'obstacles. La localisation du véhicule s'appuie sur plusieurs sources d'information: un GPS, des capteurs proprioceptifs (odométres et gyromètre), une caméra et un modèle virtuel 3D de l'environnement. Les capteurs proprioceptifs permettent d'obtenir une estimation quasi continue de la pose relative du véhicule. Cette estimation de la pose est recalée par des mesures GPS lorsque celles-ci sont disponibles. Afin de palier la dérive de la localisation à l'estime lors de longues indisponibilités des informations GPS, on construit une observation cartographique 3D. Celle-ci est basée sur le recalage entre le modèle virtuel 3D urbain et les images acquises par la caméra. Des travaux expérimentaux illustrent l'approche développée. Par ailleurs, l'apport d'un modèle virtuel 3D urbain est également étudié pour la détection et la localisation des obstacles. Une fois localisé dans le modèle 3D, les obstacles de l'infrastructure tels que les bâtiments sont connus et localisés. Pour détecter les obstacles n'appartenant pas à l'infrastructure (véhicules, piétons ... ), on compare l'image réelle et l'image virtuelle en considérant que ce type d'obstacles est présent dans l'image réelle mais absent de l'image virtuelle. A partir de l'information de profondeur disponible grâce au modèle 3D, les obstacles détectés sont ensuite géolocalisés. Les résultats expérimentaux obtenus sont comparés et validés grâce à un télémètre laser. / This thesis deals with ego-Iocalization of intelligent vehicles and obstacles detection with virtual 3D city mode!. Vehicle localization uses several sources of infonnation : a GPS receiver, proprioceptive sensors (odometers and gyrometer), a video camera and a virtual 3D city mode!. The proprioceptive sensors allow to continuously estimate the dead-reckoning position and orientation of the vehicle. This dead-reckoning estimation of the pose is corrected by GPS measurements. Moreover, a 3D geographical observation is constructed to compensate the drift of the dead-reckoning localisation when GPS measurements are unavailable for a long time. The 3D geographical observation is based on the matching between the virtual 3D city model and the images acquired by the camera. Experimental results iIlustrate the developed approach. Moreover, the contribution of a virtual 3D city model is also studied for the detection and the localization of obstacles. Once the vehicle is localized in the 3D model, the obstacles of the infrastructure like buildings are known and localized. ln order to detect the other obstacles as vehicles, pedestrians, ... the real image acquired by the camera and the virtual image extracted from the virtual 3D model are compared, by considering that this kind of obstacles are in the real image but are absent from the virtual image. With the detph information available from the 3D model, the detccted obstacle are then localized. Experimental results are compared with Lidar measurements

Ces activités de recherche s'intégrent à l'un des deux groupes de recherche du laboratoire LASMEA : GRAVIR (GRoupe Automatique VIsion et Robotique), dont l'objectif principal est de développer des concepts théoriques et méthodologiques pour la perception de l'enironnement de machines, et de valider ceux-ci expérimentalement sur des démonstrateurs par des systèmes dédiés. Cet objectif a été pariculièrement suivi dans les véhicules routiers intelligents puisque, depuis plus de quinze ans, les résultats de recherches sur les capteurs, la reconnaissance des formes et la fusion de données obtenues par une dizaine de chercheurs sont appliqués en ce domaine. Ces recherches concernent la fusion de données pour la perception à bord des véhicules routiers intelligents. Elles s'inscrivent parmi deux projets : ARCOS (Action de Recherche pour une COnduite Sécurisée) s'inscrit dans le cadre des actions fédératives du PREDIT (Programme national de recherche et d'innovation dans les transports terrestres, à l'initiative des ministères chargés de la recherche, des transports, de l'environnement et de l'industrie, de l'Ademe et de l'Anvar) et PAROTO (Projet Anticollision Radar et Optronique pour l'auTOmobile) initié par le ministère de la recherche en partenariat avec SAGEM, Division Défense et Sécurité, et l'INRETS (Institut National de REcherche sur les Transports et leur Sécurité). Dans ce cadre, je m'intéresse à un système de perception conduisant, et ceci dans une grande variété de situations, à la définition d'une carte de l'environnement à l'avant du véhicule intelligent : chaque obstacle y est décrit par sa position absolue, son état cinématique et un certain nombre de caractéristiques qui peuvent être déterminantes pour définir l'aide à apporter au conducteur. Cette perception s'appuie sur le développement d'un système de fusion de données appliqué à la détection et au suivi des obstacles. Plusieurs capteurs, dont les complémentarités et redondances ont été soulignées, ont ainsi été installés à l'avant de notre véhicule démonstrateur : VELAC (VEhicule du Lasmea pour l'Aide à la Conduite) ; un capteur RADAR (développé au sein de notre laboratoire) dont l'objectif prioritaire est de fournir une information de vitesse relative des obstacles, un capteur LIDAR (Riegl) permettant une représentation en 3D de la scène routière, un capteur thermique (SAGEM) dont l'objectif était de détecter et de suivre les différents obstacles quelques soient les conditions atmosphériques. Les données de ces différents capteurs sont traitées indépendamment afin de détecter, et de suivre les obstacles à l'avant du véhicule. La problématique de fusion est ainsi vue comme une combinaison de pistages (estimations à l'aide du filtre de Kalman ou à particules). Il devient donc possible, après cette fusion, de représenter une carte précise de l'environnement à l'avant du véhicule intelligent : chaque obstacle y est décrit par sa position absolue, et son état cinématique qui sont déterminants pour définir l'aide à apporter au conducteur. Des résultats ont été validés à bord de notre véhicule démonstrateur VELAC

Cette thèse porte sur la fonction de détection d'obstacles dans le domaine ferroviaire à partir de la vision par ordinateur. Il s'agit d'assurer une perception de l'environnement situé à l'avant du train afin de détecter et d'évaluer les distances des obstacles situés sur la voie.Nous avons donc proposé un module détection de rails à partir des images à niveaux de gris, pour déterminer une zone libre d'obstacles à l'avant du train. Cette détection est basée dans l'algorithme de RANSAC et une estimation de la voie par un polynôme de degré 2. Elle s'est montrée robuste à notre base de données et a permis de détecter les rails à des distances supérieures à la distance d'arrêt. Aussi, un algorithme d'étalonnage des caméras installées dans le train a été proposé à partir de la morphologie de la voie.Comme support de la reconnaissance de rails, nous présentons un module de détection et classification des appareils de voie basé dans le descripteur HOG extrait des images IPM (Inverse Perspective Mapping). Un classifieur SVM (Support Vector Machines) binaire a été utilisé pour la détection et un SVM multi-classe pour différencier les appareils de voie existants sur la ligne.Après avoir élaboré le module de détection des rails, nous avons implémenté un détecteur de trains. À partir d'un échantillon des images de trains de la ligne en question et des images négatives comme des voitures ou des bus, nous avons créé une base de données d'obstacles pour trouver un descripteur robuste qui arrive à décrire la forme des trains et permet à un classifieur SVM de discriminer les images et détecter les trains. Par la suite, ce classifieur est utilisé par le système global pour déterminer la présence d'un train au-delà de la détection de la voie. À la distance maximale de détection, un rectangle de la taille d'un train est extrait de l'image pour vérifier la présence d'un train. Ces rectangles font l'objet d'une classification au moyen de descripteurs globaux de type HOG et une structure SVM binaire.Cette étude permettra non seulement de déboucher sur des applications concrètes, mais surtout d'évaluer la maturité des technologies de traitements d'images pour réaliser des fonctions sûres appliquées aux systèmes ferroviaires.

Cette thèse porte sur la fonction de détection d'obstacles dans le domaine ferroviaire à partir de la vision par ordinateur. Il s'agit d'assurer une perception de l'environnement situé à l'avant du train afin de détecter et d'évaluer les distances des obstacles situés sur la voie.Nous avons donc proposé un module détection de rails à partir des images à niveaux de gris, pour déterminer une zone libre d'obstacles à l'avant du train. Cette détection est basée dans l'algorithme de RANSAC et une estimation de la voie par un polynôme de degré 2. Elle s'est montrée robuste à notre base de données et a permis de détecter les rails à des distances supérieures à la distance d'arrêt. Aussi, un algorithme d'étalonnage des caméras installées dans le train a été proposé à partir de la morphologie de la voie.Comme support de la reconnaissance de rails, nous présentons un module de détection et classification des appareils de voie basé dans le descripteur HOG extrait des images IPM (Inverse Perspective Mapping). Un classifieur SVM (Support Vector Machines) binaire a été utilisé pour la détection et un SVM multi-classe pour différencier les appareils de voie existants sur la ligne.Après avoir élaboré le module de détection des rails, nous avons implémenté un détecteur de trains. À partir d'un échantillon des images de trains de la ligne en question et des images négatives comme des voitures ou des bus, nous avons créé une base de données d'obstacles pour trouver un descripteur robuste qui arrive à décrire la forme des trains et permet à un classifieur SVM de discriminer les images et détecter les trains. Par la suite, ce classifieur est utilisé par le système global pour déterminer la présence d'un train au-delà de la détection de la voie. À la distance maximale de détection, un rectangle de la taille d'un train est extrait de l'image pour vérifier la présence d'un train. Ces rectangles font l'objet d'une classification au moyen de descripteurs globaux de type HOG et une structure SVM binaire.Cette étude permettra non seulement de déboucher sur des applications concrètes, mais surtout d'évaluer la maturité des technologies de traitements d'images pour réaliser des fonctions sûres appliquées aux systèmes ferroviaires. / This thesis deals with obstacle detection in a railway setting using computer vision. The main task is to provide perception of the environment in front ofthe train using an optical sensor to detect and evaluate distances to obstacles along the track path.We present a module for detecting rails from grayscale images to determine an obstacle-free zone in front of the train. This detection is based on the RANSACalgorithm and fitting the track to a second degree polynomial. The method has shown itself robust to our dataset and allows detecting the rails at distancesgreater than the emergency stopping distance. In addition, a method for calibrating the cameras installed on the train is proposed based on the morphology ofthe track.To supplement rail detection, we present a new module for detecting and classifying junctions based on the HOG descriptor extracted from InversePerspective Mapping (IPM) images. A Support Vector Machines (SVM) binary classifier was used for detection and a multi-class SVM for distinguishing ofjunctions along the rails.In the sequel, a train detector was implemented. Using a set of images of trains found on the studied line and negative images such as cars or buses, we havecreated a database of obstacles to find a robust descriptor which is able to model the form of trains and allows a SVM classifier to distinguish images anddetect trains. Next this classifier is used by the overall system to determine the presence of a train in addition to detecting rails. At the maximum detectiondistance, a train-sized rectangle is extracted from the image in order to confirm the presence of a train. These rectangles are classified by means of HOG-typeglobal descriptors and a binary SVM structure.In addition to its applications to concrete problems, this study permits to evaluate the maturity of image processing technologies forfail-safe railway systems.

La détection, localisation d'obstacles et la reconstruction de carte d'occupation 2D sont des fonctions de base pour un robot navigant dans un environnement intérieure lorsque l'intervention avec les objets se fait dans un environnement encombré. Les solutions fondées sur la vision artificielle et couramment utilisées comme SLAM (simultaneous localization and mapping) ou le flux optique ont tendance a être des calculs intensifs. Ces solutions nécessitent des ressources de calcul puissantes pour répondre à faible vitesse en temps réel aux contraintes. Nous présentons une architecture matérielle pour la détection, localisation d'obstacles et la reconstruction de cartes d'occupation 2D en temps réel. Le système proposé est réalisé en utilisant une architecture de vision sur FPGA (field programmable gates array) et des capteurs d'odométrie pour la détection, localisation des obstacles et la cartographie. De la fusion de ces deux sources d'information complémentaires résulte un modèle amelioré de l'environnement autour des robots. L'architecture proposé est un système à faible coût avec un temps de calcul réduit, un débit d'images élevé, et une faible consommation d'énergie / Obstacle detection, localization and occupancy map reconstruction are essential abilities for a mobile robot to navigate in an environment. Solutions based on passive monocular vision such as simultaneous localization and mapping (SLAM) or optical flow (OF) require intensive computation. Systems based on these methods often rely on over-sized computation resources to meet real-time constraints. Inverse perspective mapping allows for obstacles detection at a low computational cost under the hypothesis of a flat ground observed during motion. It is thus possible to build an occupancy grid map by integrating obstacle detection over the course of the sensor. In this work we propose hardware/software system for obstacle detection, localization and 2D occupancy map reconstruction in real-time. The proposed system uses a FPGA-based design for vision and proprioceptive sensors for localization. Fusing this information allows for the construction of a simple environment model of the sensor surrounding. The resulting architecture is a low-cost, low-latency, high-throughput and low-power system.

La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent un nombre important de travaux sur l'aide à la conduite. De nombreux systèmes (ultrasons, laser, radar, ...) ont déjà été mis en oeuvre pour percevoir l'environnement autour d'un véhicule. Tous se heurtent à la diversité des scènes observées, que ce soit en milieu urbain ou routier. Il est donc nécessaire d'exploiter des capteurs qui donnent une information riche pouvant être analysée dans plusieurs fonctions et quelle que soit la configuration. La vision semble tout à fait adéquate ; elle est d'ailleurs une source sensorielle capitale dans la prise de décision chez l'humain. Les méthodes décrites dans cette thèse consistent donc à proposer un système complet et autonome de stéréovision passive pour la détection d'obstacles sur un véhicule, dit intelligent, évoluant en milieu urbain ou routier. La problématique majeure relative à l'exploitation d'un banc de stéréovision sur un robot ou un véhicule concerne la qualité du calibrage qui tend à varier au cours du temps. Un tel système n'est en effet viable que si les paramètres qui décrivent la géométrie du capteur peuvent être correctement estimés, y compris en présence de chocs et vibrations. Nous présentons donc d'abord une méthode de recalibrage en ligne d'un système initialement calibré, consistant en une correction dynamique de ses paramètres. Affranchi des problèmes de calibrage, le deuxième problème abordé est la détection d'obstacles en milieu routier. Les méthodes décrites dans ce document proposent une construction du profil longitudinal de la route afin d'en extraire un modèle d'obstacle tenant compte des variations de pente et du dévers et/ou roulis. Notre approche exploite les données 3D fournies par la stéréo-vision. La dernière application concerne un système de perception pour l'aide au parking; nous présentons une méthode générique de con struction incrémentale d'un modèle 3D de l'espace libre. Cette méthode suppose que le déplacement du véhicule est estimé avec une bonne précision. Le modèle est alors analysé pour détecter et caractériser une place de parking; le but est d'alimenter un planificateur de mouvement permettant la réalisation automatique de la manoeuvre. Toutes les méthodes ont été intégrées dans l'environnement RT-MAPS, et ont été validées soit en ligne sur le démonstrateur du LAAS, soit sur des séquences d'images acquises sur des véhicules.

Les travaux présentés dans ce mémoire ont pour but l'application de la vision en lumière<br />structurée (capteur formé d'une caméra CCD et d'une source lumineuse) à la navigation de robots<br />mobiles. Ceci nous a conduit à étudier différentes techniques et approches de la vision par<br />ordinateur et du traitement des images. Tout d'abord, nous avons passé en revue les principaux<br />types de codage de la lumière structurée et les principales applications qu'elle trouve en robotique,<br />imagerie médicale et métrologie, pour en dégager une problématique quant à l'utilisation qui nous<br />intéresse. En second lieu, nous proposons une méthode de traitement des images en lumière<br />structurée ayant pour objectif l'extraction des segments de l'image et le décodage du motif<br />structurant. Nous détaillons ensuite une méthode de reconstruction tri-dimensionnelle à partir du<br />capteur non-calibré. La projection d'un motif lumineux sur l'environnement impose des contraintes<br />sévères aux techniques d'auto-calibration. Il ressort que la reconstruction doit être effectuée en<br />deux temps, en une seule prise de vue et une seule projection. Nous précisons la méthode de<br />reconstruction projective utilisée pour nos expérimentations et nous donnons une méthode<br />permettant le passage du projectif à l'Euclidien. En profitant des relations géométriques générées<br />par la projection du motif lumineux, nous montrons qu'il est possible de trouver des contraintes<br />Euclidiennes entre les points de la scène, indépendantes des objets de la scène. Nous proposons<br />également une technique de détection d'obstacles quantitative, permettant d'estimer la carte de<br />l'espace libre observé par le robot. Finalement, nous faisons une étude complète du capteur en<br />mouvement et nous en tirons un algorithme permettant d'estimer son déplacement dans<br />l'environnement à partir de la mise en correspondance des plans qui le compose.

En stéréovision, une carte dense des disparités peut être déterminée grâce à des méthodes locales exploitant la mise en correspondance des contenus de voisinages bidimensionnels. Toutefois, dans le contexte d'une application de métrologie 3D, il n'est pas nécessaire que la carte soit dense, mais elle doit être très précise. Par ailleurs, en présence d'un fort eet de perspective, d'importantes variations locales de la disparit é apparaissent et les méthodes locales exploitant des fenêtres 2D ne garantissent plus une précision susante. Dans ce travail, nous proposons une méthode générique de mise en correspondance qui exploite des caractéristiques extraites d'un ensemble de courbes de similarité calculées sur des fenêtres 1D. Nous établissons une notion de conance reliant directement la précision à la densité de la carte des disparités obtenue, entre lesquelles il est alors possible de xer un compromis. La méthode générique proposée est évaluée en comparant ses résultats à ceux obtenus par six autres méthodes locales similaires. Nous montrons ainsi son ecacité, tout particulièrement quand la scène contient un plan fortement incliné. Nous testons nalement notre méthode dans le cadre d'une application de détection d'obstacles à l'avant d'un véhicule routier. Nous montrons qu'en segmentant notre carte des disparités par un procédé assez simple, la détection des obstacles est possible et surtout plus précise qu'avec des cartes des disparités calculées sur des voisinages 2D. Le comportement de la méthode 1D face à diérents défauts de texture ou de calibration est étudié à la fois sur des images de synthèse et des images réelles.

En raison de l'augmentation du volume et de la complexité des systèmes de transport, de nouveaux systèmes avancés d'assistance à la conduite (ADAS) sont étudiés dans de nombreuses entreprises, laboratoires et universités. Ces systèmes comprennent des algorithmes avec des techniques qui ont été étudiés au cours des dernières décennies, comme la localisation et cartographie simultanées (SLAM), détection d'obstacles, la vision stéréoscopique, etc. Grâce aux progrès de l'électronique, de la robotique et de plusieurs autres domaines, de nouveaux systèmes embarqués sont développés pour garantir la sécurité des utilisateurs de ces systèmes critiques. Pour la plupart de ces systèmes, une faible consommation d'énergie ainsi qu'une taille réduite sont nécessaires. Cela crée la contrainte d'exécuter les algorithmes sur les systèmes embarqués avec des ressources limitées. Dans la plupart des algorithmes, en particulier pour la vision par ordinateur, une grande quantité de données doivent être traitées à des fréquences élevées, ce qui exige des ressources informatiques importantes. Un FPGA satisfait cette exigence, son architecture parallèle combinée à sa faible consommation d'énergie et la souplesse pour les programmer permet de développer et d'exécuter des algorithmes plus efficacement que sur d'autres plateformes de traitement. Les composants virtuels développés dans cette thèse ont été utilisés dans trois différents projets: PICASSO (vision stéréoscopique), COMMROB (détection d'obstacles à partir d'une système multicaméra) et SART (Système d'Aide au Roulage tous Temps).