21 |
Reconstruction 3D infrarouge par perception active / 3D infrared reconstruction with active perceptionDucarouge, Benoit 26 September 2011 (has links)
Ces travaux de thèse ont été menés dans le contexte du projet ANR blanc "Real Time and True Temperature measurement" (R3T), dédié à la métrologie thermique à partir de mesures dans l'infrarouge. L'estimation d'une température vraie à partir d'une mesure de température apparente par une caméra infrarouge, exploite un modèle radiométrique dans lequel apparaît des facteurs qui dépendent de la nature et de la forme de l'objet considéré. Ces travaux portent sur la construction d'un modèle géométrique de l'objet à partir de caméras infrarouges déplacées par un robot autour d'un objet.Ces caméras, par rapport à des caméras standards, ont des caractéristiques spécifiques : faible résolution, peu de texture. Afin de faciliter la mise en œuvre et de minimiser la complexité du système final, nous avons choisi une approche de stéréovision non calibrée. Nous avons donc un banc de stéréovision infrarouge embarqué sur un robot cartésien, pour acquérir plusieurs vues de l'objet d'intérêt ; les principales étapes concernent la rectification non calibrée des images acquises par le banc stéréo, puis le calibrage des caméras rectifiées et de la relation main-œil sans utilisation de mire, puis la construction de modèles 3D locaux denses et le recalage de ces modèles partiels pour construire un modèle global de l'objet. Les contributions portent sur les deux premières étapes, rectification et calibrage pour la stéréovision. Pour la rectification non calibrée, il est proposé une approche d'optimisation sous contraintes qui estime les homographies, à appliquer sur ces images pour les rectifier, sans calcul préalable de la matrice Fondamentale, tout en minimisant les déformations projectives entre images d'origine et images rectifiées. La fonction coût est calculée à partir de la distance de Sampson avec une décomposition de la matrice fondamentale. Deux types de contraintes, géométriques et algébriques, sont comparés pour minimiser les déformations projectives. L'approche proposée est comparée aux méthodes proposées par Loop et Zhang, Hartley, Mallon et al... sur des jeux de données classiques de la littérature. Il est montré que les résultats sont au moins équivalents sur des images classiques et meilleurs sur des images de faible qualité comme des images infrarouges.Pour le calibrage sans mire, l'auteur propose de calibrer les caméras ainsi que la transformation main-œil, indispensable dès lors que le banc stéréo est porté par un robot, en une seule étape ; l'une des originalités est que cette méthode permet de calibrer les caméras préalablement rectifiées et ainsi de minimiser le nombre de paramètres à estimer. De même plusieurs critères sont proposés et évalués par de nombreux résultats sur des données de synthèse et sur des données réelles. Finalement, les méthodes de stéréovision testées pour ce contexte applicatif sont rapidement décrites ; des résultats expérimentaux acquis sur des objets sont présentés ainsi que des comparaisons vis-à-vis d'une vérité terrain connue / This dissertation was lead in the context of the R3T project (Real Time and True Temperature measurement), dedicated to metrology from thermal infrared measurements. The estimation of true temperature from apparent temperature measurement by an infrared camera uses a radiometric model which depends on nature and shape of the considered object. This work focuses on the construction of a geometric model from infrared cameras moved by a robot around an object.Those cameras, in comparison with standard ones, have specific characteristics : low resolution, low texture. To minimize the complexity and easily implement the final system, we chose a stereo approach using uncalibrated cameras. So we have an infrared stereoring embeded on a Cartesian robot, to acquire multiple views of the object of interest. First, the main steps implemented concern uncalibrated images rectification and autocalibration of infrared stereoring and hand-eye transformation without use of a calibration pattern. Then, the reconstruction of locals 3D models and the merge of these models was done to reach a global model of the object. The contributions cover the first two stages, rectification and autocalibration, for the other stereo reconstruction steps, different algorithms were tested and the best was chosen for our application.For the uncalibrated images rectification, an optimization approach under constraints is proposed. The estimation of rectification homographies is done, without the Fundamental matrix determination, while minimizing the distortion between original and corrected images. The cost function is based on the Sampson's distance with breakdown of the Fundamental matrix. Two constraints, geometrical and analytical, are compared to minimize distortion. The proposed approach is compared to methods proposed by Loop and Zhang, Hartley, Mallon et al ... on data sets from state of art. It is shown that the results are at least equivalent on conventional images and better on low quality images such as infrared images.For the autocalibration, the author proposes to calibrate cameras and hand-eye transformation, essential whenever the stereoring is embedded on a robot, in one step. One of the originality is that this method allows to calibrate rectified cameras and so minimize the number of parameters to estimate. Similarly, several criteria are proposed and evaluated by numerous results on synthetic and real data.Finally, all methods of stereovision tested for this application context are briefly described, the experimental results obtained on objects are presented and compared to ground truth
|
22 |
Multi-modal, Multi-Domain Pedestrian Detection and Classification : Proposals and Explorations in Visible over StereoVision, FIR and SWIRMiron, Alina Dana 16 July 2014 (has links) (PDF)
The main purpose of constructing Intelligent Vehicles is to increase the safety for all traffic participants. The detection of pedestrians, as one of the most vulnerable category of road users, is paramount for any Advance Driver Assistance System (ADAS). Although this topic has been studied for almost fifty years, a perfect solution does not exist yet. This thesis focuses on several aspects regarding pedestrian classification and detection, and has the objective of exploring and comparing multiple light spectrums (Visible, ShortWave Infrared, Far Infrared) and modalities (Intensity, Depth by Stereo Vision, Motion).From the variety of images, the Far Infrared cameras (FIR), capable of measuring the temperature of the scene, are particular interesting for detecting pedestrians. These will usually have higher temperature than the surroundings. Due to the lack of suitable public datasets containing Thermal images, we have acquired and annotated a database, that we will name RIFIR, containing both Visible and Far-Infrared Images. This dataset has allowed us to compare the performance of different state of the art features in the two domains. Moreover, we have proposed a new feature adapted for FIR images, called Intensity Self Similarity (ISS). The ISS representation is based on the relative intensity similarity between different sub-blocks within a pedestrian region of interest. The experiments performed on different image sequences have showed that, in general, FIR spectrum has a better performance than the Visible domain. Nevertheless, the fusion of the two domains provides the best results. The second domain that we have studied is the Short Wave Infrared (SWIR), a light spectrum that was never used before for the task of pedestrian classification and detection. Unlike FIRcameras, SWIR cameras can image through the windshield, and thus be mounted in the vehicle's cabin. In addition, SWIR imagers can have the ability to see clear at long distances, making it suitable for vehicle applications. We have acquired and annotated a database, that we will name RISWIR, containing both Visible and SWIR images. This dataset has allowed us to compare the performance of different pedestrian classification algorithms, along with a comparison between Visible and SWIR. Our tests have showed that SWIR might be promising for ADAS applications,performing better than the Visible domain on the considered dataset. Even if FIR and SWIR have provided promising results, Visible domain is still widely used due to the low cost of the cameras. The classical monocular imagers used for object detectionand classification can lead to a computational time well beyond real-time. Stereo Vision providesa way of reducing the hypothesis search space through the use of depth information contained in the disparity map. Therefore, a robust disparity map is essential in order to have good hypothesis over the location of pedestrians. In this context, in order to compute the disparity map, we haveproposed different cost functions robust to radiometric distortions. Moreover, we have showed that some simple post-processing techniques can have a great impact over the quality of the obtained depth images.The use of the disparity map is not strictly limited to the generation of hypothesis, and couldbe used for some feature computation by providing complementary information to color images.We have studied and compared the performance of features computed from different modalities(Intensity, Depth and Flow) and in two domains (Visible and FIR). The results have showed that the most robust systems are the ones that take into consideration all three modalities, especially when dealing with occlusions.
|
23 |
Diametermätning av timmer med stereovisionIsaksson, David, Fredriksson, Jonas January 2018 (has links)
Syfte – Syftet för den här studien är att utveckla en metod för att mäta diametern på travat timmers ändträytor i en bild med förvridet perspektiv där ytorna befinner sig på olika djup i förhållande till varandra, för att effektivisera mätning inom skogsindustrin. Metod – Denna studie genomfördes i samarbete med Cind AB, och arbetet var uppdelat i två faser med Design Science Research som forskningsmetod. I Fas 1 rektifierades bilder på ändträytorna manuellt och i Fas 2 utnyttjades ett punktmoln för att uppskatta rektifieringsplanet. Detta gjordes i en stereokamerarigg i skala 1:25 på 139 stockar. Samtliga stockar mättes digitalt i de rektifierade bilderna och manuellt med ett digitalt skjutmått. Ett konfidensintervall för differensen beräknades fram för att bedöma mätnoggrannheten. Resultat – Konfidensintervallet för Fas 1 tyder på att metoden har potential då rektifieringsplanet placeras korrekt, vilket Fas 2 visar är en svår och komplex uppgift. Slutsatser – Den utvecklade metodens mätnoggrannhet uppnådde inte studiens mål på 5% felmarginal. Det skulle dock vara möjligt att mäta ändträytor med god noggrannhet om punktmolnet har tillräckligt hög kvalitet. Begränsningar – Mjukvaran som använder punktmolnet för att rektifiera bilderna är en modifierad version av Cinds proprietära produkt. Datamängden som används i studien samlas endast in via Cinds testrigg. / Purpose – The purpose of this study is to develop a method for measuring the diameter of piled logs on a truck in a picture that has skewed perspective and where the end surfaces are at different depths in relation to each other. The intent of this method is to further streamline log measurement in the logging industry. Method – This study was conducted in collaboration with Cind AB, and the work was split in two phases with Design Science Research as research method. In Phase 1, images with log end surfaces were rectified manually, and in Phase 2 a point cloud was used to estimate the rectification plane. This was done with a stereo camera rig in scale 1:25 on a total of 139 logs. All logs were digitally measured in the rectified images and manually measured with a digital caliper. A confidence interval for the difference was calculated to assess the measurement accuracy. Findings – The confidence interval from Phase 1 indicates that the developed method has potential when the rectification plane is placed correctly, which Phase 2 shows is a difficult and complex task. Conclusions – The developed method did not reach the desired measurement accuracy of 5% margin of error, which means that the goal of the study was not achieved. It would be possible to measure the end surfaces of logs with high precision if the point cloud is of a sufficiently high quality. Limitations – The software that utilizes point cloud information to rectify the images is a modified version of Cind’s proprietary product. The dataset that is used in this study is collected solely through Cind’s test rig.
|
24 |
Stéréo corrélation d'images numériques éléments finis : application à la validation de modèles de structures composites sous sollicitations complexes / Finite element based stereo digital image correlation : application to the validation of composite structures models complex loadingPierré, Jean-Emmanuel 25 November 2016 (has links)
Le projet VERTEX, dans lequel s'inscrivent ces travaux, a pour objectif de valider des modèles composites par essais statiques multi-axiaux sur des éprouvettes à l'échelle des détails structuraux. Le positionnement à cette échelle nécessite de développer de nouveaux outils d'instrumentation et de dialogue essais/calculs, qui sont au cœur de cette thèse. Compte-tenu de la complexité de ce type d'essai, nous nous intéressons ici à la Stéréo Corrélation d'Images Numériques (SCIN) puisqu'elle permet d'accéder à un champ de déplacement 3D à la surface du spécimen. Néanmoins, si l'on s'en tient à des approches classiques, il est difficile de faire une comparaison quantitative entre un champ mesuré et un champ simulé par Éléments Finis (EF). Ainsi dans ce travail, un formalisme est développé pour réaliser une mesure par SCIN dans l'espace physique en se basant sur un modèle EF (calibration de modèles non-linéaires de caméra, mesure de forme EF, mesure de champs EF). Cette méthode donne accès à un champ de déplacement expérimental directement exprimé dans les repère et support EF de la simulation, ce qui simplifie considérablement la validation. Pour valider un modèle à l'échelle des détails structuraux, la question des conditions aux limites est fondamentale. Cette question est d'autant plus complexe que la mesure cinématique se limite à la surface visible. En plus de cette mesure surfacique, il est envisagé ici d'estimer les conditions aux limites dans l'épaisseur en s'appuyant sur un modèle de type plaque/coque (classique ou volumique) et en y accordant plus ou moins de confiance (approches régularisée ou intégrée dans tout ou partie de l'éprouvette). La méthodologie est implémentée dans un logiciel académique et est appliquée sur des essais synthétiques. Une instrumentation adaptée au banc VERTEX a également permis l'analyse des essais réalisés dans le projet. / VERTEX Project, to which this thesis belongs, aims to validate composite models by multi-axial static tests on specimens at the level of structural details. The positioning on this scale requires the development of both new instrumentation techniques and tools for the test/simulation dialogue, which are at the heart of this thesis. Given the complexity of this type of experiments, we focus here on Stereo Digital Image Correlation (SDIC) since it yields 3D displacement fields on the surface of the specimen. However, if we stick to conventional approaches, it is difficult to make quantitative comparisons between a measured field and a Finite Element (FE) simulated field. Thus, in this work, a framework is developed to make a measurement by SDIC in the physical coordinate system based on an FE model (calibration of non-linear camera models , FE shape measurement, FE field measurement). This method gives access to experimental displacement fields directly expressed both in the coordinate system and support of the FE simulation, which considerably simplifies validation. To validate a model at the scale of structural details, the question of boundary conditions is fundamental. This question is even more complex since the kinematic measurement is limited to the visible surface. In addition to this surface measurement, it is here envisioned to estimate additionally the boundary conditions in the thickness of the specimen relying on a plate/shell-like model (classic or volume). Different approaches are considered depending on the confidence giving to this model. This methodology is implemented in an academic software and is applied to synthetic tests. The development of a dedicated instrumentation also allowed the analysis of tests performed on the VERTEX bench.
|
25 |
Calibration par programmation linéaire et reconstruction spatio-temporelle à partir de réseaux d’images / Calibration with linear programming and spatio-temporal reconstruction from a network of camerasCourchay, Jérôme 05 January 2011 (has links)
Le problème de la stéréovision à partir de caméras multiples calibrées capturant une scène fixe est étudié depuis plusieurs décennies. Les résultats présentés dans le benchmark de stéréovision proposé par Strecha et al., attestent de la qualité des reconstructions obtenues. En particulier, les travaux du laboratoire IMAGINE, mènent à des résultats visuellement impressionnant. Aussi, il devient intéressant de calibrer des scènes de plus en plus vastes, afin d'appliquer ces algorithmes de stéréovision de façon optimale. Trois objectifs essentiels apparaissent : – La précision de la calibration doit être améliorée. En effet comme pointé par Yasutaka Furukawa, même les benchmarks de stéréovision fournissent parfois des caméras bruitées à la précision imparfaite. Un des moyen d'améliorer les résultats de stéréovision est d'augmenter la précision de la calibration. – Il est important de pouvoir prendre en compte les cycles dans le graphe des caméras de façon globale. En effet la plupart des méthodes actuelles sont séquentielles, et dérivent. Ainsi ces méthodes ne garantissent pas, pour une très grande boucle, de retrouver cette configuration cyclique, mais peuvent plutôt retrouver une configuration des caméras en spirale. Comme on calibre des réseaux d'images, de plus en plus grand, ce point est donc crucial. – Pour calibrer des réseaux d'images très grands, il convient d'avoir des algorithmes rapides. Les méthodes de calibration que nous proposons dans la première partie, permettent de calibrer des réseaux avec une précision très proche de l'état de l'art. D'autre part elle permettent de gérer les contraintes de cyclicité par le biais d'optimisations linéaires sous contraintes linéaires. Ainsi ces méthodes permettent de prendre en compte les cycles et bénéficient de la rapidité de la programmation linéaire. Enfin, la recherche en stéréovision étant arrivée à maturité, il convient de s'intéresser à l'étape suivante, à savoir la reconstruction spatio-temporelle. La méthode du laboratoire IMAGINE représentant l'état de l'art en stéréovision, il est intéressant de développer cette méthode et de l'étendre à la reconstruction spatio-temporelle, c'est-à-dire la reconstruction d'une scène dynamique capturée par un dôme de caméras. Nous verrons cette méthode dans la seconde partie de ce manuscrit / The issue of retrieving a 3D shape from a static scene captured with multiple view point calibrated cameras has been deeply studied these last decades. Results presented in the stereovision benchmark made by Strecha et al., show the high quality of state of the art methods. Particularly, works from IMAGINE laboratory lead to impressive results. So, it becomes convenient to calibrate wider and wider scenes, in order to apply these stereovision algorithms to large scale scenes. Three main objectives appear : – The calibration accuracy should be improved. As stated by Yasutaka Furukawa, even stereovision benchmarks use noisy cameras. So one obvious way to improve stereovision, is to improve camera calibration. – It is crucial to take cycles into account in cameras graph in a global way. Most of nowadays methods are sequential and so present a drift. So these methods do not offer the guarantee to retrieve the loopy configuration for a loop made of a high number of images, but retrieve a spiral configuration. As we aim to calibrate wider and wider cameras networks, this point becomes quite crucial. – To calibrate wide cameras networks, having quick and linear algorithms can be necessary. Calibration methods we propose in the first part, allow to calibrate with an accuracy close to state of the art. Moreover, we take cyclicity constraints into account in a global way, with linear optimisations under linear constraints. So these methods allow to take cycle into account and benefit from quickness of linear programming. Finally, sterovision being a well studied topic, it is convenient to concentrate on the next step, that is, spatio-temporal reconstruction. The IMAGINE' stereovision method being the state of the art, it is interesting to extend this method to spatio-temporal reconstruction, that is, dynamique scene reconstruction captured from a dome of cameras
|
26 |
Modelování polohy hlavy pomocí stereoskopické rekonstrukce / Head pose estimation via stereoscopic reconstructionHříbková, Veronika January 2018 (has links)
The thesis deals with head pose estimation in stereo data. The theoretical part provides the basis for understanding the geometry of the camera, its parameters and the method of calibration. The following describes the principles of stereo analysis and creating of disparity maps. In the research section, the methods used for head pose modelling are presented and an analysis of selected published articles is given. In the course of the master’s thesis, a system of two cameras for stereoscopic acquisition of motion of the head was designed and several measurements were carried out. The obtained data was prepared for creation of disparity maps and further processing. Based on the detection of facial features, in particular the inner and outer corners of the eyes and corners of the mouth, and their correspondences, a simple geometric model in shape of triangle was created to illustrate the inclination of the facial plane in space. By computing the angle of inclination in three axes, the current head pose is obtained. Motion is modelled by tracking detected points during video sequences.
|
27 |
Soustava kamer jako stereoskopický senzor pro měření vzdálenosti v reálném čase / Real-time distance measurement with stereoscopic sensorJaneček, Martin January 2014 (has links)
Project shows calibration stereoscopic sensor. Also describes basic methods stereo-corespodation using library OpenCV. Project contains calculations of disparity maps on CPU or graphic card(using library OpenCL).
|
28 |
Soustava kamer jako stereoskopický senzor pro měření vzdálenosti v reálném čase / Real-time distance measurement with stereoscopic sensorJaneček, Martin January 2014 (has links)
Project shows calibration stereoscopic sensor. Also describes basic methods stereo-corespodation using library OpenCV. Project contains calculations of disparity maps on CPU or graphic card (using library OpenCL).
|
29 |
Multi-modal, Multi-Domain Pedestrian Detection and Classification : Proposals and Explorations in Visible over StereoVision, FIR and SWIR / Détection et classification de piétons multi-modale, multi-domaine : propositions et explorations dans visible sur stéréo vision, infrarouge lointain et infrarouge à ondes courtesMiron, Alina Dana 16 July 2014 (has links)
L’intérêt principal des systèmes d’aide à la conduite (ADAS) est d’accroître la sécurité de tous les usagers de la route. Le domaine du véhicule intelligent porte une attention particulière au piéton,l’une des catégories la plus vulnérable. Bien que ce sujet ait été étudié pendant près de cinquante ans par des chercheurs, une solution parfaite n’existe pas encore. Nous avons exploré dans ce travail de thèse différents aspects de la détection et la classification du piéton. Plusieurs domaines du spectre (Visible, Infrarouge proche, Infrarouge lointain et stéréovision) ont été explorés et comparés.Parmi la multitude des systèmes imageurs existants, les capteurs infrarouge lointain (FIR),capables de capturer la température des différents objets, reste particulièrement intéressants pour la détection de piétons. Les piétons ont, le plus souvent, une température plus élevée que les autres objets. En raison du manque d’accessibilité publique aux bases de données d’images thermiques, nous avons acquis et annoté une base de donnée, nommé RIFIR, contenant à la fois des images dans le visible et dans l’infrarouge lointain. Cette base nous a permis de comparer les performances de plusieurs attributs présentés dans l’état de l’art dans les deux domaines.Nous avons proposé une méthode générant de nouvelles caractéristiques adaptées aux images FIR appelées « Intensity Self Similarity (ISS) ». Cette nouvelle représentation est basée sur la similarité relative des intensités entre différents sous-blocks dans la région d’intérêt contenant le piéton.Appliquée sur différentes bases de données, cette méthode a montré que, d’une manière générale,le spectre infrarouge donne de meilleures performances que le domaine du visible. Néanmoins, la fusion des deux domaines semble beaucoup plus intéressante.La deuxième modalité d’image à laquelle nous nous sommes intéressé est l’infrarouge très proche (SWIR, Short Wave InfraRed). Contrairement aux caméras FIR, les caméras SWIR sont capables de recevoir le signal même à travers le pare-brise d’un véhicule. Ce qui permet de les embarquer dans l’habitacle du véhicule. De plus, les imageurs SWIR ont la capacité de capturer une scène même à distance lointaine. Ce qui les rend plus appropriées aux applications liées au véhicule intelligent. Dans le cadre de cette thèse, nous avons acquis et annoté une base de données, nommé RISWIR, contenant des images dans le visible et dans le SWIR. Cette base a permis une comparaison entre différents algorithmes de détection et de classification de piétons et entre le visible et le SWIR. Nos expérimentations ont montré que les systèmes SWIR sont prometteurs pour les ADAS. Les performances de ces systèmes semblent meilleures que celles du domaine du visible.Malgré les performances des domaines FIR et SWIR, le domaine du visible reste le plus utilisé grâce à son bas coût. Les systèmes imageurs monoculaires classiques ont des difficultés à produire une détection et classification de piétons en temps réel. Pour cela, nous avons l’information profondeur (carte de disparité) obtenue par stéréovision afin de réduire l’espace d’hypothèses dans l’étape de classification. Par conséquent, une carte de disparité relativement correcte est indispensable pour mieux localiser le piéton. Dans ce contexte, une multitude de fonctions coût ont été proposées, robustes aux distorsions radiométriques, pour le calcul de la carte de disparité.La qualité de la carte de disparité, importante pour l’étape de classification, a été affinée par un post traitement approprié aux scènes routières.Les performances de différentes caractéristiques calculées pour différentes modalités (Intensité,profondeur, flot optique) et domaines (Visible et FIR) ont été étudiées. Les résultats ont montré que les systèmes les plus robustes sont ceux qui prennent en considération les trois modalités,plus particulièrement aux occultations. / The main purpose of constructing Intelligent Vehicles is to increase the safety for all traffic participants. The detection of pedestrians, as one of the most vulnerable category of road users, is paramount for any Advance Driver Assistance System (ADAS). Although this topic has been studied for almost fifty years, a perfect solution does not exist yet. This thesis focuses on several aspects regarding pedestrian classification and detection, and has the objective of exploring and comparing multiple light spectrums (Visible, ShortWave Infrared, Far Infrared) and modalities (Intensity, Depth by Stereo Vision, Motion).From the variety of images, the Far Infrared cameras (FIR), capable of measuring the temperature of the scene, are particular interesting for detecting pedestrians. These will usually have higher temperature than the surroundings. Due to the lack of suitable public datasets containing Thermal images, we have acquired and annotated a database, that we will name RIFIR, containing both Visible and Far-Infrared Images. This dataset has allowed us to compare the performance of different state of the art features in the two domains. Moreover, we have proposed a new feature adapted for FIR images, called Intensity Self Similarity (ISS). The ISS representation is based on the relative intensity similarity between different sub-blocks within a pedestrian region of interest. The experiments performed on different image sequences have showed that, in general, FIR spectrum has a better performance than the Visible domain. Nevertheless, the fusion of the two domains provides the best results. The second domain that we have studied is the Short Wave Infrared (SWIR), a light spectrum that was never used before for the task of pedestrian classification and detection. Unlike FIRcameras, SWIR cameras can image through the windshield, and thus be mounted in the vehicle’s cabin. In addition, SWIR imagers can have the ability to see clear at long distances, making it suitable for vehicle applications. We have acquired and annotated a database, that we will name RISWIR, containing both Visible and SWIR images. This dataset has allowed us to compare the performance of different pedestrian classification algorithms, along with a comparison between Visible and SWIR. Our tests have showed that SWIR might be promising for ADAS applications,performing better than the Visible domain on the considered dataset. Even if FIR and SWIR have provided promising results, Visible domain is still widely used due to the low cost of the cameras. The classical monocular imagers used for object detectionand classification can lead to a computational time well beyond real-time. Stereo Vision providesa way of reducing the hypothesis search space through the use of depth information contained in the disparity map. Therefore, a robust disparity map is essential in order to have good hypothesis over the location of pedestrians. In this context, in order to compute the disparity map, we haveproposed different cost functions robust to radiometric distortions. Moreover, we have showed that some simple post-processing techniques can have a great impact over the quality of the obtained depth images.The use of the disparity map is not strictly limited to the generation of hypothesis, and couldbe used for some feature computation by providing complementary information to color images.We have studied and compared the performance of features computed from different modalities(Intensity, Depth and Flow) and in two domains (Visible and FIR). The results have showed that the most robust systems are the ones that take into consideration all three modalities, especially when dealing with occlusions.
|
30 |
Stéréovision Omnidirectionnelle Large Entraxe pour la Supervision d'Intersections Routières / Wide-baseline Omnidirectional Stereovision for Intersection MonitoringDatondji, Sokèmi René Emmanuel 03 October 2017 (has links)
La surveillance visuelle des objets dynamiques dans les carrefours routiers a été un sujet de recherche majeur au sein des communautés de vision par ordinateur et de transports intelligents, ces dernières années. De nombreux projets ont été menés afin d’améliorer la sécurité dans le contexte très particulier des carrefours. Notre analyse approfondie de l’état de l’art révèle que la majorité des systèmes en bord de voie, utilisent la vision monoculaire. Dans cette thèse, nous présentons un systèmenon-intrusif, de stéréovision-fisheye à large entraxe. Le dispositif proposé est particulièrement adapté aux carrefours ruraux ou sans signalisation. Notre objectif principal est la localisation des véhicules afin de reconstruire leurs trajectoires. Pour ce faire, l’estimation de la calibration extrinsèque entre les caméras est nécessaire afin d’effectuer des analyses à l’échelle métrique. Cette tâche s’avère très complexe dans notre configuration de déploiement. En effet la grande distance entre les caméras, la différence de vue et la forte présence de végétation, rendent inapplicables les méthodes de calibration qui requièrent la mise en correspondance d’images de mires. Il est donc nécessaire d’avoir une solution indépendante de la géométrie de la scène. Ainsi, nous proposons une méthode automatique reposant sur l’idée que les véhicules mobiles peuvent être utilisés comme objets dynamiques de calibration. Il s’agit d’une approche de type Structure à partir du Mouvement, découplée en l’estimation de la rotation extrinsèque à partir de points de fuite, suivie du calcul de la translation extrinsèque à l’échelle absolue par mise en correspondance de plans virtuels. Afin de généraliser notre méthode, nous adoptons le modèle de caméra sphérique sous l’hypothèse d’un mouvement plan. Des expérimentations conduites en laboratoire, puis dans des carrefours en Normandie, permettent de valider notre approche. Les paramètres extrinsèques sont alors directement exploités pour la trajectographie métrique des véhicules, en vue d’évaluer le risque et procéder à un diagnostic des intersections rurales. / Visual surveillance of dynamic objects at road intersections has been an active research topic in the computer vision and intelligent transportations systems communities, over the past decades. Several projects have been carried out in order to enhance the safety of drivers in the special context of intersections. Our extensive review of related studies revealedthat most roadside systems are based on monocular vision and provide output results generally in the image domain. In this thesis, we introduce a non-intrusive, wide-baseline stereoscopic system composed of fisheye cameras, perfectly suitable for rural or unsignalized intersections. Our main goal is to achieve vehicle localization and metric trajectory estimation in the world frame. For this, accurate extrinsic calibration is required to compute metric information. But the task is quite challenging in this configuration, because of the wide-baseline, the strong view difference between the cameras, and the important vegetation. Also, pattern-based methods are hardly feasible without disrupting the traffic. Therefore, we propose a points-correspondence-free solution. Our method is fully-automatic and based on a joint analysis of vehicles motion and appearance, which areconsidered as dynamic calibration objects. We present a Structure-from-Motion approach decoupled into the estimation of the extrinsic rotation from vanishing points, followed by the extrinsic translation at scale from a virtual-plane matching strategy. For generalization purposes we adopt the spherical camera model under the assumption of planar motion. Extensive experiments both in the lab and at rural intersections in Normandy allow to validate our work, leading to accurate vehicle motion analysis for risk assessment and safety diagnosis at rural intersections.
|
Page generated in 0.0843 seconds