Les systèmes d'aide à la conduite (ADAS) ont pour objectif d'assister le conducteur et en particulier d'améliorer la sécurité routière. Pour cela, différents capteurs sont généralement embarqués dans les véhicules afin, par exemple, d'avertir le conducteur en cas de danger présent sur la route. L'utilisation de capteurs de type caméra est une solution économiquement avantageuse et de nombreux ADAS à base de caméra voient le jour. Malheureusement, les performances de tels systèmes se dégradent en présence de conditions météorologiques défavorables, notamment en présence de brouillard ou de pluie, ce qui obligerait à les désactiver temporairement par crainte de résultats erronés. Hors, c'est précisément dans ces conditions difficiles que le conducteur aurait potentiellement le plus besoin d'être assisté. Une fois les conditions météorologiques détectées et caractérisées par vision embarquée, nous proposons dans cette thèse de restaurer l'image dégradée à la sortie du capteur afin de fournir aux ADAS un signal de meilleure qualité et donc d'étendre la gamme de fonctionnement de ces systèmes. Dans l'état de l'art, il existe plusieurs approches traitant la restauration d'images, parmi lesquelles certaines sont dédiées à nos problématiques de brouillard ou de pluie, et d'autres sont plus générales : débruitage, rehaussement du contraste ou de la couleur, "inpainting"... Nous proposons dans cette thèse de combiner les deux familles d'approches. Dans le cas du brouillard notre contribution est de tirer profit de deux types d'approches (physique et signal) afin de proposer une nouvelle méthode automatique et adaptée au cas d'images routières. Nous avons évalué notre méthode à l'aide de critères ad hoc (courbes ROC, contraste visibles à 5 %, évaluation sur ADAS) appliqués sur des bases de données d'images de synthèse et réelles. Dans le cas de la pluie, une fois les gouttes présentes sur le pare-brise détectées, nous reconstituons les parties masquées de l'image à l'aide d'une méthode d'"inpainting" fondée sur les équations aux dérivées partielles. Les paramètres de la méthode ont été optimisés sur des images routières. Enfin, nous montrons qu'il est possible grâce à cette approche de construire trois types d'applications : prétraitement, traitement et assistance. Dans chaque famille, nous avons proposé et évalué une application spécifique : détection des panneaux dans le brouillard ; détection de l'espace navigable dans le brouillard ; affichage de l'image restaurée au conducteur.

Ce mémoire s'inscrit dans le domaine de la vision par ordinateur. Elle s'intéresse à la calibration de systèmes de caméras stéréoscopiques, à la mise en correspondance caméra-projecteur, à la reconstruction 3D, à l'alignement photométrique de projecteurs, au maillage de nuages de points, ainsi qu'au paramétrage de surfaces. Réalisé dans le cadre du projet LightTwist du laboratoire Vision3D, elle vise à permettre la projection sur grandes surfaces arbitraires à l'aide de plusieurs projecteurs. Ce genre de projection est souvent utilisé en arts technologiques, en théâtre et en projection architecturale. Dans ce mémoire, on procède au calibrage des caméras, suivi d'une reconstruction 3D par morceaux basée sur une méthode active de mise en correspondance, la lumière non structurée. Après un alignement et un maillage automatisés, on dispose d'un modèle 3D complet de la surface de projection. Ce mémoire introduit ensuite une nouvelle approche pour le paramétrage de modèles 3D basée sur le calcul efficace de distances géodésiques sur des maillages. L'usager n'a qu'à délimiter manuellement le contour de la zone de projection sur le modèle. Le paramétrage final est calculé en utilisant les distances obtenues pour chaque point du modèle. Jusqu'à maintenant, les méthodes existante ne permettaient pas de paramétrer des modèles ayant plus d'un million de points. / This thesis falls within the field of computer vision. It focuses on stereoscopic camera calibration, camera-projector matching, 3D reconstruction, projector blending, point cloud meshing, and surface parameterization. Conducted as part of the LightTwist project at the Vision3D laboratory, the work presented in this thesis aims to facilitate video projections on large surfaces of arbitrary shape using more than one projector. This type of projection is often seen in theater, digital arts, and architectural projections. To this end, we begin with the calibration of the cameras, followed by a piecewise 3D reconstruction using an active unstructured light scanning method. An automated alignment and meshing of the partial reconstructions yields a complete 3D model of the projection surface. This thesis then introduces a new approach for the parameterization of 3D models based on an efficient computation of geodesic distances across triangular meshes. The only input required from the user is the manual selection of the boudaries of the projection area on the model. The final parameterization is computed using the geodesic distances obtained for each of the model's vertices. Until now, existing methods did not permit the parameterization of models having a million vertices or more.

No description available.

Les objets numériques 3D sont utilisés dans de nombreux domaines, les films d'animations, la visualisation scientifique, l'imagerie médicale, la vision par ordinateur.... Ces objets sont généralement représentés par des maillages à faces triangulaires avec un nombre énorme de triangles. La simplification de ces objets, avec préservation de la géométrie originale, a fait l'objet de nombreux travaux durant ces dernières années. Dans cette thèse, nous proposons un algorithme de simplification qui permet l'obtention d'objets simplifiés de grande précision. Nous utilisons des fusions de couples de sommets avec une relocalisation du sommet résultant qui minimise une métrique d'erreur. Nous utilisons deux types de mesures quadratiques de l'erreur : l'une uniquement entre l'objet simplifié et l'objet original (Accurate Measure of Quadratic Error (AMQE) ) et l'autre prend aussi en compte l'erreur entre l'objet original et l'objet simplifié ((Symmetric Measure of Quadratic Error (SMQE)) . Le coût calculatoire est plus important pour la seconde mesure mais elle permet une préservation des arêtes vives et des régions isolées de l'objet original par l'algorithme de simplification. Les deux mesures conduisent à des objets simplifiés plus fidèles aux originaux que les méthodes actuelles de la littérature. / Complex 3D digital objects are used in many domains such as animation films, scientific visualization, medical imaging and computer vision. These objects are usually represented by triangular meshes with many triangles. The simplification of those objects in order to keep them as close as possible to the original has received a lot of attention in the recent years. In this context, we propose a simplification algorithm which is focused on the accuracy of the simplifications. The mesh simplification uses edges collapses with vertex relocation by minimizing an error metric. Accuracy is obtained with the two error metrics we use: the Accurate Measure of Quadratic Error (AMQE) and the Symmetric Measure of Quadratic Error (SMQE). AMQE is computed as the weighted sum of squared distances between the simplified mesh and the original one. Accuracy of the measure of the geometric deviation introduced in the mesh by an edge collapse is given by the distances between surfaces. The distances are computed in between sample points of the simplified mesh and the faces of the original one. SMQE is similar to the AMQE method but computed in the both, direct and reverse directions, i.e. simplified to original and original to simplified meshes. The SMQE approach is computationnaly more expensive than the AMQE but the advantage of computing the AMQE in a reverse fashion results in the preservation of boundaries, sharp features and isolated regions of the mesh. For both measures we obtain better results than methods proposed in the literature.

Les systèmes de vision artificielle sont de plus en plus présents en contexte routier. Ils sont installés sur l'infrastructure, pour la gestion du trafic, ou placés à l'intérieur du véhicule, pour proposer des aides à la conduite. Dans les deux cas, les systèmes de vision artificielle visent à augmenter la sécurité et à optimiser les déplacements. Une revue bibliographique retrace les origines et le développement des algorithmes de vision artificielle en contexte routier. Elle permet de démontrer l'importance des descripteurs d'images dans la chaîne de traitement des algorithmes. Elle se poursuit par une revue des descripteurs d'images avec une nouvelle approche source de nombreuses analyses, en les considérant en parallèle des applications finales. En conclusion, la revue bibliographique permet de déterminer quels sont les descripteurs d'images les plus représentatifs en contexte routier. Plusieurs bases de données contenant des images et les données météorologiques associées (ex : pluie, brouillard) sont ensuite présentées. Ces bases de données sont innovantes car l'acquisition des images et la mesure des conditions météorologiques sont effectuées en même temps et au même endroit. De plus, des capteurs météorologiques calibrés sont utilisés. Chaque base de données contient différentes scènes (ex: cible noir et blanc, piéton) et divers types de conditions météorologiques (ex: pluie, brouillard, jour, nuit). Les bases de données contiennent des conditions météorologiques naturelles, reproduites artificiellement et simulées numériquement. Sept descripteurs d'images parmi les plus représentatifs du contexte routier ont ensuite été sélectionnés et leur robustesse en conditions de pluie évaluée. Les descripteurs d'images basés sur l'intensité des pixels ou les contours verticaux sont sensibles à la pluie. A l'inverse, le descripteur de Harris et les descripteurs qui combinent différentes orientations sont robustes pour des intensités de pluie de 0 à 30 mm/h. La robustesse des descripteurs d'images en conditions de pluie diminue lorsque l'intensité de pluie augmente. Finalement, les descripteurs les plus sensibles à la pluie peuvent potentiellement être utilisés pour des applications de détection de la pluie par caméra.Le comportement d'un descripteur d'images en conditions météorologiques dégradées n'est pas forcément relié à celui de la fonction finale associée. Pour cela, deux détecteurs de piéton ont été évalués en conditions météorologiques dégradées (pluie, brouillard, jour, nuit). La nuit et le brouillard sont les conditions qui ont l'impact le plus important sur la détection des piétons. La méthodologie développée et la base de données associée peuvent être utilisées à nouveau pour évaluer d'autres fonctions finales (ex: détection de véhicule, détection de signalisation verticale).En contexte routier, connaitre les conditions météorologiques locales en temps réel est essentiel pour répondre aux deux enjeux que sont l'amélioration de la sécurité et l'optimisation des déplacements. Actuellement, le seul moyen de mesurer ces conditions le long des réseaux est l'installation de stations météorologiques. Ces stations sont coûteuses et nécessitent une maintenance particulière. Cependant, de nombreuses caméras sont déjà présentes sur le bord des routes. Une nouvelle méthode de détection des conditions météorologiques utilisant les caméras de surveillance du trafic est donc proposée. Cette méthode utilise des descripteurs d'images et un réseau de neurones. Elle répond à un ensemble de contraintes clairement établies afin de pouvoir détecter l'ensemble des conditions météorologiques en temps réel, mais aussi de pourvoir proposer plusieurs niveaux d'intensité. La méthode proposée permet de détecter les conditions normales de jour, de nuit, la pluie et le brouillard. Après plusieurs phases d'optimisation, la méthode proposée obtient de meilleurs résultats que ceux obtenus dans la littérature, pour des algorithmes comparables. / Computer vision systems are increasingly being used on roads. They can be installed along infrastructure for traffic monitoring purposes. When mounted in vehicles, they perform driver assistance functions. In both cases, computer vision systems enhance road safety and streamline travel.A literature review starts by retracing the introduction and rollout of computer vision algorithms in road environments, and goes on to demonstrate the importance of image descriptors in the processing chains implemented in such algorithms. It continues with a review of image descriptors from a novel approach, considering them in parallel with final applications, which opens up numerous analytical angles. Finally the literature review makes it possible to assess which descriptors are the most representative in road environments.Several databases containing images and associated meteorological data (e.g. rain, fog) are then presented. These databases are completely original because image acquisition and weather condition measurement are at the same location and the same time. Moreover, calibrated meteorological sensors are used. Each database contains different scenes (e.g. black and white target, pedestrian) and different kind of weather (i.e. rain, fog, daytime, night-time). Databases contain digitally simulated, artificial and natural weather conditions.Seven of the most representative image descriptors in road context are then selected and their robustness in rainy conditions is evaluated. Image descriptors based on pixel intensity and those that use vertical edges are sensitive to rainy conditions. Conversely, the Harris feature and features that combine different edge orientations remain robust for rainfall rates ranging in 0 – 30 mm/h. The robustness of image features in rainy conditions decreases as the rainfall rate increases. Finally, the image descriptors most sensitive to rain have potential for use in a camera-based rain classification application.The image descriptor behaviour in adverse weather conditions is not necessarily related to the associated final function one. Thus, two pedestrian detectors were assessed in degraded weather conditions (rain, fog, daytime, night-time). Night-time and fog are the conditions that have the greatest impact on pedestrian detection. The methodology developed and associated database could be reused to assess others final functions (e.g. vehicle detection, traffic sign detection).In road environments, real-time knowledge of local weather conditions is an essential prerequisite for addressing the twin challenges of enhancing road safety and streamlining travel. Currently, the only mean of quantifying weather conditions along a road network requires the installation of meteorological stations. Such stations are costly and must be maintained; however, large numbers of cameras are already installed on the roadside. A new method that uses road traffic cameras to detect weather conditions has therefore been proposed. This method uses a combination of a neural network and image descriptors applied to image patches. It addresses a clearly defined set of constraints relating to the ability to operate in real-time and to classify the full spectrum of meteorological conditions and grades them according to their intensity. The method differentiates between normal daytime, rain, fog and normal night-time weather conditions. After several optimisation steps, the proposed method obtains better results than the ones reported in the literature for comparable algorithms.

Aujourd'hui, les utilisateurs souhaitent interagir plus naturellement avec les systèmes numériques. L'une des modalités de communication la plus naturelle pour l'homme est le geste de la main. Parmi les différentes approches que nous pouvons trouver dans la littérature, celle basée sur la vision est étudiée par de nombreux chercheurs car elle ne demande pas de porter de dispositif complémentaire. Pour que la machine puisse comprendre les gestes à partir des images RGB, la reconnaissance automatique de ces gestes est l'un des problèmes clés. Cependant, cette approche présente encore de multiples défis tels que le changement de point de vue, les différences d'éclairage, les problèmes de complexité ou de changement d'environnement. Cette thèse propose un système de reconnaissance de gestes statiques qui se compose de deux phases : la détection et la reconnaissance du geste lui-même. Dans l'étape de détection, nous utilisons un processus de détection d'objets de Viola Jones avec une caractérisation basée sur des caractéristiques internes d'Haar-like et un classifieur en cascade AdaBoost. Pour éviter l'influence du fond, nous avons introduit de nouvelles caractéristiques internes d'Haar-like. Ceci augmente de façon significative le taux de détection de la main par rapport à l'algorithme original. Pour la reconnaissance du geste, nous avons proposé une représentation de la main basée sur un noyau descripteur KDES (Kernel Descriptor) très efficace pour la classification d'objets. Cependant, ce descripteur n'est pas robuste au changement d'échelle et n'est pas invariant à l'orientation. Nous avons alors proposé trois améliorations pour surmonter ces problèmes : i) une normalisation de caractéristiques au niveau pixel pour qu'elles soient invariantes à la rotation ; ii) une génération adaptative de caractéristiques afin qu'elles soient robustes au changement d'échelle ; iii) une construction spatiale spécifique à la structure de la main au niveau image. Sur la base de ces améliorations, la méthode proposée obtient de meilleurs résultats par rapport au KDES initial et aux descripteurs existants. L'intégration de ces deux méthodes dans une application montre en situation réelle l'efficacité, l'utilité et la faisabilité de déployer un tel système pour l'interaction homme-robot utilisant les gestes de la main. / Nowadays, people want to interact with machines more naturally. One of the powerful communication channels is hand gesture. Vision-based approach has involved many researchers because this approach does not require any extra device. One of the key problems we need to resolve is hand posture recognition on RGB images because it can be used directly or integrated into a multi-cues hand gesture recognition. The main challenges of this problem are illumination differences, cluttered background, background changes, high intra-class variation, and high inter-class similarity. This thesis proposes a hand posture recognition system consists two phases that are hand detection and hand posture recognition. In hand detection step, we employed Viola-Jones detector with proposed concept Internal Haar-like feature. The proposed hand detection works in real-time within frames captured from real complex environments and avoids unexpected effects of background. The proposed detector outperforms original Viola-Jones detector using traditional Haar-like feature. In hand posture recognition step, we proposed a new hand representation based on a good generic descriptor that is kernel descriptor (KDES). When applying KDES into hand posture recognition, we proposed three improvements to make it more robust that are adaptive patch, normalization of gradient orientation in patches, and hand pyramid structure. The improvements make KDES invariant to scale change, patch-level feature invariant to rotation, and final hand representation suitable to hand structure. Based on these improvements, the proposed method obtains better results than original KDES and a state of the art method.

En imagerie par résonance magnétique (IRM) interventionnelle, des interventions percutanées minimalement-invasives (biopsies, ablations de tumeurs,...) sont réalisées sous guidage IRM. Lors de l’intervention, les plans de coupe acquis sont alignés sur l’outil chirurgical et les régions anatomiques d’intérêt afin de surveiller la progression de l’outil dans le corps du patient en temps réel. Le suivi d’objets dans l’IRM facilite et accélère les interventions guidées par IRM en permettant d’aligner automatiquement les plans de coupe avec l’outil chirurgical. Dans cette thèse, un système d’alignement automatique des plans de coupe établi sur une séquence IRM clinique est développé. Celui-ci réalise automatiquement la détection et le suivi d’un marqueur passif directement dans les images IRM tout en minimisant le temps d’imagerie dédié à la détection. L’inconvénient principal de cette approche est sa dépendance au temps d’acquisition de la séquence IRM clinique utilisée. Dans un premier temps, les performances du suivi ont pu être améliorées grâce à l’estimation et la prédiction du mouvement suivi par un filtre de Kalman. Puis un capteur optique complémentaire a été ajouté pour réaliser un suivi multi-capteurs, découplant ainsi la fréquence de rafraichissement du suivi de la fréquence de rafraichissement des images IRM. La performance du système développé a été évaluée par des simulations et des expériences utilisant un banc d’essai compatible IRM. Les résultats montrent une bonne robustesse du suivi multi-capteurs pour l’alignement des plans de coupe grâce à la combinaison des qualités individuelles de chaque capteur. / Interventional magnetic resonance imaging (MRI) aims at performing minimally invasive percutaneous interventions, such as tumor ablations and biopsies, under MRI guidance. During such interventions, the acquired MR image planes are typically aligned to the surgical instrument (needle) axis and to surrounding anatomical structures of interest in order to efficiently monitor the advancement in real-time of the instrument inside the patient’s body. Object tracking inside the MRI is expected to facilitate and accelerate MR-guided interventions by allowing to automatically align the image planes to the surgical instrument. In this PhD thesis, an image-based workflow is proposed and refined for automatic image plane alignment. An automatic tracking workflow was developed, performing detection and tracking of a passive marker directly in clinical real-time images. This tracking workflow is designed for fully automated image plane alignment, with minimization of tracking-dedicated time. Its main drawback is its inherent dependence on the slow clinical MRI update rate. First, the addition of motion estimation and prediction with a Kalman filter was investigated and improved the workflow tracking performance. Second, a complementary optical sensor was used for multi-sensor tracking in order to decouple the tracking update rate from the MR image acquisition rate. Performance of the workflow was evaluated with both computer simulations and experiments using an MR compatible testbed. Results show a high robustness of the multi-sensor tracking approach for dynamic image plane alignment, due to the combination of the individual strengths of each sensor.

Un objectif de longue date dans le domaine de la vision par ordinateur est de déduire le contenu 3D d’une scène à partir d’une seule photo, une tâche connue sous le nom d’inverse graphics. L’apprentissage automatique a, dans les dernières années, permis à de nombreuses approches de faire de grands progrès vers la résolution de ce problème. Cependant, la plupart de ces approches requièrent des données de supervision 3D qui sont coûteuses et parfois impossible à obtenir, ce qui limite les capacités d’apprentissage de telles œuvres. Dans ce travail, nous explorons l’architecture des méthodes d’inverse graphics non-supervisées et proposons deux méthodes basées sur des représentations 3D et algorithmes de rendus différentiables distincts: les surfels ainsi qu’une nouvelle représentation basée sur Voronoï. Dans la première méthode basée sur les surfels, nous montrons que, bien qu’efficace pour maintenir la cohérence visuelle, la production de surfels à l’aide d’une carte de profondeur apprise entraîne des ambiguïtés car la relation entre la carte de profondeur et le rendu n’est pas bijective. Dans notre deuxième méthode, nous introduisons une nouvelle représentation 3D basée sur les diagrammes de Voronoï qui modélise des objets/scènes à la fois explicitement et implicitement, combinant ainsi les avantages des deux approches. Nous montrons comment cette représentation peut être utilisée à la fois dans un contexte supervisé et non-supervisé et discutons de ses avantages par rapport aux représentations 3D traditionnelles / A long standing goal of computer vision is to infer the underlying 3D content in a scene from a single photograph, a task known as inverse graphics. Machine learning has, in recent years, enabled many approaches to make great progress towards solving this problem. However, most approaches rely on 3D supervision data which is expensive and sometimes impossible to obtain and therefore limits the learning capabilities of such work. In this work, we explore the deep unsupervised inverse graphics training pipeline and propose two methods based on distinct 3D representations and associated differentiable rendering algorithms: namely surfels and a novel Voronoi-based representation. In the first method based on surfels, we show that, while effective at maintaining view-consistency, producing view-dependent surfels using a learned depth map results in ambiguities as the mapping between depth map and rendering is non-bijective. In our second method, we introduce a novel 3D representation based on Voronoi diagrams which models objects/scenes both explicitly and implicitly simultaneously, thereby combining the benefits of both. We show how this representation can be used in both a supervised and unsupervised context and discuss its advantages compared to traditional 3D representations.

La modélisation automatique de villes à partir d’images satellites est l'un des principaux défis en lien avec la reconstruction urbaine. Son objectif est de représenter des villes en 3D de manière suffisamment compacte et précise. Elle trouve son application dans divers domaines, qui vont de la planification urbaine aux télécommunications, en passant par la gestion des catastrophes. L'imagerie satellite offre plusieurs avantages sur l'imagerie aérienne classique, tels qu'un faible coût d'acquisition, une couverture mondiale et une bonne fréquence de passage au-dessus des sites visités. Elle impose toutefois un certain nombre de contraintes techniques. Les méthodes existantes ne permettent que la synthèse de DSM (Digital Surface Models), dont la précision est parfois inégale. Cette dissertation décrit une méthode entièrement automatique pour la production de modèles 3D compacts, précis et répondant à une sémantique particulière, à partir de deux images satellites en stéréo. Cette méthode repose sur deux grands concepts. D'une part, la description géométrique des objets et leur assimilation à des catégories génériques sont effectuées simultanément, conférant ainsi une certaine robustesse face aux occlusions partielles ainsi qu'à la faible qualité des images. D'autre part, la méthode opère à une échelle géométrique très basse, ce qui permet la préservation de la forme des objets, avec finalement, une plus grande efficacité et un meilleur passage à l'échelle. Pour générer des régions élémentaires, un algorithme de partitionnement de l'image en polygones convexes est présenté. / Automatic city modeling from satellite imagery is one of the biggest challenges in urban reconstruction. The ultimate goal is to produce compact and accurate 3D city models that benefit many application fields such as urban planning, telecommunications and disaster management. Compared with aerial acquisition, satellite imagery provides appealing advantages such as low acquisition cost, worldwide coverage and high collection frequency. However, satellite context also imposes a set of technical constraints as a lower pixel resolution and a wider that challenge 3D city reconstruction. In this PhD thesis, we present a set of methodological tools for generating compact, semantically-aware and geometrically accurate 3D city models from stereo pairs of satellite images. The proposed pipeline relies on two key ingredients. First, geometry and semantics are retrieved simultaneously providing robust handling of occlusion areas and low image quality. Second, it operates at the scale of geometric atomic regions which allows the shape of urban objects to be well preserved, with a gain in scalability and efficiency. Images are first decomposed into convex polygons that capture geometric details via Voronoi diagram. Semantic classes, elevations, and 3D geometric shapes are then retrieved in a joint classification and reconstruction process operating on polygons. Experimental results on various cities around the world show the robustness, scalability and efficiency of the proposed approach.

No description available.