The ability to acquire accurate information of the surrounding road environment is crucial for autonomous driving and advanced driver assistance systems. A method to estimate the shape of the road has been developed and evaluated. The estimate is based on fusion of data from a road marking detector, a radar tracker, map data, GPS, and inertial sensors. The method is intended for highway use and focus has been on increasing the availability of a sufficiently accurate road shape estimate in the event of sensor failures. To make use of past sensor measurements, an extended Kalman filter has been used together with dynamical models for the road and the ego vehicle. Results from a performance evaluation show that the road shape estimate clearly benefits from being based on a fusion of sensor data. The different sensors have also proven to be of various importance to the different parameters that describe the road shape. / Fordon som kan köra autonomt, det vill säga utan förare, är ett mål för fordonsindustrin och en dröm för många bilägare. Det skulle möjliggöra för förare att använda tiden till annat och minska personalkostnader för transportbolag. Säkerheten på våra vägar skulle även kunna förbättras eftersom att ett sådant system har möjlighet att reagera snabbare än någon människa och drabbas inte av trötthet eller störs av andra passagerare. Förmåga att kunna inhämta och tolka information om den omkringliggande trafiksituationen är ytterst nödvändigt för att kunna utveckla autonoma fordon och behövs även för mer avancerade moderna säkerhetssytem, som till exempel kollissionsvarningssystem. En viktig del i detta är att kunna uppfatta hur formen på vägen ser ut. Målet med detta examensarbete är att utveckla en algoritm som estimerar vägens form baserat på ett antal sensorer monterade på ett fordon och information från en kartdatabas. Den största vikten har legat på att algoritmen alltid ska kunna leverera en tillräckligt bra skattning, även i perioder när sensormätningar inte finns tillgängliga på grund av att sensorer fallerar. Den tänkta miljön är motorvägskörning, främst därför att det innebär en hel del förenklingar i jämförelse med andra typer av vägar. Det stora problemet för sådana algoritmer ligger ofta i att sensorer lider av olika typer av nackdelar. De mäter bara en viss specifik sak, kan ha stora mätfel, är känsliga för olika förhållanden och har begränsingar i räckvidd. För att uttnyttja sensorernas olika styrkor och mildra effekten av deras brister har ett flertal sensorer använts tillsammans. Examensarbetet har utförts på Scania och testats på deras lastbilar. De typer av sensorer som har använts är redan, eller är på god väg att bli, standardutrustning i deras lastbilar och i många andra moderna fordon. Algoritmen använder sig av mätningar från en vägmarkeringsdetektor, som tillhandahåller formen på de två närmaste väglinjerna, en radar, som ger position och rörelse hos framförvarande bilar, en kartdatabas, som tillsammans med en GPS ger tidigare uppmätt kurvatur vid fordonets position, och interna sensorer som mäter det egna fordonets rörelser. För att kunna fortsätta ge en skattning när mätningar inte finns tillgängliga och för att göra algoritmen robustare mot dålig data, har en metod använts som uttnyttjar informationen i tidigare mätvärden, ett så kallat Extended Kalman filter. Denna metod kräver en matematisk beskrivning av hur formen på vägen framför fordonet förväntas förändras över tid, baserat på hur fordonet rör sig. De olika typerna av mätvärden från sensorerna kombineras i metoden och viktas olika beroende på hur tillförlitliga man anser att sensorerna är. Algoritmen har utvärderats på mätningar från allmänna motorvägar utanför Södertälje. Resultatet från denna utvärdering visar att det är väldigt fördelaktigt att kombinera flera olika typer av sensorer för att kunna leverera en bra skattning så ofta som möjligt. Det visar sig även att de olika typerna av sensorer är av olika stor betydelse för olika vägformsparametrar.

Obstacle detection and avoidance plays a crucial role in the autonomous navigation of unmanned ground vehicles (UGV). Information about the obstacles decreases as the distance between the UGV and obstacles increases. However, this information decreases much more rapidly for negative obstacles than for positive obstacles. UGV navigation becomes more challenging in off-road environments due to the higher probability of finding negative obstacles (e.g., potholes, ditches, trenches, etc.) compared with on-road environments. One approach to solve this problem is to avoid the candidate path with a negative obstacle, but in off-road environments avoiding negative obstacles in all situations is not possible. In such cases, the local path planner may need to choose a candidate path with a negative obstacle that causes the least amount of damage to the vehicle. To deal better with these types of scenarios, this research introduces a novel approach to perform 3D shape estimation of negative obstacles using LiDAR point cloud data. The dimensions (width, diameter, and depth), location (center), and curvature of negative obstacles were calculated based on an estimated shape. The presented approach can estimate the shape of different kinds of negative obstacles such as holes, trenches, in addition to large and complicated negative obstacles. This approach was tested on different terrain types using the Mississippi Autonomous Vehicle Simulation (MAVS).

<p dir="ltr">Characterizing unknown space objects is an important component of robust space situational awareness. Estimating the shape of an object allows analysts to perform more accurate orbit propagation, probability of collision, and inference analysis about the object’s origin. Due to the sheer distance from the camera combined with diffraction and atmospheric ef- fects, most resident space objects of interest are unresolved when observed from the ground with electro-optical sensors. State of the art techniques for object characterization often rely on light curves — the time history of the object’s observed brightness. The brightness of the object is a function of the object’s shape, material properties, attitude profile, as well as the observation geometry. The process of measuring real light curves is complex, involv- ing the physics of the object, the sensor, and the background environment. The process of recovering shape information from brightness measurements is known as the light curve shape inversion problem. This problem is ill-posed without further assumptions: modern direct shape inversion methods require that the attitude profile and material properties of the object is known, or at least can be hypothesized. This work describes improvements to light curve simulation that faithfully model the environmental and sensor effects present in true light curves, yielding synthetic measurements with more accurate noise characteris- tics. Having access to more accurate light curves is important for developing and validating light curve inversion methods. This work also presents new methods for direct shape inver- sion for convex and nonconvex objects with realistic measurement noise. In particular, this work finds that improvements to the convex shape inversion process produce more accurate, sparser geometry in less time. The proposed nonconvex shape inversion method is effective at resolving singular large concave feature.</p>

Automatic 3D reconstruction of birds can aid researchers in studying their behavior. Recently there has been an attempt to reconstruct a variety of birds from single-view images. However, the common murre's appearance is different from the birds that have been studied. Moreover, recent studies have focused on side views. This thesis studies the 3D reconstruction of the common murre from single-view top-view images. A template mesh is first optimized to fit a 3D scan. Then the result is used to optimize a species-specific mean from side-view images annotated with keypoints and silhouettes. The resulting mean mesh is used to initialize the optimization for top-down images. Using a mask loss, a pose prior loss, and a bone length loss that uses a mean vector from the side-view images improves the 3D reconstruction as rated by humans. Furthermore, the intersection over union (IoU) and percentage of correct keypoint (PCK), although used by other authors, are insufficient in a single-view top-view setting.

Un des modèles les plus simples de surface de réfraction est une surface plane. Bien que sa présence soit omniprésente dans notre monde sous la forme de vitres transparentes, de fenêtres, ou la surface d'eau stagnante, très peu de choses sont connues sur la géométrie multi-vues causée par la réfraction d'une telle surface. Dans la première partie de cette thèse, nous analysons la géométrie à vues multiple d'une surface réfractive. Nous considérons le cas où une ou plusieurs caméras dans un milieu (p. ex. l'air) regardent une scène dans un autre milieu (p. ex. l'eau), avec une interface plane entre ces deux milieux. Le cas d'une photo sous-marine, par exemple, correspond à cette description. Comme le modèle de projection perspectif ne correspond pas à ce scenario, nous dérivons le modèle de caméra et sa matrice de projection associée. Nous montrons que les lignes 3D de la scène correspondent à des courbes quartiques dans les images. Un point intéressant à noter à propos de cette configuration est que si l'on considère un indice de réfraction homogène, alors il existe une courbe unique dans l'image pour chaque ligne 3D du monde. Nous décrivons et développons ensuite des éléments de géométrie multi-vues telles que les matrices fondamentales ou d'homographies liées à la scène, et donnons des éléments pour l'estimation de pose des caméras à partir de plusieurs points de vue. Nous montrons également que lorsque le milieu est plus dense, la ligne d'horizon correspond à une conique qui peut être décomposer afin d'en déduire les paramètres de l'interface. Ensuite, nous étendons notre approche en proposant des algorithmes pour estimer la géométrie de plusieurs surfaces planes refractives à partir d'une seule image. Un exemple typique d'un tel scenario est par exemple lorsque l'on regarde à travers un aquarium. Nous proposons une méthode simple pour calculer les normales de telles surfaces étant donné divers scenari, en limitant le système à une caméra axiale. Cela permet dans notre cas d'utiliser des approches basées sur ransac comme l'algorithme “8 points” pour le calcul de matrice fondamentale, d'une manière similaire à l'estimation de distortions axiales de la littérature en vision par ordinateur. Nous montrons également que le même modèle peut être directement adapté pour reconstruire des surfaces réflectives sous l'hypothèse que les surfaces soient planes par morceaux. Nous présentons des résultats de reconstruction 3D encourageants, et analysons leur précision. Alors que les deux approches précédentes se focalisent seulement sur la reconstruction d'une ou plusieurs surfaces planes réfractives en utilisant uniquement l'information géométrique, les surfaces spéculaires modifient également la manière dont l'énergie lumineuse à la surface est redistribuée. Le modèle sous-jacent correspondant peut être expliqué par les équations de Fresnel. En exploitant à la fois cette information géométrique et photométrique, nous proposons une méthode pour reconstruire la forme de surfaces spéculaires arbitraires. Nous montrons que notre approche implique un scenario d'acquisition simple. Tout d'abord, nous analysons plusieurs cas minimals pour la reconstruction de formes, et en déduisons une nouvelle contrainte qui combine la géométrie et la théorie de Fresnel à propos des surfaces transparentes. Ensuite, nous illustrons la nature complémentaire de ces attributs qui nous aident à obtenir une information supplémentaire sur l'objet, qu'il est difficile d'avoir autrement. Finalement, nous proposons une discussion sur les aspects pratiques de notre algorithme de reconstruction, et présentons des résultats sur des données difficiles et non triviales. / The task of understanding, 3D reconstruction and analysis of the multiple view geometry related to transparent objects is one of the long standing challenging problems in computer vision. In this thesis, we look at novel approaches to analyze images of transparent surfaces to deduce their geometric and photometric properties. At first, we analyze the multiview geometry of the simple case of planar refraction. We show how the image of a 3D line is a quartic curve in an image, and thus derive the first imaging model that accounts for planar refraction. We use this approach to then derive other properties that involve multiple cameras, like fundamental and homography matrices. Finally, we propose approaches to estimate the refractive surface parameters and camera poses, given images. We then extend our approach to derive algorithms for recovering the geometry of multiple planar refractive surfaces from a single image. We propose a simple technique to compute the normal of such surfaces given in various scenarios, by equating our setup to an axial camera. We then show that the same model could be used to reconstruct reflective surfaces using a piecewise planar assumption. We show encouraging 3D reconstruction results, and analyse the accuracy of results obtained using this approach. We then focus our attention on using both geometric and photometric cues for reconstructing transparent 3D surfaces. We show that in the presence of known illumination, we can recover the shape of such objects from single or multiple views. The cornerstone of our approach are the Fresnel equations, and we both derive and analyze their use for 3D reconstruction. Finally, we show our approach could be used to produce high quality reconstructions, and discuss other potential future applications.

Le but de cette thèse est de contribuer à la perception sous-marine pour des applications de robotique grâce à un champ électrique. Nous proposons de nouvelles méthodes pour l’inspection, la localisation et l’estimation de forme d’un objet ellipsoïdal en utilisant un capteur inspiré des poissons faiblement électriques. Premièrement, nous montrons que l’objet peut être détecté et que son matériau et sa position par rapport à l’axe du capteur peuvent être discriminés en utilisant de simples détections de seuils sur les courants mesurés. Ensuite, nous proposons l’implémentation successive de trois lois de contrôle réactives permettant au capteur de se diriger vers l’objet et d’effectuer une révolution autour de celui-ci en suivant ses frontières. Puis, nous utilisons l’algorithme MUSIC afin de localiser le centre de l’objet. Enfin, les paramètres géométriques de l’objet et son orientation sont estimés grâce à une méthode d’optimisation basée sur les moindres carrés et sur l’inversion du modèle analytique du tenseur de polarisation d’un objet ellipsoïdal. Nous montrons que ces algorithmes fonctionnent en conditions expérimentales. Pour les algorithmes de localisation et d’estimation de forme, des techniques impliquant des déplacements du capteur sont proposées, afin de réduire significativement les imprécisions dues aux écarts entre le modèle et les mesures de courant. / The aim of this thesis is to contribute to the underwater perception for robotics applications using an electric field. We propose new methods for the inspection, the localization and the shape estimation of an ellipsoidal object using a sensor inspired by the weakly electric fish. Firstly, we show that the object can be detected and its material and position relative to the sensor axis discriminated, using simple threshold detections on the measured currents. Then, we propose the successive implementations of three reactive control laws allowing the sensor to head for the object and revolve around it by following its boundaries. After that, we use the MUSIC algorithm in order to localize the object’s center. Finally, the geometrical parameters of the object and its orientation are estimated thanks to an optimization algorithm based on the least squares method and the inversion of the analytical model of the polarization tensor of an ellipsoidal object. We show that these algorithms can be experimentally implemented. For the localization and the shape estimation algorithms, some additional techniques involving sensor movements are proposed in order to significantly reduce the imprecisions due to the gap between the model and the actual currents’ measurements.