No description available.

Dans de nombreuses applications, il est crucial qu'un robot ou un véhicule se localise, notamment pour la navigation ou la conduite autonome. Cette thèse traite de la localisation visuelle par des méthodes de reconnaissance de lieux. Le principe est le suivant: lors d'une phase hors-ligne, des images géo-référencées de l'environnement d'évolution du véhicule sont acquises, des caractéristiques en sont extraites et sauvegardées. Puis lors de la phase en ligne, il s'agit de retrouver l'image (ou la séquence d'images) de la base d'apprentissage qui correspond le mieux à l'image (ou la séquence d'images) courante. La localisation visuelle reste un challenge car l'apparence et l'illumination changent drastiquement en particulier avec le temps, les conditions météorologiques et les saisons. Dans cette thèse, on cherche alors à améliorer la reconnaissance de lieux grâce à une meilleure capacité de description et de reconnaissance de la scène. Plusieurs approches sont proposées dans cette thèse:1) La reconnaissance visuelle de lieux est améliorée en considérant les informations de profondeur, de texture et de forme par la combinaison de plusieurs de caractéristiques visuelles, à savoir les descripteurs CSLBP (extraits sur l'image couleur et l'image de profondeur) et HOG. De plus l'algorithme LSH (Locality Sensitive Hashing) est utilisée pour améliorer le temps de calcul;2) Une méthode de la localisation visuelle basée sur une reconnaissance de lieux par mise en correspondance de séquence d'images (au lieu d'images considérées indépendamment) et combinaison des descripteurs GIST et CSLBP est également proposée. Cette approche est en particulier testée lorsque les bases d'apprentissage et de test sont acquises à des saisons différentes. Les résultats obtenus montrent que la méthode est robuste aux changements perceptuels importants;3) Enfin, la dernière approche de localisation visuelle proposée est basée sur des caractéristiques apprises automatiquement (à l'aide d'un réseau de neurones à convolution) et une mise en correspondance de séquences localisées d'images. Pour améliorer l'efficacité computationnelle, l'algorithme LSH est utilisé afin de viser une localisation temps-réel avec une dégradation de précision limitée / In many applications, it is crucial that a robot or vehicle localizes itself within the world especially for autonomous navigation and driving. The goal of this thesis is to improve place recognition performance for visual localization in changing environment. The approach is as follows: in off-line phase, geo-referenced images of each location are acquired, features are extracted and saved. While in the on-line phase, the vehicle localizes itself by identifying a previously-visited location through image or sequence retrieving. However, visual localization is challenging due to drastic appearance and illumination changes caused by weather conditions or seasonal changing. This thesis addresses the challenge of improving place recognition techniques through strengthen the ability of place describing and recognizing. Several approaches are proposed in this thesis:1) Multi-feature combination of CSLBP (extracted from gray-scale image and disparity map) and HOG features is used for visual localization. By taking the advantages of depth, texture and shape information, visual recognition performance can be improved. In addition, local sensitive hashing method (LSH) is used to speed up the process of place recognition;2) Visual localization across seasons is proposed based on sequence matching and feature combination of GIST and CSLBP. Matching places by considering sequences and feature combination denotes high robustness to extreme perceptual changes;3) All-environment visual localization is proposed based on automatic learned Convolutional Network (ConvNet) features and localized sequence matching. To speed up the computational efficiency, LSH is taken to achieve real-time visual localization with minimal accuracy degradation.

Today, a large number of devices with small form factors and limited resources are being integrated with processes to perform complex tasks such as localization and mapping. One example of this are headsets used for Extended Reality. These devices are expected to perform under changing conditions in the environment and in the available resources, which require sophisticated control policies. In this thesis project, we start investigating the feasibility of online control of the image resolution of the camera sensor used for Visual Localization, for the purpose of minimizing the requirements of the process without decreasing the performance. Specifically, we perform extensive experiments on two Visual Simultaneous Localization and Mapping systems and a Visual Odometry system on two platforms with limited resources to see how the performance metrics are affected by the image resolution. Moreover, we model the localization error of ORB-SLAM3 with the use of feature matching statistics and the camera velocity. Our experimental results show that savings in terms of the execution time of Visual Localization by adapting the image resolution is possible in some situations. But we did not find significant potential savings in terms of the power consumption of the devices. We also found that the feature matching statistics improve predictions about the localization error of ORB-SLAM3 in several situations compared to only using the camera velocity. But the results are limited to a set of known scenarios, which highlights the difficulty of the modelling problem. Nevertheless, this thesis provides valuable insights into how sensor parameters affect the performance of Visual Localization, and how the localization error relates to tracking statistics inside the localization process. / Idag utrustas fler resursbegränsade enheter med förmågan att utföra komplicerade uppgifter, såsom lokalisering och kartläggning i realtid. Efterfrågan av att små enheter med begränsade resurser ska kunna lokalisera i realtid styrs bland annat av intresset för virtuella upplevelser, till exempel med hjälp av smarta glasögon. Men för att leva upp till förväntningarna krävs en nogrann avvägning mellan prestanda och resurseffektivitet, något som försvåras av en föränderlig omgivning. I det här examensarbetet så utreds möjligheten att påverka prestandan och resurskraven av bildbaserad lokalisering i realtid genom att anpassa bildupplösningen av kameran. Att minska resurskraven för denna processen gör att det blir enklare att uppnå acceptabel prestanda på resursbegränsade enheter och underlättar avlastning av delar av processen med hjälp av molntjänster. I samband med utredningen så modelleras felet av ORB-SLAM3 med hjälp av interna mätetal som karakteriserar lokaliseringsprocessen för att i framtiden kunna informera beslut om bildupplösningen. Resultaten tyder på att det i vissa fall är möjligt att minska resurskraven av bildbaserad lokalisering utan att försämra prestandan. Vad gäller modelleringen av felet, så tyder resultaten på att de valda mätetalen inte är nog för att förutspå felet med någon vidare säkerhet. Men genom att kombinera mätetalen med kamerans hastighet så kan man till viss mån förutspå felet av ORB-SLAM3 i ett urval av kända scenarion. Däremot visar sig resultaten inte vara generaliserbara till nya scenarion som modellerna inte har tränats på, vilket understryker svårigheten av problemet. Genom detta arbetet har vi bidragit med värdefulla insikter som kan leda forskningen inom området vidare.

The reliance on GPS for Unmanned Aerial Vehicle (UAV) localization limits the areas of application to places with a stable GPS signal. The emergence of deep learning in computer vision has made deep learning methods for visual UAV navigation a promising candidate for autonomous GPS denied localization. These method locate using images taken by a mounted camera on the UAV. Most works in the field evaluate localization ability in urban environments dense with artificial structures. This thesis analyses the localization ability of one such method over agricultural fields and forests in comparison to urban areas to investigate whether such systems rely on artificial structure or if they can function in a general environment. The localization technique is based on the deep feature Lucas-Kanade algorithm and uses convolutional neural network extracted feature representations of images taken by the UAV and satellite images to place the UAV within the satellite image for a position estimate. A network interpretation method is also applied to the problem to investigate whether it can help explain what causes the potential differences in localization accuracy between the areas. The investigation finds that the localization method is applicable in both forests and agricultural fields and pinpoints other factors than the prevalence of artificial structure that are more important for accurate localization. Further, a potential improvement to the algorithm is proposed that is shown to notably improve localization accuracy in certain conditions. It is based on obtaining a second position estimate by reversing the optimization direction and choosing the better of the two based on a loss function. / Obemannade luftburna fordon (UAV) är generellt beroende av GPS för autonom lokalisering vilket begränsar deras användningsområden till platser med en stabil GPS signal. Framväxten av djupinlärning inom datorseende har gjort djupinlärningsbaserade metoder för visuell UAV navigation en lovande kandidat för UAV lokalisering oberoende av GPS. De flesta vetenskapliga artiklar inom området utvärderar lokaliseringsförmågan i urbana miljöer som är fyllda med artificiella strukturer såsom hus och vägar. I den här uppsatsen analyseras lokaliseringsförmågan av en sådan metod över jordbruksområden och skog i förhållande till urbana miljöer för att undersöka om sådana system är beroende av artificiell struktur för att lokalisera korrekt. Lokaliseringsmetoden är baserad på Lukas-Kanade-algoritmen på djupa repesentationer. Konvolverande neurala nätverk tränas för att extrahera representationer av UAV- och satellitbilder som är mer passande för att bestämma förhållandet mellan kamerapositionerna med Lukas-Kanade algoritmen. En nätverkstolkningsmetod appliceras även på problemet för att undersöka huruvida det kan användas för att förklara eventuella skillnader i lokaliseringsförmåga mellan områdena. Undersökningen finner att lokaliseringsmetoden fungerar väl i jordbruksområden och skog och fastställer andra faktorer som är viktigare för välfungerande lokalisering än förekomsten av artificiella strukturer. Ytterligare föreslås en potentiell förbättring till algoritmen som visas kunna förbättra lokaliseringsnoggrannheten markant i vissa förhållanden. Förbättringen är baserad på att utvinna en andra positionsuppskattning genom att omvända optimeringsriktningen och välja den bättre av de två baserat på en förlustfunktion.