For Autonomous Underwater Vehicles (AUVs) to be able to conduct longterm surveys, the ability to return to a docking station for maintenance and recharging is crucial. A dynamic docking system where a slowly moving submarine acts as the docking station provides increased hydrodynamic control and reduces the impact of environmental disturbances. A vision-based relative positioning system using a camera, mounted on the AUV, and light sources, mounted on the docking station, is investigated as a suitable high-resolution and high-frequency solution for a short-range relative positioning system. Detection and identification of the true light sources in the presence of reflections, ambient light, and other luminaries, requires a robust tracking pipeline that can reject false positives. In this thesis, we present a complete tracking pipeline, from image processing to pose estimation, specifically for a soft docking scenario. We highlight the issues of light source detectors based on finding a unique global threshold and detectors based on gradient information and propose a novel method, based on using a suitable threshold for each light source. Rejection of false positives is handled systematically by rejecting pose estimates resulting in large re-projection errors, and a configuration of the light sources is proposed that enhances the pose estimation performance. The performance of the proposed light source detector is evaluated on the D-recovery dataset. Results show that the proposed method outperforms other methods in identifying the light sources. The tracking pipeline is evaluated with experiments as well as a simulation based on the Stonefish simulator. / För att autonoma undervattensfordon ska kunna utföra långsiktiga undersökningar är möjligheten att återvända till en dockningsstation för underhåll och laddning avgörande. Ett dynamiskt dockningssystem där en långsamtgående ubåt agerar som dockningsstation ger en ökad hydrodynamisk kontroll och minskar påverkan av omgivande miljöstörningar. Ett synbaserat, relativt positioneringssystem som använder en kamera, monterad på farkosten, och ljuskällor, monterad på dockningsstationen, undersöks som en lämplig högupplöst och högfrekvent lösning för ett relativt positioneringssystem med kort räckvidd. Detektering och identifiering av de verkliga ljuskällorna i närvaro av reflektioner, omgivande ljus och andra störande ljuskällor kräver ett robust spårningssystem som kan särskilja de sanna ljuskällorna från de omgivande störningarna. I denna uppsats presenteras ett komplett spårningssystem, från bildbehandling till positionsestimering, specifikt för ett soft docking scenario. Vi lyfter fram problem med detektorer baserat på att hitta ett unikt globalt tröskelvärde och detektorer baserade på gradientinformation. Vi föreslår en ny metod baserad på att använda ett lämpligt tröskelvärde för varje ljuskälla. Omgivande störningar hanteras systematiskt genom att avvisa positionestimeringar som resulterar i stora projektionsfel, och en konfiguration av ljuskällorna föreslås som förbättrar positionsestimeringens prestanda. Prestandan hos den föreslagna ljuskällsdetektorn utvärderas på datasetet D-recovery. Resultaten visar att den föreslagna metoden överträffar andra metoder i att identifiera ljuskällorna. Spårningsystemet utvärderas med experiment samt en simulering baserad på Stonefish-simulatorn.

Visual Odometry (VO) is the process of estimating the relative motion of a vehicle by using solely image data gathered from the camera. In underwater environments, VO becomes extremely challenging but valuable since ordinary sensors for on-road localization are usually unpractical in these hostile environments. For years, VO methods have been purely based on Computer Vision (CV) principles. However, the recent advances in Deep Learning (DL) have ushered in a new era for VO approaches. These novel methods have achieved impressive performance with state-of-the-art results on urban datasets. Nevertheless, little effort has been made to push learning-based research towards natural environments, such as underwater. Consequently, this work aims to bridge the research gap by evaluating the effectiveness of the learning-based approach in the navigation of Autonomous Underwater Vehicles (AUVs). We compare two learning-based methods with a traditional feature-based method on the Underwater Caves dataset, a very challenging dataset collected in the unstructured environment of an underwater cave complex. Extensive experiments are thus conducted training the models on this dataset. Moreover, we investigate different aspects and propose several improvements, such as sub-sampling the video clips to emphasize the camera motion between consecutive frames, or training exclusively on images with relevant content discarding those with dark borders and representing solely sandy bottoms. Finally, during the training, we also leverage underwater images from other datasets, hence acquired from different cameras. However, the best improvement is obtained by penalizing rotations around the x-axis of the camera coordinate system. The three methods are evaluated on test sequences that cover different lighting conditions. In the most favorable environments, although learning-based methods are not up to par with the feature-based method, the results show great potential. Furthermore, in extreme lighting conditions, where the feature-based baseline sharply fails to bootstrap, one of the two learning-based methods produces instead qualitatively good trajectory results, revealing the power of the learning-based approach in this peculiar context. / Visuell Odometri (VO) används för att uppskatta den relativa rörelsen för ett fordon med hjälp av enbart bilddata från en eller flera kameror. I undervattensmiljöer blir VO extremt utmanande men värdefullt eftersom vanliga sensorer för lokalisering vanligtvis är opraktiska i dessa svåra miljöer. I åratal har VO-metoder enbart baserats på klassisk datorseende. De senaste framstegen inom djupinlärning har dock inlett en ny era för VO-metoder. Dessa nya metoder har uppnått imponerande prestanda på dataset urbana miljöer. Trots detta har ganska lite gjorts för att driva den inlärningsbaserad forskningen mot naturliga miljöer, till exempel under vattnet. Följaktligen syftar detta arbete till att överbrygga forskningsgapet genom att utvärdera effektiviteten hos det inlärningsbaserade tillvägagångssättet vid navigering av autonoma undervattensfordon (AUV). Vi jämför två inlärningsbaserade metoder med en traditionell nyckelpunktsbaserad metod som referens. Vi gör jämförelsen på Underwater Caves-datasetet, ett mycket utmanande dataset som samlats in i den ostrukturerade miljön i ett undervattensgrottkomplex. Omfattande experiment utförs för att träna modellerna på detta dataset. Vi undersöker också olika aspekter och föreslår flera förbättringar, till exempel, att delsampla videoklippen för att betona kamerarörelsen mellan på varandra följande bildrutor, eller att träna på en delmängd av datasetet bestående uteslutande på bilder med relevant innehåll för att förbättra skattningen av rörelsen. Under träningen utnyttjar vi också undervattensbilder från andra datamängder, och därmed från olika kameror. Den bästa förbättringen uppnås dock genom att straffa skattningar av stora rotationer runt kamerakoordinatsystemets x-axel. De tre metoderna utvärderas på testsekvenser som täcker olika ljusförhållanden. I de mest gynnsamma miljöerna visar resultaten stor potential, även om de inlärningsbaserade metoder inte är i nivå med den traditionella referensmetoden. Vid extrema ljusförhållanden, där referensmetoden misslyckas att ens initialisera, ger en av de två inlärningsbaserade metoderna istället kvalitativt bra resultat, vilket demonstrerar kraften i det inlärningsbaserade tillvägagångssättet i detta specifika sammanhang.

This master thesis project is focused on the development of an LQR controller and its comparison with other controllers (PID and MPC), in order to successfully control an Autonomous Underwater Vehicle manipulation system. The modelling of the manipulator was performed first in Matlab and later on in Simulink-Simscape. Once the manipulator was integrated with the AUV model, the LQR controller was also developed initially in Matlab and then in Simulink. The controller was then extracted from Simulink as a C-code and verified in Stonefish. After confirming that the LQR code was working in Stonefish, its results from Simulink were compared with PID and MPC results for two different trajectories. The data for comparison and statistical analysis were divided into the two trajectory scenarios (horizontal and vertical) since the weight matrices of both controllers were different. Looking at the system’s overall behavior the Model Predictive Control (MPC) and LQR had similar results, regarding the rise time, overshoot, steady-state error and robustness to disturbances. An anticipated fact for the MPC was that it takes the longest run time for both scenarios. Lastly, as expected the PID had the worst response of all three controllers, in both scenarios. Implementing a PID on a nonlinear system, produced many oscillations without being able to stabilize at the reference value, thus giving a large steady-state error. In addition, it could not counteract the noise disturbances in the signal. / Detta examensarbete är inriktat på utvecklingen av en LQR-styrenhet och dess jämförelse med andra kontroller (PID och MPC), för att framgångsrikt styra ett autonomt undervattensfordon-manipulationssystem. Modelleringen av manipulatorn utfördes först i Matlab och senare i Simulink-Simscape. När manipulatorn väl hade integrerats med AUV modellen, utvecklades LQR styrenheten också inledningsvis i Matlab och sedan i Simulink. Kontrollenheten extraherades sedan från Simulink som en C-kod och verifierades i Stonefish. Efter att ha bekräftat att LQR koden fungerade i Stonefish, jämfördes resultaten från Simulink med PID och MPC resultat för två olika banor. Data för jämförelse och statistisk analys delades in i de två bana-scenarierna (horisontella och vertikala), eftersom viktmatriserna för båda kontrollerna var olika. När man tittar på systemets övergripande beteende hade Model Predictive Controller (MPC) och LQR liknande resultat när det gäller stigningstid, överskott, steady-state fel och robusthet mot störningar. Ett förväntat faktum för MPC var att det tar den längsta körtiden för båda scenarierna. Slutligen, som väntat, hade PID det sämsta svaret av alla tre kontrollerna, i båda scenarierna. Implementering av ett PID på ett olinjärt system gav många oscillationer utan att kunna stabilisera sig vid referensvärdet, vilket gav ett stort steady-state fel. Dessutom kunde den inte motverka bullerstörningarna i signalen.