Return to search

Investigation of Increased Mapping Quality Generated by a Neural Network for Camera-LiDAR Sensor Fusion / Ökning av kartläggningskvalitet genom att använda ett neuralt natverk för fusion av kamera och LiDAR data

This study’s aim was to investigate the mapping part of Simultaneous Localisation And Mapping (SLAM) in indoor environments containing error sources relevant to two types of sensors. The sensors used were an Intel Realsense depth camera and an RPlidar Light Detection AndRanging (LiDAR). Both cameras and LiDARs are frequently used as exteroceptive sensors in SLAM. Cameras typically struggle with strong light in the environment, and LiDARs struggle with reflective surfaces. Therefore, this study investigated the possibility of using a neural network to detect an error in either sensors’ data caused by mentioned error sources. The network identified which sensor produced erroneous data. The sensor fusion algorithm momentarily excluded said sensor’s data, consequently, improving the mapping quality when possible. The quantitative results showed no significant difference in the measured mean squared error and structural similarity between the final maps generated with and without the network, when compared to the ground truth. However, the qualitative analysis showed some advantages with using the network. Many of the camera’s errors were filtered out with the neural network, and led to a more accurate continuous mapping than without the network implemented. The conclusion was that a neural network can to a limited extent recognise the sensors’ data errors, but only the camera data benefited from the proposed solution. The study also produced important findings from the implementation which are presented. Future work recommendations include neural network optimisation, sensor selection, and sensor fusion implementation. / Denna studie undersökte kartläggningen i Simultaneous Localisation And Mapping (SLAM) problem, i kontexten av två sensorers felkällor. Sensorerna som användes var en Intel Realsense djupseende kamera samt en LiDAR fran RPlidar. Både kameror och LiDARs är vanliga sensorer i SLAM system, och båda har olika typer av felkällor. Kameror är typiskt känsliga för mycket starkt ljus, medan LiDARs har svårt med reflekterande ytor. Med detta som bakgrund har denna studie undersökt möjligheten att implementera ett neuralt nätverk för att detektera när varje sensor är utsatt för en felkälla (och därmed ger fel data). Nätverkets klassificering används sedan för att i varje tidssteg exkludera den sensors data som det är fel på för att förbättra kartläggningen. De qvantitativa resultaten visade ingen signifikant skillnad mellan kartorna genererade med nätverket och de utan nätverket. Dock visade den kvalitativa analysen att det finns vissa fördelar med att använda det neutrala nätverket. Manga av kamerans fel blev korrigerade när nätverket var implementerat, vilket ledde till mer korrekta kartor under kontinuerlig körning. Slutsatsen blev att ett nätverk kan bli tränat för att identifiera fel i datan, men att kameran drar mest nytta av det. Studien producerade även sekundara resultat som också redovisas. Slutligen rekommenderas optimering av nätverket, val av sensorer, samt uppdaterad algoritm för sensor fusionen som möjliga områden till fortsatt forskning inom området.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-297463
Date January 2021
CreatorsCorrea Silva, Joan Li Guisell, Jönsson, Sofia
PublisherKTH, Mekatronik
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageSwedish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-ITM-EX ; 2021:124

Page generated in 0.0027 seconds