Autonomous Driving has recently gained a lot of recognition and provides challenging research with an aim to make transportation safer, more convenient and efficient. This emerging technology also has widespread applications and implications beyond all current expectations in other fields of robotics. Environment perception is one of the big challenges for autonomous robots. Though a lot of methods have been developed to utilize single sensor based approaches, since different sensor types have different operational characteristics and failure modes, they compliment each other. Different sensors provide different sets of data, which creates difficulties combining information to form a unified picture. The proposed solution consists of low level sensor fusion of LIDAR and stereo camera data using an occupancy grid framework. Bayesian inference theory is utilized and a real time system has been implemented on a 1/10 scale robot vehicle. The result of the thesis shows that it is possible to use a 2D LIDAR and stereo camera to build a map of the environment. The implementation focuses on the practical issues like blind spots of individ sensors. Overall, the fused occupancy grid gives better result than occupancy grids from individual sensors. Sensor confidence is higher for the camera since frequency of mapping of a 2D LIDAR is low / Autonom körning har nyligen fått mycket erkännande och erbjuder utmanande forskningsmöjligheter med målen att göra transporter säkrare, bekvämare och effektivare. Den framväxande tekniken har också tillämpningar och konsekvenser inom andra områden av robotteknik i en omfattning som vida överträffat förväntningarna. Att uppfatta den omgivande miljön är en av de stora utmaningarna för autonoma robotar. Även om många metoder har utvecklats där en enda sensor används, har de bästa resultaten uppnåtts genom en kombination av sensorer. Olika sensorer ger olika uppsättningar data, vilket skapar svårigheter att kombinera information för att bilda en enhetlig bild. Den föreslagna lösningen består av lågfrekvent sensorfusion av LIDAR och stereokamera med användning av rutnätsramar. Bayesisk inferensteori har använts och ett realtidssystem har implementerats på robotfordon i skala 1/10. Resultatet av examensarbetet visar att det är möjligt att använda en 2D-LIDAR och en stereokamera för att bygga en omgivningskarta. Genomförandet fokuserar på praktiska problem såsom problem med döda vinkeln hos dessa sensorer. Generellt ger det kombinerade rutnätet bättre resultat än det från enskilda sensorer. Sensortillförlitligheten är högre för kameran då 2D-LIDAR kartlägger med mycket lägre frekvens

Autonomous driving is the concept of a vehicle that operates in traffic without instructions from a driver. A major challenge for such a system is to provide a comprehensive, accurate and compact scene model based on information from sensors. For such a model to be comprehensive it must provide 3D position and semantics on relevant surroundings to enable a safe traffic behavior. Such a model creates a foundation for autonomous driving to make substantiated driving decisions. The model must be compact to enable efficient processing, allowing driving decisions to be made in real time. In this thesis rectangular objects (The Stixelworld) are used to represent the surroundings of a vehicle and provide a scene model. LIDAR and semantic segmentation are fused in the computation of these rectangles. This method indicates that a dense and compact scene model can be provided also from sparse LIDAR data by use of semantic segmentation. / Fullt självkörande fordon behöver inte förare. Ett sådant fordon behöver en precis, detaljerad och kompakt modell av omgivningen baserad på sensordata. Med detaljerad avses att modellen innefattar all information nödvändig för ett trafiksäkert beteende. Med kompakt avses att en snabb bearbetning kan göras av modellen så att fordonet i realtid kan fatta beslut och manövrera i trafiken. I denna uppsats tillämpas en metod där man med rektangulära objekt skapar en modell av omgivningen. Dessa beräknas från LIDAR och semantisk segmentering. Arbetet indikerar att med hjälp av semantisk segmentering kan en tät, detaljerad och kompakt modell göras även från glesa LIDAR-data.

Motion planning consists of finding a feasible path of an object between an initial state and a goal state, and commonly constitutes a sub-system of a larger autonomous system. Motion planners that utilize sampling-based algorithms create an implicit representation of the search space via sampling said search space. Autonomous systems that rely on real-time motion planning benefit from the ability of these algorithms to quickly compute paths that are optimal or near optimal. For sampling-based motion planning algorithms, the sampling strategy greatly affects the convergence speed of finding these paths, i.e., how the sampling distribution is shaped within the search space. In baseline approaches, the samples may be drawn with uniform probability over this space. This thesis project explores a learning-based approach that can utilize experience from previous successful motion plans to provide useful information in novel planning scenarios, as a means of improvement over conventional motion planning methods. Specifically, the focus has been on learning the sampling distributions in both the state space and the control space of an autonomous ground vehicle. The innovatory parts of this work consist of (i) learning the control space sampling distributions, and (ii) learning said distributions for a tractor-trailer system. At the core of the method is an artificial neural network consisting of a conditional variational autoencoder. This artificial neural network is capable of learning suitable sampling distributions in both the state space and control space of a vehicle in different planning scenarios. The method is tested in four different environments and for two kinds of vehicles. Evaluation is partly done by comparison of results with a conventional motion planning algorithm. These evaluations indicates that the artificial neural network can produce valuable information in novel planning scenarios. Future work, primarily on how the artificial neural network may be applied to motion planning algorithms, is necessary to draw further conclusions. / Rörelseplanering består av att hitta en genomförbar bana för ett objekt mellan ett initialtillstånd och ett måltillstånd, och utgör vanligtvis ett delsystem av ett större autonomt system. Rörelseplanerare som använder provtagningssbaserade algoritmer skapar en implicit representation av sökutrymmet via provtagning av sökutrymmet. Autonoma system som förlitar sig på rörelseplanering i realtid drar nytta av dessa algoritmers förmåga att snabbt beräkna banor som är optimala eller nästan optimala. För provtagningssbaserade rörelseplaneringsalgoritmer påverkar provtagningsstrategin i hög grad konvergenshastigheten för att hitta dessa vägar, dvs. hur provtagningsfördelningen är formad inom sökutrymmet. I standardmetoder kan stickproven dras med jämn sannolikhet över detta utrymme. Detta examensarbete utforskar en lärande-baserat metod som kan utnyttja erfarenheter från tidigare lyckade rörelseplaner för att tillhandahålla användbar information i nya planeringsscenarier, som ett medel för förbättring jämfört med konventionella rörelseplaneringsmetoder. Specifikt har fokus legat på att lära sig provtagningssfördelningarna i både tillståndsrummet och styrsignals-rummet för ett autonomt markfordon. De nyskapande delarna av detta arbete består av att (i) lära sig kontrollutrymmessamplingsfördelningarna, och (ii) inlärning av nämnda provtagningsfördelningarna för ett traktor-släpsystem. Kärnan i metoden är ett artificiellt neuralt nätverk bestående av en conditional variational autoencoder. Detta artificiella neurala nätverk är kapabelt att lära sig lämpliga provtagningsfördelningar i både tillståndsrummet och kontrollrummet för ett fordon i olika planeringsscenarier. Metoden testas i fyra olika miljöer och för två olika av fordon. Utvärdering görs delvis genom jämförelse av resultat med en konventionell rörelseplaneringsalgoritm. Dessa utvärderingar tyder på att det artificiella neurala nätverket kan producera värdefull information i nya planeringsscenarier. Mer forskning, i första hand med hur det artificiella neurala nätverket kan tillämpas på rörelseplaneringsalgoritmer, är nödvändigt för att dra ytterligare slutsatser.

The field of automated vehicle demands outstanding reliability figures to be matched by the artificially driving agents. The software architectures commonly used originate from decades of automation engineering, when robots operated only in confined environments on predefined tasks. On the other hand, autonomous driving represents an “into the wild” application for robotics. The architectures embraced until now may not be sufficiently robust to comply with such an ambitious goal. This research activity proposes a bio-inspired sensorimotor architecture for cognitive robots that addresses the lack of autonomy inherent to the rules-based paradigm. The new architecture finds its realization in an agent for autonomous driving named “Co-driver”. The Agent synthesis was extensively inspired by biological principles that contribute to give the Co-driver some cognitive abilities. Worth to be mentioned are the “simulation hypothesis of cognition” and the “affordance competition hypothesis”. The former is mainly concerned with how the Agent builds its driving skills, whereas the latter yields an interpretable agent notwithstanding the complex behaviors produced. Throughout the essay, the Agent is explained in detail, together with the bottom-up learning framework adopted. Overall, the research effort bore an effectively performing autonomous driving agent whose underlying architecture provides considerable adaptation capability. The thesis also discusses the aspects related to the implementation of the proposed ideas into a versatile software that supports both simulation environments and real vehicle platforms. The step-by-step explanation of the Co-driver is made up of theoretical considerations supported by working simulation examples, some of which are also released open-source to the research community as a driving benchmark. Eventually, guidelines are given for future research activities that may originate from the Agent and the hierarchical training framework devised. First and foremost, the exploitation of the hierarchical training framework to discover optimized longer-term driving policies.

In this thesis, an extension of the existing localization system of the ABSOLUT project is presented, with the aim of making it more resistant to GNSS errors. This enhanced system is based on the integration of a LiDAR sensor. Initially, a 3D map of the traversed route is created using the LiDAR sensor. This process employs an existing factor graph-based SLAM algorithm, which is made more stable and accurate through the inclusion of a surveyed elevation profile of the environment, the integration of vehicle odometry sensors, and bias estimates of the IMU. The generated map is used during the drive to determine the vehicle's position by comparing it with the currently captured point clouds. This procedure relies on a newly developed Error-State Kalman Filter that fuses LiDAR odometry with absolute LiDAR position estimates. To optimally use the pose estimation from the various sensor systems, an approach is proposed that adaptively combines the estimates based on the environment. The performance of the developed system is evaluated using real driving data.

Precise and robust automotive localization is a must for autonomous vehicles. Radar is a cheap and robust sensor, and this project aimed to find a method to use automotive radar to localize globally. By using radar data to build occupancy grids based on other state-of-the-art radar localization methods, and applying image correlation techniques, a localization precision of below 20 cm could be achieved, delivering poses at frequency higher than 0.5 Hz along with a characterization of the uncertainty. By using an improved sensor model for the occupancy grid mapping, filtering the radar data, and using image correlation in the Fourier domain. The presented results are better than the state-of-the-art radar localization methods, both in terms of precision and frequency, however not in terms of heading estimation. The work provides a foundation for future investigations and improvements of radar as a sensor for localization. / Exakt och robust fordonslokalisering är ett måste för framtidens autonoma fordon. Radar är billig och robust sensor, och detta projekt utfördes i syfte att hitta en metod för att använda bilradar för att lokalisera globalt. Genom att använda radardata för att bygga occupancyg grids baserade på de senaste bästa radarlokaliseringsmetoder och tillämpa bildkorrelationstekniker, kunde en lokaliseringsprecision bättre än 20 cm uppnås, vilket ger positioner vid frekvens högre än 0,5 Hz tillsammans osäkerhetens karaktärisering. Genom att använda en förbättrad sensormodell för kartläggning av occupancy grids, filtrera radardata och använda bildkorrelation i Fourier- domänen. De presenterade resultaten är bättre än de senaste metoderna för radarlokalisering, både när det gäller precision och frekvens, men inte när det gäller riktning. Arbetet utgör en grund för framtida undersökningar av radar som en sensor för lokalisering.

Reducing the size of a neural network whilst maintaining a comparable performance is an important problem to be solved since the constrictions on resources of small devices make it impossible to deploy large models in numerous real-life scenarios. A prominent example is autonomous driving, where computer vision tasks such as object detection and semantic segmentation need to be performed in real time by mobile devices. In this thesis, the knowledge and spherical knowledge distillation techniques are utilized to train a small model (PSPNet50) under the supervision of a large model (PSPNet101) in order to perform semantic segmentation of urban scenes. The importance of the distillation hyperparameters is studied first, namely the influence of the temperature and the weights of the loss function on the performance of the distilled model, showing no decisive advantage over the individual training of the student. Thereafter, distillation is performed utilizing a pretrained student, revealing a good improvement in performance. Contrary to expectations, the pretrained student benefits from a high learning rate when training resumes under distillation, especially in the spherical knowledge distillation case, displaying a superior and more stable performance when compared to the regular knowledge distillation setting. These findings are validated by several experiments conducted using the Cityscapes dataset. The best distilled model achieves 87.287% pixel accuracy and a 42.0% mean Intersection-Over-Union value (mIoU) on the validation set, higher than the 86.356% pixel accuracy and 39.6% mIoU obtained by the baseline student. On the test set, the official evaluation obtained by submission to the Cityscapes website yields 42.213% mIoU for the distilled model and 41.085% for the baseline student. / Att minska storleken på ett neuralt nätverk med bibehållen prestanda är ett viktigt problem som måste lösas, eftersom de begränsade resurserna i små enheter gör det omöjligt att använda stora modeller i många verkliga situationer. Ett framträdande exempel är autonom körning, där datorseende uppgifter som objektsdetektering och semantisk segmentering måste utföras i realtid av mobila enheter. I den här avhandlingen används tekniker för destillation av kunskap och sfärisk kunskap för att träna en liten modell (PSPNet50) under övervakning av en stor modell (PSPNet101) för att utföra semantisk segmentering av stadsscener. Betydelsen av hyperparametrarna för destillation studeras först, nämligen temperaturens och förlustfunktionens vikter för den destillerade modellens prestanda, vilket inte visar någon avgörande fördel jämfört med individuell träning av eleven. Därefter utförs destillation med hjälp av en utbildad elev, vilket visar på en god förbättring av prestanda. Tvärtemot förväntningarna har den utbildade eleven en hög inlärningshastighet när utbildningen återupptas under destillation, särskilt i fallet med sfärisk kunskapsdestillation, vilket ger en överlägsen och stabilare prestanda jämfört med den vanliga kunskapsdestillationssituationen. Dessa resultat bekräftas av flera experiment som utförts med hjälp av datasetet Cityscapes. Den bästa destillerade modellen uppnår 87.287% pixelprecision och ett 42.0% medelvärde för skärning över union (mIoU) på valideringsuppsättningen, vilket är högre än de 86.356% pixelprecision och 39.6% mIoU som uppnåddes av grundstudenten. I testuppsättningen ger den officiella utvärderingen som gjordes på webbplatsen Cityscapes 42.213% mIoU för den destillerade modellen och 41.085% för grundstudenten.

With the development of Autonomous Driving (AD) technology, there is a growing concern over the safety of the technology. Finding methods to improve the reliability of this technology becomes a current challenge. The AD system is composed of a perception module, a planning module, and a control module. The perception module, which provides information about the environment for the whole system, is a critical part of the AD system. This project aims to provide a better understanding of the functionality and reliability of the perception module of an AD system. In this project, a simple model of the perception module is built with YOLOv5-nano for object detection, StrongSORT for object tracking, and MonoDepth2 for depth estimation. The system takes images from a single camera as input and produces a time series of distance to the preceding vehicle. Fault injection technologies are utilized for testing the reliability of the system. Different faults, including weather factors, sensor faults, and encoder faults, are injected. The system behaviors under faults are observed and analyzed. Then multiple methods for anomaly detection are applied to the time series of distance data, including the statistic method ARIMA, and the machine learning methods MLP and LSTM. Comparisons are made among the anomaly detection methods, based on the efficiency and performance. The dataset in this project is generated by the CARLA simulator. / Med utvecklingen av tekniken för autonom körning (AD) växer oro över teknologins säkerhet. Att hitta metoder för att förbättra tillförlitligheten hos denna teknologi blir en aktuell utmaning. AD-systemet består av en perceptionsmodul, en planeringsmodul och en styrmodul. Perceptionsmo­dulen, som tillhandahåller information om miljön för hela systemet, är en kritisk del av AD-systemet. Detta projekt syftar till att ge en bättre förståelse för funktionaliteten och tillförlitligheten hos perceptionsmodulen i ett AD-system. I detta projekt byggs en enkel modell av perceptionsmodulen med YOLOv5-nano för objektdetektion, StrongSORT för objektföljning och MonoDepth2 för djupuppskattning. Systemet tar bilder från en enda kamera som inmatning och producerar en tidsserie av avståndet till det föregående fordonet. Felinjektionstekniker används för att testa systemets tillförlitlighet. Olika fel, inklusive väderfaktorer, sensorfel och maskininlärningsfel, injiceras. Systemets beteende under fel observeras och analyseras. Därefter tillämpas flera metoder för avvikelsedetektering på tidsserien av avstånd, inklusive statistikmetoden ARIMA samt maskininlärningsmetoderna MLP och LSTM. Jämförelser görs mellan avvikelsedetekteringsmetoderna, baserat på effektivitet och prestanda. Datamängden i detta projekt genereras av CARLA­simulatorn.

The development of autonomous vehicles is progressing rapidly through extensive efforts by the automotive industry and researchers. One of the key factors for the adoption of autonomous driving technology is motion comfort and the ability to engage in non-driving tasks such as reading, socialising, and relaxing without experiencing motion sickness while travelling. Therefore, for the full success of autonomous vehicles, it is necessary to learn how to design and control the vehicles to mitigate motion sickness for the passengers.  This thesis aims to investigate methods for prediction of motion sickness in autonomous vehicles and how to mitigate it using vehicle dynamics based solutions, with an emphasis on trajectory planning. As a first step, a review and evaluation of existing motion sickness prediction methods were performed. The review highlighted the importance of accurate motion sickness assessment in the early phases of autonomous vehicle design. Two chosen methods (ISO 2631-based and sensory conflict theory-based) were evaluated to estimate individual motion sickness feelings using measured data and subjective assessment ratings from field tests. It can be concluded that the methods can be adjusted to predict individual motion sickness feelings, as shown by the comparison with the experimental data. To continue the work, a review of vehicle dynamics based motion sickness mitigation methods for autonomous vehicles was performed. Several chassis control strategies in literature like active suspension, rear-wheel steering and torque distribution have demonstrated the potential help to reduce motion sickness. Another effective approach to mitigate motion sickness in autonomous vehicles is to regulate vehicle speed and path using trajectory planning which was chosen to be further investigated. The trajectory planning was constructed as an optimisation problem where there is a trade-off between motion sickness and manoeuvre time. The impact of the trajectory planning algorithm to reduce motion sickness was analysed by simulating two different vehicle models in specific test manoeuvres. The results indicate that driving style has a significant influence on motion sickness and trajectory planning algorithms should be carefully designed to find a good balance between journey time and motion sickness. The research presented in this thesis contributes to the development of methodologies for predicting and mitigating motion sickness in autonomous vehicles, helping to achieve the goal of ensuring their overall success. / Utvecklingen av autonoma fordon går snabbt framåt tack vare omfattande insatser från fordonsindustrin och forskare. En av de viktigaste faktorerna för införandet av teknik för autonom körning är åkkomfort och möjligheten att ägna sig åt andra saker än körning, som att läsa, umgås och koppla av, utan att drabbas av åksjuka under resan. För att autonoma fordon ska lyckas fullt ut är det därför nödvändigt att förstå hur man utformar och styr fordonen för att minska risken för att passagerarna drabbas av åksjuka.  Denna licentiatuppsats syftar till att undersöka hur åksjuka kan förutsägas i vägfordon och hur den kan reduceras med hjälp av fordonsdynamikbaserade lösningar, med tonvikt på trajektorieplanering. Som ett första steg genomfördes en granskning och utvärdering av befintliga metoder för åksjukeprediktion. Granskningen belyste vikten av en korrekt bedömning av åksjuka i de tidiga faserna av autonom fordonsdesign. Två valda metoder (ISO 2631-baserad och sensorisk konfliktbaserad) utvärderades för att uppskatta individuell åksjuka med hjälp av uppmätta data och subjektiva bedömningar från fälttester. Slutsatsen är att metoderna kan justeras för att förutsäga individuell åksjuka, vilket framgår av jämförelsen med experimentella data. För att fortsätta arbetet gjordes en genomgång av fordonsdynamikbaserade metoder för att minska åksjuka i autonoma fordon. Flera chassireglerstrategier i litteraturen, såsom aktiv fjädring, bakhjulsstyrning och drivmomentfördelning, har visat sig kunna bidra till att minska åksjuka. En annan effektiv metod för att minska åksjuka i autonoma fordon är att reglera fordonets hastighet och bana med hjälp av trajektorieplanering, vilket valdes att undersökas ytterligare. Trajektorieplaneringen konstruerades som ett optimeringsproblem där det finns en avvägning mellan åksjuka och manövertid. Effekten av trajektorieplaneringsalgoritmen för att minska åksjuka analyserades genom att simulera två olika fordonsmodeller i specifika testmanövrar. Resultaten indikerar att körstil har en betydande inverkan på åksjuka och att algoritmer för trajektorieplanering bör utformas noggrant för att hitta en bra balans mellan restid och åksjuka. Forskningen som presenteras i denna uppsats bidrar till utvecklingen av metoder för att förutsäga och mildra åksjuka i autonoma fordon, vilket hjälper till att uppnå målet att säkerställa deras framgång.

Vehicle Action Intention Prediction plays a more and more crucial role in automated driving and traffic safety. It allows automated vehicles to comprehend the other road participants’ current actions, and foresee the upcoming actions, which can significantly reduce the likelihood of traffic accidents, so as to enhance overall road safety. Meanwhile, by anticipating other vehicles’ movements on the road, the ego vehicle can plan its velocity and trajectory in advance, and make more smooth and finer adjustments during the whole driving process, contributing to a more safe and efficient traffic. Furthermore, the intention prediction enables vehicles to respond proactively rather than reactively in traditional ADAS (Advanced Driver Assistance Systems), such as AEB (Automatic Emergency Braking), which facilitates a more preventive and early intervention approach to traffic safety. In normal conditions, traffic behavior is controlled by traffic rules. This thesis explores vehicle behavior using intention prediction models in scenarios where there are no traffic rules. At hand, we have a unique dataset containing vehicle trajectories, collected from 2 cameras installed overhead on a 1-lane narrowing street, where the vehicles need to negotiate their right of way. After pre-processing these data to form specific input structures, we use different classifier models including both traditional methods and deep learning methods to make vehicle action intention predictions. The data was organized in 3-second windows and contained vehicle position and distance to the center of the intersection along with the speed of both vehicles. We compared and evaluated the model performances and found that MLPs (Multi-Layer Perceptrons) and LSTM (Long Short Term Memory) yield the best performance. Furthermore, a feature selection method and features’ importance analysis are also applied to explore which variables influence the model most in order to explain the internal principle of the prediction model. It was found that close to the narrowing street the first and last samples of the position and distance in the time window and the last sample of the speed of both vehicles were found to influence the model performance the most. Further away from the narrowing street, the first and last samples of the position of the vehicle have a higher influence on the model.