One central challenge for Autonomous Driving (AD) systems is ensuring functional safety. This is affected by all parts of vehicle automation systems: environment perception, decision making, and actuation. The AD system manages its activity towards achieving its goals to maintain in the safety domain, upon an environment using observation through sensors and consequent actuators. Therefore, this research investigates the operational safety for the AD system. In this research, a simulation for the Autonomous Emergency Braking (AEB) system and a simple scenario are constructed on CARLA, an open-source simulator for autonomous driving systems, to investigate the factors that impact the performance of the AEB system. The time-series data that influence the AEB are collected and fed into three time-series analysis algorithms, Autoregressive Integrated Moving Average model (ARIMA), regression tree and Long short-term memory (LSTM), to select a suitable time-series algorithm to be used for the AEB system. The results show that weather, the measurement range of the sensors, and noise can affect the results of the AEB system. After comparing the performance of these three time-series algorithms through contrasting the recall and precision of these three algorithms to detect noise in the data, the results can be obtained that LSTM has the better performance for long-term analysis. And ARIMA is more suitable for short-term time-series analysis. LSTM is chosen to analyze the time-series data, since the long-term time-series analysis is necessary for the AEB system and it can detect the noise in the variables of the AEB system with better performance. / En central utmaning för AD system är att säkerställa funktionell säkerhet. Detta påverkas av alla delar av fordonsautomatiseringssystem: miljöuppfattning, beslutsfattande och aktivering. AD -systemet hanterar sin aktivitet för att uppnå sina mål att upprätthålla inom säkerhetsområdet, i en miljö som använder observation genom sensorer och därav följande ställdon. Därför undersöker denna forskning den operativa säkerheten för AD systemet. I denna forskning konstrueras en simulering för AEB -systemet och ett enkelt scenario på CARLA, en simulator med öppen källkod för autonoma körsystem, för att undersöka de faktorer som påverkar prestandan för AEB systemet. Tidsseriedata som påverkar AEB samlas in och matas in i tre tidsserieanalysalgoritmer, ARIMA, regressionsträd och LSTM, för att välja en lämplig tidsserie-algoritm som ska används för AEB systemet. Resultaten visar att väder, mätområdet för sensorerna och brus kan påverka resultaten av AEB systemet. Efter att ha jämfört prestandan för dessa tre tidsserie-algoritmer genom att kontrastera återkallelsen och precisionen för dessa tre algoritmer för att detektera brus i data kan resultaten erhållas att LSTM har bättre prestanda för långsiktig analys. Och ARIMA är mer lämpad för korttidsanalyser i tidsserier. LSTM väljs för att analysera tidsseriedata, eftersom långsiktig tidsserieanalys är nödvändig för AEB systemet och det kan detektera bruset i variablerna i AEB system med bättre prestanda.

Autonomous vehicles have gained much importance over the last decade owing to their promising capabilities like improvement in overall traffic flow, reduction in pollution and elimination of human errors. However, when it comes to long-distance transportation or working in complex isolated environments like mines, various factors such as safety, fuel efficiency, transportation cost, robustness, and accuracy become very critical. This thesis, developed at the Connected and Autonomous Systems department of Scania AB in association with KTH, focuses on addressing the issues related to fuel efficiency, robustness and accuracy of an autonomous heavy-duty truck used for mining applications. First, in order to improve the state prediction capabilities of the simulation model, a comparative analysis of two dynamic bicycle models was performed. The first model used the empirical PAC2002 Magic Formula (MF) tyre model to generate the tyre forces, and the latter used a piece-wise Linear approximation of the former. On top of that, in order to account for the nonlinearities and time delays in the lateral direction, the steering dynamic equations were empirically derived and cascaded to the vehicle model. The fidelity of these models was tested against real experimental logs, and the best vehicle model was selected by striking a balance between accuracy and computational efficiency. The Dynamic bicycle model with piece-wise Linear approximation of tyre forces proved to tick-all-the-boxes by providing accurate state predictions within the acceptable error range and handling lateral accelerations up to 4 m/s2. Also, this model proved to be six times more computationally efficient than the industry-standard PAC2002 tyre model. Furthermore, in order to ensure smooth and accurate driving, several Model Predictive Control (MPC) formulations were tested on clothoid-based Single Lane Change (SLC), Double Lane Change (DLC) and Truncated Slalom trajectories with added disturbances in the initial position, heading and velocities. A linear time-varying Spatial error MPC is proposed, which provides a link between spatial-domain and time-domain analysis. This proposed controller proved to be a perfect balance between fuel efficiency which was achieved by minimising braking and acceleration sequences and offset-free tracking along with ensuring that the truck reached its destination within the stipulated time irrespective of the added disturbances. Lastly, a comparative analysis between various Prediction-Simulation model pairs was made, and the best pair was selected in terms of its robustness to parameter changes, simplicity, computational efficiency and accuracy. / Under det senaste årtiondet har utveckling av autonoma fordon blivit allt viktigare på grund av de stora möjligheterna till förbättringar av trafikflöden, minskade utsläpp av föroreningar och eliminering av mänskliga fel. När det gäller långdistanstransporter eller komplexa isolerade miljöer så som gruvor blir faktorer som bränsleeffektivitet, transportkostnad, robusthet och noggrannhet mycket viktiga. Detta examensarbete utvecklat vid avdelningen Connected and Autonomous Systems på Scania i samarbete med KTH fokuserar på frågor gällande bränsleeffektivitet, robusthet och exakthet hos en autonom tung lastbil i gruvmiljö. För att förbättra simuleringsmodellens tillståndsprediktioner, genomfördes en jämförande analys av två dynamiska fordonsmodeller. Den första modellen använde den empiriska däckmodellen PAC2002 Magic Formula (MF) för att approximera däckkrafterna, och den andra använde en stegvis linjär approximation av samma däckmodell. För att ta hänsyn till ickelinjäriteter och laterala tidsfördröjningar inkluderades empiriskt identifierade styrdynamiksekvationer i fordonsmodellen. Modellerna verifierades mot verkliga mätdata från fordon. Den bästa fordonsmodellen valdes genom att hitta en balans mellan noggrannhet och beräkningseffektivitet. Den Dynamiska fordonsmodellen med stegvis linjär approximation av däckkrafter visade goda resultat genom att ge noggranna tillståndsprediktioner inom det acceptabla felområdet och hantera sidoacceleration upp till 4 m/s2 . Den här modellen visade sig också vara sex gånger effektivare än PAC2002-däckmodellen. v För att säkerställa mjuk och korrekt körning testades flera MPC varianter på klotoidbaserade trajektorier av filbyte SLC, dubbelt filbyte DLC och slalom. Störningar i position, riktining och hastighet lades till startpositionen. En MPC med straff på rumslig avvikelse föreslås, vilket ger en länk mellan rumsdomän och tidsdomän. Den föreslagna regleringen visade sig vara en perfekt balans mellan bränsleeffektivitet, genom att minimering av broms- och accelerationssekvenser, och felminimering samtidigt som lastbilen nådde sin destination inom den föreskrivna tiden oberoende av de extra störningarna. Slutligen gjordes en jämförande analys mellan olika kombinationer av simulerings- och prediktionsmodell och den bästa kombinationen valdes med avseende på dess robusthet mot parameterändringar, enkelhet, beräkningseffektivitet och noggrannhet.

Autonomous Car (AC) has been more common in recent years. Despite the rapid development of the driving part of the AC, researchers still need to improve the overall experience of the AC's passengers and boost their willingness to adopt the technology. When driving in an AC, passengers need to have a good situation awareness to feel more comfortable riding in an AC and have a higher trust towards the system. One of the options to improve the situation awareness is by giving passengers an explanation about the situation. This study investigates how the situational risk of specific driving scenarios and the availability of visual environment information for passengers will affect the type of explanation needed by the AC passenger. The study was conducted through a series of different scenario tests presented to online study participants and focused on the human interaction to level 4 and 5 AC. This study's primary goal is to understand the human-AC interactions further, thus improving the human experience while riding in an AC. The results show that visual information availability affects the type of explanation passengers need. When no visual information is available, passengers are more satisfied with the type that explain the cause of AC's action (causal explanation). When the visual information is available, passengers are more satisfied with the type that provide intentions behind the AC's certain actions (intentional explanation). Results also show that despite no significant differences in trust found between the groups, participants showed slightly higher trust in the AC that provided causal explanations in situations without visual information available. This study contributes to a better understanding of the explanation type passengers of AC need in the various situational degree of risk and visual information availability. By leveraging this, we can create a better experience for passengers in the AC and eventually boost the adoption of the AC on the road. / Autonomous car (AC) har blivit allt vanligare under de senaste åren. Trots den snabba utvecklingen av själva kördelen hos AC behöver forskare fortfarande förbättra den övergripande upplevelsen för AC-passagerare och öka deras vilja att anta teknologin. När man kör i en AC behöver passagerare ha god situationsmedvetenhet för att känna sig bekväma och ha högre förtroende för systemet. Ett av alternativen för att förbättra situationsmedvetenheten är att ge passagerare en förklaring om situationen. Denna studie undersöker hur den situationella risken för specifika körsituationer och tillgängligheten av visuell miljöinformation för passagerare påverkar vilken typ av förklaring som behövs av AC-passageraren. Studien genomfördes genom en serie olika scenariotester som presenterades för deltagare i en online-studie och fokuserade på mänsklig interaktion med nivå 4 och 5 AC. Denna studiens främsta mål är att förstå människa-AC-interaktionen bättre och därmed förbättra den mänskliga upplevelsen vid färd i en AC. Resultaten visar att tillgängligheten av visuell information påverkar vilken typ av förklaring passagerarna behöver. När ingen visuell information finns tillgänglig är passagerarna mer nöjda med den typ som förklarar orsaken till AC:s agerande (orsaksförklaring). När den visuella informationen finns tillgänglig är passagerarna mer nöjda med den typ som ger intentioner bakom AC:s vissa handlingar (avsiktlig förklaring). Resultaten visar också att trots att inga signifikanta skillnader i tillit hittats mellan grupperna, visade deltagarna något högre förtroende för AC som gav orsaksförklaringar i situationer utan visuell information tillgänglig. Denna studie bidrar till en bättre förståelse för vilken typ av förklaring passagerare i AC behöver vid olika situationella riskgrader och tillgänglighet av visuell information. Genom att dra nytta av detta kan vi skapa en bättre upplevelse för passagerare i AC och på sikt öka antagandet av AC på vägarna.

In the field of autonomous driving a common scenario is to apply deep learningmodels on camera feeds to provide information about the surroundings. A recenttrend is for such vision-based methods to be centralized, in that they fuse imagesfrom all cameras in one big model for a single comprehensive output. Designingand tuning such models is hard and time consuming, in both development andtraining. This thesis aims to reproduce the results of a paper about a centralizedvision-based model performing 3D object detection, called BEVDet. Additionalgoals are to ablate the technique of class balanced grouping and sampling usedin the model, to tune the model to improve generalization, and to change thedetection head of the model to a Transformer decoder-based head. The findings include a successful reproduction of the results of the paper,while adding depth supervision to BEVDet establishes a baseline for the subsequentexperiments. An increasing validation loss during most of the training indicatesthat there is room for improvement in the generalization of the model. Severaldifferent methods are tested in order to resolve the increasing validation loss,but they all fail to do so. The ablation study shows that the class balanced groupingis important for the performance of the chosen configuration of the model,while the class balanced sampling does not contribute significantly. Without extensivetuning the replacement head gives performance similar to the PETR, themodel that the head is adapted from, but fails to match the performance of thebaseline model. In addition, the model with the Transformer decoder-based headshows a converging validation loss, unlike the baseline model.

In autonomous driving, scenario generation can play a critical role when it comes to the verification of the autonomous driving software. Since uncertainty is a major component in driving, there cannot be just one right answer to a prediction for the trajectory or the behaviour, and it becomes important to account for and model that uncertainty. Several approaches have been tried for generating the future scenarios for a vehicle and one such pioneering work set out to model the behaviour of the vehicles probabilistically while tackling the challenges of representation, flexibility, and transferability within one system. The proposed system is called the Semantic Graph Network (SGN) which utilizes feedforward neural networks, Gated Recurrent Units (GRU), and a generative model called the Mixed Density Network to serve its purpose. This thesis project set out in the direction of the implementation of this research work in the context of highway merger scenario and consists of three parts. The first part involves basic data analysis for the employed dataset, whereas the second part involves a model that implements certain parts of the SGN including a variation of the context encoding and the Mixture Density Network. The third and the final part is an attempt to recreate the SGN itself. While the first and the second parts were implemented successfully, for the third part, only certain objectives could be achieved. / Vid autonom körning kan scenariegenerering spela en avgörande roll när det gäller verifieringen av programvaran för autonom körning. Eftersom osäkerhet är en viktig komponent i körning kan det inte bara finnas ett rätt svar på en förutsägelse av banan eller beteendet, och det blir viktigt att redogöra för och modellera den osäkerheten. Flera tillvägagångssätt har prövats för att generera framtidsscenarierna för ett fordon och ett sådant banbrytande arbete gick ut på att modellera fordonens beteende sannolikt samtidigt som utmaningarna med representation, flexibilitet och överförbarhet inom ett system hanteras. Det föreslagna systemet kallas Semantic Graph Network (SGN) som använder neurala nätverk, Gated Recurrent Units (GRU) och en generativ modell som kallas Mixed Density Network för att tjäna sitt syfte. Detta examensarbete riktar sig mot genomförandet av detta forskningsarbete i samband med motorvägssammanslagningsscenariot och består av tre delar. Den första delen involverar grundläggande dataanalys för den använda datamängden, medan den andra delen involverar en modell som implementerar vissa delar av SGN inklusive en variation av kontextkodningen och Mixture Density Network. Den tredje och sista delen är ett försök att återskapa själva SGN. Även om den första och den andra delen genomfördes framgångsrikt, kunde endast vissa mål uppnås för den tredje delen.

4D panoptic segmentation is an emerging topic in the field of autonomous driving, which jointly tackles 3D semantic segmentation, 3D instance segmentation, and 3D multi-object tracking based on point cloud data. However, the difficulty of collection limits the size of existing point cloud datasets. Therefore, data augmentation is employed to expand the amount of existing data for better generalization and prediction ability. In this thesis, we built a new point cloud dataset named VCE dataset from scratch. Besides, we adopted a neural network model for the 4D panoptic segmentation task and proposed a simple geometric method based on translation operation. Compared to the baseline model, better results were obtained after augmentation, with an increase of 2.15% in LSTQ. / 4D-panoptisk segmentering är ett framväxande ämne inom området autonom körning, som gemensamt tar itu med semantisk 3D-segmentering, 3D-instanssegmentering och 3D-spårning av flera objekt baserat på punktmolnsdata. Svårigheten att samla in begränsar dock storleken på befintliga punktmolnsdatauppsättningar. Därför används dataökning för att utöka mängden befintliga data för bättre generalisering och förutsägelseförmåga. I det här examensarbetet byggde vi en ny punktmolndatauppsättning med namnet VCE-datauppsättning från grunden. Dessutom antog vi en neural nätverksmodell för 4D-panoptisk segmenteringsuppgift och föreslog en enkel geometrisk metod baserad på översättningsoperation. Jämfört med baslinjemodellen erhölls bättre resultat efter förstärkning, med en ökning på 2.15% i LSTQ.

Over the past two decades, autonomous driving technology has made tremendous breakthroughs. With this technology, human drivers have been able to take their hands off the wheel in many scenarios and let the vehicle drive itself. Highway scenarios are less disturbed than urban scenarios, so autonomous driving is much simpler to implement and can be accomplished very well with a rule-based approach. However, a significant drawback of the rule-based approach compared to human drivers is that it is difficult to predict the intent of the vehicles in the surrounding environment by designing the algorithm’s logic. In contrast, human drivers can easily implement the intent analysis. Therefore, in this research work, we introduce the prediction module as the upstream of the autonomous driving decision-making module, so that the autonomous driving decision-maker has richer input information to better optimize the decision output by getting the intent of the surrounding vehicles. The evaluation of the final results confirms that our proposed approach is helpful for optimizing Rule-based autonomous driving decisions. / Under de senaste två decennierna har tekniken för autonom körning gjort enorma genombrott. Med denna teknik har mänskliga förare kunnat ta bort händerna från ratten i många situationer och låta fordonet köra sig självt. Scenarier på motorvägar är mindre störda än scenarier i städer, så autonom körning är mycket enklare att genomföra och kan åstadkommas mycket bra med en regelbaserad metod. En betydande nackdel med det regelbaserade tillvägagångssättet jämfört med mänskliga förare är dock att det är svårt att förutsäga avsikten hos fordonen i den omgivande miljön genom att utforma algoritmens logik. Däremot kan mänskliga förare lätt genomföra avsiktsanalysen. I det här forskningsarbetet inför vi därför förutsägelsemodulen som en uppströmsmodul för beslutsfattandet vid autonom körning, så att beslutsfattaren vid autonom körning har mer omfattande information för att bättre optimera beslutsutfallet genom att få reda på de omgivande fordonens intentioner. Utvärderingen av slutresultaten bekräftar att vårt föreslagna tillvägagångssätt är till hjälp för att optimera regelbaserade beslut om autonom körning.

A challenge to release autonomous vehicles to public roads is safety verification of the developed features. Safety test driving of vehicles is not practically feasible as the acceptance criterion is driving at least 2.1 billion kilometers [1]. An alternative to this distance-based testing is the scenario-based approach, where the intelligent vehicles are exposed to known scenarios. Identification of such scenarios from the driving data is crucial for this validation. The aim of this thesis is to investigate the possibility of unsupervised identification of driving scenarios from the driving data. The task is performed in two major parts. The first is the segmentation of the time series driving data by detecting changepoints, followed by the clustering of the previously obtained segments. Time-series segmentation is approached using a Deep Learning method, while the second task is performed using time series clustering. The work also includes a visual approach for validating the time-series segmentation, followed by a quantitative measure of the performance. The approach is also qualitatively compared against a Bayesian Nonparametric approach to identify the usefulness of the proposed method. Based on the analysis of results, there is a discussion about the usefulness and drawbacks of the method, followed by the scope for future research. / En utmaning att släppa autonoma fordon på allmänna vägar är säkerhetsverifiering av de utvecklade funktionerna. Säkerhetstestning av fordon är inte praktiskt genomförbart eftersom acceptanskriteriet kör minst 2,1 miljarder kilometer [1]. Ett alternativ till denna distansbaserade testning är det scenaribaserade tillväga-gångssättet, där intelligenta fordon utsätts för kända scenarier. Identifiering av sådana scenarier från kördata är avgörande för denna validering. Syftet med denna avhandling är att undersöka möjligheten till oövervakad identifiering av körscenarier från kördata. Uppgiften utförs i två huvuddelar. Den första är segmenteringen av tidsseriedrivdata genom att detektera ändringspunkter, följt av klustring av de tidigare erhållna segmenten. Tidsseriesegmentering närmar sig med en Deep Learningmetod, medan den andra uppgiften utförs med hjälp av tidsseriekluster. Arbetet innehåller också ett visuellt tillvägagångssätt för att validera tidsserierna, följt av ett kvantitativt mått på prestanda. Tillvägagångssättet jämförs också med en Bayesian icke-parametrisk metod för att identifiera användbarheten av den föreslagna metoden. Baserat på analysen av resultaten diskuteras metodens användbarhet och nackdelar, följt av möjligheten för framtida forskning.

The field of autonomous driving is as active as it has ever been, but the reality where an autonomous vehicle can drive on all roads is currently decades away. Instead, using an on-the-fly learning method, such as qHebb learning, a system can,after some demonstration, learn the appearance of any road and take over the steering wheel. By training in a simulator, the amount and variation of training can increase substantially, however, an on-rails auto-pilot does not sufficiently populate the learning space of such a model. This study aims to explore concepts that can increase the variance in the training data whilst the vehicle trains online. Three computationally light concepts are proposed that each manages to result in a model that can navigate through a simple environment, thus performing better than a model trained solely on the auto-pilot. The most noteworthy approach uses multiple thresholds to detect when the vehicle deviates too much and replicates the action of a human correcting its trajectory. After training on less than 300 frames, a vehicle successfully completed the full test environment using this method. / Autonom körning är ett aktivt område inom både industrin och forskarvärlden, men ännu är en verklighet där förarlösa fordon kan ta sig fram oavsett väg, decennier bort. Istället kan man genom att använda en adaptiv inlärningsmodell som qHebb learning uppnå ett system som kan ta sig fram självmant på alla vägar, efter en initial inlärningsperiod. Genom att använda en simulator skulle möjligheten att träna en sådan modell öka avsevärt, likaså variationen av vägtyper och det omgivande landskapet. Dock klarar inte en enformig autopilot att fylla modellens lärningsrymd. Detta arbete stävar efter att utforska koncept som kan öka variationen på träningsdatan, medan fordonet kör. Tre prestandalätta metoder presenteras som alla överträffar autopiloten och resulterar i en modell som lärt sig att följa en väg längs kurvor och raksträckor. Det främsta konceptet använder sig av två tröskelvärden för att korrigera fordonets styrning då den avviker för mycket från den korrekta rutten. Efter träning på färre än 300 bilder lyckas denna metod slutföra alla testsegment utan kollision.

We present an autonomous driving agent on a simulated highway driving scenario with vehicles such as cars and trucks moving with stochastically variable velocity profiles. The focus of the simulated environment is to test tactical decision making in highway driving scenarios. When an agent (vehicle) maintains an optimal range of velocity it is beneficial both in terms of energy efficiency and greener environment. In order to maintain an optimal range of velocity, in this thesis work I proposed two novel reward structures: (a) gaussian reward structure and (b) exponential rise and fall reward structure. I trained respectively two deep reinforcement learning agents to study their differences and evaluate their performance based on a set of parameters that are most relevant in highway driving scenarios. The algorithm implemented in this thesis work is double-dueling deep-Q-network with prioritized experience replay buffer. Experiments were performed by adding noise to the inputs, simulating Partially Observable Markov Decision Process in order to obtain reliability comparison between different reward structures. Velocity occupancy grid was found to be better than binary occupancy grid as input for the algorithm. Furthermore, methodology for generating fuel efficient policies has been discussed and demonstrated with an example. / Vi presenterar ett autonomt körföretag på ett simulerat motorvägsscenario med fordon som bilar och lastbilar som rör sig med stokastiskt variabla hastighetsprofiler. Fokus för den simulerade miljön är att testa taktiskt beslutsfattande i motorvägsscenarier. När en agent (fordon) upprätthåller ett optimalt hastighetsområde är det fördelaktigt både när det gäller energieffektivitet och grönare miljö. För att upprätthålla ett optimalt hastighetsområde föreslog jag i detta avhandlingsarbete två nya belöningsstrukturer: (a) gaussisk belöningsstruktur och (b) exponentiell uppgång och nedgång belöningsstruktur. Jag utbildade respektive två djupförstärkande inlärningsagenter för att studera deras skillnader och utvärdera deras prestanda baserat på en uppsättning parametrar som är mest relevanta i motorvägsscenarier. Algoritmen som implementeras i detta avhandlingsarbete är dubbel-duell djupt Q- nätverk med prioriterad återuppspelningsbuffert. Experiment utfördes genom att lägga till brus i ingångarna, simulera delvis observerbar Markov-beslutsprocess för att erhålla tillförlitlighetsjämförelse mellan olika belöningsstrukturer. Hastighetsbeläggningsgaller visade sig vara bättre än binärt beläggningsgaller som inmatning för algoritmen. Dessutom har metodik för att generera bränsleeffektiv politik diskuterats och demonstrerats med ett exempel.