Perceiving the environment is a crucial aspect of autonomous vehicles. To plan the route, the autonomous vehicle needs to be able to detect objects such as cars and pedestrians. This is possible through 3D object detection. However, labeling this type of data is time-consuming. By utilizing a virtual environment, there is an opportunity to generate data and label it in a quicker manner. This thesis aims to investigate how well three selected state-of-the-art models perform on a synthetic dataset of point cloud data. The results showed that the models attain a higher average precision compared to a dataset from the real world. This is mainly due to the virtual environment’s simplicity in relation to the real world’s detail. The results also suggest that models using different representations of point cloud data have different capabilities of transferring knowledge to the real world. / Att uppfatta miljön är en avgörande aspekt av autonoma fordon. Till planera rutten behöver det autonoma fordonet kunna upptäcka föremål som bilar och fotgängare. Detta är möjligt genom 3D-objektdetektering. Att märka denna typ av data är dock tidskrävande. Genom att använda en virtuell miljö, finns det en möjlighet att generera data och märka dem på ett snabbare sätt sätt. Denna avhandling syftar till att undersöka hur väl tre valda state-of-the-art modeller utför på en syntetiskt dataset av punktmolndata. Resultaten visade att modellerna uppnår en average precision jämfört med ett dataset från den riktiga världen. Detta beror främst på den virtuella miljöns enkelhet i förhållande till den verkliga världens detaljer. Resultaten tyder också på att modeller som använder olika representationer av punktmolnsdata har olika möjligheter att överföra kunskap till den verkliga världen.

5G is currently being implemented around the world. A way to save resources in 5G could be to have several sector carriers sharing one power source. This requires being able to predict the electrical power of the sector carriers to make sure they do not exceed the capability of the power source. This thesis investigates deep learning for predicting the electrical power of a sector carrier. The chosen deep learning models are Multilayer perceptron (MLP) and Long short-term memory network (LSTM) and they are trained and evaluated on seven generated datasets from a sector carrier in Lund. The study consists of two parts, comparing the predictive performance between MLP and LSTM as well as determining the importance of each input feature on the predictions. It is concluded from the results that the MLP outperforms the LSTM in all datasets and should be the preferred model. The most important input feature for the predictions is by far the number of Resource elements (REs) used per slot. The number of Physical resource blocks (PRBs), modulation, scaling, number of streams and codebook indices have varying importance. The results can be used for guidance when implementing a real time system for which model and which input features to include. More work is required in investigating how the models perform on aggregated data from several sector carriers and determining if the models could feasibly be implemented for real time predictions. / 5G håller på att implementeras runtom i världen. Ett sätt att spara resurser i 5G skulle kunna vara att ha flera sektorbärare dela på en strömkälla. För att implementera detta behöver man kunna förutsäga effekten av sektorbärarna för att försäkra sig om att de inte kommer överstiga den maximala effekten strömkällan tillåter. I denna avhandling undersöks djupinlärning för att förutsäga effekten av en sektorbärare. De använda djupinlärningsmodellerna är Multilayer perceptron (MLP) och Long short-term memory (LSTM) och de tränas och utvärderas på sju stycken olika dataset genererade från en sektorbärare i Lund. Studien är uppdelad i två delar, en del där MLP och LSTM jämförs med hänsyn till deras prediktiva förmåga och en del där varje datavariabel utvärderas till hur viktig den är för modellernas förutsägelser. Från resultaten kunde slutsatsen dras att MLP presterar bättre än LSTM på alla sju dataset och att MLP bör väljas före LSTM. Den viktigaste datavariabeln är antalet resurs element med en signifikant skillnad jämfört med övriga datavariabler. Antalet fysiska resursblock, modulationen, skalningsfaktorn, antalet strömmar och kodboksindex har varierande viktighet. Resultaten kan användas som stöd för implementering av realtid system för att bestämma lämplig model och data. Mer arbete krävs för att undersöka hur modellerna presterar på data som är aggregerat från flera sektorbärare samt undersöka huruvida det är genomförbart att implementera ett realtid system för förutsägelser utifrån beräkningskraft och kostandsanalys.

Tabular data is the most common form of data, and is abundant throughout crucial industries, such as banks, hospitals and insurance companies. Albeit, deep learning research has largely been dominated by applications to homogeneous data, e.g. images or natural language. Inspired by the great success of deep learning in these domains, recent efforts have been made to tailor deep learning architectures for tabular data. In this thesis, two such models are selected and tested in the context of transactional underwriting. Specifically, the two models are evaluated in terms of predictive performance, interpretability and complexity, to ultimately see if they can compete with gradient boosted tree models and live up to industry requirements. Moreover, the pre-training capabilities of the deep learning models are tested through transfer learning experiments across different markets. It is concluded that the two models are able to outperform the benchmark gradient boosted tree model in terms of RMSE, and moreover, pre-training across markets gives a statistically significant improvement in RMSE, on a level of 0.05. Furthermore, using SHAP, together with model specific explainability methods, it is concluded that the two deep learning models’ explainability is on-par with gradient boosted tree models. / Tabelldata är den vanligaste formen av data och finns i överflöd i viktiga branscher, såsom banker, sjukhus och försäkringsbolag. Även om forskningen inom djupinlärning till stor del dominerats av tillämpningar på homogen data, t.ex. bilder eller naturligt språk. Inspirerad av den stora framgången för djupinlärning inom dessa domäner, har nyligen ansträngningar gjorts för att skräddarsy djupinlärnings-arkitekturer för tabelldata. I denna avhandling väljs och testas två sådana modeller på problemet att estimera vinst marginalen på en transaktion. Specifikt utvärderas de två modellerna i termer av prediktiv prestanda, tolkningsbarhet och komplexitet, för att i slutändan se om de kan konkurrera med gradient boosted tree-modeller och leva upp till branschkrav. Dessutom testas för-träningsförmågan hos djupinlärningmodellerna genom överföringsexperiment mellan olika marknader. Man drar slutsatsen att de två modellerna kan överträffa benchmark gradient boosted tree-modellen när det gäller RMSE, och dessutom ger för-träning mellan marknader en statistiskt signifikant förbättring av RMSE, på en nivå av 0,05. Vidare, med hjälp av SHAP, tillsammans med modellspecifika förklaringsmetoder, dras slutsatsen att de två djupinlärning-modellernas förklaringsbarhet är i nivå med gradient boosted tree-modellerna.

Generative machine learning models are capable of generating remarkably realistic samples. Some models generate images that look entirely natural, and others generate text that reads as if a human wrote it. However, judging the quality of these models is a major challenge. Today, the most convincing method is to use humans to evaluate the quality of generated samples. However, humans are biased, costly, and inefficient. Therefore, there is a great need for automatic methods. MAUVE is a recent advancement in the evaluation of generative text models. It compares generated data with real data and returns a score that quantifies their similarity. This is accomplished with the help of a neural network, which provides the understanding of text required to evaluate its quality. MAUVE is motivated by its correspondence with human judgment, and this is shown in multiple experiments. This thesis contributes in two significant ways: First, we complement experiments and discussions made in the original paper. Importantly, we demonstrate that MAUVE sometimes fails to recognize quality differences between generative models. This failure is due to the choice of neural network. Later, we demonstrate that MAUVE can be used for more than just text evaluation. Specifically, we show that it can be applied to images. This is accomplished by using a neural network specialized in image recognition. However, the steps can be repeated for any data type, meaning that MAUVE can potentially become a more generalized measurement than suggested in the original paper. Our second contribution is an extension toMAUVEcalled Sequence-MAUVE (S-MAUVE). The score MAUVE produces can be seen as an average of the overall quality of generated text. However, some generative models initially produce excellent text, but see drops in quality as the sequences grow longer. Therefore, a single score that represents entire sequences is likely to omit important details. Instead, S-MAUVE evaluates generated text at the smallest possible level. The result is a sequence of scores, which give users more detailed feedback about the behavior of a generative model. / Generativa maskininlärningsmodeller kan generera data av enastående kvalitet. Vissa modeller genererar bilder av ansikten som ser helt realistiska ut, och andra genererar text som verkar varit skriven av en människa. Trots detta så är det inte klart hur dessa modeller ska evalueras. Idag så är den främsta metoden mänsklig evaluering: En person får utgöra huruvida generade data verkar realistisk eller inte. Mänsklig evaluering har flera nackdelar. Människor är partiska, dyra och långsamma. Därför behövs det automatiska evalueringsverktyg. MAUVE är ett ny metod för att evaluera generative textmodeller som jämför hur lik genererad data är med äkta data. Detta åstadkoms med hjälp av ett neuralt nätverk, som bidrar med den förståelse av text som krävs för att evaluera den. MAUVE är motiverat av att dess omdömen överensstämmer med mänsklig evaluering. Den här uppsatsen bidrar på två sätt. Till att börja med komplementerar vi experiment och diskussioner gjorda i den ursprungliga rapporten o m MAUVE. Till exempel så visar vi att MAUVE ibland inte lyckas känna av kvalitetsskillnader mellan olika generativa modeller. Detta på grund av val av neuralt nätverk. Efteråt så demonstrerar vi att MAUVE kan appliceras på andra typer av data än text. Mer specifikt så applicerar vi MAUVE på bilder. Detta åstadkoms genom att använda ett neuralt nätverk specialiserat på bildigenkänning, istället för text. Stegen vi följer kan upprepas för vilken typ av data som helst, vilket innebär att MAUVE kan användas som ett mer generellt mått än vad den ursprungliga artikeln ger sken för. Vårt andra bidrag är att utveckla MAUVE till det vi kallar för S-MAUVE. MAUVE använder bara sammanfattningar av hela texter som bas för sina jämförelser. En konsekvens av det är att den endast gör påståenden om textdatas genomsnittliga kvalitet. Men, det är välkänt att kvaliteten hos genererad textdata kan variera beroende på var i texten man befinner sig. Många generativa textmodeller producerar sekvenser som är verklighetstrogna i början, men blir sämre och repetitiva senare. Till skillnad från MAUVE så evaluerar S-MAUVE genererad text på minsta möjliga detaljnivå. Resultaten är en sekvens av poäng, som ger användare mer information om egenskaperna hos den studerade generativa modellen.

Motion planning consists of finding a feasible path of an object between an initial state and a goal state, and commonly constitutes a sub-system of a larger autonomous system. Motion planners that utilize sampling-based algorithms create an implicit representation of the search space via sampling said search space. Autonomous systems that rely on real-time motion planning benefit from the ability of these algorithms to quickly compute paths that are optimal or near optimal. For sampling-based motion planning algorithms, the sampling strategy greatly affects the convergence speed of finding these paths, i.e., how the sampling distribution is shaped within the search space. In baseline approaches, the samples may be drawn with uniform probability over this space. This thesis project explores a learning-based approach that can utilize experience from previous successful motion plans to provide useful information in novel planning scenarios, as a means of improvement over conventional motion planning methods. Specifically, the focus has been on learning the sampling distributions in both the state space and the control space of an autonomous ground vehicle. The innovatory parts of this work consist of (i) learning the control space sampling distributions, and (ii) learning said distributions for a tractor-trailer system. At the core of the method is an artificial neural network consisting of a conditional variational autoencoder. This artificial neural network is capable of learning suitable sampling distributions in both the state space and control space of a vehicle in different planning scenarios. The method is tested in four different environments and for two kinds of vehicles. Evaluation is partly done by comparison of results with a conventional motion planning algorithm. These evaluations indicates that the artificial neural network can produce valuable information in novel planning scenarios. Future work, primarily on how the artificial neural network may be applied to motion planning algorithms, is necessary to draw further conclusions. / Rörelseplanering består av att hitta en genomförbar bana för ett objekt mellan ett initialtillstånd och ett måltillstånd, och utgör vanligtvis ett delsystem av ett större autonomt system. Rörelseplanerare som använder provtagningssbaserade algoritmer skapar en implicit representation av sökutrymmet via provtagning av sökutrymmet. Autonoma system som förlitar sig på rörelseplanering i realtid drar nytta av dessa algoritmers förmåga att snabbt beräkna banor som är optimala eller nästan optimala. För provtagningssbaserade rörelseplaneringsalgoritmer påverkar provtagningsstrategin i hög grad konvergenshastigheten för att hitta dessa vägar, dvs. hur provtagningsfördelningen är formad inom sökutrymmet. I standardmetoder kan stickproven dras med jämn sannolikhet över detta utrymme. Detta examensarbete utforskar en lärande-baserat metod som kan utnyttja erfarenheter från tidigare lyckade rörelseplaner för att tillhandahålla användbar information i nya planeringsscenarier, som ett medel för förbättring jämfört med konventionella rörelseplaneringsmetoder. Specifikt har fokus legat på att lära sig provtagningssfördelningarna i både tillståndsrummet och styrsignals-rummet för ett autonomt markfordon. De nyskapande delarna av detta arbete består av att (i) lära sig kontrollutrymmessamplingsfördelningarna, och (ii) inlärning av nämnda provtagningsfördelningarna för ett traktor-släpsystem. Kärnan i metoden är ett artificiellt neuralt nätverk bestående av en conditional variational autoencoder. Detta artificiella neurala nätverk är kapabelt att lära sig lämpliga provtagningsfördelningar i både tillståndsrummet och kontrollrummet för ett fordon i olika planeringsscenarier. Metoden testas i fyra olika miljöer och för två olika av fordon. Utvärdering görs delvis genom jämförelse av resultat med en konventionell rörelseplaneringsalgoritm. Dessa utvärderingar tyder på att det artificiella neurala nätverket kan producera värdefull information i nya planeringsscenarier. Mer forskning, i första hand med hur det artificiella neurala nätverket kan tillämpas på rörelseplaneringsalgoritmer, är nödvändigt för att dra ytterligare slutsatser.

Magnetic resonance imaging (MRI) is a critical diagnostic tool in medical practice, enabling non-invasive visualization of anatomy and physiological processes. Nonetheless, MRI has inherent spatial resolution limitations, which may limit its diagnostic capabilities. Recently, a new technology employing Radio-frequency Amplification by Stimulated emission of Radiation (RASER) has emerged to improve MRI resolution. Similar to a laser, RASER-MRI signals spontaneously emerge without the need for a radio frequency pulse(RF), which additionally enhances the safety of the process. However, RASER-MRI images frequently exhibit a significant presence of image artifacts due to the nonlinear behavior between image slices. This master’s thesis aims to determine whether image artifacts can be eliminated using deep artificial neural networks. The neural networks were trained on purely synthetic data, due to the complexity of real RASER experiments. The implementation was split into three phases. The first phase focused on the reconstruction of 1D RASER profiles. The test done during this phase showed that the reconstruction was preferably made with a Convolutional Neural Network (CNN). The CNN does not require knowledge of the total population inversion, and the ideal input was the most volatile RASER spectrum. The second phase was dedicated to reconstructing simulated RASER-MRI images. This phase started with the creation of a random RASER-MRI image generator which was used to generate the training and testing data. The reconstruction was successful and was further enhanced with an image-to-image Unet. The entire deep learning pipeline did not suffice for real data, which sparked the third phase. The third phase focused on simulating more realistic RASER data. The new data improved the result, however, the reconstruction did not suffice. Further research needs to be done into ways to make the simulation more realistic to improve the reconstruction of the real RASER-MRI image. However, this project concludes that simulated RASER-spectra can be reconstructed using deep learning.

ChatGPT is a recently released chatbot that through the use of deep learning can generate human-like statements on a variety of topics. Deep learning models have a potential to affect politics. They can for instance be used as a source for political information or be used to create and spread political messages. ChatGPT is itself able to describe the stances of different political parties and can generate political messages based on these stances. In this thesis, a semantic similarity program, utilizing the models Stanza and Sentence-BERT, is implemented. This program is used to compare the semantic similarity of political statements and information generated by ChatGPT to authentic statements and information written by Swedish political representatives prior to the 2022 general election. The results of the thesis demonstrate that ChatGPT with relatively high accuracy (over 60 % when three options are available) is able to correctly reflect the standpoints of Swedish political parties in specific political questions. When compared to authentic political information using semantic similarity, there is no discernible difference between the scores achieved by ChatGPT’s statements and the scores achieved by authentic statements from political representatives. This might reflect that ChatGPT performs well in semantically mimicking the style used by political representatives. Alternatively, the result could indicate limited usefulness of semantic similarity as a comparative method for political statements. / ChatGPT är en nyligen släppt chattrobot som med hjälp av djupinlärning kan skapa människo-liknande uttalanden inom en rad olika ämnen. Det är möjligt för djupinlärningsmodeller att ha politisk påverkan. Djupinlärningsmodeller kan exempelvis användas som källor för politisk information eller användas för att skapa och sprida politiska meddelanden. ChatGPT har förmågan att beskriva ståndpunkterna hos olika politiska partier samt generera politiska meddelanden baserat på dessa ståndpunkter. I denna studie implementeras ett program för att avgöra semantisk likhet mellan texter. Programmet använder modellerna Stanza och Sentence-BERT. Med hjälp av programmet jämförs semantisk likhet mellan politiska uttalanden och information genererad av ChatGPT, och autentiska uttalanden och autentisk information skriven av svenska politiska representanter innan riksdagsvalet i Sverige 2022. Studiens resultat visar att ChatGPT med relativt hög korrekthet (över 60 % när tre alternativ är möjliga) lyckas framföra samma ståndpunkter som riktiga representanter från de olika partierna i specifika politiska frågor. Ingen märkbar skillnad i semantisk likhet hittas när ChatGPT:s och riktiga representanters uttalanden jämförs med riktig politisk information. Detta kan visa på att ChatGPT är bra på att semantiskt härma stilen som används av politiska representanter. Resultatet kan alternativt tolkas som tydande på att semantisk likhet har ett begränsat värde som jämförelsemetod för politiska texter.

Internets enorma omfattning har resulterat i ett överflöd av information som är oorganiserad och spridd över olika hemsidor. Det har varit motivationen för automatisk informationsextraktion av hemsidor sedan internets begynnelse. Nuvarande strategier använder främst heuristik och metoder för naturlig språkbehandling på HTML-koden för hemsidorna. Med tanke på att hemsidor utformas för att vara visuella och interaktiva för mänsklig användning utforskar denna studie potentialen för datorseendebaserade metoder för informationsextraktion från webben. I denna studie tränas och utvärderas state-of-the-art modeller för objektigenkänning i flera experiment på dataset av e-handelswebbplatser för att utvärdera modellernas potential. Resultaten indikerar att en förtränad Conditional DETR-arkitektur med en ResNet50 ryggrad kan finjusteras för att konsekvent identifiera måletiketter från nya domäner med ett mAP_50 >80%. Visuell extraktion på nya exempel inom kända domänstrukturer visade en ännu högre mAP_50 över 98%. Slutligen granskar denna studie den nuvarande litteraturen för dataset som kan användas inom visuell extraktion och belyser vikten av domänmångfald i träningsdata. Genom detta arbete ges initiala insikter i tillämpningen av datorseende inom informationsextraktion från webben, i hopp om att inspirera vidare forskning i denna riktning. / The vastness of the internet has resulted in an abundance of information that is unorganized and dispersed across numerous web pages. This has been the motivation for automatic web page extraction since the dawn of the internet era. Current strategies primarily employ heuristics and natural language processing methods to the HTML of web pages. However, considering the visual and interactive nature of web pages designed for human use, this thesis explores the potential of computer-vision-based approaches for web page extraction. In this thesis, state-of-the-art object detection models are trained and evaluated in several experiments on datasets of e-commerce websites to determine their viability. The results indicate that a pre-trained Conditional DETR architecture with a ResNet50 backbone can be fine-tuned to consistently identify target labels of new domains with an mAP_50 >80%. Visual extraction on new examples within known domain structures showed an even higher mAP_50 above 98%. Finally, this thesis surveys the state-of-the datasets that can be used for visual extraction and highlights the importance of domain diversity in the training data. Through this work, initial insights are offered into the application of computer vision in web page extraction, with the hope of inspiring further research in this direction.

The annotation of medical images is a critical task for many downstream applications. However, the lack of a unified annotation nomenclature has resulted in inconsistency and ambiguity in the storage and use of such data. In this thesis, we propose and evaluate a novel annotation nomenclature for medical images. Our nomenclature is designed to be intuitive, easy to use and to expand. We also developed a knowledge database storing large medical image datasets that integrates the new nomenclature. The database is implemented as a server application exposing REST APIs. This allows users to upload/download datasets and query the data based on the annotations and to integrate the system in existing frameworks. We conducted a user study to assess the usability characteristics of the label nomenclature and its integration in the new system. The results collected from the user base are positive. The nomenclature is well perceived and the users had rated positively the usability of the whole system. / Annotering av medicinska bilder är en kritisk uppgift för många efterföljande tillämpningar. Bristen på en enhetlig annoteringsnomenklatur har emellertid resulterat i inkonsekvens och tvetydighet i lagring och användning av sådana data. I denna avhandling föreslår och utvärderar vi en ny annoteringsnomenklatur för medicinska bilder. Vår nomenklatur är utformad för att vara intuitiv, lätt att använda och att expandera. Vi har också utvecklat en kunskapsdatabas som lagrar stora medicinska bildsätt som integrerar den nya nomenklaturen. Databasen är implementerad som en serverapplikation som exponerar REST API: er. Detta gör att användare kan ladda upp / ladda ner datasätt och söka efter data baserat på annotationer och integrera systemet i befintliga ramverk. Vi genomförde en användarstudie för att bedöma användbarhetskaraktäristikerna för etikettnomenklaturen och dess integration i det nya systemet. Resultaten som samlades in från användarbasen är positiva. Nomenklaturen är väl uppfattad och användarna har positivt betygsatt användbarheten i hela systemet.

As organizations and critical infrastructure increasingly rely on computer networks for their function, cyber defense becomes more and more important. A recent trend is to employ predictive methods in cybersecurity. Attack projection attempts to predict the next step in an ongoing attack. Previous research has attempted to solve attack projection using deep learning relying solely on LSTM networks. In this work, by contrast, we solved the attack projection problem using three different neural network architectures: an LSTM, a Transformer, and a hybrid LSTM­Transformer model. We then proposed a way to integrate our neural models into an existing software framework that relies on sequential rule mining to predict future security alerts. The models were trained and evaluated on a publicly available dataset of network security alerts and evaluated with respect to precision and recall of alert predictions. We found that the Transformer architecture had the best overall performance in all but one experiment and that the LSTM architecture performed the worst across all experiments. / Då organisationer och kritisk infrastruktur blir alltmer beroende av datornätvärk för sin verksamhet, blir cyberförsvar alltmer viktigt. En pågående trend är att använda prediktiva metoder inom cybersäkerhet. Attackprojicering innebär att försöka förutspå nästa steg i en pågående cyberattack. Tidigare forskning som försökte tillämpa djupinlärning på attackprojicering använde sig enbart av LSTM­nätverk. I detta arbete använde vi däremot tre olika neurala arkitekturer: en LSTM, en Transformer och en LSTM­Transformer­hybrid. Vi föreslog sedan ett sätt att integrera våra modeller med ett befintligt mjukvaruramverk som använder sig av sekventiella regler för att förutspå kommande larm. Modellerna tränades och utvärderades på en publik datamängd och utvärderades med hänsyn till precision och återkallelse. Vi fann att Transformer­modellen hade bäst prestation i alla utom ett experiment och att LSTM­modellen presterade sämst i alla våra experiment.