In this thesis, we explore Lagrangian Neural Networks (LNNs) for system identification of Autonomous Underwater Vehicles (AUVs) with 6 degrees of freedom. One of the main challenges of AUVs is that they have limited wireless communication and navigation under water. AUVs operate under strict and uncertain conditions, where they need to be able to navigate and perform tasks in unknown ocean environments with limited and noisy sensor data. A crucial requirement for localization and adaptive control of AUVs is having an accurate and reliable model of the system’s nonlinear dynamics while taking into account the dynamic environment of the ocean. Most of these dynamics models do not incorporate data. The collection of data for AUVs is difficult, but necessary in order to have more flexibility in the model’s parameters due to the dynamic environment of the ocean. Yet, traditional system identification methods are still dominant today, despite the recent breakthroughs in Deep Learning. Therefore, in this thesis, we aim for a data-driven approach that embeds laws from physics in order to learn the state-space model of an AUV. More precisely, exploring the LNN framework for higher-dimensional systems. Furthermore, we also extend the LNN to account for non-conservative forces acting upon the system, such as damping and control inputs. The networks are trained to learn from simulated data of a second-order ordinary differential equation of an AUV. The trained model is evaluated by integrating paths from different initial states and comparing them to the true dynamics. The results yielded a model capable of predicting the output acceleration of the state space model but struggled in learning the direction of the forward movement with time. / I den här uppsatsen utforskas Lagrangianska Neurala Nätverk (LNN) för systemidentifiering av Autonoma Undervattensfordon (AUV) med 6 frihetsgrader. En av de största utmaningarna med AUV är deras begränsningar när det kommer till trådlös kommunikation och navigering under vatten. Ett krav för att ha fungerande AUV är deras förmåga att navigera och utföra uppdrag under okända undervattensförhållanden med begränsad och brusig sensordata. Dessutom är ett kritiskt krav för lokalisering och adaptiv reglerteknik att ha noggranna modeller av systemets olinjära dynamik, samtidigt som den dynamiska miljön i havet tas i beaktande. De flesta sådana modeller tar inte i beaktande sensordata för att reglera dess parameterar. Insamling av sådan data för AUVer är besvärligt, men nödvändigt för att skapa större flexibilitet hos modellens parametrar. Trots de senaste genombrotten inom djupinlärning är traditionella metoder av systemidentifiering dominanta än idag för AUV. Det är av dessa anledningar som vi i denna uppsats strävar efter en datadriven metod, där vi förankrar lagar från fysik under inlärningen av systemets state-space modell. Mer specifikt utforskar vi LNN för ett system med högre dimension. Vidare expanderar vi även LNN till att även ta ickekonservativa krafter som verkar på systemet i beaktande, såsom dämpning och styrsignaler. Nätverket tränas att lära sig från simulerad data från en andra ordningens differentialekvation som beskriver en AUV. Den tränade modellen utvärderas genom att iterativt integrera fram dess rörelse från olika initialstillstånd, vilket jämförs med den korrekta modellen. Resultaten visade en modell som till viss del var kapabel till att förutspå korrekt acceleration, med begränsad framgång i att lära sig korrekt rörelseriktning framåt i tiden.

Matematiklärare brukar ofta ha en förkärlek för katederundervisning. John Hattie (2009) har gjort en metastudie över 800 andra metastudier om vilka faktorer som påverkar elevers studieprestationer, och han menar att direktundervisning ger bättre resultat än exempelvis elevaktiva arbetssätt. Men är direktundervisning och katederundervisning samma sak? Enligt Hattie är det inte riktigt samma sak. Det framgår dock inte riktigt vilken typ av elevprestationer som egentligen mätts i de undersökningar som Hattie studerat. Men det man kan utläsa ur litteraturen är att direktundervisning framför allt är tidseffektiv. Den leder emellertid oftast till ytinlärning. Tidseffektiviteten kan förklara matematiklärarnas preferens av just katederundervisning.  Matematikkurserna är ofta innehållsmässigt omfattande och kognitivt svåra för elever att lära sig. Tidsaspekten har därför stor betydelse. För att se om katederundervisning, eller direktundervisning, är bättre för svenska elever på gymnasiet idag än vad elevaktiva arbetssätt är har sex grupper studerats. Tre av dessa har fått undervisning i form av katederundervisning (eller i en form av direktundervisning), och tre av dem har undervisats på ett elevaktivt sätt. Innehållet för lektionerna har varit ickelinjära funktioner i Matematik B. Därefter har resultaten av lektionerna analyserats utifrån vilken typ av kunskap som eleverna visat upp med avseende på yt- och djupkunskap. Ansatsen är fenomenografisk, men analysen är till stor del kvantitativ eftersom inga intervjuer gjorts med eleverna. Resultatet visar att elevaktiva arbetssätt är att föredra både när det gäller yt- och djupinlärning, Eleverna tyckte också bättre om den formen, vilket leder till ökad motivation för lärande. Direktundervisning, så som det definieras i Hattie, kan också ge bra resultat, särskilt vad gäller ytkunskaper, om alla stegen som Adams och Engelmann definierat följs.

 Nordlund B (2010) Rida i harmoni. En studie om hur ryttare lyckas praktisera sin teori. C-uppsats i pedagogik. Högskolan i Gävle.   Uppsatsens syfte är att undersöka hur ryttaren tänker när den letar harmoni i sin ridning. Genom en kvalitativ studie fick informanterna förklara sina teoretiska kunskaper om vad harmoni är och hur det upplevs. Sedan fick de beskriva hur de tänker när de letar efter harmoni i ridningen. Med detta som grund försökte jag sedan att tolka de faktorer som såg ut att påverka dem när de letade efter harmonin i ridningen.   Jag hoppades också att studien skulle ge vägledning om hur ridundervisningen kan utvecklas så att lärandet i ridning underlättas.   Uppsatsen grundar sig på en kvalitativ studie med sex ryttare som går på gymnasiet och där har ridning på schemat.   Studien påvisade att ryttarna förstod teorin och de som hade den praktiska kunskapsnivån kunde hitta harmoni i ridningen om de fick handledning. Utan handledning hade de svårare att hitta dit. Min bild av informanterna är att de har svårt att se sin ridning i ett större sammanhang. Det jobbar här och nu och försöker lösa eventuella problem med ett relativt kortsiktligt tänkande. Ryttarna förstod dock vad de gjorde och varför. Detta utan att värdera hur rätt eller fel de utförde det som de trodde att de gjorde.

Sexual abuse is a horrible reality for many children around the world. As technology improves the availability of encryption schemes and anonymity over the internet, the perpetrators of these acts are increasingly hard to track. There have been several advances in recent time to automate the work of trying to catch these perpetrators and especially image recognition has seen great promise. While image recognition is a natural approach to these subjects as many abuses are documented and shared between perpetrators, there are potentially many leads that go unexplored if only focusing on images and videos. This study evaluates how methods of supervised machine learning solely based on textual data can point us to posts on forums which are connected to the distribution of child sexual abusive material. Feature representation techniques such as word-vectors, paragraphvectors and the FastText algorithm were used in conjunction with supervised machine learning methods based on deep learning, including methods of multilayer perceptrons, convolutional neural networks and long-short term memory models. The models were trained and evaluated on a dataset based on forum posts from a Dark Net leak from last year, and are evaluated as well on text collected from websites that had been manually verified by Ecpat. Those models were compared to a baseline model based on logistic regression. It was found that those state-of-the-art models achieve a similar performance, all outperforming the 'benchmark' logistic regression model. Further improvements can be achieved based on the availability of more annotated data.

The artificial intelligence is a constant topic of conversation with a field of research that is pushed forward by some of the world's largest companies and universities. Deep learning is a branch of machine learning within artificial intelligence based on learning representation of data such as images and texts by processing the data through deep neural networks. Sports are competitive businesses that over the years have become more data driven. Statistics play a big role in the development of the practitioners and the tactics in order to win. Sport organizations have big statistic teams since statistics are manually obtained by these teams. To learn a machine to recognize patterns and actions with deep learning would save a lot of time. In this thesis a deep learning approach is used to examine how well it can perform to classify the actions pass and run in American footbal lgames. A deep learning architecture is first trained and developed on a public video dataset and then trained to classify run and pass plays on a new American football dataset called the All-22 dataset. Results and earlier research show that deep learning has potential to automatize sport statistic but is not yet ready to overtake the role statistic teams have. Further research, bigger and more task specific datasets and more complex architectures are required to enhance the performance of this specific type of deep learning based video recognition.

Det här är en systematisk litteraturstudie som belyser förhållandet mellan de tre begreppen entreprenöriellt förhållningssätt, problemlösning i matematik och djupinlärning i matematik. Resultatet består av två metaanalyser som behandlar begreppens likheter och skillnader men också dess samband till olika teoretiska utgångspunkter. Resultatet visar att det finns starka samband mellan vissa entreprenöriella förmågor och problemlösning i matematik. Dock kan det finnas ett behov av att införa vissa entreprenöriella aspekter, som ansvar, engagemang och komplexitet, i undervisning i syfte att hjälpa eleverna att uppnå en djupinlärning i matematik. Resultatet visar också att undervisningsproblem ofta uppstår genom en sambandsbrist mellan lärare och elev. Resultatet analyseras och diskuteras utifrån perspektivet att världen snabbt förändras och innehåller en allt större komplexitet vilket leder till ett behov av att förbereda eleverna matematiskt inför denna allt mer komplexa värld.

Allt fler misshandelsbrott sker i Sverige enligt Brå. För att reducera detta kan det som fångats på övervakningskameror användas i brottsutredningar, för att senare användas som bevismaterial till att döma den eller de skyldiga till brottet. Genom att optimera övervakningen kan företag använda sig av automatiserad igenkänning. Automatisering för igenkänningen av normala kontra onormala beteenden går att lösa med djupinlärning. Syftet med denna undersökning är att finna en lämplig modell som kan identifiera det onormala beteendet (till exempel ett slagsmål). Modell arkitekturen som användes under projektet var 3D ResNet, eftersom den klara av en djupare arkitektur. Ett djupare nätverk, innebär bättre prediktion av problemet. 3DResNet-34 var den modell arkitekturen som gav högst noggrannhet med 93,33%. Implementering av projektet utfördes i ramverket PyTorch. Undersökningen har visat att med           hjälp av överförd inlärning går det att återanvända kunskap från förtränade modeller och applicera dessa kunskaper på det aktuella problemet. Detta bidrar till en mer pålitligare modell med noggrann prediktion på nytt övervaknings           material. / According to Brå, more assault crimes are taking place in Sweden. To reduce this, information that was captured on surveillance cameras can be used in criminal investigations, to convict the perpetrator or perpetrators of the crime. To optimize monitoring, companies can use automation. Automation of the recognition of normal versus abnormal activities can be solved with deep learning. The purpose of this study is to find a suitable model that can identify               the abnormal activity (for example, a fight). The model architecture used during the project was 3D ResNet, because it was capable of handling deeper architectures. Having a deeper network means better prediction of the problem.           3D ResNet-34 was the model architecture that gave the highest accuracy with 93,33%. Implementation of the project was carried out in the framework of PyTorch. The study has shown that with the help of transfer learning it is possible to transfer knowledge from pre-trained models and apply this          knowledge to the current problem. This contributes to a more reliable model with accurate prediction for new surveillance footage.

Radiograph examinations play a critical role in various applications such as the detection of bone pathologies and lung cancer, despite the challenge of false negatives. The integration of Artificial Intelligence (AI) holds promise in enhancing image quality and assisting radiologists in their diagnostic processes. However, the scarcity of annotated high-quality data poses a significant hurdle in training AI models effectively. In this thesis, we propose a method for training deep learning models using synthetic data to achieve segmentation of X-ray images. Realistic, simulated, images were generated, enabling segmentation of anatomical structures, including the spine, ribs, scapula, clavicle, and lungs, on a test set comprised of other simulated images. The foremost emphasize was placed on the segmentation of the spine, where we obtained a Dice score of 0.87. Significant advancements have also been made in the application of the model to real clinical images, demonstrating successful segmentation in certain instances. Further generalization of the model opens up numerous avenues for future exploration of deep learning in radiography. / Röntgenundersökningar har en avgörande roll inom flera områden, såsom detektering av bensjukdomar och lungcancer, trots en stor andel falska negativa resultat. Artificiell intelligens (AI) är ett lovande verktyg för att förbättra bildkvaliteten och underlätta radiologers arbete att diagnostisera patienter. Det är dock en brist på högkvalitativ, annoterad, data, vilket är ett signifikant hinder för effektiv träning av AI-modeller.  I detta arbete presenteras en metod för att träna djupinlärningsmodeller med hjälp av syntetisk data för att segmentera anatomier på röntgenbilder. Realistiska, simulerade, bilder genererades och möjliggjorde segmentering av ryggrad, revben, skulderblad, nyckelben och lungor på ett testset bestående av andra simulerade bilder. Störst vikt lades på segmentering av ryggrad, där ett Dice-resultat på 0.87 uppnåddes. Betydande framsteg har också gjorts i tillämpningen av modellen till verkliga kliniska bilder och lyckade segmenteringar åstadkoms i vissa exempel.  Ytterligare generalisering av modellen skulle öppna upp många möjligheter att undersöka användning av djupinlärning för röntgenbilder.

Information retrieval systems have come to change how users interact with computerized systems and locate information. A major challenge when designing these systems is how to handle the vocabulary mismatch problem, i.e. that users, when formulating queries, pick different words than those present in the relevant documents that should be retrieved. With recent advances in artificial intelligence and the emergence of transformer-based language models, new methods have been proposed to alleviate this problem. One such method is the usage of document expansion models which append words to each document that are likely to be part of users’ queries. As previous research on document expansion models has been focused on English-language applications, this thesis investigates the effectiveness of one such model for Swedish applications. Although no improvement was found when using this method, the result is likely to be a consequence of dataset quality and domain rather than the method itself. / Informationssökningssystem har förändrat hur användare interagerar med datorsystem och lokaliserar information. En betydande utmaning när dessa system designas är hur det s.k. ”vocabulary mismatch”-problemet ska hanteras, d.v.s. att användare väljer andra söktermer än de som förekommer i de relevanta dokumenten som söksystemet ska hitta. Nya framsteg inom artificiell intelligens och utvecklingen av transformer-baserade språkmodeller har lett till att nya metoder har föreslagits för att mildra det här problemet. En sådan metod är att använda dokumentexpansionsmodeller som lägger till ord till varje dokument som är sannolika att förekomma som söktermer. Då tidigare forskning på dokumentexpansionsmodeller har fokuserat på engelskspråkiga tillämpningar fokuserar det här arbetet i stället på hur väl sådana modeller fungerar för svenskspråkiga tillämpningar. Även om ingen förbättring observerades när denna metod tillämpades är resultatet sannolikt en konsekvens av datamängdens kvalitet och domän snarare än metoden i sig.

In a wireless communication system, synchronization is one of the most critical functions. Good timing and synchronization can prevent messages of the communication system from interfering with each other and enable a smooth message transfer. For 5G (the fifth generation of telecommunication network), the timing and synchronization requirements are even more strict. To synchronize the communication system, the first thing is to detect the connection quality and find the faults’ positions. This thesis aims to investigate a machine learning or deep learning approach to predict the connection quality called ”Hearability” between cells and to find the base stations whose cells have an absolute time error larger than a configurable threshold. The results show that the random forest classifier can obtain the highest accuracy while requiring less computing time than k-Nearest-Neighbors, Support Vector Machine, and Graph Neural Network. Additionally, we found the base stations with faults and offered suggestions for detecting the faults in complicated cases. / I ett trådlöst kommunikationssystem är synkronisering en av de mest kritiska funktionerna. Bra timing och synkronisering kan förhindra meddelanden från kommunikationssystemet från att störa varandra och möjliggöra en smidig meddelandeöverföring. För 5G (den femte generationens telekommunikationsnätverk) är kraven på timing och synkronisering ännu strängare. För att synkronisera kommunikationssystemet är det första att detektera anslutningskvaliteten och hitta felens positioner. Denna avhandling syftar till att undersöka en maskininlärning eller djupinlärning för att förutsäga anslutningskvaliteten som kallas ”Hörbarhet” mellan celler och att hitta de basstationer vars celler har ett absolut tidsfel som är större än en konfigurerbar tröskel. Resultaten visar att den slumpmässiga skogsklassificeraren kan få högsta noggrannhet samtidigt som den kräver mindre beräkningstid än k-Nearest-Neighbors, Support Vector Machine och Graph Neural Network. Dessutom hittade vi basstationerna med fel och gav förslag för att upptäcka felen i komplicerade fall.