Artificiella neuronnätverk används idag frekvent för att försöka se mönster i stora mängder data. Ser man mönster kan man till viss del se framtiden, och hur väl det fungerar på lastbilstrafik undersöks i den här rapporten. Historisk data om lastbilstrafik används med ett framåtkopplat artificiellt neuronnätverk för att skapa prognoser för lastbilars ankomster till en logistisk plats. Med ett program som skapats för att testa vilka paramterar som ger bäst resultat för det artificiella neuronnätverket så undersöks vilken datastruktur och vilken typ av prognos som ger det bästa resultatet. De två typer av prognoser som testas är tiden till nästa lastbils ankomst samt intensiteten av lastbilarnas ankomster nästa timme. De bästa prognoserna skapades när intensiteten av lastbilar för nästa timme förutspåddes, och prognoserna visade sig då vara bättre än de prognoser nuvarande statistiska metoder kan ge. / Artificial neural networks are used frequently today in order to find patterns in large amounts of data. If one can see the patterns one can to some extent see the future, and how well this works for truck traffic is researched in this report. Historical data about truck traffic is used with a feed-forward artificial neural network to create forecasts for arrivals of trucks to a logistic location. With a program that was created to test what data structure and what parameters give the best results for the artificial neural network it is researched what type of forecast gives the best result. The two forecasts that are tested are the time to the next trucks arrival and the intensity of truck arrivals the next hour. The best forecasts were created when the intensity of trucks for the next hour were predicted, and the forecasts were shown to be better than the forecasts present statistical methods can give.

Towards a sustainable future, more and more powertrains are being electrified today, thus it is important to prevent unwanted failures and secure a reliable operation. Monitoring the internal temperatures of powertrains and keeping them under their thresholds is an important first step. Traditional modeling methods require expert knowledge and complicated modeling. With all the operating information an electric drive can collect nowadays about the whole powertrain, it becomes possible to apply black boxed machine learning to do the temperature estimating job. In this thesis, multiple machine learning algorithms are tested on their ability to estimate temperatures of the rotor fin, the stator winding, the bearing, and the power module case. The tested algorithms range from an ordinary least square to a deep neuron network. For this purpose, about 150 hours of data are recorded by letting the system run under predefined operating conditions. A hyperparameter search is also conducted for each model to find the best configuration. All the algorithms are evaluated by several metrics. It has been found that neuron networks can perform quite well even under fast transient conditions without any expert knowledge. / Mot en hållbar framtid elektrifieras fler och fler drivlinor idag, därför är det viktigt att förhindra oönskade haverier och säkra en tillförlitlig drift. Att övervaka drivlinornas interna temperaturer och hålla dem under sina trösklar är ett viktigt första steg. Traditionella modelleringsmetoder kräver expertkunskap och komplicerad modellering. Med all driftinformation som en elektrisk drivenhet kan samla in nuförtiden om hela drivlinan, blir det möjligt att tillämpa black boxed machine learning för att utföra temperaturuppskattningsjobbet. I den här avhandlingen testas flera maskininlärningsalgoritmer på deras förmåga att uppskatta temperaturer på rotorfenan, statorlindningen, lagret och kraftmodulhuset. De testade algoritmerna sträcker sig från ett vanligt minsta kvadrat till ett djupt neuronnätverk. För detta ändamål registreras cirka 150 timmars data genom att låta systemet köras under fördefinierade driftsförhållanden. En hyperparametersökning görs också för varje modell för att hitta den bästa konfigurationen. Alla algoritmer utvärderas av flera mätvärden. Det har visat sig att neuronnätverk kan fungera ganska bra även under snabba transienta förhållanden utan någon expertkunskap.

Accidents related to falling is a major issue in society, and it is important that a person that suffers an accident is aided as quickly as possible. The purpose of this study is to examine the possibility of using sensors available in smartphones to implement an application for fall detection. The chosen method is a literature study followed by a case study. The literature study is performed to find existing solutions for implementing fall detection in a mobile application and one solution is chosen as a starting point. The case study consists of two parts. In the first part the algorithm found during the literature study is implemented and experiments are performed with purpose to improve the solution. The second part serves to evaluate the implemented solution with respect to accuracy and battery life. The proposed solution is to use accelerometer data coming from the embedded sensors available in smartphones. This data can be fed into a finite state machine to detect possible fall candidates. Properties are extracted from the data, which is analyzed by a pre-trained neural network that perform a classification of the event. The evaluation of the accuracy shows that the iOS and Android implementation reached a success rate in classifying events correctly of 91% and 83%, respectively. The evaluation of battery life shows that this solution can be implemented without consuming to much battery power. / Olyckor relaterade till fall är ett stort problem i samhället, och det är viktigt att en person som är drabbad av en olycka får hjälp så fort som möjligt. Syftet med den här studien är att undersöka möjligheten att använda sensorer tillgängliga i smartphones för att implementera en applikation för falldetektion. Den valda metoden är en litteraturstudie följt av en fallstudie. Litteraturstudien genomförs för att hitta existerande lösningar för att implementera falldetektion i en mobilapplikation, och en lösning väljs som startpunkt. Fallstudien består av två delar. I första delen implementeras algoritmen som hittades i litteraturstudien och experiment genomförs med syftet att förbättra lösningen. Den andra delen syftar till att evaluera den implementerade lösningen med avseende på noggrannhet och batteritid. Den föreslagna lösningen är att använda accelerometerdata från den inbyggda sensorn som finns i smartphones. Data från accelerometern matas in i en finit tillståndsmaskin för att detektera möjliga händelser av fall. Egenskaper extraheras från denna data och analyseras av ett förtränat neuronnät, som genomför en klassificering av händelsen. Evalueringen av noggrannheten visar att iOSoch Androidimplementationen når en precision vid klassificering av händelser på 91% och 83%, respektive. Evalueringen av batteritid visar att lösningen kan implementeras utan för stor batteriförbrukning.

In this thesis, we review some applications of random matrix theory in machine learning and theoretical deep learning. More specifically, we review data modelling in the regime of numerous and large dimensional data, a method for estimating covariance matrix distances in the aforementioned regime, as well as an asymptotic analysis of a simple neural network model in the limit where the number of neurons is large and the data is both numerous and large dimensional. We also review some recent research where random matrix models and methods have been applied to Hessian matrices of neural networks with interesting results. As becomes apparent, random matrix theory is a useful tool for various machine learning applications and it is a fruitful field of mathematics toexplore, in particular, in the context of theoretical deep learning. / I denna uppsatsen undersöker vi några tillämpningar av slumpmatristeori inom maskininlärning och teoretisk djupinlärning. Mer specifikt undersöker vi datamodellering i domänet där både datamängden och dimensionen på datan är stor, en metod för att uppskatta avstånd mellan kovariansmatriser i det tidigare nämnda domänet, samt en asymptotisk analys av en enkel neuronnätsmodell i gränsen där antalet neuroner är stort och både datamängden och dimensionen pådatan är stor. Vi undersöker också en del aktuell forskning där slumpmatrismodeller och metoder från slumpmatristeorin har tillämpats på Hessianska matriserför artificiella neuronnätverk med intressanta resultat. Det visar sig att slumpmatristeori är ett användbart verktyg för olika maskininlärningstillämpningaroch är ett område av matematik som är särskilt givande att utforska inom kontexten för teoretisk djupinlärning.

Deep learning has shown excellent performance in image recognition, speech recognition, natural language processing and other fields over the recent decades. Cryptography is a technical science that studies the preparation and decoding of ciphers. With the development of artificial intelligence, people pay more and more attention to whether artificial intelligence can be applied to cryptography. A Google team designed a multiagent system a few years ago, which includes encrypting neural network, cracking network and eavesdropping network. Based on symmetric encryption, through deep learning training, the system achieves that the cracker can crack the encrypted text with minimal error and prevent the eavesdropper from cracking the plaintext. This research has aroused the interest of many scholars. Based on the research of the system, this thesis discusses the basic principle and related experiments of the system, as well as the design based on asymmetric encryption and the application in multiparty systems. / Djupinlärning har visat utmärkta resultat inom bildigenkännande, taligenkänning, naturligt språkbehandling och andra områden under de senaste årtiondena. Kryptografi är en teknisk vetenskap som studerar beredning och avkodning av chiffer. I och med utvecklingen av artificiell intelligens lägger människor allt större vikt vid huruvida artificiell intelligens kan användas för kryptografi. Ett Googleteam designade ett multiagent system för några år sedan, vilket inkluderar kryptering av neuralt nätverk, sprickbildning av nätverk och avlyssning. På grundval av symmetrisk kryptering, genom djup inlärning, uppnår systemet att dekrypteraren kan avkoda den krypterade texten med minimala fel och förhindra att tjuvlyssnaren gör detsamma. Denna forskning har väckt intresse hos många forskare. På grundval av systemets forskning diskuteras i denna tes den grundläggande principen och relaterade experiment med systemet, liksom den konstruktion som bygger på asymmetrisk kryptering och tillämpningen i flerpartssystem.

With self-driving cars on the horizon, vehicle autonomy and its problems is a hot topic. In this study we are using convolutional neural networks to make a robot car avoid obstacles. The robot car has a monocular camera, and our approach is to use the images taken by the camera as input, and then output a steering command. Using this method the car is to avoid any object in front of it. In order to lower the amount of training data we use models that are pretrained on ImageNet, a large image database containing millions of images. The model are then trained on our own dataset, which contains of images taken directly by the robot car while driving around. The images are then labeled with the steering command used while taking the image. While training we experiment with using different amounts of frozen layers. A frozen layer is a layer that has been pretrained on ImageNet, but are not trained on our dataset. The Xception, MobileNet and VGG16 architectures are tested and compared to each other. We find that a lower amount of frozen layer produces better results, and our best model, which used the Xception architecture, achieved 81.19% accuracy on our test set. During a qualitative test the car avoid collisions 78.57% of the time.

Deep artificial neural networks is a type of machine learning which can be used to find and utilize patterns in data. One of their many applications is as method for regression analysis. In this thesis deep artificial neural networks were implemented in the application of estimating the error of surface temperature forecasts as produced by a numerical weather prediction model. An ability to estimate the error of forecasts is synonymous with the ability to reduce forecast errors as the estimated error can be offset from the actual forecast. Six years of forecast data from the period 2010--2015 produced by the European Centre for Medium-Range Weather Forecasts' (ECMWF) numerical weather prediction model together with data from fourteen meteorological observational stations were used to train and evaluate error-predicting deep neural networks. The neural networks were able to reduce the forecast errors for all the locations that were tested to a varying extent. The largest reduction in error was by 83.0\% of the original error or a 16.7\degcs decrease in the mean-square error. The performance of the neural networks' error reduction ability was compared with that of a contemporary Kalman filter as implemented by the Swedish Meteorological and Hydrological Institute (SMHI). It was shown that the neural network implementation had superior performance for six out of seven of the evaluated stations where the Kalman filter had marginally better performance at one station.

Skin cancer is one of the most common forms of cancer, of which melanoma is the most lethal. Early detection is critical to long term survival rates. The use of machine learning to detect melanoma shows promising results in detecting malignant forms. The use of melanoma detecting models could potentially lead to faster diagnosis, and ensure treatment is applied before the melanoma has spread to other organs. In recent years, many studies have been made on the topic, especially on larger datasets such as ISIC, but there is a lack of studies on how machine learning perform on datasets containing smartphone images of skin lesions. PAD-UFES-20 is a dataset containing 2298 smartphone images of skin lesions, where the malignant forms are all clinically confirmed. The purpose of this thesis was to produce a comparison of the accuracy, precision, recall, and Area under the Curve metrics for several convolutional neural network models that were trained on the PAD-UFES-20 and ISIC datasets to differentiate between melanoma and benign lesions. The goal of this project is to contribute to the knowledge surrounding how neural networks perform in terms of melanoma detection. This is of interest for anyone getting started in the domain of melanoma detection using machine learning, building a melanoma detection application, and for anyone benefiting from earlier diagnosis. A qualitative and inductive approach with the support of quantitative data was adopted. Eight models were selected. They were designed using transfer learning, where the base model acted as a feature extractor, providing input to a dropout layer, and finally to the classification layer, which was retrained for 50 epochs, using the ADAM optimizer with a learning rate of 0.0003. These models were then evaluated against a test set for accuracy, precision, recall and AUC. The results of this study showed that the best performing models in terms of detecting melanoma on the PAD-UFES-20 dataset were Resnet_v2_50 and Mobilenet_v3_Large. Resnet_v2_50 achieved an accuracy of 0.9062, precision of 0.8, recall of 0.6667 and AUC of 0.8846. Mobilenet_v3_Large achieved accuracy of 0.9062, precision of 0.8, recall of 0.6667 and AUC of 0.9295. The best performing model on the ISIC dataset was the Inception_Resnet_v2 model with accuracy of 0.9342, precision of 0.9627, recall of 0.9018 and AUC of 0.9675. The conclusions of this study show that several models achieve promising results on the PAD-UFES-20 dataset. Overall, models that extracted a larger number of features from the base model performed better on the PAD-UFES-20 dataset, whereas this was not the general case on the larger ISIC dataset. It is not too futuristic to claim that machine learning can be applied as complement to standard diagnosis, but the study highlights the need for similar studies on larger and more diverse datasets of smartphone images, from which more transferable results can be obtained. / Hudcancer är en av de vanligaste formerna av cancer, där melanom är den mest dödliga. Tidig upptäckt är avgörande för långsiktiga överlevnadschanser. Användning av maskininlärning för att upptäcka melanom visar lovande resultat i att upptäcka maligna former av hudskador. Användning av modeller för att upptäcka melanom kan potentiellt leda till snabbare diagnos och säkerställa att behandling tillämpas innan melanomet har spridit sig till andra organ. De senaste åren har många studier gjorts inom ämnet, särskilt på större datamängder såsom ISIC datamängden, men det saknas studier om hur maskininlärning presterar på datamängder som innehåller smarttelefonbilder av hudskador. PAD-UFES-20 är en datamängd som innehåller 2298 smarttelefonbilder av hudskador, där de maligna formerna alla är kliniskt bekräftade. Syftet med denna studie var att producera en jämförelse av noggrannhet, precision, recall och Area under the Curve måtten för flera faltnings neuronnätverksmodeller som tränades på PAD-UFES-20 och ISIC-dataseten för att skilja mellan melanom och godartade hudskador. Målet med denna studie är att bidra till kunskapen om hur neurala nätverk presterar när det gäller upptäckt av melanom. Detta är av intresse för alla som börjar inom området för upptäckt av melanom med hjälp av maskininlärning och för alla som gynnas av en tidigare diagnos. En kvalitativ och induktiv ansats med stöd av kvantitativa data antogs. Åtta modeller valdes. De designades med hjälp av överföringsinlärning, där basmodellen fungerade som en producent av funktioner, som gav inmatning till ett Dropout lager och slutligen till klassificeringslagret, som tränades i 50 epoker, med hjälp av ADAM-optimeraren med en inlärningshastighet på 0.0003. Dessa modeller utvärderades sedan mot en test mängd för noggrannhet, precision, recall och AUC. Resultaten av denna studie visade att de bästa presterande modellerna när det gäller att upptäcka melanom på PAD-UFES-20-datasetet var Resnet_v2_50 och Mobilenet_v3_Large. Resnet_v2_50 uppnådde en noggrannhet på 0.9062, precision på 0.8, recall på 0.6667 och AUC på 0.8846. Mobilenet_v3_Large uppnådde noggrannhet på 0.9062, precision på 0.8, recall på 0.6667 och AUC på 0.9295. Den bäst presterande modellen på ISIC-datasetet var Inception_Resnet_v2-modellen med noggrannhet på 0.9342, precision på 0.9627, recall på 0.9018 och AUC på 0.9675. Slutsatserna av denna studie visar att flera modeller uppnår lovande resultat på PAD-UFES-20-datasetet. Sammantaget, presterade modeller som extraherade ett större antal funktioner från basmodellen, bättre på PAD-UFES-20-datasetet, medan detta inte var det generella fallet på det större ISIC-datasetet. Det är inte för långsökt att hävda att maskininlärning kan tillämpas som komplement till standarddiagnos metoder, men denna studie framhäver behovet av liknande studier på större och mer diversifierade datamängder av smarttelefonbilder, från vilka mer överförbara resultat kan erhållas.

Traditional shortest path algorithms can efficiently find the optimal paths in graphs using simple heuristics. However, formulating a simple heuristic is challenging under the road network setting since there are multiple factors to consider, such as road segment length, edge centrality, and speed limit. This study investigates how a neural network can learn to take these factors as inputs and yield a path given a pair of origin and destination. The research question is formulated as: Are neural networks applicable to real-time route planning tasks in a roadnetwork?. The proposed metric to evaluate the effectiveness of the neural network is arrival rate. The quality of generated paths is evaluated by time efficiency. The real-time performance of the model is also compared between pathfinding in dynamic and static graphs, using theabove metrics. A staggered approach is applied in progressing this investigation. The first step is to generate random graphs, which allows us to monitor the size and properties of the training graph without caring too many details in a road network. The next step is to determine, as a proof of concept, if a neural network can learn to traverse simple graphs with multiple strategies, given that road networks are in effect complex graphs. Finally, we scale up by including factors that might affect the pathfinding in real road networks. Overall, the training data is optimal paths in a graph generated by a shortest path algorithm. The model is then applied to new graphs to generate a path given a pair of origin and destination. The arrival rate and time efficiency are calculated and compared with that of the corresponding optimal path. Experimental results show that the effectiveness, i.e., arrival rate ofthe model is 90% and the path quality, i.e., time efficiency has a medianof 0.88 and a large variance. The experiment shows that the model has better performance in dynamic graphs than in static graphs. Overall, the answer to the research question is positive. However, there is still room to improve the effectiveness of the model and the paths generated by the model. This work shows that a neural network trained to make locally optimal choices can hardly give a globally optimal solution. We also show that our method, only making locally optimal choices, can adapt to dynamic graphs with little performance overhead. / Traditionella algoritmer för att hitta den kortaste vägen kan effektivt hitta de optimala vägarna i grafer med enkel heuristik. Att formulera en enkel heuristik är dock utmanande för vägnätverk eftersom det finns flera faktorer att överväga, såsom vägsegmentlängd, kantcentralitet och hastighetsbegränsningar. Denna studie undersöker hur ett neuralt nätverk kan lära sig att ta dessa faktorer som indata och finna en väg utifrån start- och slutpunkt. Forskningsfrågan är formulerad som: Är neuronnätverket tillämpliga på realtidsplaneringsuppgifter i ett vägnät?. Det föreslagna måttet för att utvärdera effektiviteten hos det neuronnätverket är ankomstgrad. Kvaliteten på genererade vägar utvärderas av tidseffektivitet. Prestandan hos modellen jämförs också mellan sökningen i dynamiska och statiska grafer, med hjälp av ovanstående mätvärden. Undersökningen bedrivs i flera steg. Det första steget är att generera slumpmässiga grafer, vilket gör det möjligt för oss att övervaka träningsdiagrammets storlek och egenskaper utan att ta hand om för många detaljer i ett vägnät. Nästa steg är att, som ett bevis på konceptet, undersöka om ett neuronnätverk kan lära sig att korsa enkla grafer med flera strategier, eftersom vägnätverk är i praktiken komplexa grafer. Slutligen skalas studien upp genom att inkludera faktorer som kan påverka sökningen i riktiga vägnät. Träningsdata utgörs av optimala vägar i en graf som genereras av en algoritm för att finna den kortaste vägen. Modellen appliceras sedan i nya grafer för att hitta en väg mellan start och slutpunkt. Ankomstgrad och tidseffektivitet beräknas och jämförs med den motsvarande optimala sökvägen. De experimentella resultaten visar att effektiviteten, dvs ankomstgraden av modellen är 90% och vägkvaliteten dvs tidseffektiviteten har en median på 0,88 och en stor varians. Experimentet visar att modellen har bättre prestanda i dynamiska grafer än i statiska grafer. Sammantaget är svaret på forskningsfrågan positivt. Det finns dock fortfarande utrymme att förbättra modellens effektivitet och de vägar som genereras av modellen. Detta arbete visar att ett neuronnätverk tränat för att göra lokalt optimala val knappast kan ge globalt optimal lösning. Vi visar också att vår metod, som bara gör lokalt optimala val, kan anpassa sig till dynamiska grafer med begränsad prestandaförlust.

Grey-box models are constructed by combining model components that are derived from first principles with components that are identified empirically from data. In this thesis a grey-box modelling method for describing distributed parameter systems is presented. The method combines partial differential equations with a multi-layer perceptron network in order to incorporate prior knowledge about the system while identifying unknown dynamics from data. A gradient-based optimization scheme which relies on the reverse mode of automatic differentiation is used to train the network. The method is presented in the context of modelling the dynamics of a chemical reaction in a fluid. Lastly, the grey-box modelling method is evaluated on a one-dimensional and two-dimensional instance of the reaction system. The results indicate that the grey-box model was able to accurately capture the dynamics of the reaction system and identify the underlying reaction. / Hybridmodeller konstrueras genom att kombinera modellkomponenter som härleds från grundläggande principer med modelkomponenter som bestäms empiriskt från data. I den här uppsatsen presenteras en metod för att beskriva distribuerade parametersystem genom hybridmodellering. Metoden kombinerar partiella differentialekvationer med ett neuronnätverk för att inkorporera tidigare känd kunskap om systemet samt identifiera okänd dynamik från data. Neuronnätverket tränas genom en gradientbaserad optimeringsmetod som använder sig av bakåt-läget av automatisk differentiering. För att demonstrera metoden används den för att modellera kemiska reaktioner i en fluid. Metoden appliceras slutligen på ett en-dimensionellt och ett två-dimensionellt exempel av reaktions-systemet. Resultaten indikerar att hybridmodellen lyckades återskapa beteendet hos systemet med god precision samt identifiera den underliggande reaktionen.