This thesis analyzes data on E. coli cell growth in a bioreactor to investigate the possibility of finding predictable correlations between the environmental parameters (sensor data) and the growth using machine learning. Discovering these correlations could be a first step toward optimizing the growth of cells to be used for cell therapy: an effective but very expensive treatment method for cancer. This could ultimately lead to decreased manufacturing costs and larger treatment availability. The data first underwent a thorough preprocessing to obtain useful features that were divided into batches. In addition, a few separate further processing methods were applied to the data for further analysis. Thereafter several different machine learning methods were implemented and evaluated on the data. All possible sensor combinations were then fed into the best-performing network and the mean absolute error was calculated for each combination. The results showed that the implemented machine learning models did not find predictable patterns between sensor inputs and growth, as the predictions did not follow the growth variations and the models mainly predicted the average yield. However, the possibility that the used approach would benefit from additional data should not be discarded. / Detta examensarbete analyserar data som beskriver celltillväxt av E. coli i en bioreaktor för att undersöka möjligheten att hitta samband mellan inputparametrar och tillväxt med hjälp av maskininlärning. Att upptäcka dessa samband kan vara ett första steg mot att optimera tillväxten av celler som används för cellterapi: en effektiv men väldigt dyr behandlingsmetod för cancer. Detta kan i slutändan leda till minskade tillverkningskostnader och en större tillgänglighet av behandlingen. All data genomgick först en ingående förberedande bearbetning för att erhålla användbara features som var uppdelade i batcher. Ett antal separata vidarebearbetningsmetoder tillämpades också för vidare analys. Därefter implementerades och evaluerades ett flertal olika maskininlärningsmetoder. Den bäst presterande modellen blev tränad på alla möjliga sensorkombinationer och medelabsolutfelet beräknades. Resul- taten visade att de implementerade maskininlärningsmodellerna inte hittade förutsägbara mönster mellan sensorinput och celltillväxt, då förutsägelserna inte följde tillväxtvariationerna och modellerna främst förutspådde den genomsnittliga celltillväxten. Trots resultatet bör möjligheten att ytterligare data kan gynna det använda tillvägagångssättet inte förkastas.

This thesis examines the statistical and economic performance of modeling and predicting equity index returns by application of various statistical models on a set of macroeconomic and financial variables. By combining linear principal component regression, vector autoregressive models, and LSTM neural networks, the authors find that while a majority of the models display high statistical significance, virtually none of them successfully outperform classic portfolio theory on efficient markets in terms of risk-adjusted returns. Several implications are also discussed based on the results. / Detta examensarbete undersöker den statistiska och ekonomiska prestationen i att modellera och prognostisera aktieindexavkastning via applikation av flertalet statistiska modeller på en datamängd bestående av makroekonomiska och finansiella variabler. Genom att kombinera linjär huvudkomponentsregression (principal component analysis), vektorautoregression och den återkopplande neurala nätverksmodellen LSTM finner författarna att även om majoriteten av modellerna påvisar hög statistisk signifikans så överpresterar praktiskt taget ingen av dem mot klassisk portföljteori på effektiva marknader, sett till riskjusterad avkastning. Flera implikationer diskuteras också baserat på resultaten

Memory Augmented Neural Networks (MANN) is a hot research area within deep learning. One of the most promising MANN is the Differentiable Neural Network (DNC) which is able to learn, in a fully differentiable way, how to represent and store data into an external memory. Due to its memory, it performs exceptionally well on tasks where long-term memory is required. However, not a lot of research has been done on DNCs applied to time series and is also considered to be difficult to train. This work focuses on how to improve the training of a DNC on time series by taking advantage of the external memory and manipulating it in training. Three methods are presented. The first method reuses the memory between epochs which can help when there is a risk of overfitting. The second method is based on the first but has a bi-directional training scheme which drastically improves the stability of the convergence and can potentially produce better performing DNC. The last method presented is a transfer learning method where the memory is being transferred. This method is a versatile transfer learning method that can be applied when the source and target input feature spaces are different. It is also not dependent on the architecture of the DNC other than the size of the memory. These methods were applied and tested to time series in the telecom domain. Specifically, they were tested on four time series, two for predicting read and write latency, and two for predicting round trip time for signals. The results of the methods were fairly consistent on all the time series. / Minnesförstärkta neurala nätverk (MANNs) är en trendig forskningsområde inom djupinlärning. En av de mest lovande MANN är Differentierbara Neurala Datorer (DNCs) som kan lära sig representera och lagra data in till ett externt minne. På grund av sitt externa minne, så är den exceptionellt bra på att lösa problem som kräver långtids minne. Det finns däremot inte mycket forskning på DNCs applicerat på tidserier och att den är svår att träna. Arbetet i denna uppsatts har fokuserat på hur man kan förbättra träning av DNC på tidserier genom att utnyttja det externa minnet och manipulera det under träningen. Arbetet presenterar tre styckna metoder. Första metoden återanvänder minnet mellan epoker och kan hjälpa när det finns risk att överanpassar sig till träningsdatan. Den andra metoden är baserad på den första men har ett dubbelriktat tränings system som kan tydligt förbättra stabiliteten av konvergensen och kan ibland producera bättre presterande DNC. Den sista metoden är en metod som överför lärande genom att överföra minnet av en tränad DNC. Denna metod är mångsidig då den inte är beror på källans och målets ingångs datautrymme. Den beror inte heller på arkitekturen av DNC annat än storleken på minnet. Dessa metoder var applicerade och testade på tidsseries inom telekom domänen. Dom var testade på fyra tidsserier, två styckena för att förutspå läs- och skriv latens, och två för att förutspå tid för tur och retur för signaler. Resultaten för metoderna vara relativt konsekventa med alla tidsseries.

In this project, the problem concerns predicting insurance premiums and particularly vehicle insurance premiums. These predictions were made with the help of Bayesian Neural Networks (BNNs), a type of Artificial Neural Network (ANN). The central concept of BNNs is that the parameters of the network follow distributions, which is beneficial. The modeling was done with the help of TensorFlow's Probability API, where a few models were built and tested on the data provided. The results conclude the possibility of predicting insurance premiums. However, the output distributions in this report were too wide to use. More data, both in volume and in the number of features, and better-structured data are needed. With better data, there is potential in building BNN and other machine learning (ML) models that could be useful for production purposes. / Detta projekt grundar sig i möjligheten till att predikera försäkringspremier, mer specifikt fordonsförsäkringspremier. Prediktioner har gjorts med hjälp av Bayesianska neurala nätverk, vilket är en typ av artificiella neurala nätverk. Det huvudsakliga konceptet med Bayesianska neurala nätverk är att parametrarna i nätverket följer distributioner vilket har vissa fördelar och inte är fallet för vanliga artificiella neurala nätverk. Ett antal modeller har konstruerats med hjälp av TensorFlow Probability API:t som tränats och testats på given data. Resultatet visar att det finns potential att prediktera premier med hjälp av de egenskapspunkter\footnote[2]{\say{Features} på engelska} som finns tillgängliga, men att resultaten inte är tillräckligt bra för att kunna användas i produktion. Med mer data, både till mängd och egenskapspunkter samt bättre strukturerad data finns potential att skapa bättre modeller av intresse för produktion.

This thesis focuses on statistical and machine learning methods designed for sequential and repeated measurement data. We start off by considering the classic general linear model (MANOVA) followed by its generalization, the growth curve model (GMANOVA), designed for analysis of repeated measurement data. By considering a binary classification problem of normal data together with the corresponding maximum likelihood estimators for the growth curve model, we demonstrate how a classification rule based on linear discriminant analysis can be derived which can be used for repeated measurement data in a meaningful way. We proceed to the topics of neural networks which serve as our second method of classification. The reader is introduced to classic neural networks and relevant subtopics are discussed. We present a generalization of the classic neural network model to the recurrent neural network model and the LSTM model which are designed for sequential data. Lastly, we present three types of data sets with an total of eight cases where the discussed classification methods are tested. / Den här uppsatsen introducerar klassificeringsmetoder skapade för data av typen upprepade mätningar och sekventiell data. Den klassiska MANOVA modellen introduceras först som en grund för den mer allmäna tillväxtkurvemodellen(GMANOVA), som i sin tur används för att modellera upprepade mätningar på ett meningsfullt sätt. Under antagandet av normalfördelad data så härleds en binär klassificeringsmetod baserad på linjär diskriminantanalys, som tillsammans med maximum likelihood-skattningar från tillväxtkurvemodellen ger en binär klassificeringsregel för data av typen upprepade mätningarn. Vi fortsätter med att introducera läsaren för klassiska neurala nätverk och relevanta ämnen diskuteras. Vi generaliserar teorin kring neurala nätverk till typen "recurrent" neurala nätverk och LSTM som är designade för sekventiell data. Avslutningsvis så testas klassificeringsmetoderna på tre typer av data i totalt åtta olika fall.

Flood forecasting maps are essential for rapid disaster response and risk management, yet the computational complexity of physically-based simulations hinders their application for efficient high-resolution spatial flood forecasting. To address the problems of high computational cost and long prediction time, this thesis proposes to develop deep learning neural networks based on a flood simulation dataset, and explore their potential use for flood prediction without learning hydrological modelling knowledge from scratch.  A Fully Convolutional Network (FCN), FCN with multiple outputs (Multioutput FCN), UNet, Graph-based model and their Recurrent Neural Network (RNN) variants are trained on a catchment area with twelve rainfall events, and evaluated on two cases of a specific rainfall event both quantitatively and qualitatively. Among them, Convolution-based models (FCN, Multioutput FCN and UNet) are commonly used to solve problems related to spatial data but do not encode the position and orientation of objects, and Graph-based models can capture the structure of the problem but require higher time and space complexity. RNN-based models are effective for modelling time-series data, however, the computation is slow due to its recurrent nature. The results show that Multioutput FCN and the Graph-based model have significant advantages in predicting deep water depths (>50 cm), and the application of recurrent training greatly improves the long-term flood prediction accuracy of the base deep learning models. In addition, the proposed recurrent training FCN model performs the best and can provide flood predictions with high accuracy.

Datakonsultföretaget Knowit AB har en kund som annonserar på Google AdWords. Denna uppsats fokuserar huvudsakligen på att hitta de olika inställningarna i AdWords som genererar köp av kundens produkt. Om en inställning ofta genererar klick men sällan köp av produkten är den inställningen inte lönsam.Responsvariabeln i denna uppsats är binär och indikerar på om ett klick på annonsen lett till köp av produkten eller inte. Eftersom responsvariabelns fördelning var skev har samplingstekniken SMOTE använts för att skapa fler observationer i minoritetsklassen. De statistiska metoder som använts och presenterats i uppsatsen är logistisk regression, neurala nätverk och beslutsträd.Resultatet gav att de fyra undersökta inställningarna påverkar sannolikheten för köp. Den första inställningen resulterade i att om dator används vid sökning på Google är sannolikheten att ett klick leder till köp betydligt högre än för mobil och surfplatta. Den andra inställningen resulterar i att en ”exakt matchning” för sökordet ger högst sannolikhet till köp och ”bred matchning” ger lägst sannolikhet. Den tredje inställningen visar att vilken veckodag annonsen klickas på påverkar sannolikheten för köp. På söndag är sannolikheten högst att ett klick leder till köp, och de två dagar som har lägst sannolikhet är lördag och tisdag. Slutligen har det undersökts om annonsens genomsnittsposition påverkar sannolikheten att produkten köps. Resultatet som gavs är att ju högre värde på genomsnittsposition, desto högre blir sannolikheten för köp. / The data consultancy company Knowit AB has a client who advertises on Google AdWords. This thesis focuses mainly on finding which settings in AdWords generate purchases of the client’s product. If a setting frequently contributes to clicks but rarely to purchases of the product, the setting is not profitable.The target variable in this thesis is binary and indicates whether a click on the advertisement led to purchase of the product or not. Since the target variable’s distribution was skewed, the sampling technique SMOTE was used to create more observations in the minority class. The classification methods researched and presented in this thesis are logistic regression, neural networks and decision trees.The results showed that all four factor had significant affect on the probability of purchase. First, if a desktop or laptop computer was used to search on Google, the likelihood that a click leads to purchase is substantially higher compared to if a mobile or tablet was used. Second, an “exact match” setting for the keywords gives the highest probability of purchase and a “broad match” gives the lowest probability. Third, purchase rates are also affected by the day of the week. Sunday has the highest probability of purchase while Saturday and Tuesday have the lowest probability. Finally, an advertisement´s average position affects the likelihood of the product being purchased. The higher value of average position, the higher the likelihood of purchase.

Den nya generationens digitalisering har slagit rot i samhället. Algoritmer och datamodeller styr nyhetsflödet i social media, röststyr mobilen genom att tolka rösten och självstyr bilen, helt och hållet i autonoma fordon. Inom industrierna finns det också en pågående process där machine learning kan appliceras för att öka drifttillgänglighet och minska kostnader. Det nuvarande paradigmet för att underhålla icke-säkerhetsklassade maskiner i kärnkraftindustrin är en kombination av Avhjälpande Underhåll och Förebyggande Underhåll. Avhjälpande underhåll innebär att underhålla maskinen när fel inträffar, förebyggande underhåll innebär att underhålla med periodiska intervall. Båda sätten är kostsamma för att de riskerar att under- respektive över-underhålla maskinen och blir därmed resurskrävande. Ett paradigmskifte är på väg, det stavas Prediktivt Underhåll - att kunna förutspå fel innan de inträffar och  planera underhåll därefter. Den här rapporten utforskar möjligheten att använda sig av de neurala nätverken LSTM och GRU för att kunna prognostisera eventuella skador på maskiner. Det här baseras på mätdata och historiska fel på maskinen. / The new generation of digitalization has been ingrained into society. Algorithms and data models are controlling the news feed of social media, controlling the phone by interpreting voices and controlling the car, altogether with automonous vehicles. In the industries there is also an ongoing process where machine learning is applied to increase availability and reduce costs. The current paradigm for maintaining non-critical machines in the nuclear power industry is a combination of corrective maintenance and preventive maintenance. Corrective maintenance means doing repairs on the machine upon faults, preventive maintenance means doing repairs periodically. Both ways are costly because they run the risk of under- and over-maintaining the machine and therefore becoming resource-intensive. A paradigm shift is on it's way, and it's spelled Predictive Maintenance - being able to predict faults before they happen and plan maintenance thence. This report explores the possibilities of using LSTM and GRU to forecast potential damage on machines. This is based on data from measurements and historical issues on the machine.

In the master thesis about object detection(OD) using deep convolutional neural network(DCNN), the area of OD is being tested when being applied to infrared images(IR). In this thesis the, goal is to use both long wave infrared(LWIR) images and short wave infrared(SWIR) images taken from an airplane in order to train a DCNN to detect runways, Precision Approach Path Indicator(PAPI) lights, and approaching lights. The purpose for detecting these objects in IR images is because IR light transmits better than visible light under certain weather conditions, for example, fog. This system could then help the pilot detect the runway in bad weather. The RetinaNet model architecture was used and modified in different ways to find the best performing model. The models contain parameters that are found during the training process but some parameters, called hyperparameters, need to be determined in advance. A way to automatically find good values of these hyperparameters was also tested. In hyperparameter optimization, the Bayesian optimization method proved to create a model with equally good performance as the best performance acieved by the author using manual hyperparameter tuning. The OD system was implemented using Keras with Tensorflow backend and received a high perfomance (mAP=0.9245) on the test data. The system manages to detect the wanted objects in the images but is expected to perform worse in a general situation since the training data and test data are very similar. In order to further develop this system and to improve performance under general conditions more data is needed from other airfields and under different weather conditions.

Research in the Arctic is of ever growing importance, and modern technology is used in news ways to map and understand this very complex region and how it is effected by climate change. Here, animals and vegetation are tightly coupled with their environment in a fragile ecosystem, and when the environment undergo rapid changes it risks damaging these ecosystems severely.  Understanding what kind of data that has potential to be used in artificial intelligence, can be of importance as many research stations have data archives from decades of work in the Arctic. In this thesis, a YOLOv4 object detection model has been trained on two classes of images to investigate the performance impacts of disturbances in the training data set. An expanded data set was created by augmenting the initial data to contain various disturbances. A model was successfully trained on the augmented data set and a correlation between worse performance and presence of noise was detected, but changes in saturation and altered colour levels seemed to have less impact than expected. Reducing noise in gathered data is seemingly of greater importance than enhancing images with lacking colour levels. Further investigations with a larger and more thoroughly processed data set is required to gain a clearer picture of the impact of the various disturbances.