It is known that gradient flow in linear neural networks using Euclidean loss almost always avoids critical points that have at least one eigendirection with negative curvature. Using algebraic invariants of the gradient flow we try to prove that the set of all critical points with no second-order curvature (zero Hessian) for arbitrary networks is associated to a subset of the invariants of lower dimension. This would mean that these critical points are almost surely avoided. We show that this holds for networks with $3$ or less hidden layers and a few other special cases. We show by way of explicit counter-example that it is not true for general deep networks. / Det är känt att linjära neurala nätverk med Euklidisk loss-funktion under gradient flow alltid undviker kritiska punkter som har minst en egenriktning med negativ böjning. Med hjälp av algebraiska invarianter till gradient flow försöker vi bevisa att invarianter associerade med kritiska punkter med försvinnande Hessian-matris utgör en algebraisk mängd av lägre dimension. Det skulle innebära att dessa kritiska punkter nästan alltid undviks. Vi visar att för nätverk med $3$ eller färre gömda lager så gäller detta. Vi visar även med explicit motexempel att våran förmodan inte gäller för allmänna djupa nätverk.

The purpose of this article is to evaluate the impact a supervised machine learning classification model can have on the process of internal customer support within a large digitized company. Chatbots are becoming a frequently used utility among digital services, though the true general impact is not always clear. The research is separated into the following two questions: (1) Which supervised machine learning algorithm of naïve Bayes, logistic regression, and neural networks can best predict the correct support a user needs and with what accuracy? And (2) What is the effect on the productivity and customer satisfaction of using machine learning to sort customer needs? The data was collected from the internal server database of a large digital company and was then trained on and tested with the three classification algorithms. Furthermore, a survey was collected with questions focused on understanding how the current system affects the involved employees. A first finding indicates that neural networks is the best suited model for the classification task. Though, when the scope and complexity was limited, naïve Bayes and logistic regression performed sufficiently. A second finding of the study is that the classification model potentially improves productivity given that the baseline is met. However, a difficulty exists in drawing conclusions on the exact effects on customer satisfaction since there are many aspects to take into account. Nevertheless, there is a good potential to achieve a positive net effect. / Syftet med artikeln är att utvärdera den påverkan som en klassificeringsmodell kan ha på den interna processen av kundtjänst inom ett stort digitaliserat företag. Chatbotar används allt mer frekvent bland digitala tjänster, även om den generella effekten inte alltid är tydlig. Studien är uppdelad i följande två frågeställningar: (1) Vilken klassificeringsalgoritm bland naive Bayes, logistisk regression, och neurala nätverk kan bäst förutspå den korrekta hjälpen en användare är i behov av och med vilken noggrannhet? Och (2) Vad är effekten på produktivitet och kundnöjdhet för användandet av maskininlärning för sortering av kundbehov? Data samlades från ett stort, digitalt företags interna databas och används sedan i träning och testning med de tre klassificeringsalgoritmerna. Vidare, en enkät skickades ut med fokus på att förstå hur det nuvarande systemet påverkar de berörda arbetarna. Ett första fynd indikerar att neurala nätverk är den mest lämpade modellen för klassificeringen. Däremot, när omfånget och komplexiteten var begränsat presenterade även naive Bayes och logistisk regression tillräckligt. Ett andra fynd av studien är att klassificeringen potentiellt förbättrar produktiviteten givet att baslinjen är mött. Däremot existerar en svårighet i att dra slutsatser om den exakta effekten på kundnöjdhet eftersom det finns många olika aspekter att ta hänsyn till. Likväl finns en god potential i att uppnå en positiv nettoeffekt.

Ett användningsområde för maskininlärning och neurala nätverk är att förutspå data. Exempel på några fält som gynnas av denna teknologi är sjukvård, dataspel, och nätverksprogrammering. Detta arbete utforskar hur noggrant och tidseffektivt en specifik typ av neuralt nätverk kan förutspå en spelares framtida handlingar. Det neurala nätverket ska förutspå en framtida handling genom att ta en historik av data på spelarens inmatningar och spelets tillstånd vid olika tidpunkter. Det använda neurala nätverket kallas för ett Elmannätverk. Ett sekundärt neuralt nätverk vid namn Feed Forward Network används som jämförelsepunkt vid utvärderingen av Elmannätverket. Datainspelningen genomfördes på en avskalad förstapersonsskjutare där data användes för att både träna och utvärdera de neurala nätverken. Resultaten visar hur Elmannätverket presterade sämre än Feed Forward Nätverket. Rapporten tar upp olika möjliga orsaker till detta. Ett möjligt skäl kan vara att en historik av data inte är relevant för förutsägningen. Detta kan utvärderas vidare i framtida arbete.

This thesis analyzes data on E. coli cell growth in a bioreactor to investigate the possibility of finding predictable correlations between the environmental parameters (sensor data) and the growth using machine learning. Discovering these correlations could be a first step toward optimizing the growth of cells to be used for cell therapy: an effective but very expensive treatment method for cancer. This could ultimately lead to decreased manufacturing costs and larger treatment availability. The data first underwent a thorough preprocessing to obtain useful features that were divided into batches. In addition, a few separate further processing methods were applied to the data for further analysis. Thereafter several different machine learning methods were implemented and evaluated on the data. All possible sensor combinations were then fed into the best-performing network and the mean absolute error was calculated for each combination. The results showed that the implemented machine learning models did not find predictable patterns between sensor inputs and growth, as the predictions did not follow the growth variations and the models mainly predicted the average yield. However, the possibility that the used approach would benefit from additional data should not be discarded. / Detta examensarbete analyserar data som beskriver celltillväxt av E. coli i en bioreaktor för att undersöka möjligheten att hitta samband mellan inputparametrar och tillväxt med hjälp av maskininlärning. Att upptäcka dessa samband kan vara ett första steg mot att optimera tillväxten av celler som används för cellterapi: en effektiv men väldigt dyr behandlingsmetod för cancer. Detta kan i slutändan leda till minskade tillverkningskostnader och en större tillgänglighet av behandlingen. All data genomgick först en ingående förberedande bearbetning för att erhålla användbara features som var uppdelade i batcher. Ett antal separata vidarebearbetningsmetoder tillämpades också för vidare analys. Därefter implementerades och evaluerades ett flertal olika maskininlärningsmetoder. Den bäst presterande modellen blev tränad på alla möjliga sensorkombinationer och medelabsolutfelet beräknades. Resul- taten visade att de implementerade maskininlärningsmodellerna inte hittade förutsägbara mönster mellan sensorinput och celltillväxt, då förutsägelserna inte följde tillväxtvariationerna och modellerna främst förutspådde den genomsnittliga celltillväxten. Trots resultatet bör möjligheten att ytterligare data kan gynna det använda tillvägagångssättet inte förkastas.

Artificiell intelligens är ett snabbt utvecklande område som gör det möjligt att automatisera och effektivisera arbetsuppgifter, vilket kan behövas när vi genererar mer mängder data än någonsin. Syftet med denna uppsats var att undersöka potentialen i att integrera AI inom IT-forensiska brottsutredningar. Genom en litteraturöversikt visades det hur olika tekniker inom AI kunde appliceras för att underlätta för dagens IT-forensiska utredare. Genom ett experiment demonstrerades också hur AI-applikationen “objektdetektering” kunde underlätta IT-forensiskt arbete inom bildanalys.

This thesis examines the statistical and economic performance of modeling and predicting equity index returns by application of various statistical models on a set of macroeconomic and financial variables. By combining linear principal component regression, vector autoregressive models, and LSTM neural networks, the authors find that while a majority of the models display high statistical significance, virtually none of them successfully outperform classic portfolio theory on efficient markets in terms of risk-adjusted returns. Several implications are also discussed based on the results. / Detta examensarbete undersöker den statistiska och ekonomiska prestationen i att modellera och prognostisera aktieindexavkastning via applikation av flertalet statistiska modeller på en datamängd bestående av makroekonomiska och finansiella variabler. Genom att kombinera linjär huvudkomponentsregression (principal component analysis), vektorautoregression och den återkopplande neurala nätverksmodellen LSTM finner författarna att även om majoriteten av modellerna påvisar hög statistisk signifikans så överpresterar praktiskt taget ingen av dem mot klassisk portföljteori på effektiva marknader, sett till riskjusterad avkastning. Flera implikationer diskuteras också baserat på resultaten

In this project, the problem concerns predicting insurance premiums and particularly vehicle insurance premiums. These predictions were made with the help of Bayesian Neural Networks (BNNs), a type of Artificial Neural Network (ANN). The central concept of BNNs is that the parameters of the network follow distributions, which is beneficial. The modeling was done with the help of TensorFlow's Probability API, where a few models were built and tested on the data provided. The results conclude the possibility of predicting insurance premiums. However, the output distributions in this report were too wide to use. More data, both in volume and in the number of features, and better-structured data are needed. With better data, there is potential in building BNN and other machine learning (ML) models that could be useful for production purposes. / Detta projekt grundar sig i möjligheten till att predikera försäkringspremier, mer specifikt fordonsförsäkringspremier. Prediktioner har gjorts med hjälp av Bayesianska neurala nätverk, vilket är en typ av artificiella neurala nätverk. Det huvudsakliga konceptet med Bayesianska neurala nätverk är att parametrarna i nätverket följer distributioner vilket har vissa fördelar och inte är fallet för vanliga artificiella neurala nätverk. Ett antal modeller har konstruerats med hjälp av TensorFlow Probability API:t som tränats och testats på given data. Resultatet visar att det finns potential att prediktera premier med hjälp av de egenskapspunkter\footnote[2]{\say{Features} på engelska} som finns tillgängliga, men att resultaten inte är tillräckligt bra för att kunna användas i produktion. Med mer data, både till mängd och egenskapspunkter samt bättre strukturerad data finns potential att skapa bättre modeller av intresse för produktion.

This thesis focuses on statistical and machine learning methods designed for sequential and repeated measurement data. We start off by considering the classic general linear model (MANOVA) followed by its generalization, the growth curve model (GMANOVA), designed for analysis of repeated measurement data. By considering a binary classification problem of normal data together with the corresponding maximum likelihood estimators for the growth curve model, we demonstrate how a classification rule based on linear discriminant analysis can be derived which can be used for repeated measurement data in a meaningful way. We proceed to the topics of neural networks which serve as our second method of classification. The reader is introduced to classic neural networks and relevant subtopics are discussed. We present a generalization of the classic neural network model to the recurrent neural network model and the LSTM model which are designed for sequential data. Lastly, we present three types of data sets with an total of eight cases where the discussed classification methods are tested. / Den här uppsatsen introducerar klassificeringsmetoder skapade för data av typen upprepade mätningar och sekventiell data. Den klassiska MANOVA modellen introduceras först som en grund för den mer allmäna tillväxtkurvemodellen(GMANOVA), som i sin tur används för att modellera upprepade mätningar på ett meningsfullt sätt. Under antagandet av normalfördelad data så härleds en binär klassificeringsmetod baserad på linjär diskriminantanalys, som tillsammans med maximum likelihood-skattningar från tillväxtkurvemodellen ger en binär klassificeringsregel för data av typen upprepade mätningarn. Vi fortsätter med att introducera läsaren för klassiska neurala nätverk och relevanta ämnen diskuteras. Vi generaliserar teorin kring neurala nätverk till typen "recurrent" neurala nätverk och LSTM som är designade för sekventiell data. Avslutningsvis så testas klassificeringsmetoderna på tre typer av data i totalt åtta olika fall.

Flood forecasting maps are essential for rapid disaster response and risk management, yet the computational complexity of physically-based simulations hinders their application for efficient high-resolution spatial flood forecasting. To address the problems of high computational cost and long prediction time, this thesis proposes to develop deep learning neural networks based on a flood simulation dataset, and explore their potential use for flood prediction without learning hydrological modelling knowledge from scratch.  A Fully Convolutional Network (FCN), FCN with multiple outputs (Multioutput FCN), UNet, Graph-based model and their Recurrent Neural Network (RNN) variants are trained on a catchment area with twelve rainfall events, and evaluated on two cases of a specific rainfall event both quantitatively and qualitatively. Among them, Convolution-based models (FCN, Multioutput FCN and UNet) are commonly used to solve problems related to spatial data but do not encode the position and orientation of objects, and Graph-based models can capture the structure of the problem but require higher time and space complexity. RNN-based models are effective for modelling time-series data, however, the computation is slow due to its recurrent nature. The results show that Multioutput FCN and the Graph-based model have significant advantages in predicting deep water depths (>50 cm), and the application of recurrent training greatly improves the long-term flood prediction accuracy of the base deep learning models. In addition, the proposed recurrent training FCN model performs the best and can provide flood predictions with high accuracy.

Datakonsultföretaget Knowit AB har en kund som annonserar på Google AdWords. Denna uppsats fokuserar huvudsakligen på att hitta de olika inställningarna i AdWords som genererar köp av kundens produkt. Om en inställning ofta genererar klick men sällan köp av produkten är den inställningen inte lönsam.Responsvariabeln i denna uppsats är binär och indikerar på om ett klick på annonsen lett till köp av produkten eller inte. Eftersom responsvariabelns fördelning var skev har samplingstekniken SMOTE använts för att skapa fler observationer i minoritetsklassen. De statistiska metoder som använts och presenterats i uppsatsen är logistisk regression, neurala nätverk och beslutsträd.Resultatet gav att de fyra undersökta inställningarna påverkar sannolikheten för köp. Den första inställningen resulterade i att om dator används vid sökning på Google är sannolikheten att ett klick leder till köp betydligt högre än för mobil och surfplatta. Den andra inställningen resulterar i att en ”exakt matchning” för sökordet ger högst sannolikhet till köp och ”bred matchning” ger lägst sannolikhet. Den tredje inställningen visar att vilken veckodag annonsen klickas på påverkar sannolikheten för köp. På söndag är sannolikheten högst att ett klick leder till köp, och de två dagar som har lägst sannolikhet är lördag och tisdag. Slutligen har det undersökts om annonsens genomsnittsposition påverkar sannolikheten att produkten köps. Resultatet som gavs är att ju högre värde på genomsnittsposition, desto högre blir sannolikheten för köp. / The data consultancy company Knowit AB has a client who advertises on Google AdWords. This thesis focuses mainly on finding which settings in AdWords generate purchases of the client’s product. If a setting frequently contributes to clicks but rarely to purchases of the product, the setting is not profitable.The target variable in this thesis is binary and indicates whether a click on the advertisement led to purchase of the product or not. Since the target variable’s distribution was skewed, the sampling technique SMOTE was used to create more observations in the minority class. The classification methods researched and presented in this thesis are logistic regression, neural networks and decision trees.The results showed that all four factor had significant affect on the probability of purchase. First, if a desktop or laptop computer was used to search on Google, the likelihood that a click leads to purchase is substantially higher compared to if a mobile or tablet was used. Second, an “exact match” setting for the keywords gives the highest probability of purchase and a “broad match” gives the lowest probability. Third, purchase rates are also affected by the day of the week. Sunday has the highest probability of purchase while Saturday and Tuesday have the lowest probability. Finally, an advertisement´s average position affects the likelihood of the product being purchased. The higher value of average position, the higher the likelihood of purchase.