In this essay some fundamental results from the theory of machine learning and neural networks are presented, with the goal of finally discussing bounds on the generalization error of neural networks, via Rademacher complexity. / I denna uppsats presenteras några grundläggande resultat från teorin kring maskininlärning och neurala nätverk, med målet att slutligen diskutera övre begräsningar på generaliseringsfelet hos neurala nätverk, via Rademachers komplexitet.

Vi genomför en litteraturstudie där vi studerar och analyserar publikationer inom maskininlärning i kombination med algoritmisk handel. I denna studie undersöker vi vilka typer av data samt vilka maskininlärningstekniker som kunnat visas vara tillämpningsbara vid system för algoritmisk handel. Till vår litteraturstudie använder vi oss av publikationer som är peer-reviewed från trovärdiga databaser. Resultatet visar att det huvudsakligen finns tre typer av data som är av betydelse för algoritmisk handel. Dessa är historisk prisdata, tekniska indikatorer samt den typ av data som ingår i fundamental analys. Historisk prisdata tycks ofta användas som bas för att sedan bearbetas om till andra typer av data. Det vanligaste exemplet på detta är tekniska indikatorer som ofta förekommer som datakälla i system för algoritmisk handel.Vi finner även ett antal maskininlärningstekniker som av tidigare publikationer demonstreras vara tillämpningsbara för algoritmisk handel. Publikationer påvisar att en maskininlärningsteknik kallad SVM (support vector machine) kan tillämpas på tekniska indikatorer och även analys av nyhetsrubriker. Vi påträffar även publikationer som demonstrerar tillämpningen av två typer av neurala nätverk, klassifikationsnätverk samt regressionsnätverk. Dessa nyttjas för att generera trade signals i ett algoritmiskt handelssystem. I vår studie hittar vi också en tillämpning av evolutionär maskininlärning som används för att approximera en lösning på det optimala orderexekveringsproblemet.Vi diskuterar även ett ekonomiskt incitament som missgynnar akademisk öppenhet och publikation av nya upptäckter inom området. Detta existerar på grund av att fördelaktiga resultat kan vara finansiellt gynnsamma att undanhålla. / We conduct a literature review in which we study and analyze publications in the area of machine learning in combination with algorithmic trading. In this study we investigate what types of data and which machine learning techniques that are shown to be applicable to systems used for algorithmic trading. For our literature review we use peer-reviewed publications from trustworthy databases. The result shows that we find mainly three types of data that are relevant for algorithmic trading. These are financial data quotes, technical indicators and the types of data that is relevant for fundamental analysis. Financial data quotes often seem to be used as a basis for later processing into other types of data. The most common example of this is technical indicators that are frequently used as a source of data in systems for algorithmic trading.We also find a number of machine learning techniques that have been demonstrated by previous publications to be applicable for algorithmic trading. Publications show that a machine learning technique called SVM (support vector machine) can be applied on technical indicators as well as for analysis of news headlines. We also find publications that demonstrate the application of two types of neural networks, classification and regression network. These are used in order to generate trade signals in an algorithmic trading system. In our study we also find an application of evolutionary machine learning which is used to approximate an optimal solution to the order execution problem. Moreover, we also discuss a financial incentive that disadvantage academic openness and the publications of new discoveries in the relevant area of research. This financial incentive exists because advantageous results may be financially beneficial to withhold.

Sveriges kommunala spillvattenledningsnät står idag inför en enorm utmaning, då eftersattunderhåll i kombination med klimatförändringar kommer kräva stora framtida investeringaroch tidskrävande analyser. Detta examensarbete har utförts med målet att förenkla dettastundande förnyelsearbete. Som metod har en enkät utformats, och besvarats av totalt 84kommuner, med syftet att presentera en lägesbild. Vidare har ett artificiellt neuralt nätverkutvecklats, och tillämpats på data från Täby kommun, med syftet att förutspå vilkaspillvattenledningar i ett ledningsnät som har behov av förnyelse. Resultatet visar att det finns ett stort förbättringsbehov i det strategiska förnyelsearbetet.Störst behov, och potential, finns i hantering och insamling av data, där artificiella neuralanätverk kan tillämpas och utnyttjas som ett effektivt och intelligent verktyg. Det artificiellaneurala nätverket som utvecklats, och tillämpats, i detta examensarbete uppnådde en högprecision (93 %), och beräknade att Täby kommun har ca 10-20 spillvattenledningar medoupptäckt förnyelsebehov. Detta bör dock tas med viss reservation pga. bristandedatakvalitet. Avslutningsvis kan konstateras att lösningen för framtidens ledningsförnyelserelateradeproblem och utmaningar, ligger i förmågan att effektivt och intelligent samla in, struktureraoch analysera data om ledningsnäten. Artificiella neurala nätverk är ett verktyg som kanoch bör användas för detta ändamål då man, med hjälp av artificiell intelligens, kan göraprecisa analyser och skapa helhetsbilder över ledningsnät, vilket kan spara bådefinansiella, temporala och personella resurser. / Aging sewer systems and deferred maintenance pose one of the greatest challenges toSwedish municipal infrastructure in the future. This degree project has been completedwith the aim to develop a method with which to sufficiently solve these future challenges,and help decision makers to properly invest in the networks, and optimise the pipe renewalprocess. As a methodology, a survey has been created, and answered by 84representatives from various municipalities and water and waste organisations, in order topresent a deeper understanding of the current situation in Sweden. Furthermore, anartificial neural network has been developed, and trained with data from Täby municipality,with the purpose of predicting which pipes in a sewer network that need to be renewed. The results show that there is a great need for improvement in the strategic renewalplanning. The greatest need, and potential, is found in the collection and processing ofdata, where artificial neural networks can be applied as a highly efficient and intelligenttool, which is proven by the high accuracy (93 %) and strong ability to predict pipes withrenewal needs (ca 10-20 pipes for Täby municipality) that the neural network developedfor this degree project showed. It is, however, important to emphasize that the quality ofthe obtained data from Täby was relatively low, and that the results therefore has to beviewed with some skepticism. It is nevertheless reasonable to assume that artificial intelligence, and more specifically,artificial neural networks, will play an important role in tackling future challenges related tostrategic asset management and renewal planning for underground sewer infrastructure.The main solution lies in the ability to efficiently and intelligently collect, structure, andprocess data, and this is a field where artificial neural networks, as made evident by thisdegree project, certainly have abilities to flourish and contribute to savings in bothfinancial, temporal and human resources.

Product pricing is an always present issue and there are a number of different traditional pricing strategies that can be applied depending on the situation. With an increasing amount of available data, as well as new improved methods to take advantage of this information, companies are presented with the opportunity to become more data driven in their decision making. The aim of this this thesis is to examine the possibilities of using statistical machine learning methods, more specifically neural networks, to predict what effect price changes have on sales numbers, and to identify what features are of importance when making these predictions. This would allow us to use a more data driven pricing strategy. The work is done in collaboration with Kjell \& Company, a Swedish consumer electronics retailer.  The results of this thesis shows that no predictions regarding sales can be done with any meaningful accuracy using the limited features available at the time of this thesis. More work has to be done in order to identify and quantify more value contributing features. Due to the limitations of the results presented here, no conclusions can be made regarding applying neural networks for these types of problems in general, based on the results of this report. However, the author still believes that it is a promising area of research, and that with a greater domain knowledge, interesting results could be achieved using similar methods. / Prissättning är ett alltid närvarande problem, och det finns ett antal olika traditionella strategier för prissättning som kan användas beroende på situationen. I samband med att mer och mer data blir tillgänglig, samt att nya metoder som kan användas för att ta tillvara på informationen läggs fram, presenteras företag med möjligheter att bli mer datadrivna i sitt beslutsfattande. Syftet med den här rapporten är att undersöka möjligheterna att använda statiska maskininlärningsmetoder, specifikt neurala nätverk, för att förutsäga vilken påverkan prisändringar har på försäljning samt vilka faktorer som är viktiga för att kunna göra dessa förutsägningar. Detta skulle innebära att man kan en mer datadriven prisstrategi. Arbetet görs i sammarbete med Kjell \& Company, en svensk butikskedja med fokus på hemelektronik. Resultaten av det här projektet tyder inte på det går att göra förutsägningar med någon meningsfull noggrannhet med den data som var tillgänglig. Mer arbete måste göras för att identifiera och kvantifiera nya parametrar, föreslagsvis parametrar med större koppling till värdeskapande faktorer. Baserat på de begränsade resultaten från detta arbete, går det inte att dra några slutsatser angående användandet av neurala nätverk i denna typ av problem i allmänhet. Dock anser författaren att det är ett lovande område med stora möjligheter, och att man med bättre domänkunskap borde kunna få fram intressanta resultat med liknande metoder.

With the development of artificial neural network (ANN), it has been introduced in more and more computer vision tasks. Convolutional neural networks (CNNs) are widely used in object detection, object tracking, and semantic segmentation, achieving great performance improvement than traditional algorithms. As a classical topic in computer vision, the exploration of applying deep CNNs for depth recovery from monocular images is popular, since the single-view image is more common than stereo image pair and video. However, due to the lack of motion and geometry information, monocular depth estimation is much more difficult. This thesis aims at investigating depth prediction from single images by exploiting state-of-the-art deep CNN models. Two neural networks are studied: the first network uses the idea of a global and local network, and the other one adopts a deeper fully convolutional network by using a pre-trained backbone CNN (ResNet or DenseNet). We compare the performance of the two networks and the result shows that the deeper convolutional neural network with the pre-trained backbone can achieve better performance. The pre-trained model can significantly accelerate the training process. We also find that the amount of training dataset is essential for CNN-based monocular depth prediction. / Utvecklingen av artificiella neurala nätverk (ANN) har gjort att det nu använts i flertal datorseende tekniker för att förbättra prestandan. Convolutional Neural Networks (CNN) används ofta inom objektdetektering, objektspårning och semantisk segmentering, och har en bättre prestanda än de föregående algoritmerna. Användningen av CNNs för djup prediktering för single-image har blivit populärt, på grund av att single-image är vanligare än stereo-image och filmer. På grund av avsaknaden av rörelse och geometrisk information, är det mycket svårare att veta djupet i en bild än för en film. Syftet med masteruppsatsen är att implementera en ny algoritm för djup prediktering, specifikt för bilder genom att använda CNN modeller. Två olika neurala nätverk analyserades; det första använder sig av lokalt och globalt nätverk och det andra består av ett avancerat Convolutional Neural Network som använder en pretrained backbone CNN (ResNet eller DenseNet). Våra analyser visar att avancerat Convolutional Neural Network som använder en pre-trained backbone CNN har en bättre prestanda som påskyndade inlärningsprocessen avsevärt. Vi kom även fram till att mängden data för inlärningsprocessen var avgörande för CNN-baserad monokulär djup prediktering.

The industry of electronic commerce (e-commerce) constitutes a great part of the yearly retail consumption in Sweden. Looking at recent years, it has been seen that a rapidly growing sector within the mentioned field is the clothing industry for clothes and accessories for children and newborns. To get an overview of the items and help customers to find what they are looking for, many web stores have a system called a Recommendation System. The mechanics behind this service can look rather different depending on the method used. However, their unified goal is to provide a list of recommended items of interest to the customer.  A branch within this field is the Session Based Recommendation System (SBRS). These are models which are designed to work with the trace of products, called a session, that a user currently has visited on the web store. Based on that information they then formulate an output of recommended items. The SBRS models have been especially popularized since the majority of customers browse in an anonymous behavior, which means that they due to time efficiency often neglect the possibility of creating or logging into any personal web store account. This however limits the accessible information that a system can make use of to shape its item list.  It can be seen that the number of articles exploring SBRS within the fashion branch of clothing and accessories for children is very limited. This thesis is made to fill that gap. After a thorough literature study, three models were found to be of certain interest, the Short-Term Attention/Memory Priority (STAMP) model, Long Short-Term Memory (LSTM) model, and Gated Recurrent Unit (GRU) model. Further, the LSTM model is included as it is the collaborative company, BabyShop Group AB's current used method.  The results of this thesis show that the GRU model is a promising method, managing to predict the next item for a customer more consistently than any other of the evaluated models. Furthermore, it can also be seen that what embeddings the models use to represent the products plays a significant role in the learning and evaluation of the used data set.  Moreover, a benchmark model included in this thesis also shows the importance of filtering the data set of sessions. It can be seen that a majority of customers visit already-seen products, logged happenings most likely due to refreshing web pages or similar actions. This causes the session data set to be characterized by repeated items. For future work, it would therefore indeed be interesting to see how this data set can be filtered in a different way. To see how that affects the outcome of the used metrics in this thesis. / Industrin för elektronisk handel (e-handel) utgör en stor del av den årliga konsumtionen av återförsäljning i Sverige. Bara genom att följa de senaste åren har det kunnat ses att en snabbt växande sektor inom det nämnda området är den som berör kläder och accessoarer för barn.  För att kunna ge en överblick och hjälpa kunder att finna vad de söker använder många webbutiker ett system som kallas rekommendationssystem. Hur dessa system faktiskt fungerar kan se väldigt olika ut. Men deras gemensamma mål är att i slutändan kunna ge en lista av rekommenderade produkter till kunden. En gren inom detta område är sessionsbaserade rekommendationssystem. Detta är modeller som är designade för att arbeta med själva spåret av besökta produkter, de som en kund har varit inne på under sin nuvarande vistelse på webbutiken. Baserat på denna information formuleras sedan en lista av rekommenderade produkter till besökaren. Dessa typer av modeller har blivit särskilt populära då många kunder gillar att shoppa anonymt. Vilket i denna kontext betyder att de gärna slipper att behöva logga in på något personligt konto på webbutiken, där särskild information kan sparas. Men detta betyder också att mängden tillgängliga data minskas för rekommendationssystemet.  Antalet forskningsartiklar som utforskar sessionsbaserade rekommendationssystem för e-handel inom barnmode är väldigt begränsad. Denna avhandling är därför gjord med syftet att försöka fylla detta tomrum. En genomgående litteraturstudie visade att tre modeller var av särskilt intresse, nämligen Short-Term Attention/Memory Priority (STAMP), Gated Recurrent Unit (GRU) och Long Short Term Memory (LSTM) modellen. Den sistnämnda är inkluderad då detta är den nuvarande modellen som används av företaget som denna avhandling har gjorts i samarbete med, BabyShop Group AB.  Resultaten i denna avhandling kan påvisa att GRU är en mycket lovande modell som lyckades förutbestämma nästkommande produkt i en sessionskedja bäst. Utöver detta kan det också ses att embedding-vektorerna som används för att representera produkterna för modellerna spelar en avgörande roll. Speciellt för deras lärande och evaluering av data.  Förutom det påvisade en av riktvärdesmodellerna som användes i denna avhandling den viktiga innebörden av att filtrera sessionsdata. Det kan nämligen urskiljas i den data som erhölls från företaget att många kunder återbesöker en stor del av redan besökta produkter. Detta åstadkommas troligen av att kunderna uppdaterar sidan de är på, eller utför någon annan liknande handling. Det här gör att en stor del av den sessionsdata som används i denna avhandling innehåller många upprepade produkter i de givna sessionskedjorna. Som framtida arbete vore det därför intressant att utforska olika filtreringsmetoder som kan appliceras på den givna datamängden. Detta för att se hur en mera filtrerad datamängd påverkar slutresultatet av de använda mätmetoderna i denna avhandling.

Denna studie undersöker användningen av maskininlärning (ML), särskilt artificiella neurala nätverk (ANN), inom nätverksdetektering för att upptäcka och förebygga cyberattacker. Genom en systematisk litteraturgenomgång sammanställs och analyseras relevant forskning för att erbjuda insikter och vägledning för framtida studier. Forskningsfrågorna utforskar tillämpningen av maskininlärningsalgoritmer för att effektivt identifiera och förhindra nätverksattacker samt de utmaningar som uppstår vid användningen av ANN. Metoden innefattar en strukturerad sökning, urval och granskning av vetenskapliga artiklar. Resultaten visar att maskininlärningsalgoritmer kan effektivt användas för att bekämpa cyberattacker. Dock framkommer utmaningar kopplade till ANNs känslighet för störningar i nätverkstrafiken och det ökade behovet av stor datamängd och beräkningskraft. Studien ger vägledning för utveckling av tillförlitliga och kostnadseffektiva ANN-baserade lösningar inom nätverksdetektering. Genom att sammanställa och analysera befintlig forskning ger studien en djupare förståelse för tillämpningen av ML-algoritmer, särskilt ANN, inom cybersäkerhet. Detta bidrar till kunskapsutveckling och tillför en grund för framtida forskning inom området. Studiens betydelse ligger i att främja utvecklingen av effektiva lösningar för att upptäcka och förebygga nätverksattacker. / This research study investigates the application of machine learning (ML), specifically artificial neural networks (ANN), in network intrusion detection to identify and prevent cyber-attacks. The study employs a systematic literature review to compile and analyse relevant research, aiming to offer insights and guidance for future studies. The research questions explore the effectiveness of machine learning algorithms in detecting and mitigating network attacks, as well as the challenges associated with using ANN. The methodology involves conducting a structured search, selection, and review of scientific articles. The findings demonstrate the effective utilization of machine learning algorithms, particularly ANN, in combating cyber-attacks. The study also highlights challenges related to ANN's sensitivity to network traffic disturbances and the increased requirements for substantial data and computational power. The study provides valuable guidance for developing reliable and cost-effective solutions based on ANN for network intrusion detection. By synthesizing and analysing existing research, the study contributes to a deeper understanding of the practical application of machine learning algorithms, specifically ANN, in the realm of cybersecurity. This contributes to knowledge development and provides a foundation for future research in the field. The significance of the study lies in promoting the development of effective solutions for detecting and preventing network attacks.

Safe whistleblowing within companies could give a more transparent and open society, and keeping the whistleblower safe is key, this has led to a new EU Whistleblowing Directive requiring each organization with more than 249 employees to provide an internal channel for whistleblowing before 17 July 2022. A whistleblowing service within an entity should provide secure communication for the organization and its employees. One way to make whistleblowing more accessible is by providing a service for verbal reporting, for example by recording and sending voice messages. However, ensuring that the speaker is secure and can feel anonymous can be difficult since speech varies between individuals - different accents, pitch, or the speed of the voice are examples of factors that a speaker can be identified by. Common ways of voice anonymization, that you hear on the news for example, can often be backtracked or in other ways be deanonymized such that the speaker’s identity is revealed, especially for people who know the speaker. Today we have many developing technologies, such as machine learning, which could be used to greatly improve anonymity or deanonymization. However, greater anonymity is often costly with regard to the intelligibility and sometimes the naturalness of the voice content. Therefore, we studied and evaluated a number of anonymization methods with respect to anonymity, intelligibility, and overall user-friendliness. The aim of this was to map what anonymization methods are suitable for whistleblowing and implement proof of concepts of such an anonymizer. The results show differences between anonymization methods and that some perform better than others, but in different ways. Different methods should be selected depending on the perceived threat. We designed working proof of concepts that can be used in a whistleblowing service and present when respective solutions could be used. Our work shows ways for securer whistleblowing and will be a basis for future work and implementation for the host company Nebulr. / Säker visselblåsning inom företag skulle kunna ge ett mer transparent och öppet samhälle, och att hålla visselblåsaren säker är fundamentalt viktigt, varpå ett nytt EU-direktiv för visselblåsning har formats. Detta direktiv kräver att varje verksamhet med fler än 249 anställda tillhandahåller en intern kanal för visselblåsning före den 17 juli 2022. En tjänst för visselblåsning inom en verksamhet bör tillhandahålla trygg kommunikation för organisationen och dess anställda. Ett sätt att göra visselblåsning mer tillgängligt är genom att tillhandahålla en tjänst för muntligt rapportering, till exempel genom att spela in och skicka röstmeddelanden. Att se till att talaren kan känna sig anonym och trygg kan dock vara svårt eftersom tal skiljer sig mellan individer – olika dialekter, tonhöjd eller tempo är exempel på faktorer som man kan identifieras genom. Vanliga sätt att anonymisera rösten, som man till exempel hör på nyheterna, kan ofta spåras tillbaka eller på andra sätt deanonymiseras så att identiteten avslöjas, särskilt för personer som känner talaren. Idag har vi många teknologier som fortfarande utvecklas och förbättras i det växande området information och kommunikationsteknik, exempelvis maskininlärning, som kan användas för att förbättra anonymiteten. Men mer anonymitet kommer ofta på bekostnad av förståeligheten och ibland röstens naturlighet. Därför studerade och utvärderade vi olika anonymiseringsmetoder utifrån anonymitet, förståelighet och användarvänlighet överlag. Syftet med detta var att kartlägga vilka anonymiseringsmetoder som är lämpliga för visselblåsning och implementera proof of concepts av anonymiserare. Vårt resultat visar på skillnader mellan olika anonymiseringsmetoder och att vissa metoder presterar bättre än andra, men på olika sätt. Olika metoder bör användas beroende på den upplevda hotbilden och vad man eftersträvar. Vi skapade proof-of-concepts för de metoder vi undersökt och beskriver när och för vilka situationer som respektive metod skulle kunna användas. Vårt arbete visar hur man kan uppnå säkrare visselblåsning och kommer att ligga till grund för framtida utveckling och implementering för företaget Nebulr.

Knowledge about forest measurements is essential for efficient and sustainableforestry. One important measurement is wood volume, both from an economicand an environmental perspective. Therefore it is crucial to measure wood vol-ume accurately and reliably. With airborne laser scanners, wood volume can beestimated at a large scale, more time efficiently than traditional, manual measure-ments. By utilising deep neural networks, we present methods to predict woodvolume on point clouds efficiently and accurately. Different network structuresfor point cloud regression are devised using field measurements from wood har-vesters and manual field measurements. To achieve more data, techniques tosplit up areas into smaller subareas and data augmentation methods were imple-mented. Our version of GDANet adapted for regression provided the best resultswith a RMSE of 62.68, MAPE of 24.7%, and relative RMSE of 28.0%. Furthermore,the final model produces more accurate wood volume predictions than more shal-low machine learning methods and predictions from Skoglig Grunddata.

Image classification in Machine Learning encompasses the task of identification of objects in an image. The technique has applications in various areas such as e-commerce, social media and security surveillance. In this report the author explores the impact of using t-Distributed Stochastic Neighbor Embedding (t-SNE) on data as a preprocessing step when classifying multiple classes of clothing with a state-of-the-art Deep Convolutional Neural Network (DCNN). The t-SNE algorithm uses dimensionality reduction and groups similar objects close to each other in three-dimensional space. Extracting this information in the form of a positional coordinate gives us a new parameter which could help with the classification process since the features it uses can be different from that of the DCNN. Therefore, three slightly different DCNN models receives different input and are compared. The first benchmark model only receives pixel values, the second and third receive pixel values together with the positional coordinates from the t-SNE preprocessing for each data point, but with different hyperparameter values in the preprocessing step. The Fashion-MNIST dataset used contains 10 different clothing classes which are normalized and gray-scaled for easeof-use. The dataset contains 70.000 images in total. Results show minimum change in classification accuracy in the case of using a low-density map with higher learning rate as the data size increases, while a more dense map and lower learning rate performs a significant increase in accuracy of 4.4% when using a small data set. This is evidence for the fact that the method can be used to boost results when data is limited. / Bildklassificering i maskinlärning innefattar uppgiften att identifiera objekt i en bild. Tekniken har applikationer inom olika områden så som e-handel, sociala medier och säkerhetsövervakning. I denna rapport undersöker författaren effekten av att användat-Distributed Stochastic Neighbour Embedding (t-SNE) på data som ett förbehandlingssteg vid klassificering av flera klasser av kläder med ett state-of-the-art Deep Convolutio-nal Neural Network (DCNN). t-SNE-algoritmen använder dimensioneringsreduktion och grupperar liknande objekt nära varandra i tredimensionellt utrymme. Att extrahera denna information i form av en positionskoordinat ger oss en ny parameter som kan hjälpa till med klassificeringsprocessen eftersom funktionerna som den använder kan skilja sig från DCNN-modelen. Tre olika DCNN-modeller får olika in-data och jämförs därefter. Den första referensmodellen mottar endast pixelvärden, det andra och det tredje motar pixelvärden tillsammans med positionskoordinaterna från t-SNE-förbehandlingen för varje datapunkt men med olika hyperparametervärden i förbehandlingssteget. I studien används Fashion-MNIST datasetet som innehåller 10 olika klädklasser som är normaliserade och gråskalade för enkel användning. Datasetet innehåller totalt 70.000 bilder. Resultaten visar minst förändring i klassificeringsnoggrannheten vid användning av en låg densitets karta med högre inlärningsgrad allt eftersom datastorleken ökar, medan en mer tät karta och lägre inlärningsgrad uppnår en signifikant ökad noggrannhet på 4.4% när man använder en liten datamängd. Detta är bevis på att metoden kan användas för att öka klassificeringsresultaten när datamängden är begränsad.