Machine learning algorithms have many applications, both for academic and industrial purposes. Examples of applications are classification of diffraction patterns in materials science and classification of properties in chemical compounds within the pharmaceutical industry. For these algorithms to be successful they need to be optimised,  part of this is achieved by training the algorithm, but there are components of the algorithms that cannot be trained. These hyperparameters have to be tuned separately. The focus of this work was optimisation of hyperparameters in classification algorithms based on convolutional neural networks. The purpose of this thesis was to investigate the possibility of using reinforcement learning algorithms, primarily Q-learning, as the optimising algorithm.  Three different algorithms were investigated, Q-learning, double Q-learning and a Q-learning inspired algorithm, which was designed during this work. The algorithms were evaluated on different problems and compared to a random search algorithm, which is one of the most common optimisation tools for this type of problem. All three algorithms were capable of some learning, however the Q-learning inspired algorithm was the only one to outperform the random search algorithm on the test problems.  Further, an iterative scheme of the Q-learning inspired algorithm was implemented, where the algorithm was allowed to refine the search space available to it. This showed further improvements of the algorithms performance and the results indicate that similar performance to the random search may be achieved in a shorter period of time, sometimes reducing the computational time by up to 40%. / Maskininlärningsalgoritmer har många tillämpningsområden, både akademiska och inom industrin. Exempel på tillämpningar är, klassificering av diffraktionsmönster inom materialvetenskap och klassificering av egenskaper hos kemiska sammansättningar inom läkemedelsindustrin. För att dessa algoritmer ska prestera bra behöver de optimeras. En del av optimering sker vid träning av algoritmerna, men det finns komponenter som inte kan tränas. Dessa hyperparametrar måste justeras separat. Fokuset för det här arbetet var optimering av hyperparametrar till klassificeringsalgoritmer baserade på faltande neurala nätverk. Syftet med avhandlingen var att undersöka möjligheterna att använda förstärkningsinlärningsalgoritmer, främst ''Q-learning'', som den optimerande algoritmen.  Tre olika algoritmer undersöktes, ''Q-learning'', dubbel ''Q-learning'' samt en algoritm inspirerad av ''Q-learning'', denna utvecklades under arbetets gång. Algoritmerna utvärderades på olika testproblem och jämfördes mot resultat uppnådda med en slumpmässig sökning av hyperparameterrymden, vilket är en av de vanligare metoderna för att optimera den här typen av algoritmer. Alla tre algoritmer påvisade någon form av inlärning, men endast den ''Q-learning'' inspirerade algoritmen presterade bättre än den slumpmässiga sökningen.  En iterativ implemetation av den ''Q-learning'' inspirerade algoritmen utvecklades också. Den iterativa metoden tillät den tillgängliga hyperparameterrymden att förfinas mellan varje iteration. Detta medförde ytterligare förbättringar av resultaten som indikerade att beräkningstiden i vissa fall kunde minskas med upp till 40% jämfört med den slumpmässiga sökningen med bibehållet eller förbättrat resultat.

Forskningen i denna studie har varit att tag fram hur mycket betydelse storleken på datauppsättningen har för inverkan på resultat inom objektigenkänning. Forskningen implementerades i att träna en modell inom datorseende som skall kunna identifiera och konvertera handskrivna siffror från fysisk-formulär till digitaliserad-format. Till denna process användes två olika ramverk som heter TensorFlow och PyTorch. Processen tränades inom två olika miljöer, ena modellen tränades i CPU-miljö och den andra i Google Clouds GPU-miljö. Tanken med studien är att förbättra resultat från tidigare examensarbete och forska vidare till att utöka utvecklingen extra genom att skapa en modell som identifierar och digitaliserar flera handskrivna siffror samtidigt på ett helt formulär. För att vidare i fortsättningen kunna användas till applikationer som räknar ihop tex poängskörden på ett formulär med hjälp av en mobilkamera för igenkänning. Projektet visade ett resultat av ett felfritt igenkännande av flera siffror samtidigt, när datauppsättningen ständigt utökades. Resultat kring enskilda siffror lyckades identifiera alla siffror från 0 till 9 med både ramverket TensorFlow och PyTorch. / The research in this study has been to extract how important the size of the dataset is for the impact on results within object recognition. The research was implemented in training a model in computer vision that should be able to identify and convert handwritten numbers from physical forms to digitized format. Two different frameworks called TensorFlow and PyTorch were used for this process. The process was trained in two different environments, one model was trained in the CPU environment and the other in the Google Cloud GPU environment. The idea of the study is to improve results from previous degree projects and further research to expand the development extra by creating a model that identifies and digitizes several handwritten numbers simultaneously on a complete form, which will continue to be able to help and be used in the future for applications that sums up points on a form using a mobile camera for recognition. The project showed a result of an error-free recognition of several numbers at the same time, when the data set was constantly expanded. Results around individual numbers managed to identify all numbers from 0 to 9 with both the TensorFlow and PyTorch frameworks.

Denna rapport syftar till att implementera en metod för att simulera cancerceller och skapa en ökad förståelse för hur Warburgeffekten, vilket är cancercellers användning av anaerob metabolism under aeroba förhållanden, påverkar cancerceller. Detta undersöks genom att simulera i en dator hur syrehalten påverkar andelen anaeroba cancerceller i en tumör och dess spridning. I studien undersöks fem olika syrenivåer. Simuleringen görs med en Cellular Automaton-modell och startar med ett mindre antal cancerceller i mitten av ett 200x200-rutnät, omgivna av friska celler. Cancercellerna och deras beslutsmekanismer modelleras med artificiella neurala nätverk och friska celler med fastställda regler. Cancercellerna kan vid delning muteras och ge upphov till nya beteenden som sedan blir en del av selektionsprocessen. Simuleringarna visar att cancercellerna, oberoende av syrehalten, sprider sig på ett likartat vis. Genom att vissa av cancercellerna övergår från aerob till anaerob metabolism så försurar cancertumören sin omgivning, vilket dödar friska celler. Syrehaltens påverkan på andelen anaeroba celler hos tumören visar sig ha betydelse, men det är främst hos den lägsta syrehalten en markant ökning av andelen anaeroba celler noteras. Noterbart är även att andelen anaeroba celler i den här studien, för alla syrehalter, är avsevärt lägre än de 60 % som påvisats i vissa studier av Warburgeffekten gjorda på levande celler.

Channel estimation is a fundamental task for exploiting the advantages of massive Multiple-Input Multiple-Output (MIMO) systems in fifth generation (5G) wireless technology. Channel estimates require solving sparse linear inverse problems that is usually performed with the Least Squares method, which brings low complexity but high mean squared error values. Thus other methods are usually needed to obtain better results, on top of Least Squares. Approximate Message Passing (AMP) is an efficient method for solving sparse linear inverse problems and recently a deep neural network approach to quickly solving such problems has been proposed, called Learned Approximate Message Passing (LAMP) [1], which estimates AMP with a fixed number iterations and learnable parameters. We formalize the channel estimation problem as a dictionary-based sparse linear inverse problem and investigate the applicability of LAMP to the task. We build upon the work of Borgerding et al. [1], providing a new loss function to minimize for our dictionary-based problem, we investigate empirically LAMP’s capabilities in various conditions: varying the dataset size, number of subcarriers, depth of network, and signal-to-noise ratio (SNR). We also propose a new network called Adaptive-LAMP which differs from LAMP for the introduction of a small neural network in each layer for estimating certain parameters instead of learning them. Experiments show that LAMP performs significantly better than AMP in terms of NMSE at low signal-to-noise ratio (SNR) levels and worse at high SNR levels. Interestingly, both proposed networks perform well at discovering active paths in cellular networks, paving the way for new approaches to the Channel Estimation problem. / Kanalbedömning är en grundläggande uppgift för att utnyttja fördelarna med massiva MIMO-system (Multiple-Input Multiple-Output) i femte generationens (5G) trådlösa teknik. Kanalskattningar kräver att man löser glesa linjära inversa problem som vanligtvis utförs med Least Squares-metoden, som ger låg komplexitet men höga medelvärden för det kvadratiska felet. Därför behövs vanligtvis andra metoder för att få bättre resultat, utöver Least Squares. Approximate Message Passing (AMP) är en effektiv metod för att lösa sparsamma linjära inversa problem, och nyligen har det föreslagits ett djupt neuralt nätverk för att snabbt lösa sådana problem, kallat Learned Approximate Message Passing (LAMP) [1], som uppskattar AMP med ett fast antal iterationer och inlärningsbara parametrar. Vi formaliserar kanalskattningsproblemet som ett ordboksbaserat sparse linjärt inversproblem och undersöker LAMP:s tillämplighet på uppgiften. Vi bygger på Borgerding et al. [1], som tillhandahåller en ny förlustfunktion att minimera för vårt ordboksbaserade problem, och vi undersöker empiriskt LAMP:s kapacitet under olika förhållanden: vi varierar datasetets storlek, antalet underbärare, nätverkets djup och signal-brusförhållandet (SNR). Vi föreslår också ett nytt nätverk kallat Adaptive-LAMP som skiljer sig från LAMP genom att det införs ett litet neuralt nätverk i varje lager för att uppskatta vissa parametrar i stället för att lära sig dem. Experiment visar att LAMP presterar betydligt bättre än AMP när det gäller NMSE vid låga signal-brusförhållande (SNR) och sämre vid höga SNR-nivåer. Intressant nog presterar båda de föreslagna nätverken bra när det gäller att upptäcka aktiva vägar i cellulära nätverk, vilket banar väg för nya metoder för kanalskattningsproblemet.

Molecular property prediction has the ability to improve many processes in molecular chemistry industry. One important application is the development of new drugs where molecular property prediction can decrease both the cost and time of finding new drugs. The current trend is to use graph neural networks or transformers which tend to need moderate and large amounts of data respectively to perform well. Because of the scarceness of molecular property data it is of great interest to find an effective method to transfer learning from other more data-abundant problems. In this thesis I present an approach to pre-train transformer encoders on reaction prediction in order to improve performance on downstream molecular property prediction tasks. I have built a model based on the full transformer architecture but modify it for the purpose of pre-training the encoder. Model performance and specifically the effect of pre-training is tested by predicting lipophilicity, HIV inhibition and hERG channel blocking using both pre-trained models and models without any pre-training. The results demonstrate a tendency for improvement of performance on all molecular property prediction tasks using the suggested pre-training but this tendency for improvement is not statistically significant. The major limitation with the conclusive evaluation stems from the limited simulations due to computational constraints

This thesis investigates the performance of Mask R-CNN when utilizing transfer learning on a small dataset. The aim was to instance segment eyeglass lenses as accurately as possible from self-portrait images. Five different models were trained, where the key difference was the types of eyeglasses the models were trained on. The eyeglasses were grouped into three types, fully rimmed, semi-rimless, and rimless glasses. 1550 images were used for training, validation, and testing. The model's performances were evaluated using TensorBoard training data and mean Intersection over Union scores (mIoU). No major differences in performance were found in four of the models, which grouped all three types of glasses into one class. Their mIoU scores range from 0.913 to 0.94 whereas the model with one class for each group of glasses, performed worse, with a mIoU of 0.85. The thesis revealed that one can achieve great instance segmentation results using a limited dataset when taking advantage of transfer learning. / Denna uppsats undersöker prestandan för Mask R-CNN vid användning av överföringsinlärning på en liten datamängd. Syftet med arbetet var att segmentera glasögonlinser så exakt som möjligt från självporträttbilder. Fem olika modeller tränades, där den viktigaste skillnaden var de typer av glasögon som modellerna tränades på. Glasögonen delades in i 3 typer, helbåge, halvbåge och båglösa. Totalt samlades 1550 träningsbilder in, dessa annoterades och användes för att träna modellerna.  Modellens prestanda utvärderades med TensorBoard träningsdata samt genomsnittlig Intersection over Union (IoU). Inga större skillnader i prestanda hittades mellan modellerna som endast tränades på en klass av glasögon. Deras genomsnittliga IoU varierar mellan 0,913 och 0,94. Modellen där varje glasögonkategori representerades som en unik klass, presterade sämre med en genomsnittlig IoU på 0,85. Resultatet av uppsatsen påvisar att goda instanssegmenteringsresultat går att uppnå med hjälp av en begränsad datamängd om överföringsinlärning används.

Deep Neural Networks are widely applied to various kinds of fields nowadays. However, hundreds of thousands of neurons in each layer result in intensive memory storage requirement and a massive number of operations, making it difficult to employ deep neural networks on mobile devices where the hardware resources are limited. One common technique to address the memory limitation is to prune and quantize the neural networks. Besides, due to the frequent usage of Rectified Linear Unit (ReLU) function or network pruning, majority of the data in the weight matrices will be zeros, which will not only take up a large amount of memory space but also cause unnecessary computation operations. In this thesis, a new value-based compression method is put forward to represent sparse matrix more efficiently by eliminating these zero elements, and a customized hardware is implemented to realize the decompression and computation operations. The value-based compression method is aimed to replace the nonzero data in each column of the weight matrix with a reference value (arithmetic mean) and the relative differences between each nonzero element and the reference value. Intuitively, the data stored in each column is likely to contain similar values. Therefore, the differences will have a narrow range, and fewer bits rather than the full form will be sufficient to represent all the differences. In this way, the weight matrix can be further compressed to save memory space. The proposed value-based compression method reduces the memory storage requirement for the fully-connected layers of AlexNet to 37%, 41%, 47% and 68% of the compressed model, e.g., the Compressed Sparse Column (CSC) format, when the data size is set to 8 bits and the sparsity is 20%, 40%, 60% and 80% respectively. In the meanwhile, 41%, 53% and 63% compression rates of the fully-connected layers of the compressed AlexNet model with respect to 8-bit, 16-bit and 32-bit data are achieved when the sparsity is 40%. Similar results are obtained for VGG16 experiment. / Djupa neurala nätverk används i stor utsträckning inom olika fält nuförtiden. Emellertid ställer hundratusentals neuroner per lager krav på intensiv minneslagring och ett stort antal operationer, vilket gör det svårt att använda djupa neurala nätverk på mobila enheter där hårdvaruresurserna är begränsade. En vanlig teknik för att hantera minnesbegränsningen är att beskära och kvantifiera de neurala nätverken. På grund av den frekventa användningen av Rectified Linear Unit (ReLU) -funktionen eller nätverksbeskärning kommer majoriteten av datat i viktmatriserna att vara nollor, vilket inte bara tar upp mycket minnesutrymme utan också orsakar onödiga beräkningsoperationer. I denna avhandling presenteras en ny värdebaserad komprimeringsmetod för att representera den glesa matrisen mer effektivt genom att eliminera dessa nollelement, och en anpassad hårdvara implementeras för att realisera dekompressions- och beräkningsoperationerna. Den värdebaserade komprimeringsmetoden syftar till att ersätta icke-nolldata i varje kolumn i viktmatrisen med ett referensvärde (aritmetiskt medelvärde) och de relativa skillnaderna mellan varje icke-nollelement och referensvärdet. Intuitivt kommer data som lagras i varje kolumn sannolikt att innehålla liknande värden. Därför kommer skillnaderna att ha ett smalt intervall, och färre bitar snarare än den fullständiga formen kommer att räcka för att representera alla skillnader. På så sätt kan viktmatrisen komprimeras ytterligare för att spara minnesutrymme. Den föreslagna värdebaserade komprimeringsmetoden minskar minneslagringskravet för de helt anslutna lagren av AlexNet till 37%, 41%, 47% och 68% av den komprimerade modellen, t.ex. Compressed Sparse Column (CSC) format, när datastorleken är inställd på 8 bitar och sparsiteten är 20%, 40%, 60% respektive 80%. Under tiden uppnås 41%, 53% och 63% komprimeringshastigheter för de helt anslutna lagren i den komprimerade AlexNet-modellen med avseende på 8- bitars, 16-bitars och 32-bitars data när sparsiteten är 40%. Liknande resultat erhålls för VGG16-experiment.

The author investigates the performance of a time series based approach in predicting the risk of patients abandoning treatment in a treatment program for childhood obesity. The time series based approach is compared and contrasted to an approach based on static features (which has been applied in similar problems). Four machine learning models are constructed; one ‘Main model’ using both time series forecasting and three ‘reference models’ created by removing or exchanging parts of the main model to test the performance of using only time series forecasting or only static features in the prediction. The main model achieves an ROC-AUC of 0.77 on the data set. ANOVA testing is used to determine whether the four models perform differently. A difference cannot be verified at the significance level of 0.05, and thus, the author concludes that the project cannot show either an advantage or a disadvantage to employing a time series based approach over static features in this problem. / Författaren jämför modeller baserade på tidsserieförutsägelser med modeller baserade på statiska, fasta värden, till syfte att identifera patienter som riskerar att lämna ett behandlingsprogram för barnfetma. Fyra maskininlärningsmodeller konstrueras, en ‘Huvudmodell’ som använder sig av både tidsserieförutsägelser och statiska värden, och tre modeller som bryter ut delar av huvudmodellen för undersöka beteendet i modeller baserade enbart på statiska värden respektive enbart baserade på tidsserieförutsägelser. Huvudmodellen uppnår ROC-AUC0.77 på datasetet. ANOVA(variansanalys) används för att avgöra huruvida de fyra modellernas resultat skiljer sig, och en skillnad kan ej verieras vid P = 0:05. Följaktligen drar författaren slutsatsen att projektet inte har kunnat visa vare sig en signifikant fördel eller nackdel med att använda sig av tidsserieförutsägelser inom den aktuella problemdomänen.

Biological neuronal networks are a key object of study in the field of computational neuroscience, and recent studies have also shown their potential applicability within artificial intelligence and robotics [1]. They come in many shapes and forms, and a well known and widely studied example is the liquid state machine from 2004 [2]. In 2019, a novel and simple connectivity rule was presented with the introduction of the SpreizerNet [3]. The connectivity of the SpreizerNet is governed by a type of gradient noise known as Perlin noise, and as such the connectivity is anisotropic but correlated. The spiking activity produced in the SpreizerNet is possibly functionally relevant, e.g. for motor control or classification of input stimuli. In 2020, it was shown to be useful for motor control [4]. In this Master’s thesis, we inquire if the spiking activity of the SpreizerNet is functionally relevant in the context of stimulus representation. We investigate how input stimulus from the MNIST handwritten digits dataset is represented in the spatio-temporal activity sequences produced by the SpreizerNet, and whether this representation is sufficient for separation. Furthermore, we consider how the parameters governing the local structure of connectivity impacts representation and separation. We find that (1) the SpreizerNet separates input stimulus at the initial stage after stimulus and (2) that separation decreases with time when the activity from dissimilar inputs becomes unified. / Biologiska neurala nätverk är ett centralt studieobjekt inom beräkningsneurovetenskapen, och nyliga studier har även visat deras potentiella applicerbarhet inom artificiell intelligens och robotik [1]. De kan formuleras på många olika sätt, och ett välkänt och vida studerat exempel är liquid state machine från 2004 [2]. 2019 presenterades en ny och enkel kopplingsregel i SpreizerNätverket [3]. Kopplingarna i SpreizerNätverket styrs av en typ av gradientbrus vid namn Perlinbrus, och som sådana är de anisotropiska men korrelerade. Spikdatan som genereras av SpreizerNätverket är möjligtvis betydelsefull för funktion, till exempel för motorisk kontroll eller separation av stimuli. 2020 visade Michaelis m. fl. att spikdatan var relevant för motorisk kontroll [4]. I denna masteruppsats frågar vi oss om spikdatan är funktionellt relevant för stimulusrepresentation. Vi undersöker hur stimulus från MNIST handwritten digits -datasetet representeras i de spatiotemporella aktivitetssekvenserna som genereras i SpreizerNätverket, och huruvida denna representation är tillräcklig för separation.Vidare betraktar vi hur parametrarna som styr den lokala kopplingsstrukturen påverkar representation och separation. Vi visar att (1) SpreizerNätverket separerar stimuli i ett initialt skede efter stimuli och (2) att separationen minskar med tid när aktiviteten från olika stimuli blir enhetlig.

Vi genomför en litteraturstudie där vi studerar och analyserar publikationer inom maskininlärning i kombination med algoritmisk handel. I denna studie undersöker vi vilka typer av data samt vilka maskininlärningstekniker som kunnat visas vara tillämpningsbara vid system för algoritmisk handel. Till vår litteraturstudie använder vi oss av publikationer som är peer-reviewed från trovärdiga databaser. Resultatet visar att det huvudsakligen finns tre typer av data som är av betydelse för algoritmisk handel. Dessa är historisk prisdata, tekniska indikatorer samt den typ av data som ingår i fundamental analys. Historisk prisdata tycks ofta användas som bas för att sedan bearbetas om till andra typer av data. Det vanligaste exemplet på detta är tekniska indikatorer som ofta förekommer som datakälla i system för algoritmisk handel.Vi finner även ett antal maskininlärningstekniker som av tidigare publikationer demonstreras vara tillämpningsbara för algoritmisk handel. Publikationer påvisar att en maskininlärningsteknik kallad SVM (support vector machine) kan tillämpas på tekniska indikatorer och även analys av nyhetsrubriker. Vi påträffar även publikationer som demonstrerar tillämpningen av två typer av neurala nätverk, klassifikationsnätverk samt regressionsnätverk. Dessa nyttjas för att generera trade signals i ett algoritmiskt handelssystem. I vår studie hittar vi också en tillämpning av evolutionär maskininlärning som används för att approximera en lösning på det optimala orderexekveringsproblemet.Vi diskuterar även ett ekonomiskt incitament som missgynnar akademisk öppenhet och publikation av nya upptäckter inom området. Detta existerar på grund av att fördelaktiga resultat kan vara finansiellt gynnsamma att undanhålla. / We conduct a literature review in which we study and analyze publications in the area of machine learning in combination with algorithmic trading. In this study we investigate what types of data and which machine learning techniques that are shown to be applicable to systems used for algorithmic trading. For our literature review we use peer-reviewed publications from trustworthy databases. The result shows that we find mainly three types of data that are relevant for algorithmic trading. These are financial data quotes, technical indicators and the types of data that is relevant for fundamental analysis. Financial data quotes often seem to be used as a basis for later processing into other types of data. The most common example of this is technical indicators that are frequently used as a source of data in systems for algorithmic trading.We also find a number of machine learning techniques that have been demonstrated by previous publications to be applicable for algorithmic trading. Publications show that a machine learning technique called SVM (support vector machine) can be applied on technical indicators as well as for analysis of news headlines. We also find publications that demonstrate the application of two types of neural networks, classification and regression network. These are used in order to generate trade signals in an algorithmic trading system. In our study we also find an application of evolutionary machine learning which is used to approximate an optimal solution to the order execution problem. Moreover, we also discuss a financial incentive that disadvantage academic openness and the publications of new discoveries in the relevant area of research. This financial incentive exists because advantageous results may be financially beneficial to withhold.