A denoising autoencoder is a type of neural network which excels at removingnoise from noisy input data. In this project, a denoising autoencoder isoptimized for removing noise from mobile positioning data. The mobilepositioning data with noise is generated specifically for this project. In orderto generate realistic noise, a study in how real world noise looks like is carriedout. The project aims to answer the question: can a denoising autoencoderbe used to remove noise from mobile positioning data? The results showthat using this method can effectively cut the noise in half. In this reportit is mainly analyzed how the amount of hidden layers and respective sizesaffected the performance. It was concluded that the most optimal design forthe autoencoder was a single hidden layer model with multiple more nodes inthe hidden layer than the input and output layer. / En brusreducerande autoencoder är ett sorts neuralt nätverk som är specialiserat för att ta bort brus från indata. I detta projekt optimeras en brusreducerande autoencoder för att ta bort brus från mobilpositioneringsdata. Till projektet skapades helt ny mobilpositioneringsdata med realistiskt brus. Detta gjordes genom att studera hur verkligt brus ser ut och skapa ett program som efterliknar detta. Projektets syfte var att undersöka om en brusreducerande autoencoder kan användas för att ta bort brus från mobilpositioneringsdata. Resultaten visar att metoden kan ta bort ungefär hälften av bruset. I rapporten undersöks och analyseras även hur antalet dolda lager och antalet noder i dessa lager påverkade mängden brus som autoencodern lyckades ta bort. Från de gjorda testerna drogs slutsatsen att den mest optimala designen var en enkel design med ett enda dolt lager som hade betydligt fler noder än input- och outputlagren.

After the Paris Agreement, the people of the world have a more clear understanding of the goals to combat climate change and reduce carbon emissions. Previous studies have shown that improving people's carbon literacy could play a role in achieving ambitious climate emission targets. Being the country with the largest carbon emission and the largest population, more efforts should be made to increase environmental awareness and promote carbon literacy among Chinese people. This study investigates the features of such a game intended to raise awareness on carbon emissions in China. The study involves the design and development of the game and the insights learnt from the process. The goal of this project is to design and develop a mobile game. In this game, the player interacts with a virtual pet penguin. During the interaction, emotional attachment could be developed. This study investigates the features of such a game that can raise awareness on carbon emissions in China. This game aims to promote carbon literacy among Chinese young adults, focusing on eating habits, garbage classification and carbon emissions due to traditions. According to the evaluation of this game, it is possible for such a virtual pet game to raise carbon literacy in China. / Efter Parisavtalet har världens människor en tydligare förståelse för målen för att bekämpa klimatförändringarna och minska koldioxidutsläppen. Tidigare studier har visat att en förbättring av människors koldioxidkunnighet kan spela en roll för att uppnå ambitiösa klimatmål. Eftersom det är det land som har de största koldioxidutsläppen och den största befolkningen, bör fler ansträngningar göras för att öka miljömedvetenheten och främja koldioxidkunnighet bland kineser. Denna studie undersöker egenskaperna hos ett sådant spel som syftar till att öka medvetenheten om koldioxidutsläpp i Kina. Studien involverar design och utveckling av spelet och de insikter man lärt sig från processen. Målet med detta projekt är att designa och utveckla ett mobilspel. I det här spelet interagerar spelaren med en virtuell husdjurspingvin. Under interaktionen kunde känslomässig anknytning utvecklas. Denna studie undersöker egenskaperna hos ett sådant spel som kan öka medvetenheten om koldioxidutsläpp i Kina. Det här spelet syftar till att främja kolkunskap bland kinesiska unga vuxna, med fokus på matvanor, klassificering av skräp och koldioxidutsläpp på grund av traditioner. Enligt utvärderingen av detta spel är det möjligt för ett sådant virtuellt husdjursspel att höja koldioxid kunnigheten i Kina.

Neural networks have been shown to have astounding performance on a variety of different machine learning tasks and data sets, both for synthetic and real-world data.However, in spite of their widespread usage and implementation, the convergence and the training dynamics of neural networks are neither trivial, nor completely understood. This project regards investigating what some researchers refer to as the Spectral Bias of neural networks. Neural networks have been seen during training to initially fit to data of lower complexity rather than high. That is, the network learns features of the target that in the Fourier domain corresponds to lower frequencies first, before it learns features that correspond to high frequencies. In this thesis, a quantitative way of measuring this bias is proposed, and empirical experiments are able to show the prevalence of the spectral bias with respect to this measure. The experiments compare how different network parameters, architectures, and optimizers affect the network's ability to find high frequency content during training. Both tailored experiments with synthetic target functions, and real-world data are considered. The machine learning problems investigated in this report are low dimensional regression problems. The real-world problem is natural image regression, and is performed on the DIV2K data set used in the NTIRE challenge on Single Image Super Resolution (SISR). The proposed measure shows that there exists a spectral bias in this task as well, indicating that it does not only occur in simulated data and controlled experiments, but also in data from real-world applications. / Neurala nätverk har påvisats prestera utomordentligt på flertalet olika sorters maskininlärningsproblem och dataset. Trots dess utbredda användning och implementation är likväl inte dess konvergens och träningsbeteende varken triviala, eller fullt förstådda. Den här uppsatsen undersöker vad vissa forskare benämner spectral bias hos neurala nätverk. Neurala nätverk har observerats att först anpassa sig till data med låg komplexitet, före hög. Med andra ord, nätverken lär sig de egenskaper hos målfunktionen som motsvarar låga frekvenser i Fourierdomänen först, innan de anpassar sig till de som motsvarar höga frekvenser. I den här rapporten föreslås ett kvantitativt sätt att mäta spectral bias, och empiriska experiment visar förekomsten av fenomenet med avseende på måttet. Experimenten jämför hur olika nätverksarkitekturer och träningsalgoritmer påverkar nätverkets förmåga att lära sig högfrekventa komponenter under träning. Både syntetiska experiment med konstgjorda målfunktioner, och problem med data från verkliga tillämpningar undersöks. Problemuppställningen som behandlas är lågdimensionell regression, och det verkliga problemet är bildregression applicerat data från datasetet DIV2K som används i NTIREs tävling för Single Image Super Resolution.Det föreslagna måttet påvisar spectral bias även för detta dataset, vilket indikerar att det inte bara uppkommer i konstruerade problem, utan även är något som bör tas hänsyn till i tillämpade problem.

The following project deals with the optimization of simulation parameters such as the injection location and pitch angle of polyurethane foaming simulations using artificial neural networks. The model's target is to predict quality variables based on the process parameters and the geometry features. Through several evaluations of the model, good parameter combinations can be found which in turn can be used as good initial guesses by high fidelity optimization tools. For handling different mould geometries, a meshing tool has been programmed which transforms variable-sized surface meshes into voxel meshes. Cross-section images of the meshes are then passed together with a series of simulation settings to the neural network which processes the data streams into one set of predictions. The model has been implemented using the TensorFlow interface and trained with a custom generated data set of roughly 10000 samples. The results show well-matching prediction and simulation profiles for the validation cases. The magnitudes of the quality parameters often differ, but the especially relevant areas of optimal injection points are well covered. Good results together with a small model size provide evidence for a feasible and successful extension towards a full 3D application. / Följande projekt handlar om optimering av simuleringsparametrar, såsom injektionsplats och stigningsvinkel för polyuretanskummande simuleringar med hjälp av artificiella neurala nätverk. Modellens mål är att förutsäga kvalitetsvariabler baserat på processparametrarna och geometrifunktionerna. Genom flera utvärderingar av modellen kan man hitta goda parameterkombinationer som i sin tur kan användas som gedigna förutsägelser med högkvalitativa optimeringsverktyg. För hantering av olika geometriska former har ett maskverktyg programmerats som omvandlar ytmaskor med varierande storlek till voxelmaskor. Tvärsnittsbilder av maskor na tillsammans med en serie simuleringsinställningar överförs till det neurala nätverket som behandlar dataströmmarna till en uppsättning förutsägelser. Modellen har implementerats med hjälp av TensorFlow och utbildats med en anpassad genererad datauppsättning på cirka 10000 prover. Resultaten påvisar väl matchande förutsägelser och simuleringsprofiler för valideringsfall. Kvalitetsparametrarnas storlek varierar ofta, men de särskilt relevanta områdena med optimala injektionspunkter är väl täckta. Goda resultat tillsammans med en liten modellstorlek ger bevis för en genomförbar och framgångsrik förlängning mot en fullständig 3D applikation.

This thesis examines whether housing price estimations can be improved by combining several modalities of data through the utilization of neural networks. The analysis is limited to apartments in the Stockholm municipality, and the applied modalities are residential attributes (tabular data) and photo montages (image data). The tabular data includes living area, number of rooms, age, latitude, longitude and ocean distance, while the image data contains montages of four images representing the kitchen, bathroom, living space and neighborhood through satellite imagery. Furthermore, the dataset comprises a total of 1154 apartments sold within a time frame of approximately six months, ending in June 2023. The analysis is conducted by designing three artificial neural networks and comparing their performances: a multilayer perceptron that predicts selling prices using tabular data, a convolutional neural network that predicts selling prices using image data, and a multimodal neural network that estimates sold prices taking both modalities as inputs. To facilitate the construction process, the multimodal neural network is designed by integrating the other models into its architecture. This is achieved through the concatenation of their outputs, which is then fed into a joint hidden layer. Before initiating the network development phase, the data is preprocessed appropriately, for example by excluding duplicates and dealing with missing values. In addition, images are categorized into room types via object detection, satellite images are collected, and photo montages are created. To obtain well-performing models, hyperparameter tuning is performed using methods such as grid search or random search. Moreover, the models are evaluated through three repetitions of 5-fold cross-validation with the mean absolute percentage error as performance metric. The analysis shows that the multimodal neural network exhibits a marginal but significant performance advantage compared to the multilayer perceptron, both in terms of cross-validation scores and test set outcomes. This result underscores the potential benefits of utilizing both image data and tabular data for predicting apartment selling prices through the application of neural networks. Furthermore, this work motivates a deeper investigation into these prediction methods using larger datasets for which the multimodal neural network may achieve even stronger predictive capacity / Detta examensarbete undersöker huruvida bostadsprisuppskattningar kan förbättras genom att kombinera flera modaliteter vid tillämpning av neurala nätverk. Analysen är begränsad till lägenheter i Stockholms kommun, och de tillämpade modaliteterna är bostadsattribut (tabelldata) och fotomontage (bilddata). Tabelldatat inkluderar bostadsyta, antal rum, ålder, latitud, longitud och avstånd till havet, medan bilddatat består av montage med fyra bilder som representerar kök, badrum, vardagsrum och närområde genom satellitbilder. Datasetet omfattar totalt 1154 lägenheter sålda inom ett tidsspann på cirka sex månader, fram till och med juni 2023. Analysen utförs genom att designa tre artificiella neurala nätverk och jämföra deras prestanda: en flerskiktsperceptron som förutsäger försäljningspriser med hjälp av tabelldata, ett konvolutionellt neuralt nätverk som förutsäger försäljningspriser med hjälp av bilddata, och ett multimodalt neuralt nätverk som estimerar sålda priser med båda modaliteterna som indata. För att underlätta konstruktionsprocessen designas det multimodala neurala nätverket genom att integrera de andra modellerna i sin arkitektur. Detta åstadkoms genom en sammanlänkning av deras utdata, som sedan matas in i ett gemensamt dolt lager.  Innan nätverksutvecklingsfasen påbörjas, förbehandlas datat på lämpligt sätt, till exempel genom exkludering av dubbletter och hantering av saknade värden. Dessutom kategoriseras bilder till rumstyper via objektdetektering, satellitbilder samlas in och fotomontage skapas. För att uppnå välpresterande modeller utförs hyperparameterjustering med metoder som rutnätssökning eller slumpmässig sökning. Vidare utvärderas modellerna genom tre upprepningar av 5-faldig korsvalidering med det genomsnittliga absoluta procentuella felet som prestandamått. Analysen visar på att det multimodala neurala nätverket uppvisar en marginell men tydlig prestandafördel jämfört med flerskiktsperceptronen, både när det gäller korsvalideringspoäng och testresultat. Detta understryker de potentiella fördelarna med att använda både bilddata och tabelldata vid estimering av lägenheters försäljningspris genom tillämpning av neurala nätverk. Vidare motiverar detta arbete en djupare undersökning av dessa prediktionsmetoder med hjälp av större datamängder, för vilket det multimodala neurala nätverket har potential att uppnå ännu starkare prediktiv kapacitet.

Artificiella neurala nätverk (ANN) har ett brett tillämpningsområde och blir allt relevantare på flera håll, inte minst för självkörande fordon. För att träna nätverken användsmeta-algoritmer. Nätverken kan styra fordonen med hjälp av olika typer av indata. I detta projekt har vi undersökt två meta-algoritmer: genetisk algoritm (GA) och gradient descent tillsammans med bakåtpropagering (GD & BP). Vi har även undersökt två typer av indata: avståndssensorer och linjedetektering. Vi redogör för teorin bakom de metoder vi har försökt implementera. Vi lyckades inte använda GD & BP för att träna nätverk att köra fordon, men vi redogör för hur vi försökte. I resultatdelen redovisar vi hur det med GA gick att träna ANN som använder avståndssensorer och linjedetektering som indata. Sammanfattningsvis lyckades vi implementera självkörande fordon med två olika typer av indata. / Artificial Neural Networks (ANN) have a broad area of application and are growing increasingly relevant, not least in the field of autonomous vehicles. Meta algorithms are used to train networks, which can control a vehicle using several kinds of input data. In this project we have looked at two meta algorithms: genetic algorithm (GA), and gradient descent with backpropagation (GD & BP). We have looked at two types of input to the ANN: distance sensors and line detection. We explain the theory behind the methods we have tried to implement. We did not succeed in using GD & BP to train ANNs to control vehicles, but we describe our attemps. We did however succeeded in using GA to train ANNs using a combination of distance sensors and line detection as input. In summary we managed to train ANNs to control vehicles using two methods of input, and we encountered interesting problems along the way.

Diagnostic Captioning is described as “the automatic generation of a diagnostic text from a set of medical images of a patient collected during an examination” [59] and it can assist inexperienced doctors and radiologists to reduce clinical errors or help experienced professionals increase their productivity. In this context, tools that would help medical doctors produce higher quality reports in less time could be of high interest for medical imaging departments, as well as significantly impact deep learning research within the biomedical domain, which makes it particularly interesting for people involved in industry and researchers all along. In this work, we attempted to develop Diagnostic Captioning systems, based on novel Deep Learning approaches, to investigate to what extent Neural Networks are capable of performing medical image tagging, as well as automatically generating a diagnostic text from a set of medical images. Towards this objective, the first step is concept detection, which boils down to predicting the relevant tags for X-RAY images, whereas the ultimate goal is caption generation. To this end, we further participated in ImageCLEFmedical 2022 evaluation campaign, addressing both the concept detection and the caption prediction tasks by developing baselines based on Deep Neural Networks; including image encoders, classifiers and text generators; in order to get a quantitative measure of my proposed architectures’ performance [28]. My contribution to the evaluation campaign, as part of this work and on behalf of NeuralDynamicsLab¹ group at KTH Royal Institute of Technology, within the school of Electrical Engineering and Computer Science, ranked 4th in the former and 5th in the latter task [55, 68] among 12 groups included within the top-10 best performing submissions in both tasks. / Diagnostisk textning avser automatisk generering från en diagnostisk text från en uppsättning medicinska bilder av en patient som samlats in under en undersökning och den kan hjälpa oerfarna läkare och radiologer, minska kliniska fel eller hjälpa erfarna yrkesmän att producera diagnostiska rapporter snabbare [59]. Därför kan verktyg som skulle hjälpa läkare och radiologer att producera rapporter av högre kvalitet på kortare tid vara av stort intresse för medicinska bildbehandlingsavdelningar, såväl som leda till inverkan på forskning om djupinlärning, vilket gör den domänen särskilt intressant för personer som är involverade i den biomedicinska industrin och djupinlärningsforskare. I detta arbete var mitt huvudmål att utveckla system för diagnostisk textning, med hjälp av nya tillvägagångssätt som används inom djupinlärning, för att undersöka i vilken utsträckning automatisk generering av en diagnostisk text från en uppsättning medi-cinska bilder är möjlig. Mot detta mål är det första steget konceptdetektering som går ut på att förutsäga relevanta taggar för röntgenbilder, medan slutmålet är bildtextgenerering. Jag deltog i ImageCLEF Medical 2022-utvärderingskampanjen, där jag deltog med att ta itu med både konceptdetektering och bildtextförutsägelse för att få ett kvantitativt mått på prestandan för mina föreslagna arkitekturer [28]. Mitt bidrag, där jag representerade forskargruppen NeuralDynamicsLab² , där jag arbetade som ledande forskningsingenjör, placerade sig på 4:e plats i den förra och 5:e i den senare uppgiften [55, 68] bland 12 grupper som ingår bland de 10 bästa bidragen i båda uppgifterna.

Ett vanligt problem inom supervised learning är brist på taggad träningsdata. Naive semi-supervised deep learning är en träningsteknik som ämnar att mildra detta problem genom att generera pseudo-taggad data och därefter låta ett neuralt nätverk träna på denna samt en mindre mängd taggad data. Detta arbete undersöker om denna teknik kan förbättras genom användandet av röstning. Flera neurala nätverk tränas genom den framtagna tekniken, naive semi-supervised deep learning eller supervised learning och deras träffsäkerhet utvärderas därefter. Resultaten visade nästan enbart försämringar då röstning användes. Dock verkar inte förutsättningarna för röstning ha varit särskilt goda, vilket gör det svårt att dra en säker slutsats kring effekterna av röstning. Även om röstning inte gav förbättringar har NSSDL visat sig vara mycket effektiv. Det finns flera applikationsområden där tekniken i framtiden skulle kunna användas med goda resultat.

Ursprungligen fungerade aktier som ett medel för företag att säkerställa finansiering för nya satsningar och investeringar.    Företag ställde ut aktiebrev som investerare köpte och till skillnad mot ett vanligt banklån behövde inte företagen betala tillbaka dessa aktier. Detta säkerställde att de investerar som köpte aktier var tvungna att vara långsiktiga för ett aktieköp kunde vara för livet. Aktiemarknaden är en marknad där dessa aktier kan handlas mellan investerare. Fördelen med detta är att en investerare kan avbryta sin investering och växla in den i förtid. Nackdelen med aktiemarknaden är att detta innebar att det långsiktiga perspektivet inte längre var nödvändigt för en investerare. För många investerare blev det viktigare hur aktiemarknaden kommer utvecklas ”imorgon” snarare än om företaget hen investerare i gör en lönsam investering på tio års sikt. Koppling till företagens egentliga värde riskerar därmed brytas. Konsekvens av detta är att spekulativa bubblar byggs upp på aktiemarknaden i cykler med efterföljande krascher som medför stora förmögenhetsförluster för vanliga privatpersoner och stora omvälvningar i samhället i stort. Denna uppsats utforskar möjligheten att använda maskininlärning som ett verktyg för att kunna värdera aktier och förutspå kommande kursrörelser med syfte att hjälp investerare på aktiemarknaden att fatta bättre investeringsbeslut. Den tar avstamp i de datakällor som aktiemarknadsanalytiker använder för att studera denna marknad – det vill säga med hjälp av tekniska och fundamentala data.  Ett system har konstruerats för att dels klassificera bolag med hjälp av algoritmen ”artificiella neurala nätverk” och fundamentala data och dels för att förutsäga kommande dagskurser med hjälp av algoritmen ”Long Short Term Memory network” och tekniska data. Algoritmerna har utvärderats var för sig och som ett gemensamt system genom att simulerad handel utförs på en given test och valideringsperiod. Den hypotes som prövats är att ”att processa fundamentala data genom ett ANN och tekniska data genom ett LSTM kommer genera bra investeringsrekommendationer”. Resultaten som studien genererat har givet som konsekvens att denna hypotes inte har kunnat motbevisas.

When banks lend money to another party they face a risk that the borrower will not fulfill its obligation towards the bank. This risk is called credit risk and it’s the largest risk banks faces. According to the Basel accord banks need to have a certain amount of capital requirements to protect themselves towards future financial crisis. This amount is calculated for each loan with an attached risk-weighted asset, RWA. The main parameters in RWA is probability of default and loss given default. Banks are today allowed to use their own internal models to calculate these parameters. Thus hold capital with no gained interest is a great cost, banks seek to find tools to better predict probability of default to lower the capital requirement. Machine learning and supervised algorithms such as Logistic regression, Neural network, Decision tree and Random Forest can be used to decide credit risk. By training algorithms on historical data with known results the parameter probability of default (PD) can be determined with a higher certainty degree compared to traditional models, leading to a lower capital requirement. On the given data set in this article Logistic regression seems to be the algorithm with highest accuracy of classifying customer into right category. However, it classifies a lot of people as false positive meaning the model thinks a customer will honour its obligation but in fact the customer defaults. Doing this comes with a great cost for the banks. Through implementing a cost function to minimize this error, we found that the Neural network has the lowest false positive rate and will therefore be the model that is best suited for this specific classification task. / När banker lånar ut pengar till en annan part uppstår en risk i att låntagaren inte uppfyller sitt antagande mot banken. Denna risk kallas för kredit risk och är den största risken en bank står inför. Enligt Basel föreskrifterna måste en bank avsätta en viss summa kapital för varje lån de ger ut för att på så sätt skydda sig emot framtida finansiella kriser. Denna summa beräknas fram utifrån varje enskilt lån med tillhörande risk-vikt, RWA. De huvudsakliga parametrarna i RWA är sannolikheten att en kund ej kan betala tillbaka lånet samt summan som banken då förlorar. Idag kan banker använda sig av interna modeller för att estimera dessa parametrar. Då bundet kapital medför stora kostnader för banker, försöker de sträva efter att hitta bättre verktyg för att uppskatta sannolikheten att en kund fallerar för att på så sätt minska deras kapitalkrav. Därför har nu banker börjat titta på möjligheten att använda sig av maskininlärningsalgoritmer för att estimera dessa parametrar. Maskininlärningsalgoritmer såsom Logistisk regression, Neurala nätverk, Beslutsträd och Random forest, kan användas för att bestämma kreditrisk. Genom att träna algoritmer på historisk data med kända resultat kan parametern, chansen att en kund ej betalar tillbaka lånet (PD), bestämmas med en högre säkerhet än traditionella metoder. På den givna datan som denna uppsats bygger på visar det sig att Logistisk regression är den algoritm med högst träffsäkerhet att klassificera en kund till rätt kategori. Däremot klassifiserar denna algoritm många kunder som falsk positiv vilket betyder att den predikterar att många kunder kommer betala tillbaka sina lån men i själva verket inte betalar tillbaka lånet. Att göra detta medför en stor kostnad för bankerna. Genom att istället utvärdera modellerna med hjälp av att införa en kostnadsfunktion för att minska detta fel finner vi att Neurala nätverk har den lägsta falsk positiv ration och kommer därmed vara den model som är bäst lämpad att utföra just denna specifika klassifierings uppgift.