This thesis examines whether housing price estimations can be improved by combining several modalities of data through the utilization of neural networks. The analysis is limited to apartments in the Stockholm municipality, and the applied modalities are residential attributes (tabular data) and photo montages (image data). The tabular data includes living area, number of rooms, age, latitude, longitude and ocean distance, while the image data contains montages of four images representing the kitchen, bathroom, living space and neighborhood through satellite imagery. Furthermore, the dataset comprises a total of 1154 apartments sold within a time frame of approximately six months, ending in June 2023. The analysis is conducted by designing three artificial neural networks and comparing their performances: a multilayer perceptron that predicts selling prices using tabular data, a convolutional neural network that predicts selling prices using image data, and a multimodal neural network that estimates sold prices taking both modalities as inputs. To facilitate the construction process, the multimodal neural network is designed by integrating the other models into its architecture. This is achieved through the concatenation of their outputs, which is then fed into a joint hidden layer. Before initiating the network development phase, the data is preprocessed appropriately, for example by excluding duplicates and dealing with missing values. In addition, images are categorized into room types via object detection, satellite images are collected, and photo montages are created. To obtain well-performing models, hyperparameter tuning is performed using methods such as grid search or random search. Moreover, the models are evaluated through three repetitions of 5-fold cross-validation with the mean absolute percentage error as performance metric. The analysis shows that the multimodal neural network exhibits a marginal but significant performance advantage compared to the multilayer perceptron, both in terms of cross-validation scores and test set outcomes. This result underscores the potential benefits of utilizing both image data and tabular data for predicting apartment selling prices through the application of neural networks. Furthermore, this work motivates a deeper investigation into these prediction methods using larger datasets for which the multimodal neural network may achieve even stronger predictive capacity / Detta examensarbete undersöker huruvida bostadsprisuppskattningar kan förbättras genom att kombinera flera modaliteter vid tillämpning av neurala nätverk. Analysen är begränsad till lägenheter i Stockholms kommun, och de tillämpade modaliteterna är bostadsattribut (tabelldata) och fotomontage (bilddata). Tabelldatat inkluderar bostadsyta, antal rum, ålder, latitud, longitud och avstånd till havet, medan bilddatat består av montage med fyra bilder som representerar kök, badrum, vardagsrum och närområde genom satellitbilder. Datasetet omfattar totalt 1154 lägenheter sålda inom ett tidsspann på cirka sex månader, fram till och med juni 2023. Analysen utförs genom att designa tre artificiella neurala nätverk och jämföra deras prestanda: en flerskiktsperceptron som förutsäger försäljningspriser med hjälp av tabelldata, ett konvolutionellt neuralt nätverk som förutsäger försäljningspriser med hjälp av bilddata, och ett multimodalt neuralt nätverk som estimerar sålda priser med båda modaliteterna som indata. För att underlätta konstruktionsprocessen designas det multimodala neurala nätverket genom att integrera de andra modellerna i sin arkitektur. Detta åstadkoms genom en sammanlänkning av deras utdata, som sedan matas in i ett gemensamt dolt lager.  Innan nätverksutvecklingsfasen påbörjas, förbehandlas datat på lämpligt sätt, till exempel genom exkludering av dubbletter och hantering av saknade värden. Dessutom kategoriseras bilder till rumstyper via objektdetektering, satellitbilder samlas in och fotomontage skapas. För att uppnå välpresterande modeller utförs hyperparameterjustering med metoder som rutnätssökning eller slumpmässig sökning. Vidare utvärderas modellerna genom tre upprepningar av 5-faldig korsvalidering med det genomsnittliga absoluta procentuella felet som prestandamått. Analysen visar på att det multimodala neurala nätverket uppvisar en marginell men tydlig prestandafördel jämfört med flerskiktsperceptronen, både när det gäller korsvalideringspoäng och testresultat. Detta understryker de potentiella fördelarna med att använda både bilddata och tabelldata vid estimering av lägenheters försäljningspris genom tillämpning av neurala nätverk. Vidare motiverar detta arbete en djupare undersökning av dessa prediktionsmetoder med hjälp av större datamängder, för vilket det multimodala neurala nätverket har potential att uppnå ännu starkare prediktiv kapacitet.

Diagnostic Captioning is described as “the automatic generation of a diagnostic text from a set of medical images of a patient collected during an examination” [59] and it can assist inexperienced doctors and radiologists to reduce clinical errors or help experienced professionals increase their productivity. In this context, tools that would help medical doctors produce higher quality reports in less time could be of high interest for medical imaging departments, as well as significantly impact deep learning research within the biomedical domain, which makes it particularly interesting for people involved in industry and researchers all along. In this work, we attempted to develop Diagnostic Captioning systems, based on novel Deep Learning approaches, to investigate to what extent Neural Networks are capable of performing medical image tagging, as well as automatically generating a diagnostic text from a set of medical images. Towards this objective, the first step is concept detection, which boils down to predicting the relevant tags for X-RAY images, whereas the ultimate goal is caption generation. To this end, we further participated in ImageCLEFmedical 2022 evaluation campaign, addressing both the concept detection and the caption prediction tasks by developing baselines based on Deep Neural Networks; including image encoders, classifiers and text generators; in order to get a quantitative measure of my proposed architectures’ performance [28]. My contribution to the evaluation campaign, as part of this work and on behalf of NeuralDynamicsLab¹ group at KTH Royal Institute of Technology, within the school of Electrical Engineering and Computer Science, ranked 4th in the former and 5th in the latter task [55, 68] among 12 groups included within the top-10 best performing submissions in both tasks. / Diagnostisk textning avser automatisk generering från en diagnostisk text från en uppsättning medicinska bilder av en patient som samlats in under en undersökning och den kan hjälpa oerfarna läkare och radiologer, minska kliniska fel eller hjälpa erfarna yrkesmän att producera diagnostiska rapporter snabbare [59]. Därför kan verktyg som skulle hjälpa läkare och radiologer att producera rapporter av högre kvalitet på kortare tid vara av stort intresse för medicinska bildbehandlingsavdelningar, såväl som leda till inverkan på forskning om djupinlärning, vilket gör den domänen särskilt intressant för personer som är involverade i den biomedicinska industrin och djupinlärningsforskare. I detta arbete var mitt huvudmål att utveckla system för diagnostisk textning, med hjälp av nya tillvägagångssätt som används inom djupinlärning, för att undersöka i vilken utsträckning automatisk generering av en diagnostisk text från en uppsättning medi-cinska bilder är möjlig. Mot detta mål är det första steget konceptdetektering som går ut på att förutsäga relevanta taggar för röntgenbilder, medan slutmålet är bildtextgenerering. Jag deltog i ImageCLEF Medical 2022-utvärderingskampanjen, där jag deltog med att ta itu med både konceptdetektering och bildtextförutsägelse för att få ett kvantitativt mått på prestandan för mina föreslagna arkitekturer [28]. Mitt bidrag, där jag representerade forskargruppen NeuralDynamicsLab² , där jag arbetade som ledande forskningsingenjör, placerade sig på 4:e plats i den förra och 5:e i den senare uppgiften [55, 68] bland 12 grupper som ingår bland de 10 bästa bidragen i båda uppgifterna.

Ett vanligt problem inom supervised learning är brist på taggad träningsdata. Naive semi-supervised deep learning är en träningsteknik som ämnar att mildra detta problem genom att generera pseudo-taggad data och därefter låta ett neuralt nätverk träna på denna samt en mindre mängd taggad data. Detta arbete undersöker om denna teknik kan förbättras genom användandet av röstning. Flera neurala nätverk tränas genom den framtagna tekniken, naive semi-supervised deep learning eller supervised learning och deras träffsäkerhet utvärderas därefter. Resultaten visade nästan enbart försämringar då röstning användes. Dock verkar inte förutsättningarna för röstning ha varit särskilt goda, vilket gör det svårt att dra en säker slutsats kring effekterna av röstning. Även om röstning inte gav förbättringar har NSSDL visat sig vara mycket effektiv. Det finns flera applikationsområden där tekniken i framtiden skulle kunna användas med goda resultat.

Ursprungligen fungerade aktier som ett medel för företag att säkerställa finansiering för nya satsningar och investeringar.    Företag ställde ut aktiebrev som investerare köpte och till skillnad mot ett vanligt banklån behövde inte företagen betala tillbaka dessa aktier. Detta säkerställde att de investerar som köpte aktier var tvungna att vara långsiktiga för ett aktieköp kunde vara för livet. Aktiemarknaden är en marknad där dessa aktier kan handlas mellan investerare. Fördelen med detta är att en investerare kan avbryta sin investering och växla in den i förtid. Nackdelen med aktiemarknaden är att detta innebar att det långsiktiga perspektivet inte längre var nödvändigt för en investerare. För många investerare blev det viktigare hur aktiemarknaden kommer utvecklas ”imorgon” snarare än om företaget hen investerare i gör en lönsam investering på tio års sikt. Koppling till företagens egentliga värde riskerar därmed brytas. Konsekvens av detta är att spekulativa bubblar byggs upp på aktiemarknaden i cykler med efterföljande krascher som medför stora förmögenhetsförluster för vanliga privatpersoner och stora omvälvningar i samhället i stort. Denna uppsats utforskar möjligheten att använda maskininlärning som ett verktyg för att kunna värdera aktier och förutspå kommande kursrörelser med syfte att hjälp investerare på aktiemarknaden att fatta bättre investeringsbeslut. Den tar avstamp i de datakällor som aktiemarknadsanalytiker använder för att studera denna marknad – det vill säga med hjälp av tekniska och fundamentala data.  Ett system har konstruerats för att dels klassificera bolag med hjälp av algoritmen ”artificiella neurala nätverk” och fundamentala data och dels för att förutsäga kommande dagskurser med hjälp av algoritmen ”Long Short Term Memory network” och tekniska data. Algoritmerna har utvärderats var för sig och som ett gemensamt system genom att simulerad handel utförs på en given test och valideringsperiod. Den hypotes som prövats är att ”att processa fundamentala data genom ett ANN och tekniska data genom ett LSTM kommer genera bra investeringsrekommendationer”. Resultaten som studien genererat har givet som konsekvens att denna hypotes inte har kunnat motbevisas.

When banks lend money to another party they face a risk that the borrower will not fulfill its obligation towards the bank. This risk is called credit risk and it’s the largest risk banks faces. According to the Basel accord banks need to have a certain amount of capital requirements to protect themselves towards future financial crisis. This amount is calculated for each loan with an attached risk-weighted asset, RWA. The main parameters in RWA is probability of default and loss given default. Banks are today allowed to use their own internal models to calculate these parameters. Thus hold capital with no gained interest is a great cost, banks seek to find tools to better predict probability of default to lower the capital requirement. Machine learning and supervised algorithms such as Logistic regression, Neural network, Decision tree and Random Forest can be used to decide credit risk. By training algorithms on historical data with known results the parameter probability of default (PD) can be determined with a higher certainty degree compared to traditional models, leading to a lower capital requirement. On the given data set in this article Logistic regression seems to be the algorithm with highest accuracy of classifying customer into right category. However, it classifies a lot of people as false positive meaning the model thinks a customer will honour its obligation but in fact the customer defaults. Doing this comes with a great cost for the banks. Through implementing a cost function to minimize this error, we found that the Neural network has the lowest false positive rate and will therefore be the model that is best suited for this specific classification task. / När banker lånar ut pengar till en annan part uppstår en risk i att låntagaren inte uppfyller sitt antagande mot banken. Denna risk kallas för kredit risk och är den största risken en bank står inför. Enligt Basel föreskrifterna måste en bank avsätta en viss summa kapital för varje lån de ger ut för att på så sätt skydda sig emot framtida finansiella kriser. Denna summa beräknas fram utifrån varje enskilt lån med tillhörande risk-vikt, RWA. De huvudsakliga parametrarna i RWA är sannolikheten att en kund ej kan betala tillbaka lånet samt summan som banken då förlorar. Idag kan banker använda sig av interna modeller för att estimera dessa parametrar. Då bundet kapital medför stora kostnader för banker, försöker de sträva efter att hitta bättre verktyg för att uppskatta sannolikheten att en kund fallerar för att på så sätt minska deras kapitalkrav. Därför har nu banker börjat titta på möjligheten att använda sig av maskininlärningsalgoritmer för att estimera dessa parametrar. Maskininlärningsalgoritmer såsom Logistisk regression, Neurala nätverk, Beslutsträd och Random forest, kan användas för att bestämma kreditrisk. Genom att träna algoritmer på historisk data med kända resultat kan parametern, chansen att en kund ej betalar tillbaka lånet (PD), bestämmas med en högre säkerhet än traditionella metoder. På den givna datan som denna uppsats bygger på visar det sig att Logistisk regression är den algoritm med högst träffsäkerhet att klassificera en kund till rätt kategori. Däremot klassifiserar denna algoritm många kunder som falsk positiv vilket betyder att den predikterar att många kunder kommer betala tillbaka sina lån men i själva verket inte betalar tillbaka lånet. Att göra detta medför en stor kostnad för bankerna. Genom att istället utvärdera modellerna med hjälp av att införa en kostnadsfunktion för att minska detta fel finner vi att Neurala nätverk har den lägsta falsk positiv ration och kommer därmed vara den model som är bäst lämpad att utföra just denna specifika klassifierings uppgift.

The focus of this study was deep learning. A small, autonomous robot car was used for obstacle avoidance experiments. The robot car used a camera for taking images of its surroundings. A convolutional neural network used the images for obstacle detection. The available dataset of 31 022 images was trained with the Xception model. We compared two different implementations for making the robot car avoid obstacles. Mapping image classes to steering commands was used as a reference implementation. The main implementation of this study was to separate obstacle detection and steering logic in different modules. The former reached an obstacle avoidance ratio of 80 %, the latter reached 88 %. Different hyperparameters were looked at during training. We found that frozen layers and number of epochs were important to optimize. Weights were loaded from ImageNet before training. Frozen layers decided how many layers that were trainable after that. Training all layers (no frozen layers) was proven to work best. Number of epochs decided how many epochs a model trained. We found that it was important to train between 10-25 epochs. The best model used no frozen layers and trained for 21 epochs. It reached a test accuracy of 85.2 %.

The aim of synthetic data generation is to provide data that is not real for cases where the use of real data is somehow limited. For example, when there is a need for larger volumes of data, when the data is sensitive to use, or simply when it is hard to get access to the real data. Traditional methods of synthetic data generation use techniques that do not intend to replicate important statistical properties of the original data. Properties such as the distribution, the patterns or the correlation between variables, are often omitted. Moreover, most of the existing tools and approaches require a great deal of user-defined rules and do not make use of advanced techniques like Machine Learning or Deep Learning. While Machine Learning is an innovative area of Artificial Intelligence and Computer Science that uses statistical techniques to give computers the ability to learn from data, Deep Learning is a closely related field based on learning data representations, which may serve useful for the task of synthetic data generation. This thesis focuses on one of the most interesting and promising innovations of the last years in the Machine Learning community: Generative Adversarial Networks. An approach for generating discrete, continuous or text synthetic data with Generative Adversarial Networks is proposed, tested, evaluated and compared with a baseline approach. The results prove the feasibility and show the advantages and disadvantages of using this framework. Despite its high demand for computational resources, a Generative Adversarial Networks framework is capable of generating quality synthetic data that preserves the statistical properties of a given dataset. / Syftet med syntetisk datagenerering är att tillhandahålla data som inte är verkliga i fall där användningen av reella data på något sätt är begränsad. Till exempel, när det finns behov av större datamängder, när data är känsliga för användning, eller helt enkelt när det är svårt att få tillgång till den verkliga data. Traditionella metoder för syntetiska datagenererande använder tekniker som inte avser att replikera viktiga statistiska egenskaper hos de ursprungliga data. Egenskaper som fördelningen, mönstren eller korrelationen mellan variabler utelämnas ofta. Dessutom kräver de flesta av de befintliga verktygen och metoderna en hel del användardefinierade regler och använder inte avancerade tekniker som Machine Learning eller Deep Learning. Machine Learning är ett innovativt område för artificiell intelligens och datavetenskap som använder statistiska tekniker för att ge datorer möjlighet att lära av data. Deep Learning ett närbesläktat fält baserat på inlärningsdatapresentationer, vilket kan vara användbart för att generera syntetisk data. Denna avhandling fokuserar på en av de mest intressanta och lovande innovationerna från de senaste åren i Machine Learning-samhället: Generative Adversarial Networks. Generative Adversarial Networks är ett tillvägagångssätt för att generera diskret, kontinuerlig eller textsyntetisk data som föreslås, testas, utvärderas och jämförs med en baslinjemetod. Resultaten visar genomförbarheten och visar fördelarna och nackdelarna med att använda denna metod. Trots dess stora efterfrågan på beräkningsresurser kan ett generativt adversarialnätverk skapa generell syntetisk data som bevarar de statistiska egenskaperna hos ett visst dataset.

Health monitoring devices, such as Fitbit, are gaining popularity both as wellness tools and as a source of information for healthcare decisions. Predicting such wellness goals accurately is critical for the users to make informed lifestyle choices. The core objective of this thesis is to design and implement such a system that takes energy consumption and privacy into account. This research is modelled as a time-series forecasting problem that makes use of Spiking Neural Networks (SNNs) due to their proven energy-saving capabilities. Thanks to their design that closely mimics natural neural networks (such as the brain), SNNs have the potential to significantly outperform classic Artificial Neural Networks in terms of energy consumption and robustness. In order to prove our hypotheses, a previous research by Sonia et al. [1] in the same domain and with the same dataset is used as our starting point, where a private forecasting system using Long short-term memory (LSTM) is designed and implemented. Their study also implements and evaluates a clustering federated learning approach, which fits well the highly distributed data. The results obtained in their research act as a baseline to compare our results in terms of accuracy, training time, model size and estimated energy consumed. Our experiments show that Spiking Neural Networks trades off accuracy (2.19x, 1.19x, 4.13x, 1.16x greater Root Mean Square Error (RMSE) for macronutrients, calories burned, resting heart rate, and active minutes respectively), to grant a smaller model (19% less parameters an 77% lighter in memory) and a 43% faster training. Our model is estimated to consume 3.36μJ per inference, which is much lighter than traditional Artificial Neural Networks (ANNs) [2]. The data recorded by health monitoring devices is vastly distributed in the real-world. Moreover, with such sensitive recorded information, there are many possible implications to consider. For these reasons, we apply the clustering federated learning implementation [1] to our use-case. However, it can be challenging to adopt such techniques since it can be difficult to learn from data sequences that are non-regular. We use a two-step streaming clustering approach to classify customers based on their eating and exercise habits. It has been shown that training different models for each group of users is useful, particularly in terms of training time; however this is strongly dependent on the cluster size. Our experiments conclude that there is a decrease in error and training time if the clusters contain enough data to train the models. Finally, this study addresses the issue of data privacy by using state of-the-art differential privacy. We apply e-differential privacy to both our baseline model (trained on the whole dataset) and our federated learning based approach. With a differential privacy of ∈= 0.1 our experiments report an increase in the measured average error (RMSE) of only 25%. Specifically, +23.13%, 25.71%, +29.87%, 21.57% for macronutrients (grams), calories burned (kCal), resting heart rate (beats per minute (bpm), and minutes (minutes) respectively. / Hälsoövervakningsenheter, som Fitbit, blir allt populärare både som friskvårdsverktyg och som informationskälla för vårdbeslut. Att förutsäga sådana välbefinnandemål korrekt är avgörande för att användarna ska kunna göra välgrundade livsstilsval. Kärnmålet med denna avhandling är att designa och implementera ett sådant system som tar hänsyn till energiförbrukning och integritet. Denna forskning är modellerad som ett tidsserieprognosproblem som använder sig av SNNs på grund av deras bevisade energibesparingsförmåga. Tack vare deras design som nära efterliknar naturliga neurala nätverk (som hjärnan) har SNNs potentialen att avsevärt överträffa klassiska artificiella neurala nätverk när det gäller energiförbrukning och robusthet. För att bevisa våra hypoteser har en tidigare forskning av Sonia et al. [1] i samma domän och med samma dataset används som utgångspunkt, där ett privat prognossystem som använder LSTM designas och implementeras. Deras studie implementerar och utvärderar också en klustringsstrategi för federerad inlärning, som passar väl in på den mycket distribuerade data. Resultaten som erhållits i deras forskning fungerar som en baslinje för att jämföra våra resultat vad gäller noggrannhet, träningstid, modellstorlek och uppskattad energiförbrukning. Våra experiment visar att Spiking Neural Networks byter ut precision (2,19x, 1,19x, 4,13x, 1,16x större RMSE för makronäringsämnen, förbrända kalorier, vilopuls respektive aktiva minuter), för att ge en mindre modell ( 19% mindre parametrar, 77% lättare i minnet) och 43% snabbare träning. Vår modell beräknas förbruka 3, 36μJ, vilket är mycket lättare än traditionella ANNs [2]. Data som registreras av hälsoövervakningsenheter är enormt spridda i den verkliga världen. Dessutom, med sådan känslig registrerad information finns det många möjliga konsekvenser att överväga. Av dessa skäl tillämpar vi klustringsimplementeringen för federerad inlärning [1] på vårt användningsfall. Det kan dock vara utmanande att använda sådana tekniker eftersom det kan vara svårt att lära sig av datasekvenser som är oregelbundna. Vi använder en tvåstegs streaming-klustringsmetod för att klassificera kunder baserat på deras mat- och träningsvanor. Det har visat sig att det är användbart att träna olika modeller för varje grupp av användare, särskilt när det gäller utbildningstid; detta är dock starkt beroende av klustrets storlek. Våra experiment drar slutsatsen att det finns en minskning av fel och träningstid om klustren innehåller tillräckligt med data för att träna modellerna. Slutligen tar denna studie upp frågan om datasekretess genom att använda den senaste differentiell integritet. Vi tillämpar e-differentiell integritet på både vår baslinjemodell (utbildad på hela datasetet) och vår federerade inlärningsbaserade metod. Med en differentiell integritet på ∈= 0.1 rapporterar våra experiment en ökning av det uppmätta medelfelet (RMSE) på endast 25%. Specifikt +23,13%, 25,71%, +29,87%, 21,57% för makronäringsämnen (gram), förbrända kalorier (kCal), vilopuls (bpm och minuter (minuter).

<p>Vid analys av fluider med akustisk spektroskopi finns ett behov av att finna multivariata metoder för att utifrån akustiska spektra prediktera storheter såsom viskositet och densitet. Användning av artificiella neurala nätverk och bayesiska nätverk för detta syfte utreds genom teoretiska och praktiska undersökningar. Förbehandling och uppdelning av data samt en handfull linjära och olinjära multivariata analysmetoder beskrivs och implementeras. Prediktionsfelen för de olika metoderna jämförs och PLS (Partial Least Squares) framstår som den starkaste kandidaten för att prediktera de sökta storheterna.</p> / <p>When analyzing fluids using acoustic spectrometry there is a need of finding multivariate methods for predicting properties such as viscosity and density from acoustic spectra. The utilization of artificial neural networks and Bayesian networks for this purpose is analyzed through theoretical and practical investigations. Preprocessing and division of data along with a handful of linear and non-linear multivariate methods of analysis are described and implemented. The errors of prediction for the different methods are compared and PLS (Partial Least Squares) appear to be the strongest candidate for predicting the sought-after properties.</p>

Vid analys av fluider med akustisk spektroskopi finns ett behov av att finna multivariata metoder för att utifrån akustiska spektra prediktera storheter såsom viskositet och densitet. Användning av artificiella neurala nätverk och bayesiska nätverk för detta syfte utreds genom teoretiska och praktiska undersökningar. Förbehandling och uppdelning av data samt en handfull linjära och olinjära multivariata analysmetoder beskrivs och implementeras. Prediktionsfelen för de olika metoderna jämförs och PLS (Partial Least Squares) framstår som den starkaste kandidaten för att prediktera de sökta storheterna. / When analyzing fluids using acoustic spectrometry there is a need of finding multivariate methods for predicting properties such as viscosity and density from acoustic spectra. The utilization of artificial neural networks and Bayesian networks for this purpose is analyzed through theoretical and practical investigations. Preprocessing and division of data along with a handful of linear and non-linear multivariate methods of analysis are described and implemented. The errors of prediction for the different methods are compared and PLS (Partial Least Squares) appear to be the strongest candidate for predicting the sought-after properties.