The field of Artificial Intelligence (AI) has always faced two major challenges. The first is that data is kept scattered and cannot be collected for more efficiently use. The second is that data privacy and security need to be continuously strengthened. Based on these two points, federated learning is proposed as an emerging machine learning scheme. The idea of federated learning is to collaboratively train neural networks on servers. Each user receives the current weights of the network and then sequentially sends parameter updates (gradients) based on their own data. Because the input data remains on-device and only the parameter gradients are shared, this scheme is considered to be effective in preserving data privacy. Some previous attacks also provide a false sense of security since they only succeed in contrived settings, even for a single image. Our research mainly focus on attacks on shared gradients, showing experimentally that private training data can be obtained from publicly shared gradients. We do experiments on both linear-based and convolutional-based deep networks, whose results show that our attack is capable of creating a threat to data privacy, and this threat is independent of the specific structure of neural networks. The method presented in this paper is only to illustrate that it is feasible to recover user data from shared gradients, and cannot be used as an attack to obtain privacy in large quantities. The goal is to spark further research on federated learning, especially gradient security. We also make some brief discussion on possible strategies against our attack methods of privacy. Different methods have their own advantages and disadvantages in terms of privacy protection. Therefore, data pre-processing and network structure adjustment may need to be further researched, so that the process of training the models can achieve better privacy protection while maintaining high precision. / Området artificiell intelligens har alltid stått inför två stora utmaningar. Den första är att data hålls utspridda och inte kan samlas in för mer effektiv användning. Det andra är att datasekretess och säkerhet behöver stärkas kontinuerligt. Baserat på dessa två punkter föreslås federerat lärande som ett framväxande angreppssätt inom maskininlärning. Tanken med federerat lärande är att tillsammans träna neurala nätverk på servrar. Varje användare får nätverkets aktuella vikter och skickar sedan parameteruppdateringar (gradienter) sekventiellt baserat på sina egna data. Eftersom indata förblir på enheten och endast parametergradienterna delas, anses detta schema vara effektivt för att bevara datasekretessen. Vissa tidigare attacker ger också en falsk känsla av säkerhet eftersom de bara lyckas i konstruerade inställningar, även för en enda bild. Vår forskning fokuserar främst på attacker på delade gradienter, och visar experimentellt att privat träningsdata kan erhållas från offentligt delade gradienter. Vi gör experiment på både linjärbaserade och faltningsbaserade djupa nätverk, vars resultat visar att vår attack kan skapa ett hot mot dataintegriteten, och detta hot är oberoende av den specifika strukturen hos djupa nätverk. Metoden som presenteras i denna rapport är endast för att illustrera att det är möjligt att rekonstruera användardata från delade gradienter, och kan inte användas som en attack för att erhålla integritet i stora mängder. Målet är att få igång ytterligare forskning om federerat lärande, särskilt gradientsäkerhet. Vi gör också en kort diskussion om möjliga strategier mot våra attackmetoder för integritet. Olika metoder har sina egna fördelar och nackdelar när det gäller integritetsskydd. Därför kan förbearbetning av data och justering av nätverksstruktur behöva undersökas ytterligare, så att processen med att träna modellerna kan uppnå bättre integritetsskydd samtidigt som hög precision bibehålls.

This thesis aims to develop a new model for stress-testing financial portfolios using Extreme Value Theory (EVT) and General Adversarial Networks (GANs). The current practice of risk management relies on mathematical or historical models, such as Value-at-Risk and expected shortfall. The problem with historical models is that the data which is available for very extreme events is limited, and therefore we need a method to interpolate and extrapolate beyond the available range. EVT is a statistical framework that analyzes extreme events in a distribution and allows such interpolation and extrapolation, and GANs are machine-learning techniques that generate synthetic data. The combination of these two areas can generate more realistic stress-testing scenarios to help financial institutions manage potential risks better. The goal of this thesis is to develop a new model that can handle complex dependencies and high-dimensional inputs with different kinds of assets such as stocks, indices, currencies, and commodities and can be used in parallel with traditional risk measurements. The evtGAN algorithm shows promising results and is able to mimic actual distributions, and is also able to extrapolate data outside the available data range. / Detta examensarbete handlar om att utveckla en ny modell för stresstestning av finansiella portföljer med hjälp av extremvärdesteori (EVT) och Generative Adversarial Networks (GAN). Dom modeller för riskhantering som används idag bygger på matematiska eller historiska modeller, som till exempel Value-at-Risk och Expected Shortfall. Problemet med historiska modeller är att det finns begränsat med data för mycket extrema händelser. EVT är däremot en del inom statistisk som analyserar extrema händelser i en fördelning, och GAN är maskininlärningsteknik som genererar syntetisk data. Genom att kombinera dessa två områden kan mer realistiska stresstestscenarier skapas för att hjälpa finansiella institutioner att bättre hantera potentiella risker. Målet med detta examensarbete är att utveckla en ny modell som kan hantera komplexa beroenden i högdimensionell data med olika typer av tillgångar, såsom aktier, index, valutor och råvaror, och som kan användas parallellt med traditionella riskmått. Algoritmen evtGAN visar lovande resultat och kan imitera verkliga fördelningar samt extrapolera data utanför tillgänglig datamängd.

Participatory Sensing (PS) is a common mode of data collection where valuable data is gathered from many contributors, each providing data from the user’s or the device’s surroundings via a mobile device, such as a smartphone. This has the advantage of cost-efficiency and wide-scale data collection. One of the application areas for PS is the collection of traffic data. The cost of collecting roving sensor data, such as vehicle probe data, is significantly lower than that of traditional stationary sensors such as radar and inductive loops. The collected data could pave the way for providing accurate and high-resolution traffic information that is important to transportation planning. The problem with PS is that it is open, and anyone can register and participate in a sensing task. A malicious user is likely to submit false data without performing the sensing task for personal advantage or, even worse, to attack on a large scale with clear intentions. For example, in real-time traffic monitoring, attackers may report false alerts of traffic jams to divert traffic on the road ahead or directly interfere with the system’s observation and judgment of road conditions, triggering large-scale traffic guidance errors. An efficient method of assessing the trustworthiness of data is therefore required. The trustworthiness problem can be approximated as the problem of anomaly detection in time-series data. Traditional predictive model-based anomaly detection models include univariate models for univariate time series such as Auto Regressive Integrated Moving Average (ARIMA), hypothesis testing, and wavelet analysis, and recurrent neural networks (RNNs) for multiple time series such as Gated Recurrent Unit (GRU) and Long short-term memory (LSTM). When talking about traffic scenarios, some prediction models that consider both spatial and temporal dependencies are likely to perform better than those that only consider temporal dependencies, such as Diffusion Convolutional Recurrent Neural Network (DCRNN) and Spatial-Temporal Attention Wavenet (STAWnet). In this project, we built a detailed traffic condition participatory sensing scenario as well as an adversary model. The attacker’s intent is refined into four attack scenarios, namely faking congestion, prolonging congestion, and masking congestion from the beginning or midway through. On the basis, we established a mechanism for assessing the trustworthiness of the data using three traffic prediction models. One model is the time-dependent deep neural network prediction model DCRNN, and the other two are a simplified version of the model DCRNN-NoCov, which ignores spatial dependencies, and ARIMA. The ultimate goal of this evaluation mechanism is to give a list of attackers and to perform data filtering. We use the success rate of distinguishing users as benign or attackers as a metric to evaluate the system’s performance. In all four attack scenarios mentioned above, the system achieves a success rate of more than 80%, obtaining satisfactory results. We also discuss the more desirable attack strategies from the attacker’s point of view. / Participatory Sensing (PS) är ett vanligt sätt att samla in data där värdefulla data samlas in från många bidragsgivare, som alla tillhandahåller data från användarens eller enhetens omgivning via en mobil enhet, t.ex. en smartphone. Detta har fördelen av kostnadseffektivitet och omfattande datainsamling. Ett av tillämpningsområdena för PS är insamling av trafikdata. Kostnaden för att samla in data från mobila sensorer, t.ex. data från fordonssonderingar, är betydligt lägre än kostnaden för traditionella stationära sensorer, t.ex. radar och induktiva slingor. De insamlade uppgifterna skulle kunna bana väg för att tillhandahålla exakt och högupplöst trafikinformation som är viktig för transportplaneringen. Problemet med deltagande avkänning är att den är öppen och att vem som helst kan registrera sig och delta i en avkänningsuppgift. En illasinnad användare kommer sannolikt att lämna in falska uppgifter utan att utföra avkänningsuppgiften för personlig vinning eller, ännu värre, för att angripa en stor skala med tydliga avsikter. Vid trafikövervakning i realtid kan t.ex. angripare rapportera falska varningar om trafikstockningar för att avleda trafiken på vägen framåt eller direkt störa systemets observation och bedömning av vägförhållanden, vilket kan utlösa storskaliga fel i trafikstyrningen. Det finns därför ett akut behov av en effektiv metod för att bedöma uppgifternas tillförlitlighet. Problemet med trovärdighet kan approximeras som problemet med upptäckt av anomalier i tidsserier. Traditionella modeller för anomalidetektion som bygger på prediktiva modeller omfattar univariata modeller för univariata tidsserier, t.ex. ARIMA (Autoregressive Integrated Moving Average), hypotesprövning och waveletanalys, och återkommande neurala nätverk (RNN) för flera tidsserier, t.ex. GRU (Gated Recurrent Unit) och LSTM (Long short-term memory). När man talar om trafikscenarier kommer vissa prognosmodeller som tar hänsyn till både rumsliga och tidsmässiga beroenden sannolikt att prestera bättre än de som endast tar hänsyn till tidsmässiga beroenden, till exempel Diffusion Convolutional Recurrent Neural Network (DCRNN) och Spatial-Temporal Attention Wavenet (STAWnet). I det här projektet byggde vi upp ett detaljerat scenario för deltagande av trafikförhållanden och en motståndarmodell. Angriparens avsikt är raffinerad i fyra angreppsscenarier, nämligen att fejka trafikstockning, förlänga trafikstockning och maskera trafikstockning från början eller halvvägs in i processen. På grundval av detta har vi inrättat en mekanism för att bedöma uppgifternas tillförlitlighet med hjälp av tre typiska trafikprognosmodeller. Den ena modellen är den tidsberoende djupa neurala nätverksförutsägelsemodellen DCRNN, och de andra två är en förenklad version av modellen DCRNN-NoCov, som ignorerar rumsliga beroenden, och ARIMA. Det slutliga målet med denna utvärderingsmekanism är att ge en lista över angripare och att utföra datafiltrering. Vi använder framgångsfrekvensen när det gäller att särskilja användare som godartade eller angripare som ett mått för att utvärdera systemets prestanda. I alla fyra olika attackscenarier som nämns ovan uppnår systemet en framgångsfrekvens på mer än 80%, vilket ger tillfredsställande resultat. Vi diskuterar också de mer önskvärda angreppsstrategierna ur angriparens synvinkel.

The increasing occurrence of structural deformations in the electrodes of the jelly roll has raised quality concerns during battery manufacturing, emphasizing the need to detect them automatically with the advanced techniques. This thesis aims to explore and provide two models based on traditional computer vision (CV) and deep neural network (DNN) techniques using computed tomography (CT) scan images of jelly rolls to ensure that the product is of high quality. For both approaches, electrode peaks as keypoints of anodes and cathodes in prismatic lithium battery jelly rolls are detected to extract the geometric features to identify if a particular jelly roll has some structural deformations. For traditional CV methods, the images undergo some pre-processing steps, extraction of foreground through adaptive thresholding, and morphological operations to extract contour edges, followed by applying Harris corner detector to detect electrode peaks. However, this approach shows limitations in detecting small or negative distance differences in deformed images. Furthermore, this study proposes another approach based on supervised transfer learning using pre-trained deep learning models on annotated data. After exploring different architectures, the VGG19 model pre-trained on ImageNet dataset outperformed as compared to other architectures, even with insufficient training data, achieving a maximum accuracy of 93.13 % for 1-pixel distance, 98.87 % for 5-pixel distance and 99.29 % for 10-pixel distance on test data, where the performance metrics, such as Percentage of Correct Keypoint (PCK), Mean-Square Error and Huber loss are utilized. As a result, this baseline proves to be a valuable tool for detecting structural deformations in jelly rolls. Moreover, a GUI-based executable application is developed using both approaches for raising the OK or NG flags for detecting structural deformations in each jelly roll. / Den ökande förekomsten av strukturella deformationer av elektroderna i så kallade jelly rolls har väckt kvalitetsproblem under batteritillverkning, och betonat behovet av att upptäcka dem automatiskt med avancerade tekniker. Denna avhandling syftar till att utforska och tillhandahålla två modeller baserade på traditionell datorseende (CV) och djupa neurala nätverk (DNN) tekniker med hjälp av bilder från datortomografisk skanning (CT) av jelly rolls för att säkerställa att produkten är av hög kvalitet. För båda metoderna detekteras elektrodtoppar som nyckelpunkter på anoder och katoder i prismatiska litiumbatteriers jelly rolls för att extrahera de geometriska egenskaperna för att identifiera om en viss jelly roll har några strukturella deformationer. För traditionella CV-metoder genomgår bilderna några förbehandlingssteg, extraktion av förgrund genom adaptiv tröskling och morfologiska operationer för att extrahera konturkanter, följt av användning av Harris hörndetektor för att upptäcka elektrodtoppar. Denna metod visar dock begränsningar i att detektera små eller negativa avståndsskillnader i deformerade bilder. Vidare föreslår denna studie en annan metod baserad på övervakad överföringsinlärning med förtränade djupinlärningsmodeller på annoterade data. Efter att ha utforskat olika arkitekturer presterade VGG19-modellen förtränad på ImageNet-datasetet bättre jämfört med andra arkitekturer, även med otillräcklig träningsdata, och uppnådde en maximal noggrannhet på 91,56% för 1-pixels avstånd, 97,49% för 5-pixels avstånd och 98,91% för 10-pixels avstånd på testdata, där prestationsmått som procentandel av korrekta nyckelpunkter (PCK), medelkvadratfel och Huber-förlust används. Som ett resultat visar sig denna grundlinje vara ett värdefullt verktyg för att upptäcka strukturella deformationer i jelly rolls. Dessutom har exekverbar applikation med grafiskt gränssnitt utvecklats med båda metoderna för att höja OK/NG-flaggorna för att upptäcka strukturella deformationer i varje jelly roll.

Apache Spark is a popular open-source distributed processing framework that enables efficient processing of large amounts of data. Apache Spark has a large number of configuration parameters that are strongly related to performance. Selecting an optimal configuration for Apache Spark application deployed in a cloud environment is a complex task. Making a poor choice may not only result in poor performance but also increases costs. Manually adjusting the Apache Spark configuration parameters can take a lot of time and may not lead to the best outcomes, particularly in a cloud environment where computing resources are allocated dynamically, and workloads can fluctuate significantly. The focus of this thesis project is the development of an auto-tuning approach for Apache Spark configuration parameters. Four machine learning models are formulated and evaluated to predict Apache Spark’s performance. Additionally, two models for Apache Spark configuration parameter search are created and evaluated to identify the most suitable parameters, resulting in the shortest execution time. The obtained results demonstrates that with the developed auto-tuning approach and adjusting Apache Spark configuration parameters, Apache Spark applications can achieve a shorter execution time than when using the default parameters. The developed auto-tuning approach gives an improved cluster utilization and shorter job execution time, with an average performance improvement of 49.98%, 53.84%, and 64.16% for the three different types of Apache Spark applications benchmarked. / Apache Spark är en populär öppen källkodslösning för distribuerad databehandling som möjliggör effektiv bearbetning av stora mängder data. Apache Spark har ett stort antal konfigurationsparametrar som starkt påverkar prestandan. Att välja en optimal konfiguration för en Apache Spark-applikation som distribueras i en molnmiljö är en komplex uppgift. Ett dåligt val kan inte bara leda till dålig prestanda utan också ökade kostnader. Manuell anpassning av Apache Spark-konfigurationsparametrar kan ta mycket tid och leda till suboptimala resultat, särskilt i en molnmiljö där beräkningsresurser tilldelas dynamiskt och arbetsbelastningen kan variera avsevärt. Fokus för detta examensprojekt är att utveckla en automatisk optimeringsmetod för konfigurationsparametrarna i Apache Spark. Fyra maskininlärningsmodeller formuleras och utvärderas för att förutsäga Apache Sparks prestanda. Dessutom skapas och utvärderas två modeller för att söka efter de mest lämpliga konfigurationsparametrarna för Apache Spark, vilket resulterar i kortast möjliga exekveringstid. De erhållna resultaten visar att den utvecklade automatiska optimeringsmetoden, med anpassning av Apache Sparks konfigurationsparameterar, bidrar till att Apache Spark-applikationer kan uppnå kortare exekveringstider än vid användning av standard-parametrar. Den utvecklade metoden för automatisk optimering bidrar till en förbättrad användning av klustret och kortare exekveringstider, med en genomsnittlig prestandaförbättring på 49,98%, 53,84% och 64,16% för de tre olika typerna av Apache Spark-applikationer som testades.