Spelling suggestions: "subject:"anomalies"" "subject:"anomalie""
21 |
Data Trustworthiness Assessment for Traffic Condition Participatory Sensing Scenario / Uppgifternas tillförlitlighet Bedömning av trafik Villkor Deltagande Scenario för avkänningGao, Hairuo January 2022 (has links)
Participatory Sensing (PS) is a common mode of data collection where valuable data is gathered from many contributors, each providing data from the user’s or the device’s surroundings via a mobile device, such as a smartphone. This has the advantage of cost-efficiency and wide-scale data collection. One of the application areas for PS is the collection of traffic data. The cost of collecting roving sensor data, such as vehicle probe data, is significantly lower than that of traditional stationary sensors such as radar and inductive loops. The collected data could pave the way for providing accurate and high-resolution traffic information that is important to transportation planning. The problem with PS is that it is open, and anyone can register and participate in a sensing task. A malicious user is likely to submit false data without performing the sensing task for personal advantage or, even worse, to attack on a large scale with clear intentions. For example, in real-time traffic monitoring, attackers may report false alerts of traffic jams to divert traffic on the road ahead or directly interfere with the system’s observation and judgment of road conditions, triggering large-scale traffic guidance errors. An efficient method of assessing the trustworthiness of data is therefore required. The trustworthiness problem can be approximated as the problem of anomaly detection in time-series data. Traditional predictive model-based anomaly detection models include univariate models for univariate time series such as Auto Regressive Integrated Moving Average (ARIMA), hypothesis testing, and wavelet analysis, and recurrent neural networks (RNNs) for multiple time series such as Gated Recurrent Unit (GRU) and Long short-term memory (LSTM). When talking about traffic scenarios, some prediction models that consider both spatial and temporal dependencies are likely to perform better than those that only consider temporal dependencies, such as Diffusion Convolutional Recurrent Neural Network (DCRNN) and Spatial-Temporal Attention Wavenet (STAWnet). In this project, we built a detailed traffic condition participatory sensing scenario as well as an adversary model. The attacker’s intent is refined into four attack scenarios, namely faking congestion, prolonging congestion, and masking congestion from the beginning or midway through. On the basis, we established a mechanism for assessing the trustworthiness of the data using three traffic prediction models. One model is the time-dependent deep neural network prediction model DCRNN, and the other two are a simplified version of the model DCRNN-NoCov, which ignores spatial dependencies, and ARIMA. The ultimate goal of this evaluation mechanism is to give a list of attackers and to perform data filtering. We use the success rate of distinguishing users as benign or attackers as a metric to evaluate the system’s performance. In all four attack scenarios mentioned above, the system achieves a success rate of more than 80%, obtaining satisfactory results. We also discuss the more desirable attack strategies from the attacker’s point of view. / Participatory Sensing (PS) är ett vanligt sätt att samla in data där värdefulla data samlas in från många bidragsgivare, som alla tillhandahåller data från användarens eller enhetens omgivning via en mobil enhet, t.ex. en smartphone. Detta har fördelen av kostnadseffektivitet och omfattande datainsamling. Ett av tillämpningsområdena för PS är insamling av trafikdata. Kostnaden för att samla in data från mobila sensorer, t.ex. data från fordonssonderingar, är betydligt lägre än kostnaden för traditionella stationära sensorer, t.ex. radar och induktiva slingor. De insamlade uppgifterna skulle kunna bana väg för att tillhandahålla exakt och högupplöst trafikinformation som är viktig för transportplaneringen. Problemet med deltagande avkänning är att den är öppen och att vem som helst kan registrera sig och delta i en avkänningsuppgift. En illasinnad användare kommer sannolikt att lämna in falska uppgifter utan att utföra avkänningsuppgiften för personlig vinning eller, ännu värre, för att angripa en stor skala med tydliga avsikter. Vid trafikövervakning i realtid kan t.ex. angripare rapportera falska varningar om trafikstockningar för att avleda trafiken på vägen framåt eller direkt störa systemets observation och bedömning av vägförhållanden, vilket kan utlösa storskaliga fel i trafikstyrningen. Det finns därför ett akut behov av en effektiv metod för att bedöma uppgifternas tillförlitlighet. Problemet med trovärdighet kan approximeras som problemet med upptäckt av anomalier i tidsserier. Traditionella modeller för anomalidetektion som bygger på prediktiva modeller omfattar univariata modeller för univariata tidsserier, t.ex. ARIMA (Autoregressive Integrated Moving Average), hypotesprövning och waveletanalys, och återkommande neurala nätverk (RNN) för flera tidsserier, t.ex. GRU (Gated Recurrent Unit) och LSTM (Long short-term memory). När man talar om trafikscenarier kommer vissa prognosmodeller som tar hänsyn till både rumsliga och tidsmässiga beroenden sannolikt att prestera bättre än de som endast tar hänsyn till tidsmässiga beroenden, till exempel Diffusion Convolutional Recurrent Neural Network (DCRNN) och Spatial-Temporal Attention Wavenet (STAWnet). I det här projektet byggde vi upp ett detaljerat scenario för deltagande av trafikförhållanden och en motståndarmodell. Angriparens avsikt är raffinerad i fyra angreppsscenarier, nämligen att fejka trafikstockning, förlänga trafikstockning och maskera trafikstockning från början eller halvvägs in i processen. På grundval av detta har vi inrättat en mekanism för att bedöma uppgifternas tillförlitlighet med hjälp av tre typiska trafikprognosmodeller. Den ena modellen är den tidsberoende djupa neurala nätverksförutsägelsemodellen DCRNN, och de andra två är en förenklad version av modellen DCRNN-NoCov, som ignorerar rumsliga beroenden, och ARIMA. Det slutliga målet med denna utvärderingsmekanism är att ge en lista över angripare och att utföra datafiltrering. Vi använder framgångsfrekvensen när det gäller att särskilja användare som godartade eller angripare som ett mått för att utvärdera systemets prestanda. I alla fyra olika attackscenarier som nämns ovan uppnår systemet en framgångsfrekvens på mer än 80%, vilket ger tillfredsställande resultat. Vi diskuterar också de mer önskvärda angreppsstrategierna ur angriparens synvinkel.
|
22 |
Unsupervised Anomaly Detection on Time Series Data: An Implementation on Electricity Consumption Series / Oövervakad anomalidetektion i tidsseriedata: en implementation på elförbrukningsserierLindroth Henriksson, Amelia January 2021 (has links)
Digitization of the energy industry, introduction of smart grids and increasing regulation of electricity consumption metering have resulted in vast amounts of electricity data. This data presents a unique opportunity to understand the electricity usage and to make it more efficient, reducing electricity consumption and carbon emissions. An important initial step in analyzing the data is to identify anomalies. In this thesis the problem of anomaly detection in electricity consumption series is addressed using four machine learning methods: density based spatial clustering for applications with noise (DBSCAN), local outlier factor (LOF), isolation forest (iForest) and one-class support vector machine (OC-SVM). In order to evaluate the methods synthetic anomalies were introduced to the electricity consumption series and the methods were then evaluated for the two anomaly types point anomaly and collective anomaly. In addition to electricity consumption data, features describing the prior consumption, outdoor temperature and date-time properties were included in the models. Results indicate that the addition of the temperature feature and the lag features generally impaired anomaly detection performance, while the inclusion of date-time features improved it. Of the four methods, OC-SVM was found to perform the best at detecting point anomalies, while LOF performed the best at detecting collective anomalies. In an attempt to improve the models' detection power the electricity consumption series were de-trended and de-seasonalized and the same experiments were carried out. The models did not perform better on the decomposed series than on the non-decomposed. / Digitaliseringen av elbranschen, införandet av smarta nät samt ökad reglering av elmätning har resulterat i stora mängder eldata. Denna data skapar en unik möjlighet att analysera och förstå fastigheters elförbrukning för att kunna effektivisera den. Ett viktigt inledande steg i analysen av denna data är att identifiera möjliga anomalier. I denna uppsats testas fyra olika maskininlärningsmetoder för detektering av anomalier i elförbrukningsserier: densitetsbaserad spatiell klustring för applikationer med brus (DBSCAN), lokal avvikelse-faktor (LOF), isoleringsskog (iForest) och en-klass stödvektormaskin (OC-SVM). För att kunna utvärdera metoderna infördes syntetiska anomalier i elförbrukningsserierna och de fyra metoderna utvärderades därefter för de två anomalityperna punktanomali och gruppanomali. Utöver elförbrukningsdatan inkluderades även variabler som beskriver tidigare elförbrukning, utomhustemperatur och tidsegenskaper i modellerna. Resultaten tyder på att tillägget av temperaturvariabeln och lag-variablerna i allmänhet försämrade modellernas prestanda, medan införandet av tidsvariablerna förbättrade den. Av de fyra metoderna visade sig OC-SVM vara bäst på att detektera punktanomalier medan LOF var bäst på att detektera gruppanomalier. I ett försök att förbättra modellernas detekteringsförmåga utfördes samma experiment efter att elförbrukningsserierna trend- och säsongsrensats. Modellerna presterade inte bättre på de rensade serierna än på de icke-rensade.
|
23 |
Software Fault Detection in Telecom Networks using Bi-level Federated Graph Neural Networks / Upptäckt av SW-fel i telekommunikationsnätverk med hjälp av federerade grafiska neurala nätverk på två nivåerBourgerie, Rémi January 2023 (has links)
The increasing complexity of telecom networks, induced by the recent development of 5G, is a challenge for detecting faults in the telecom network. In addition to the structural complexity of telecommunication systems, data accessibility has become an issue both in terms of privacy and access cost. We propose a method relying on bi-level Federated Graph Neural Networks to identify anomalies in the telecom network while ensuring reduced communication costs as well as data privacy. Our method considers telecom data as a bi-level graph, where the highest level graph represents the interaction between sites, and each site is further expanded to its software (SW) performance behaviour graph. We developed and compared 4G/5G SW Fault Detection models under 3 settings: (1) Centralized Temporal Graph Neural Networks model: we propose a model to detect anomalies in 4G/5G telecom data. (2) Federated Temporal Graph Neural Networks model: we propose Federated Learning (FL) as a mechanism for privacy-aware training of models for fault detection. (3) Personalized Federated Temporal Graph Neural Networks model: we propose a novel aggregation technique, referred to as FedGraph, leveraging both a graph and the similarities between sites for aggregating the models and proposing models more personalized to each site’s behaviour. We compare the benefits of Federated Learning (FL) models (2) and (3) with centralized training (1) in terms of SW performance data modelling, anomaly detection, and communication cost. The evaluation includes both a scenario with normal functioning sites and a scenario where only a subset of sites exhibit faulty behaviour. The combination of SW execution graphs with GNNs has shown improved modelling performance and minor gains in centralized settings (1). In a normal network context, FL models (2) and (3) perform comparably to centralized training (CL), with slight improvements observed when using the personalized strategy (3). However, in abnormal network scenarios, Federated Learning falls short of achieving comparable detection performance to centralized training. This is due to the unintended learning of abnormal site behaviour, particularly when employing the personalized model (3). These findings highlight the importance of carefully assessing and selecting suitable FL strategies for anomaly detection and model training on telecom network data. / Den ökande komplexiteten i telenäten, som är en följd av den senaste utvecklingen av 5G, är en utmaning när det gäller att upptäcka fel i telenäten. Förutom den strukturella komplexiteten i telekommunikationssystem har datatillgänglighet blivit ett problem både när det gäller integritet och åtkomstkostnader. Vi föreslår en metod som bygger på Federated Graph Neural Networks på två nivåer för att identifiera avvikelser i telenätet och samtidigt säkerställa minskade kommunikationskostnader samt dataintegritet. Vår metod betraktar telekomdata som en graf på två nivåer, där grafen på den högsta nivån representerar interaktionen mellan webbplatser, och varje webbplats utvidgas ytterligare till sin graf för programvarans (SW) prestandabeteende. Vi utvecklade och jämförde 4G/5G SW-feldetekteringsmodeller under 3 inställningar: (1) Central Temporal Graph Neural Networks-modell: vi föreslår en modell för att upptäcka avvikelser i 4G/5G-telekomdata. (2) Federated Temporal Graph Neural Networks-modell: vi föreslår Federated Learning (FL) som en mekanism för integritetsmedveten utbildning av modeller för feldetektering. I motsats till centraliserad inlärning aggregeras lokalt tränade modeller på serversidan och skickas tillbaka till klienterna utan att data läcker ut mellan klienterna och servern, vilket säkerställer integritetsskyddande samarbetsutbildning. (3) Personaliserad Federated Temporal Graph Neural Networks-modell: vi föreslår en ny aggregeringsteknik, kallad FedGraph, som utnyttjar både en graf och likheterna mellan webbplatser för att aggregera modellerna. Vi jämför fördelarna med modellerna Federated Learning (FL) (2) och (3) med centraliserad utbildning (1) när det gäller datamodellering av SW-prestanda, anomalidetektering och kommunikationskostnader. Utvärderingen omfattar både ett scenario med normalt fungerande anläggningar och ett scenario där endast en delmängd av anläggningarna uppvisar felaktigt beteende. Kombinationen av SW-exekveringsgrafer med GNN har visat förbättrad modelleringsprestanda och mindre vinster i centraliserade inställningar (1). I en normal nätverkskontext presterar FL-modellerna (2) och (3) jämförbart med centraliserad träning (CL), med små förbättringar observerade när den personliga strategin används (3). I onormala nätverksscenarier kan Federated Learning dock inte uppnå jämförbar detekteringsprestanda med centraliserad träning. Detta beror på oavsiktlig inlärning av onormalt beteende på webbplatsen, särskilt när man använder den personliga modellen (3). Dessa resultat belyser vikten av att noggrant bedöma och välja lämpliga FL-strategier för anomalidetektering och modellträning på telekomnätdata.
|
Page generated in 0.0344 seconds