• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 53
  • 8
  • Tagged with
  • 61
  • 57
  • 56
  • 40
  • 39
  • 34
  • 33
  • 29
  • 26
  • 20
  • 13
  • 12
  • 12
  • 12
  • 10
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
31

Deep Learning for Anomaly Detection in Microwave Links : Challenges and Impact on Weather Classification / Djupinlärning för avvikelsedetektering i mikrovågslänkar : Utmaningar och inverkan på väderklassificering

Engström, Olof January 2020 (has links)
Artificial intelligence is receiving a great deal of attention in various fields of science and engineering due to its promising applications. In today’s society, weather classification models with high accuracy are of utmost importance. An alternative to using conventional weather radars is to use measured attenuation data in microwave links as the input to deep learning-based weather classification models. Detecting anomalies in the measured attenuation data is of great importance as the output of a classification model cannot be trusted if the input to the classification model contains anomalies. Designing an accurate classification model poses some challenges due to the absence of predefined features to discriminate among the various weather conditions, and due to specific domain requirements in terms of execution time and detection sensitivity. In this thesis we investigate the relationship between anomalies in signal attenuation data, which is the input to a weather classification model, and the model’s misclassifications. To this end, we propose and evaluate two deep learning models based on long short-term memory networks (LSTM) and convolutional neural networks (CNN) for anomaly detection in a weather classification problem. We evaluate the feasibility and possible generalizations of the proposed methodology in an industrial case study at Ericsson AB, Sweden. The results show that both proposed methods can detect anomalies that correlate with misclassifications made by the weather classifier. Although the LSTM performed better than the CNN with regards to top performance on one link and average performance across all 5 tested links, the CNN performance is shown to be more consistent. / Artificiell intelligens har fått mycket uppmärksamhet inom olika teknik- och vetenskapsområden på grund av dess många lovande tillämpningar. I dagens samhälle är väderklassificeringsmodeller med hög noggrannhet av yttersta vikt. Ett alternativ till att använda konventionell väderradar är att använda uppmätta dämpningsdata i mikrovågslänkar som indata till djupinlärningsbaserade väderklassificeringsmodeller. Detektering av avvikelser i uppmätta dämpningsdata är av stor betydelse eftersom en klassificeringsmodells pålitlighet minskar om träningsdatat innehåller avvikelser. Att utforma en noggrann klassificeringsmodell är svårt på grund av bristen på fördefinierade kännetecken för olika typer av väderförhållanden, och på grund av de specifika domänkrav som ofta ställs när det gäller exekveringstid och detekteringskänslighet. I det här examensarbetet undersöker vi förhållandet mellan avvikelser i uppmätta dämpningsdata från mikrovågslänkar, och felklassificeringar gjorda av en väderklassificeringsmodell. För detta ändamål utvärderar vi avvikelsedetektering inom ramen för väderklassificering med hjälp av två djupinlärningsmodeller, baserade på long short-term memory-nätverk (LSTM) och faltningsnätverk (CNN). Vi utvärderar genomförbarhet och generaliserbarhet av den föreslagna metodiken i en industriell fallstudie hos Ericsson AB. Resultaten visar att båda föreslagna metoder kan upptäcka avvikelser som korrelerar med felklassificeringar gjorda av väderklassificeringsmodellen. LSTM-modellen presterade bättre än CNN-modellen både med hänsyn till toppprestanda på en länk och med hänsyn till genomsnittlig prestanda över alla 5 testade länkar, men CNNmodellens prestanda var mer konsistent.
32

Realtidssammanställning av stora mängder data från tidsseriedatabaser / Realtime compilation of large datasets from time series databases

Rådeström, Johan, Skoog, Gustav January 2017 (has links)
Stora mängder tidsseriedata genereras och hanteras i tekniska försörjningssystem och processindustrier i syfte att möjliggöra övervakning av systemen. När tidserierna ska hämtas och sammanställas för dataanalys utgör tidsåtgången ett problem. Examensarbetet hade som syfte att ta reda på hur utvinning av tidsseriedata borde utföras för att ge bästa möjliga svarstid för systemen. För att göra hämtningen och sammanställningen så effektiv som möjligt testades och utvärderades olika tekniker och metoder. De områden som tekniker och metoder jämfördes inom var sammanställning av data inom och utanför databasen, cachning, användandet av minnesdatabaser jämfört med andra databaser, dataformat, dataöverföring, och förberäkning av data. Resultatet var att den bästa lösningen bestod av att sammanställa data parallellt utanför databasen, att använda en egen inbyggd minnesdatabas, att använda Google Protobuf som dataformat, samt att förberäkna data. / Large amounts of time series data are generated and managed within management systems and industries with the purpose to enable monitoring of the systems. When the time series is to be acquired and compiled for data analysis, the expenditure of time is a problem. This thesis was purposed to determine how the extraction of time series data should be performed to give the systems the best response time possible. To make the extraction and compilation as effective as possible, different techniques and methods were tested and evaluated. The areas that techniques and methods were compared for were compilation of data inside and outside the database, caching, usage of in-memory databases compared to other databases, dataformats, data transfer, and precalculation of data. The results showed that the best solution was to compile data in parallel outside the database, to use a custom built-in in-memory database, to use Google Protobuf as data format, and finally to use precalculated data.
33

Deep Learning for Earth Observation: improvement of classification methods for land cover mapping : Semantic segmentation of satellite image time series

Carpentier, Benjamin January 2021 (has links)
Satellite Image Time Series (SITS) are becoming available at high spatial, spectral and temporal resolutions across the globe by the latest remote sensing sensors. These series of images can be highly valuable when exploited by classification systems to produce frequently updated and accurate land cover maps. The richness of spectral, spatial and temporal features in SITS is a promising source of data for developing better classification algorithms. However, machine learning methods such as Random Forests (RFs), despite their fruitful application to SITS to produce land cover maps, are structurally unable to properly handle intertwined spatial, spectral and temporal dynamics without breaking the structure of the data. Therefore, the present work proposes a comparative study of various deep learning algorithms from the Convolutional Neural Network (CNN) family and evaluate their performance on SITS classification. They are compared to the processing chain coined iota2, developed by the CESBIO and based on a RF model. Experiments are carried out in an operational context using with sparse annotations from 290 labeled polygons. Less than 80 000 pixel time series belonging to 8 land cover classes from a year of Sentinel- 2 monthly syntheses are used. Results show on a test set of 131 polygons that CNNs using 3D convolutions in space and time are more accurate than 1D temporal, stacked 2D and RF approaches. Best-performing models are CNNs using spatio-temporal features, namely 3D-CNN, 2D-CNN and SpatioTempCNN, a two-stream model using both 1D and 3D convolutions. / Tidsserier av satellitbilder (SITS) blir tillgängliga med hög rumslig, spektral och tidsmässig upplösning över hela världen med hjälp av de senaste fjärranalyssensorerna. Dessa bildserier kan vara mycket värdefulla när de utnyttjas av klassificeringssystem för att ta fram ofta uppdaterade och exakta kartor över marktäcken. Den stora mängden spektrala, rumsliga och tidsmässiga egenskaper i SITS är en lovande datakälla för utveckling av bättre algoritmer. Metoder för maskininlärning som Random Forests (RF), trots att de har tillämpats på SITS för att ta fram kartor över landtäckning, är strukturellt sett oförmögna att hantera den sammanflätade rumsliga, spektrala och temporala dynamiken utan att bryta sönder datastrukturen. I detta arbete föreslås därför en jämförande studie av olika algoritmer från Konvolutionellt Neuralt Nätverk (CNN) -familjen och en utvärdering av deras prestanda för SITS-klassificering. De jämförs med behandlingskedjan iota2, som utvecklats av CESBIO och bygger på en RF-modell. Försöken utförs i ett operativt sammanhang med glesa annotationer från 290 märkta polygoner. Mindre än 80 000 pixeltidsserier som tillhör 8 marktäckeklasser från ett års månatliga Sentinel-2-synteser används. Resultaten visar att CNNs som använder 3D-falsningar i tid och rum är mer exakta än 1D temporala, staplade 2D- och RF-metoder. Bäst presterande modeller är CNNs som använder spatiotemporala egenskaper, nämligen 3D-CNN, 2D-CNN och SpatioTempCNN, en modell med två flöden som använder både 1D- och 3D-falsningar.
34

An empirical study of the impact of data dimensionality on the performance of change point detection algorithms / En empirisk studie av data dimensionalitetens påverkan på change point detection algoritmers prestanda

Noharet, Léo January 2023 (has links)
When a system is monitored over time, changes can be discovered in the time series of monitored variables. Change Point Detection (CPD) aims at finding the time point where a change occurs in the monitored system. While CPD methods date back to the 1950’s with applications in quality control, few studies have been conducted on the impact of data dimensionality on CPD algorithms. This thesis intends to address this gap by examining five different algorithms using synthetic data that incorporates changes in mean, covariance, and frequency across dimensionalities up to 100. Additionally, the algorithms are evaluated on a collection of data sets originating from various domains. The studied methods are then assessed and ranked based on their performance on both synthetic and real data sets, to aid future users in selecting an appropriate CPD method. Finally, stock data from the 30 most traded companies on the Swedish stock market are collected to create a new CPD data set to which the CPD algorithms are applied. The changes of the monitored system that the CPD algorithms aim to detect are the changes in policy rate set by the Swedish central bank, Riksbank. The results of the thesis show that the dimensionality impacts the accuracy of the methods when noise is present and when the degree of mean or covariance change is small. Additionally, the application of the algorithms on real world data sets reveals large differences in performance between the studied methods, underlining the importance of comparison studies. Ultimately, the kernel based CPD method performed the best across the real world data set employed in the thesis. / När system övervakas över tid kan förändringar upptäckas i de uppmätade variablers tidsseriedata. Change Point Detection (CPD) syftar till att hitta tidpunkten då en förändring inträffar i det övervakade systemet’s tidseriedata. Medan CPD-metoder har sitt urspring i kvalitetskontroll under 1950-talet, har få studier undersökt datans dimensionalitets påverkan på CPD-algoritmer’s förmåga. Denna avhandling avser att fylla denna kunskapslucka genom att undersöka fem olika algoritmer med hjälp av syntetiska data som inkorporerar förändringar i medelvärde, kovarians och frekvens över dimensioner upp till 100. Dessutom jämförs algoritmerna med hjälp av en samling av data från olika domäner. De studerade metoderna bedöms och rangordnas sedan baserat på deras prestanda på både syntetiska och verkliga datauppsättningar för att hjälpa framtida användare att välja en lämplig CPD algoritm. Slutligen har aktiedata samlats från de 30 mest handlade företagen på den svenska aktiemarknaden för att skapa ett nytt data set. De förändringar i det övervakade systemet som CPD-algoritmerna syftar till att upptäcka är förändringarna i styrräntan som fastställs av Riksbanken. Resultaten av studien tyder på att dimensionaliteten påverkar förmågan hos algoritmerna att upptäcka förändringspunkterna när brus förekommer i datan och när graden av förändringen är liten. Dessutom avslöjar tillämpningen av algoritmerna på den verkliga datan stora skillnader i prestanda mellan de studerade metoderna, vilket understryker vikten av jämförelsestudier för att avslöja dessa skillnader. Slutligen presterade den kernel baserade CPD metoden bäst.
35

Estimating Football Position from Context / Uppskattning av en fotbolls position utifrån kontext

Queiroz Gongora, Lucas January 2021 (has links)
Tracking algorithms provide the model to recognize objects’ motion in the past. Moreover, applied to an artificial intelligence algorithm, these algorithms allow, to some degree, the capacity to forecast the future position of an object. This thesis uses deep learning algorithms to predict the ball’s position in the three-dimensional (3D) Cartesian space given the players’ motion and referees on the 2D space. The algorithms implemented are the encoder-decoder attention-based Transformer and the Inception Time, which is comprised of an ensemble of Convolutional Neural Networks. They are compared to each other under different parametrizations to understand their ability to capture temporal and spatial aspects of the tracking data on the ball prediction. The Inception Time proved to be more inconsistent on different areas of the pitches, especially on the end-lines and corners, motivating the decision to choose the Transformer network as the optimal algorithm to predict the ball position since it achieved less volatile errors on the pitch. / Spårningsalgoritmer möjliggör för modellen att känna igen objekts tidigare rörelser. Dessutom om tillämpad till en Artificiell intelligensalgoritm, de tillåter till viss mån att prognostisera ett objekts framtida position. Detta examensarbete använder djupinlärningsalgoritmer för att förutsäga bollens position i det tredimensionella (3D) kartesiska utrymmet baserat på spelarnas och domarnas rörelse i 2D-rymden. De implementerade algoritmerna är den kodare-avkodare-uppmärksamhetsbaserade Transformer och Inception Time, som består av en sammansättning faltningsnätverk (CNN). De jämförs med varandra med olika parametriseringar för att se deras förmåga att fånga upp tidsmässiga och rumsliga aspekter av spårningsdata för att förutsäga bollens rörelse. Inception Time visade sig vara mer inkonsekvent på olika områden på planen. Det var extra tydligt på slutlinjerna och i hörnen. Det motiverade beslutet att välja Transformer-nätverket som den optimala algoritmen för att förutsäga bollpositionen, eftersom den resulterade i färre ojämna fel på planen.
36

Time-series Generative Adversarial Networks for Telecommunications Data Augmentation

Dimyati, Hamid January 2021 (has links)
Time- series Generative Adversarial Networks (TimeGAN) is proposed to overcome the GAN model’s insufficiency in producing synthetic samples that inherit the predictive ability of the original timeseries data. TimeGAN combines the unsupervised adversarial loss in the GAN framework with a supervised loss adopted from an autoregressive model. However, TimeGAN is like another GANbased model that only learns from the set of smaller sequences extracted from the original time-series. This behavior yields a severe consequence when encountering data augmentation for time-series with multiple seasonal patterns, as found in the mobile telecommunication network data. This study examined the effectiveness of the TimeGAN model with the help of Dynamic Time Warping (DTW) and different types of RNN as its architecture to produce synthetic mobile telecommunication network data, which can be utilized to improve the forecasting performance of the statistical and deep learning models relative to the baseline models trained only on the original data. The experiment results indicate that DTW helps TimeGAN maintaining the multiple seasonal attributes. In addition, either LSTM or Bidirectional LSTM as TimeGAN architecture ensures the model is robust to mode collapse problem and creates synthetic data that are diversified and indistinguishable from the original time-series. Finally, merging both original and synthetic time-series becomes a compelling way to significantly improve the deep learning model’s forecasting performance but fails to do so for the statistical model. / Time-series Generative Adversarial Networks (TimeGAN) föreslås för att övervinna GAN-modellens brist att kunna producera syntetisk data som ärver de prediktiva förmåga från den ursprungliga tidsseriedatan. TimeGAN kombinerar den icke-vägledande förlusten i GAN-ramverket tillsammans med den vägledande förlusten från en autoregressiv modell. TimeGAN liknar en vanlig GAN-baserad modell, men behöver bara en mindre uppsättning sekvenser från den ursprungliga tidsserien för att lära sig. Denna egenskap kan dock leda till allvarliga konsekvenser när man stöter på dataförstoring för tidsserier med flera säsongsmönster, vilket återfinns i mobilnätverksdata. Denna studie har undersökt effektiviteten av TimeGAN-modellen med hjälp av Dynamic Time Warping (DTW) och olika typer av RNN som dess arkitektur för att producera syntetisk mobilnätverksdata. Detta kan användas för att förbättra statistiska och djupinlärningsmodellers prognostisering relativt till modeller som bara har tränat på orginaldata. De experimentella resultaten indikerar att DTW hjälper TimeGAN att bibehålla de olika säsongsattributen. Dessutom, TimeGAN med antingen LSTM eller Bidirectional LSTM som arkitektur säkerställer att modellen är robust för lägesfallsproblem och skapar syntetisk data som är diversifierade och inte kan urskiljas från den ursprungliga tidsserien. Slutligen, en sammanslagning av både ursprungliga och syntetiska tidsserier blir ett övertygande sätt att avsevärt förbättra djupinlärningsmodellens prestanda men misslyckas med detta för den statistiska modellen.
37

Improving Queuing Time in a Pull Based Containerized Continuous Integration Build System / Förbättra Kötiden i ett Dragbaserat Containeriserat Kontinuerligt Integrationssystem

Gangalic, Catalin January 2021 (has links)
Most of the medium and big size software companies around the world are now using some form of continuous automatic build systems, with smaller companies following through. This approach, towards a more continuous flow, has pushed for more innovation in the domain and the adoption of various orchestration tools for these builds. At the same time, most continuous integration build systems do not leverage the data for improving the total building time. This thesis intends to decrease the overall building time in a pull based build system, named Blazar. This is obtained by decreasing the average time a build waits before being allocated a resource by the orchestration tool, Kubernetes. The improvement of average queuing time is done by leveraging the past data regarding the queue load of the system with the scope of predicting the amount of resources and preemptively allocating them. In the thesis, various time series prediction models are explored in order to find the most relevant one with regards to the available data. The final choice of the model is Facebook’s Prophet due to its ability to leverage multiple seasonalities, handle outliers, accommodate holidays, and provide fast predictions. By tuning various model’s parameters, it was possible to achieve satisfactory results. Thus, for some of the tested periods, the average queuing time was decreased with up to 20%, while maintaining a reasonable resource usage, compared to the time without using any prediction models. Finally, this thesis represents a practical approach that can be applied to other applications and systems. This thesis also details its limitations while discussing other solutions and ideas to further improve the results. / De flesta medelstora och större mjukvaruföretag runt om i världen använder idag någon form av kontinuerliga automatiska byggsystem, något som mindre företag även har börjat efterfölja. Detta tillvägagångssätt mot ett mer kontinuerligt flöde har drivit för mer innovation inom domänen och adopteringen av olika orkestreringsverktyg för dessa byggda program. Samtidigt utnyttjar de flesta kontinuerliga integrationssystem inte den data de samlar in för att förbättra den totala byggtiden. Denna uppsats avser att minska den totala byggtiden i ett pull-baserat byggsystem som heter Blazar. Detta uppnås genom att minska den genomsnittliga tid som ett byggt program väntar innan den tilldelas en resurs av orkestreringsverktyget, Kubernetes. Förbättringen av den genomsnittliga kötiden fås genom att utnyttja tidigare data om systemets köbelastning med omfattningen att förutsäga mängden resurser och fördela dem förebyggande. I avhandlingen undersöks olika tidsserieprognosmodeller för att hitta den mest relevanta med avseende på tillgänglig data. Det slutliga valet av modellen är Facebooks Prophet på grund av dess förmåga att utnyttja flera säsongsbestämmelser, hantera avvikelser, helgdagar och ge snabba förutsägelser. Genom att ställa in olika modellparametrar var det möjligt att uppnå tillfredsställande resultat. Under några av de testade perioderna minskade således den genomsnittliga kötiden med upp till 20%, samtidigt som en rimlig resursanvändning bibehölls, jämfört med tiden som ficks utan att använda någon förutsägelsemodell. Slutligen avser denna avhandling inte att ge en toppmodern lösning. Således slutar det med att beskriva sina begränsningar samtidigt som de tillhandahåller andra lösningar och idéer som kan förbättra resultaten.
38

Time-series long-term forcasting for A/B tests

Jaunzems, Davis January 2016 (has links)
Den tekniska utvecklingen av datorenheter och kommunikationsverktyg har skapat möjligheter att lagra och bearbeta större mängder information än någonsin tidigare. För forskare är det ett sätt att göra mer exakta vetenskapliga upptäckter, för företag är det ett verktyg för att bättre förstå sina kunder, sina produkter och att skapa fördelar gentemot sina konkurrenter. Inom industrin har A/B-testning blivit ett viktigt och vedertaget sätt att skaffa kunskaper som bidrar till att kunna fatta datadrivna beslut. A/B-test är en jämförelse av två eller flera versioner för att avgöra vilken som fungerar bäst enligt förutbestämda mätningar. I kombination med informationsutvinning och statistisk analys gör dessa tester det möjligt att besvara ett antal viktiga frågor och bidra till övergången från att "vi tror" till att "vi vet". Samtidigt kan dåliga testfall ha negativ inverkan på företags affärer och kan också leda till att användare upplever testerna negativt. Det är skälet till varför det är viktigt att kunna förutsäga A/B-testets långsiktiga effekter, utvunna ur kortsiktiga data. I denna rapport är A/B-tester och de prognoser de skapar undersökta genom att använda univariat tidsserieanalys. Men på grund av den korta tidsperioden och det stora urvalet, är det en stor utmaning att ge korrekta långtidsprognoser. Det är en kvantitativ och empirisk studie som använder verkliga data som tagits från ett socialt spelutvecklingsbolag, King Digital Entertainment PLC (King.com). Först analyseras och förbereds data genom en serie olika steg. Tidsserieprognoser har funnits i generationer. Därför görs en analys och noggrannhetsjämförelse av befintliga prognosmodeller, så som medelvärdesprognos, ARIMA och Artificial Neural Networks. Resultaten av analysen på verkliga data visar liknande resultat som andra forskare har funnit för långsiktiga prognoser med kortsiktiga data. För att förbättra exaktheten i prognosen föreslås en metod med tidsseriekluster. Metoden utnyttjar likheten mellan tidsserier genom Dynamic Time Warping och skapar separata kluster av prognosmodeller. Klustren väljs med hög noggrannhet med hjälp av Random Forest klassificering och de långa tidsserieintervallen säkras genom att använda historiska tester och en Markov Chain. Den föreslagna metoden visar överlägsna resultat i jämförelse med befintliga modeller och kan användas för att erhålla långsiktiga prognoser för A/B-tester. / The technological development of computing devices and communication tools has allowed to store and process more information than ever before. For researchers it is a means of making more accurate scientific discoveries, for companies it is a way of better understanding their clients, products and gain an edge over the competitors. In the industry A/B testing is becoming an important and a common way of obtaining insights that help to make data-driven decisions. A/B test is a comparison of two or more versions to determine which is performing better according to predetermined measurements. In combination of data mining and statistical analysis, these tests allow to answer important questions and help to transition from the state of “we think” to “we know”. Nevertheless, running bad test cases can have negative impact on businesses and can result in bad user experience. That is why it is important to be able to forecast A/B test long-term effects from short-term data. In this report A/B tests and their forecasting is looked at using the univariate time-series analysis. However, because of the short duration and high diversity, it poses a great challenge in providing accurate long-term forecasts. This is a quantitative and empirical study that uses real-world data set from a social game development company King Digital Entertainment PLC(King.com). First through series of steps the data are analysed and pre-processed. Time-series forecasting has been around for generations. That is why an analysis and accuracy comparison of existing forecasting models, like, mean forecast, ARIMA and Artificial Neural Networks, is carried out. The results on real data set show similar results that other researchers have found for long-term forecasts with short-term data. To improve the forecasting accuracy a time-series clustering method is proposed. The method utilizes similarity between time-series through Dynamic Time Warping, and trains separate cluster forecasting models. The clusters are chosen with high accuracy using Random Forest classifier, and certainty about time-series long-term range is obtained by using historical tests and a Markov Chain. The proposed method shows superior results against existing models, and can be used to obtain long-term forecasts for A/B tests.
39

Dynamic GAN-based Clustering in Federated Learning

Kim, Yeongwoo January 2020 (has links)
As the era of Industry 4.0 arises, the number of devices that are connectedto a network has increased. The devices continuously generate data that hasvarious information from power consumption to the configuration of thedevices. Since the data have the raw information about each local node inthe network, the manipulation of the information brings a potential to benefitthe network with different methods. However, due to the large amount ofnon-IID data generated in each node, manual operations to process the dataand tune the methods became challenging. To overcome the challenge, therehave been attempts to apply automated methods to build accurate machinelearning models by a subset of collected data or cluster network nodes byleveraging clustering algorithms and using machine learning models withineach cluster. However, the conventional clustering algorithms are imperfectin a distributed and dynamic network due to risk of data privacy, the nondynamicclusters, and the fixed number of clusters. These limitations ofthe clustering algorithms degrade the performance of the machine learningmodels because the clusters may become obsolete over time. Therefore, thisthesis proposes a three-phase clustering algorithm in dynamic environmentsby leveraging 1) GAN-based clustering, 2) cluster calibration, and 3) divisiveclustering in federated learning. GAN-based clustering preserves data becauseit eliminates the necessity of sharing raw data in a network to create clusters.Cluster calibration adds dynamics to fixed clusters by continuously updatingclusters and benefits methods that manage the network. Moreover, the divisiveclustering explores the different number of clusters by iteratively selectingand dividing a cluster into multiple clusters. As a result, we create clustersfor dynamic environments and improve the performance of machine learningmodels within each cluster. / ett nätverk ökat. Enheterna genererar kontinuerligt data som har varierandeinformation, från strömförbrukning till konfigurationen av enheterna. Eftersomdatan innehåller den råa informationen om varje lokal nod i nätverket germanipulation av informationen potential att gynna nätverket med olika metoder.På grund av den stora mängden data, och dess egenskap av att vara icke-o.l.f.,som genereras i varje nod blir manuella operationer för att bearbeta data ochjustera metoderna utmanande. För att hantera utmaningen finns försök med attanvända automatiserade metoder för att bygga precisa maskininlärningsmodellermed hjälp av en mindre mängd insamlad data eller att gruppera nodergenom att utnyttja klustringsalgoritmer och använda maskininlärningsmodellerinom varje kluster. De konventionella klustringsalgoritmerna är emellertidofullkomliga i ett distribuerat och dynamiskt nätverk på grund av risken fördataskydd, de icke-dynamiska klusterna och det fasta antalet kluster. Dessabegränsningar av klustringsalgoritmerna försämrar maskininlärningsmodellernasprestanda eftersom klustren kan bli föråldrade med tiden. Därför föreslårdenna avhandling en trefasklustringsalgoritm i dynamiska miljöer genom attutnyttja 1) GAN-baserad klustring, 2) klusterkalibrering och 3) klyvning avkluster i federerad inlärning. GAN-baserade klustring bevarar dataintegriteteneftersom det eliminerar behovet av att dela rådata i ett nätverk för att skapakluster. Klusterkalibrering lägger till dynamik i klustringen genom att kontinuerligtuppdatera kluster och fördelar metoder som hanterar nätverket. Dessutomdelar den klövlande klustringen olika antal kluster genom att iterativt välja ochdela ett kluster i flera kluster. Som ett resultat skapar vi kluster för dynamiskamiljöer och förbättrar prestandan hos maskininlärningsmodeller inom varjekluster.
40

Forecasting post COVID-19 : How to improve forecasting models’ performance when training data has been aected by exceptional events like COVID-19 pandemic? / Prognos efter covid-19 : Hur kan man förbättra prognosmodellens prestanda när träningsdata har påverkats av exceptionella händelser som COVID-19-krisen?

Shrebati, Lina January 2023 (has links)
Almost every company around the world were aected by the COVID-19 crisis and the government measures that were taken to slow the spread of the virus. The impact the crisis had on the economy caused the appearance of anomalies in the data collected by companies : such as abnormal trend, seasonality etc. Traditional methods of forecasting were then questioned when trying to predict business indicators such as sales in a post COVID19 world, as we saw performance like forecast accuracy decreased. So how can data scientists increase the performance of their forecasting models in a post COVID-19 world knowing that the training data contains COVID-19, an event never observed before? What methods can be used to overcome this problem? The goal of this project was to provide a guideline for dealing with COVID-19 data points for forecasters. We first dedicated this thesis to data analysis and finding a clear methodology to better understand and quantify the impact of COVID-19 crisis on business indicators. Then, we compared multiple methods to overcome the forecasting issues that are faced when training datasets influenced by the phenomenon of COVID-19 and improved forecast accuracy and reduce bias. Each method had its pros and cons. Among the methods changing the training data, imputation is the easiest method and can give very good results. Multiplicative coecients also can be used, and give also good results. Finally, optimal transport was tested as an alternative to the two first methods. This method changes less the original the time series compared to imputation. Among methods consisting in adding external features to the model, a boolean feature is the most simple way to flag a COVID-19 period and works surprisingly well. Adding more complex features describing COVID-19 impact on the time series is challenging since we need to find a feature that describes well the phenomenon and be able to use another model to predict its future values if we want to use it for our first model. Adding Google mobility features to the model as external regressors seem to increase the most forecast accuracy, but its performance depends on how well we can estimate their future values. This applies also to stringency index, but predicting stringency index future values is even harder as we are trying to estimate government measures. However, with the Stringency index we can simulate scenarios if we make a hypothesis on future government measures: we can estimate COVID-19 impact on the time series in a worst case scenario with lockdowns by setting the Stringency index high for instance. / Nästan alla företag runt om i världen drabbades av covid-19-krisen och de statliga åtgärder som har vidtagits för att bromsa spridningen av viruset. Krisens inverkan på ekonomin orsakade uppkomsten av anomalier i data som samlats in av företag: onormal trend, säsongsvariationer ... etc. Traditionella metoder för prognoser ifrågasattes sedan när man försökte förutsäga aärsindikatorer som försäljning i en värld efter covid-19, eftersom vi såg att prestanda som prognosnoggrannhet minskade. Så hur kan dataforskare öka prestandan för sina prognosmodeller i en värld efter covid-19 med vetskapen om att träningsdata innehåller covid-19, en händelse som aldrig tidigare observerats? Vilka metoder kan användas för att övervinna detta problem? Målet med detta projekt var att ge en riktlinje för hantering av covid-19-datapunkter för prognosmakare. Vi dedikerade först denna avhandling till dataanalys och att hitta en tydlig metod för att bättre förstå och kvantifiera eekten av covid-19- krisen på aärsindikatorer. Sedan jämförde vi flera metoder för att övervinna problemet med den COVID-19-påverkade träningsdatauppsättningen och förbättrad prognosnoggrannhet och minskad bias. Varje metod hade sina för- och nackdelar. Bland metoderna för att ändra träningsdata är imputering den enklaste metoden och kan ge mycket goda resultat. Multiplikativa koecienter kan också användas och ger också bra resultat. Slutligen undersöktes en ny metod: optimal transport, och kan vara ett alternativ till imputering. Med denna metod är den ursprungliga formen på tidsseriekurvan lite mer bevarad, så viss information i originaldata är fortfarande användbar för modellen. Bland de externa funktioner som lagts till i modellen är den booleska funktionen det enklaste sättet att flagga en covid-19-period och fungerar förvånansvärt bra. Googles mobilitetsfunktioner är de externa regressorer som verkar öka mest prognosnoggrannhet, men det beror på hur väl vi kan uppskatta deras framtida värden. Detta gäller även stringensindex, men ännu svårare då vi försöker skatta statliga åtgärder. Stringensindex kan användas för att simulera scenarier (värsta scenario med låsningar, bästa fall där allt är öppet).

Page generated in 0.0705 seconds