Time Series data has become ubiquitous thanks to affordable edge devices and sensors. Much of this data is valuable for decision making. In order to use these data for the forecasting task, the conventional centralized approach has shown deficiencies regarding large data communication and data privacy issues. Furthermore, Neural Network models cannot make use of the extra information from the time series, thus they usually fail to provide time series specific results. Both issues expose a challenge to large-scale Time Series Forecasting with Neural Network models. All these limitations lead to our research question:Can we realize decentralized time series forecasting with a Federated Learning mechanism that is comparable to the conventional centralized setup in forecasting performance?In this work, we propose a Federated Series Forecasting framework, resolving the challenge by allowing users to keep the data locally, and learns a shared model by aggregating locally computed updates. Besides, we design a hybrid model to enable Neural Network models utilizing the extra information from the time series to achieve a time series specific learning. In particular, the proposed hybrid outperforms state-of-art baseline data-central models with NN5 and Ericsson KPI data. Meanwhile, the federated settings of purposed model yields comparable results to data-central settings on both NN5 and Ericsson KPI data. These results together answer the research question of this thesis. / Tidseriedata har blivit allmänt förekommande tack vare överkomliga kantenheter och sensorer. Mycket av denna data är värdefull för beslutsfattande. För att kunna använda datan för prognosuppgifter har den konventionella centraliserade metoden visat brister avseende storskalig datakommunikation och integritetsfrågor. Vidare har neurala nätverksmodeller inte klarat av att utnyttja den extra informationen från tidsserierna, vilket leder till misslyckanden med att ge specifikt tidsserierelaterade resultat. Båda frågorna exponerar en utmaning för storskalig tidsserieprognostisering med neurala nätverksmodeller. Alla dessa begränsningar leder till vår forskningsfråga:Kan vi realisera decentraliserad tidsserieprognostisering med en federerad lärningsmekanism som presterar jämförbart med konventionella centrala lösningar i prognostisering?I det här arbetet föreslår vi ett ramverk för federerad tidsserieprognos som löser utmaningen genom att låta användaren behålla data lokalt och lära sig en delad modell genom att aggregera lokalt beräknade uppdateringar. Dessutom utformar vi en hybrid modell för att möjliggöra neurala nätverksmodeller som kan utnyttja den extra informationen från tidsserierna för att uppnå inlärning av specifika tidsserier. Den föreslagna hybrida modellen presterar bättre än state-of-art centraliserade grundläggande modeller med NN5och Ericsson KPIdata. Samtidigt ger den federerade ansatsen jämförbara resultat med de datacentrala ansatserna för både NN5och Ericsson KPI-data. Dessa resultat svarar tillsammans på forskningsfrågan av denna avhandling.

Gait analysis can improve our understanding of gait to improve medical diagnosis or treatment in clinical assessment. Studying the gait cycle in an embedded sensor system is essential for the detection of any abnormal walking pattern. This project aims to investigate several methods for gait phase recognition on embedded systems based on Hidden Markov Model (HMM) and Long short term memory (LSTM). This project proposes three methods, single HMM, multiple HMMs, and LSTM models, to identify the phase number in one gait. Single HMM has been constructed with the unit of gait via HMM learning. The corresponding phase number in the hidden state sequence can be selected for the observations via HMM decoding. Multiple HMMs have been constructed with the unit of phase instead of gait via HMM learning. The HMM evaluation can select the corresponding phase number in the hidden state sequence with the largest log- likelihood. Frame blocking and windowing function is also applied to evaluate these two methods. Estimation, validation, and forecast are implemented in the LSTM method as a benchmark. After comparing and evaluating the three methods for phase inference in terms of execution time, accuracy, and limitations, the method with multiple HMMs can provide satisfactory accuracy of gait phase number recognition in a relatively short time. It can be concluded that the multiple HMMs method may be more suitable for application in this phase inference scenario on the embedded sensor processing systems if the timing requirement is not so stringent. / Gånganalys kan förbättra vår förståelse för gång för att förbättra medicinsk diagnos eller behandling vid klinisk bedömning. Att studera gångcykeln i ett inbyggt sensorsystem är avgörande för detektering av onormalt gångmönster. Detta projekt syftar till att undersöka flera metoder för gångfasinferens på inbäddade system baserat på Hidden Markov Model (HMM) och Long short term memory (LSTM). I detta projekt har tre metoder, enstaka HMM, flera HMM och LSTM-modeller, föreslagits för att identifiera fasnumret i en gång. Enstaka HMM har konstruerats med gångenheten via HMM-lärande. Motsvarande fasnummer i den dolda tillståndssekvensen kan väljas för observationerna via HMM-avkodning. Flera HMM har konstruerats med fasenheten istället för gång via HMM-lärande. Motsvarande fasnummer i den dolda tillståndssekvensen kan väljas med störst logsannolikhet via HMM-utvärdering. Frame Blocking och Windowing-funktionen används också för att utvärdera dessa två metoder. Uppskattning, validering och prognos implementeras i LSTM-metoden som ett riktmärke. Efter att ha jämfört och utvärderat de tre metoderna för fasinferens när det gäller exekveringstid, noggrannhet och begränsningar kan metoden med flera HMM: er uppnå tillfredsställande noggrannhet för fasnummerigenkänning på relativt kort tid. Vi kan dra slutsatsen att den flera HMM-metoden kan vara mer lämplig för tillämpning i detta fasinferensscenario på de inbyggda sensorbehandlingssystemen om tidskravet inte är så strikt.

The strive for cost reduction of services and repairs combined with a desire for increased vehicle reliability has led to the development of predictive maintenance programs. In maintenance plans, accurate forecasts and predictions regarding which components in a vehicle is in risk of a breakdown is bene_cial to obtain since this enables components to be predictively exchanged or serviced before they break down and cause unnecessary downtime. Previous works in data driven predictive maintenance models typically utilize customer and operational data to predict component wear trough regressive or classi_er models. In this thesis the possibilities and bene_ts associated with utilizing vehicle repair and service history data for trucks in a predictive model is investigated. The repair and service data is a time series of irregularly sampled visits to a service centre and is used in conjunction with operational data and chassis con_guration data collected by a truck manufacturer. To tackle the problem a Random Forest, a Neural Network as well as a Recurrent Neural Network model was tested on the various datasets. The Recurrent Neural Network model made it possible to utilize the entire vehicle repair time series data whereas the Random Forest model used a condensed form of the repair data. The Recurrent model proved to perform signi_cantly better than the Neural Network model trained on operational data however it was not proven signi_cantly better than a Random Forest model trained on the condensed form of repair data. A conclusion that can be drawn is that repair history data can increase the performance of a predictive model, however it is unclear if the time sequence plays a part or if a list of previously exchanged parts works equally well. / Strävan efter att reducera kostnader av reparationer och service samt att öka fordons pålitlighet har lett till utvecklingen av prediktiva underhållsprogram. Träffsäkra förutsägeleser och prediktioner kring vilka delar som riskerar att fallera möjliggör prediktiva utbytelser eller service av delar innan de går sönder. Tidigare arbeten i prediktivt underhåll använder sig vanligen av kunddata och operationell data för att generera en prediktion genom regressions eller klassificeringsmetoder. I det här examensarbetet utforskas möjligheterna och fördelarna med att använda verkstadsdata från lastbilar i en prediktiv modell. Verkstadsdatan består av en oregelbundet genererad tidsserie av besök till en serviceanläggning och används i kombination med operationell data samt chassiutförandedata. För att angripa problemet användes en Random Forest, en Neuronnäts samt en Recurrent (Återkommande) Neuronnätsmodell på de olika datakällorna. Recurrent Neuronnätsmodellen möjliggjorde användandet av kompletta tidserieverkstadsdatan och denna modell visade sig ge bäst resultat men kunde inte påvisas  vara signifikant bättre än en Random Forest modell som tränades på en komprimerad variant av verkstadsdatan.  En slutsats som kan dras av arbetet är att verkstadsdatan kan öka prestandan i en prediktiv model men att det är oklart om det är tidssekvensen av datat som ger ökningen eller om det fungerar lika bra med en lista över tidigare utbytta delar.

No description available.

The interest towrds machine learning applied to turbulence has experienced a fast-paced growth in the last years. Thanks to deep-learning algorithms, flow-control stratigies have been designed, as well as tools to model and reproduce the most relevant turbulent features. In particular, the success of recurrent neural networks (RNNs) has been demonstrated in many recent studies and applications. The main objective of this project is to assess the capability of these networks to reproduce the temporal evolution of a minimal turbulent channel flow. We first obtain a data-driven model based on a modal decomposition in the Fourier domain (FFT-POD) on the time series sampled from the flow. This particular case of turbulent flow allows us to accurately simulate the most relevant coherent structures close to the wall. Long-short-term-memory (LSTM) networks and a Koopman-based framework (KNF) are trained to predict the temporal dynamics of the minimal channel flow modes. Tests with different configurations highlight the limits of the KNF method compared to the LSTM, given the complexity of the data-driven model. Long-term prediction for LSTM show excellent agreement from the statistical point of view, with errors below 2% for the best models. Furthermore, the analysis of the chaotic behaviour thorugh the use of the Lyapunov exponent and of the dynamic behaviour through Pointcaré maps emphasizes the ability of LSTM to reproduce the nature of turbulence. Alternative reduced-order models (ROMS), based on the identification of different turbulent structures, are explored and they continue to show a good potential in predicting the temporal dynamics of the minimal channel.

Due to the unpredictability of the stock market,forecasting stock prices is a challenging task. In this project,we will investigate the performance of the machine learningalgorithm LSTM for stock market prediction. The algorithmwill be based only on historical numerical data and technicalindicators for IBM and FORD. Furthermore, the denoising anddimension reduction algorithm, PCA, is applied to the stockdata, to examine if the performance of forecasting the stockprice is greater than the initial model. A second method, transferlearning, is applied by training the model on the IBM datasetand then applying it on the FORD dataset, and vice versa, toevaluate if the results will improve. The results show that whenthe PCA algorithm is applied to the dataset separately, and incombination with transfer learning, the performance is greater incomparison to the initial model. Moreover, the transfer learningmodel is inconsistent as the performance is worse for FORD inrespect to the initial model, but better for IBM. Thus, concerningthe results when forecasting stock prices using related tools, it issuggested to use trial and error to identify which of the modelsthat performs the optimally. / Att förutse aktiekurser är en utmanande uppgift. Detta beror på aktiemarknadens oförutsägbarhet. Därför kommer vi i detta projekt att undersöka prestandan för maskininlärnings algoritmen LSTMs prognosförmåga för aktie priser. Algoritmen baseras endast på historisk numerisk data och tekniska indikatorer for företagen IBM och FORD. Vidare tillämpas brus minskande och dimension reducerande algorithmen, PCA, på aktiedata för att undersöka om prestandan för att förutse aktie priser är bättre än den ursprungliga modellen. En andra metod, transfer learning, tillämpas genom att träna modellen på IBM data och sedan använda den på FORD data, och vice versa, för att utvärdera om resultaten kommer att förbättras. Resultaten visar, när PCA-algoritmen tillämpas på aktiedata separat, och i kombination med transfer learning är prestandan bättre jämfört med bas modellen. Vidare kan vi inte dra slutsatser om transfer learning då prestandan är sämre för FORD med avseende på bas modellen, men bättre för IBM. I hänsyn till resultaten så föreslås det att man tillämpar modellerna för att identifiera vilken som är mest optimal när man arbetar i ett relaterat ämnesområde. / Kandidatexjobb i elektroteknik 2020, KTH, Stockholm

This thesis presents an estimator to assist or replace a fighter aircraft’s air datasystem (ADS). The estimator is based on machine learning and LSTM neuralnetworks and uses the statistical correlation between states to estimate the angleof attack, angle of sideslip and Mach number using only the internal sensorsof the aircraft. The model is trained and extensively tested on a fighter jetsimulation model and shows promising results. The methodology and accuracyof the estimator are discussed, together with how a real-world implementationwould work. The estimators presented should act as a proof of concept of thepower of neural networks in state estimation, whilst the report discusses theirstrengths and weaknesses. The estimators can estimate the three targets wellin a vast envelope of altitudes, speeds, winds and manoeuvres. However, thetechnology is quite far from real-world implementation as it lacks transparencybut shows promising potential for future development. / Det här examensarbetet presenterar en estimator för att hjälpa eller ersätta ettstridsflygplans luftdatasystem (ADS). Estimatorn är baserad på maskininlärningoch LSTM neurala nätverk och använder statistisk korrelation mellan tillstånd föratt uppskatta anfallsvinkeln, sidglidningsvinkel och Mach-tal endast med hjälpav flygplanets interna sensorer. Modellen är tränad och utförligt testad på ensimuleringsmodell för stridsflygplan och visar lovande resultat. Estimatornsmetodik och noggrannhet diskuteras, tillsammans med hur en implementeringi verkligheten skulle fungera. De presenterade estimatorerna bör fungera somett “proof of concept” för kraften hos neurala nätverk för tillståndsuppskattning,medan rapporten diskuterar deras styrkor och svagheter. Estimatorerna kanuppskatta de tre tillstånden väl i ett stort spektra av altituder, hastigheter, vindaroch manövrar. Tekniken är dock ganska långt ifrån en verklig implementeringeftersom den saknar transparens, men visar lovande potential för framtidautveckling.

As the cryptocurrency markets continuously grow, so does the need for reliable analytical tools for price prediction. This study conducted a comparative analysis of machine learning (ML) algorithms for cryptocurrency price prediction. Through a literature review, three common and reliable ML algorithms for cryptocurrency price prediction were identified: Long Short-Term Memory (LSTM), Random Forest (RF), and eXtreme Gradient Boosting (XGBoost). Utilizing the Bitcoin All Time History dataset from TradingView, the study assessed both the individual performance of each algorithm and the potential of ensemble methods to enhance predictive accuracy. The results reveal that the LSTM algorithm outperformed RF and XGBoost in terms of predictive accuracy according to the metrics Mean Absolute Error (MAE), Mean Squared Error (MSE), and Root Mean Squared Error (RMSE). Additionally, two ensemble approaches were tested: Ensemble 1, which enhanced the LSTM model with the combined predictions from RF and XGBoost, and Ensemble 2, which integrated predictions from all three models. Ensemble 2 demonstrated the highest predictive performance among all models, highlighting the advantages of using ensemble approaches for more robust predictions.

This study aimed to explore the application of artificial intelligence (AI) and machine learning (ML) techniques in implementing a QRS detector forambulatory electrocardiography (ECG) monitoring devices. Three ML models, namely long short-term memory (LSTM), convolutional neural network (CNN), and multilayer perceptron (MLP), were compared and evaluated using the MIT-BIH arrhythmia database (MITDB) and the MIT-BIH noise stress test database (NSTDB). The MLP model consistently outperformed the other models, achieving high accuracy in R-peak detection. However, when tested on noisy data, all models faced challenges in accurately predicting R-peaks, indicating the need for further improvement. To address this, the study emphasized the importance of iteratively refining the input data configurations for achieving accurate R-peak detection. By incorporating both the MITDB and NSTDB during training, the models demonstrated improved generalization to noisy signals. This iterative refinement process allowed for the identification of the best models and configurations, consistently surpassing existing ML-based implementations and outperforming the current ECG analysis system. The MLP model, without shifting segments and utilizing both datasets, achieved an outstanding accuracy of 99.73 % in R-peak detection. This accuracy exceeded values reported in the literature, demonstrating the superior performance of this approach. Furthermore, the shifted MLP model, which considered temporal dependencies by incorporating shifted segments, showed promising results with an accuracy of 99.75 %. It exhibited enhanced accuracy, precision, and F1-score compared to the other models, highlighting the effectiveness of incorporating shifted segments. For future research, it is important to address challenges such as overfitting and validate the models on independent datasets. Additionally, continuous refinement and optimization of the input data configurations will contribute to further advancements in ECG signal analysis and improve the accuracy of R-peak detection. This study underscores the potential of ML techniques in enhancing ECG analysis, ultimately leading to improved cardiac diagnostics and better patient care. / Syftet med denna studie var att utforska användningen av AI- och ML-tekniker för att implementera en QRS-detektor i EKG-övervakningsenheter. Tre olika ML-modeller, LSTM, CNN och MLP jämfördes och utvärderades med hjälp av MITDB och NSTDB. Resultaten visade att MLP-modellen konsekvent presterade bättre än de andra modellerna och uppnådde hög noggrannhet vid detektion av R-toppar i EKG-signalen. Trots detta stötte alla modeller på utmaningar när de testades på brusig realtidsdata, vilket indikerade behovet av ytterligare förbättringar. För att hantera dessa utmaningar betonade studien vikten av att iterativt förbättra konfigurationen av indata för att uppnå noggrann detektering av R toppar. Genom att inkludera både MITDB och NSTDB under träningen visade modellerna förbättrad förmåga att generalisera till brusiga signaler. Denna iterativa process möjliggjorde identifiering av de bästa modellerna och konfigurationerna, vilka konsekvent överträffade befintliga ML-baserade implementeringar och presterade bättre än den nuvarande EKG-analysystemet. MLP-modellen, utan användning av skiftade segment och med båda databaserna, uppnådde en imponerande noggrannhet på 99,73 % vid detektion av R-toppar. Denna noggrannhet överträffade tidigare studier och visade på den överlägsna prestandan hos denna metod. Dessutom visade den skiftade MLP-modellen, som inkluderade skiftade segment för att beakta tidsberoenden, lovande resultat med en noggrannhet på 99,75 %. Modellen uppvisade förbättrad noggrannhet, precision och F1-score jämfört med de andra modellerna, vilket betonar vikten av att inkludera skiftade segment. För framtida studier är det viktigt att hantera utmaningar som överanpassning och att validera modellerna med oberoende datamängder. Dessutom kommer en kontinuerlig förfining och optimering av konfigurationen av indata att bidra till ytterligare framsteg inom EKG-signalanalys och förbättrad noggrannhet vid detektion av R-toppar. Denna studie understryker potentialen hos ML-modeller för att förbättra EKG-analysen och därigenom bidra till förbättrad diagnostik av hjärtsjukdomar och högre kvalitet inom patientvården.

[pt] Neste trabalho, propomos uma metodologia para anotar decisões judiciais, criar modelos de Deep Learning para extração de informação, e visualizar de forma agregada a informação extraída das decisões. Instanciamos a metodologia em dois sistemas. O primeiro extrai modificações de um tribunal de segunda instância, que consiste em um conjunto de categorias legais que são comumente modificadas pelos tribunais de segunda instância. O segundo (i) extrai as causas que motivaram uma pessoa a propor uma ação judicial (causa de pedir), os pedidos do autor e os provimentos judiciais dessas ações proferidas pela primeira e segunda instância de um tribunal, e (ii) conecta os pedidos com os provimentos judiciais correspondentes. O sistema apresenta seus resultados através de visualizações. Extração de Informação para textos legais tem sido abordada usando diferentes técnicas e idiomas. Nossas propostas diferem dos trabalhos anteriores, pois nossos corpora são compostos por decisões de primeira e segunda instância de um tribunal brasileiro. Para extrair as informações, usamos uma abordagem tradicional de Aprendizado de Máquina e outra usando Deep Learning, tanto individualmente quanto como uma solução combinada. Para treinar e avaliar os sistemas, construímos quatro corpora: Kauane Junior para o primeiro sistema, e Kauane Insurance Report, Kauane Insurance Lower e Kauane Insurance Upper para o segundo. Usamos dados públicos disponibilizados pelo Tribunal de Justiça do Estado do Rio de Janeiro para construir os corpora. Para o Kauane Junior, o melhor modelo (Fbeta=1 de 94.79 por cento) foi uma rede neural bidirecional Long Short-Term Memory combinada com Conditional Random Fields (BILSTM-CRF); para o Kauane Insurance Report, o melhor (Fbeta=1 de 67,15 por cento) foi uma rede neural bidirecional Long Short-Term Memory com embeddings de caracteres concatenados a embeddings de palavras combinada com Conditional Random Fields (BILSTM-CE-CRF). Para o Kauane Insurance Lower, o melhor (Fbeta=1 de 89,12 por cento) foi uma BILSTM-CE-CRF; para o Kauane Insurance Upper, uma BILSTM-CRF (Fbeta=1 de 83,66 por cento). / [en] In this work, we propose a methodology to annotate Court decisions, create Deep Learning models to extract information, and visualize the aggregated information extracted from the decisions. We instantiate our methodology in two systems we have developed. The first one extracts Appellate Court modifications, a set of legal categories that are commonly modified by Appellate Courts. The second one (i) extracts plaintiff s legal claims and each specific provision on legal opinions enacted by lower and Appellate Courts, and (ii) connects each legal claim with the corresponding judicial provision. The system presents the results through visualizations. Information Extraction for legal texts has been previously addressed using different techniques and languages. Our proposals differ from previous work, since our corpora are composed of Brazilian lower and Appellate Court decisions. To automatically extract that information, we use a traditional Machine Learning approach and a Deep Learning approach, both as alternative solutions and also as a combined solution. In order to train and evaluate the systems, we have built Kauane Junior corpus for the first system, and three corpora for the second system – Kauane Insurance Report, Kauane Insurance Lower, and Kauane Insurance Upper. We used public data disclosed by the State Court of Rio de Janeiro to build the corpora. For Kauane Junior, the best model, which is a Bidirectional Long Short-Term Memory network combined with Conditional Random Fields (BILSTM-CRF), obtained an (F)beta=1 score of 94.79 percent. For Kauane Insurance Report, the best model, which is a Bidirectional Long Short-Term Memory network with character embeddings concatenated to word embeddings combined with Conditional Random Fields (BILSTM-CE-CRF), obtained an (F)beta=1 score of 67.15 percent. For Kauane Insurance Lower, the best model, which is a BILSTM-CE-CRF, obtained an (F)beta=1 score of 89.12 percent. For Kauane Insurance Upper, the best model, which is a BILSTM-CRF, obtained an (F)beta=1 score of 83.66 percent.