Recurrent Neural Networks (RNNs) are pivotal in deep learning for time series prediction, but they suffer from 'exploding values' and 'gradient decay,' particularly when learning temporally distant interactions. Long Short-Term Memory (LSTM) and Gated Recurrent Units (GRU) have addressed these issues to an extent, but the precise mitigating mechanisms remain unclear. Moreover, the success of feedforward neural networks in time series tasks using an 'attention mechanism' raises questions about the solutions offered by LSTMs and GRUs. This study explores an alternative explanation for the challenges faced by RNNs in learning long-range correlations in the input data. Could the issue lie in the movement of the representations - how hidden nodes store and process information - across nodes instead of localization? Evidence presented suggests that RNNs can indeed possess "moving representations," with certain training conditions reducing this movement. These findings point towards the necessity of further research on localizing representations.

This thesis explores the possibility of using session-based customers data from Svenska Handelsbanken AB to detect fraudulent sessions. Tools within Topological Data Analysis are employed to analyse customers behavior and examine topological properties such as homology and stable rank at the individual level. Furthermore, a RNN-LSTM model is, on a general behaviour level, trained to predict the customers next event and investigate its potential to detect anomalous behavior. The results indicate that simplicial complexes and their corresponding stable rank can be utilized to describe differences between genuine and fraudulent sessions on individual level. The use of a neural network suggests that there are deviant behaviors on general level concerning the difference between fraudulent and genuine sessions. The fact that this project was done without internal bank knowledge of fraudulent behaviour or historical knowledge of general suspicious activity and solely by data handling and anomaly detection shows great potential in session-based detection. Thus, this study concludes that the use of Topological Data Analysis and Neural Networks for detecting fraud and anomalous events provide valuable insight and opens the door for future research in the field. Further analysis must be done to see how effectively one could detect fraud mid-session. / I följande uppsats undersöks möjligheten att använda sessionbaserad kunddata från Svenska Handelsbanken AB för att detektera bedrägliga sessioner. Verktyg inom Topologisk Dataanalys används för att analysera kunders beteende och undersöka topologiska egenskaper såsom homologi och stabil rang på individnivå. Dessutom tränas en RNN-LSTM modell på en generell beteende nivå för att förutsäga kundens nästa händelse och undersöka dess potential att upptäcka avvikande beteende. Resultaten visar att simpliciella komplex och deras motsvarande stabil rang kan användas för att beskriva skillnader mellan genuina och bedrägliga sessioner på individnivå. Användningen av ett neuralt nätverk antyder att det finns avvikande beteenden på en generell nivå avseende skillnaden mellan bedrägliga och genuina sessioner. Det faktum att detta projekt genomfördes utan intern bankkännedom om bedrägerier eller historisk kunskap om allmäna misstänksamma aktiviteter och enbart genom datahantering och anomalidetektion visar stor potential för sessionbaserad detektion. Därmed drar denna studie slutsatsen att användningen av topologisk dataanalys och neurala nätverk för att upptäcka bedrägerier och avvikande händelser ger värdefulla insikter och öppnar dörren för framtida fortsätta studier inom området. Vidare analyser måste göras för att se hur effektivt man kan upptäcka bedrägerier mitt i sessioner.

Exploiting photoplethysmography signals (PPG) for non-invasive blood pressure (BP) measurement is interesting for various reasons. First, PPG can easily be measured using fingerclip sensors. Second, camera based approaches allow to derive remote PPG (rPPG) signals similar to PPG and therefore provide the opportunity for non-invasive measurements of BP. Various methods relying on machine learning techniques have recently been published. Performances are often reported as the mean average error (MAE) on the data which is problematic. This work aims to analyze the PPG- and rPPG based BP prediction error with respect to the underlying data distribution. First, we train established neural network (NN) architectures and derive an appropriate parameterization of input segments drawn from continuous PPG signals. Second, we use this parameterization to train NNs with a larger PPG dataset and carry out a systematic evaluation of the predicted blood pressure. The analysis revealed a strong systematic increase of the prediction error towards less frequent BP values across NN architectures. Moreover, we tested different train/test set split configurations which underpin the importance of a careful subject-aware dataset assignment to prevent overly optimistic results. Third, we use transfer learning to train the NNs for rPPG based BP prediction. The resulting performances are similar to the PPG-only case. Finally, we apply different personalization techniques and retrain our NNs with subject-specific data for both the PPG-only and rPPG case. Whilst the particular technique is less important, personalization reduces the prediction errors significantly.

Hydropower is an important energy source since it is fossil-free, renewable, and controllable. Characteristics that become especially important as the reliance on intermittent energy sources increases. However, the dams for the hydropower plants are also associated with large risks as a dam failure could have fatal consequences. Dams are therefore monitored by several sensors, to follow and evaluate any changes in the dam. One of the most important dam surveillance measurements is seepage since it can examine internal erosion. Seepage is affected by several different parameters such as reservoir water level, temperature, and precipitation. Studies also indicate the existence of a time lag between the reservoir water level and the seepage flow, meaning that when there is a change in the reservoir level there is a delay before these changes are reflected in the seepage behaviour. Recent years have seen increased use of AI in dam monitoring, enabling more dynamic warning systems.  This master’s thesis aims to develop a model for dynamic warning signals by predicting seepage using reservoir water level, temperature, and precipitation. Furthermore, a snowmelt variable was introduced to account for the impact of increased water flows during the spring season. The occurrence of a time lag and its possible influence on the model’s performance is also examined. To predict the seepage, three models with different complexity are used – linear regression, support vector regression, and long short-term memory. To investigate the time lag, the linear regression and support vector regression models incorporate a static time lag by shifting the reservoir water level data up to 14 days. The time lag was further investigated using the long short-term memory model as well.  The results show that reservoir water level, temperature, and the snowmelt variable are the combination of input parameters that generate the best results for all three models. Although a one-day time lag between reservoir water level and seepage slightly improved the predictions, the exact duration and nature of the time lag remain unclear. The more complex models (support vector regression and long short-term memory) generated better predictions than the linear regression but performed similarly when evaluated based on the dynamic warning signals. Therefore, linear regression is deemed a suitable model for dynamic warning signals by seepage prediction.

Electricity spot prices are difficult to predict since they depend on different unstable and erratic parameters, and also due to the fact that electricity is a commodity that cannot be stored efficiently. This results in a volatile, highly fluctuating behavior of the prices, with many peaks. Machine learning algorithms have outperformed traditional methods in various areas due to their ability to learn complex patterns. In the last decade, deep learning approaches have been introduced in electricity spot price prediction problems, often exceeding their predecessors. In this thesis, several deep learning models were built and evaluated for their ability to predict the spot prices 10-days ahead. Several conclusions were made. Firstly, it was concluded that rather simple neural network architectures can predict prices with high accuracy, except for the most extreme sudden peaks. Secondly, all the deep networks outperformed the benchmark statistical model. Lastly, the proposed LSTM and CNN provided forecasts which were statistically, significantly superior and had the lowest errors, suggesting they are the most suitable for the prediction task. / Elspotspriser är svåra att förutsäga eftersom de beror på olika instabila och oregelbundna faktorer, och också på grund av att elektricitet är en vara som inte kan lagras effektivt. Detta leder till ett volatilt, fluktuerande beteende hos priserna, med många plötsliga toppar. Maskininlärningsalgoritmer har överträffat traditionella metoder inom olika områden på grund av deras förmåga att lära sig komplexa mönster. Under det senaste decenniet har djupinlärningsmetoder introducerats till problem inom elprisprognostisering och ofta visat sig överlägsna sina föregångare. I denna avhandling konstruerades och utvärderades flera djupinlärningsmodeller på deras förmåga att förutsäga spotpriserna 10 dagar framåt. Den första slutsatsen är att relativt simpla nätverksarkitekturer kan förutsäga priser med hög noggrannhet, förutom för fallen med de mest extrema, plötsliga topparna. Vidare, så övertränade alla djupa neurala nätverken den statistiska modellen som användes som riktmärke. Slutligen, så gav de föreslagna LSTM- och CNN-modellerna prognoser som var statistiskt, signifikant överlägsna de andra och hade de lägsta felen, vilket tyder på att de är bäst lämpade för prognostiseringsuppgiften.

Flood disasters affect millions of people across the world by causing severe loss of life and colossal damage to property. Internet of things (IoT) has been applied in areas such as flood prediction, flood monitoring, flood detection, etc. Although IoT technologies cannot stop the occurrence of flood disasters, they are exceptionally valuable apparatus for conveyance of catastrophe readiness and counteractive action data. Advances have been made in flood prediction using artificial neural networks (ANN). Despite the various advancements in flood prediction systems through the use of ANN, there has been less focus on the utilisation of edge computing for improved efficiency and reliability of such systems. In this thesis, a system for short-term flood prediction that uses IoT and ANN, where the prediction computation is carried out on a low power edge device is proposed. The system monitors real-time rainfall and water level sensor data and predicts ahead of time flood water levels using long short-term memory. The system can be deployed on battery power as it uses low power IoT devices and communication technology. The results of evaluating a prototype of the system indicate a good performance in terms of flood prediction accuracy and response time. The application of ANN with edge computing will help improve the efficiency of real-time flood early warning systems by bringing the prediction computation close to where data is collected. / Översvämningar drabbar miljontals människor över hela världen genom att orsaka dödsfall och förstöra egendom. Sakernas Internet (IoT) har använts i områden som översvämnings förutsägelse, översvämnings övervakning, översvämning upptäckt, etc. Även om IoT-teknologier inte kan stoppa förekomsten av översvämningar, så är de mycket användbara när det kommer till transport av katastrofberedskap och motverkande handlingsdata. Utveckling har skett när det kommer till att förutspå översvämningar med hjälp av artificiella neuronnät (ANN). Trots de olika framstegen inom system för att förutspå översvämningar genom ANN, så har det varit mindre fokus på användningen av edge computing vilket skulle kunna förbättra effektivitet och tillförlitlighet. I detta examensarbete föreslås ett system för kortsiktig översvämningsförutsägelse genom IoT och ANN, där gissningsberäkningen utförs över en låg effekt edge enhet. Systemet övervakar sensordata från regn och vattennivå i realtid och förutspår översvämningsvattennivåer i förtid genom att använda långt korttidsminne. Systemet kan köras på batteri eftersom det använder låg effekt IoT-enheter och kommunikationsteknik. Resultaten från en utvärdering av en prototyp av systemet indikerar en bra prestanda när det kommer till noggrannhet att förutspå översvämningar och responstid. Användningen av ANN med edge computing kommer att förbättra effektiviteten av tidiga varningssystem för översvämningar i realtid genom att ta gissningsberäkningen närmare till där datan samlas.

No description available.

No description available.

<p dir="ltr">This Research focuses on developing artificial intelligence tools to detect and mitigate cyber-attacks targeting unmanned aerial vehicles. </p>

Human motion analysis (HMA) can play a crucial role in sports and healthcare by providing unique insights on movement mechanics in the form of objective measurements and quantitative data. Traditional, state of the art, marker-based techniques, despite their accuracy, come with financial and logistical barriers, and are restricted to laboratory settings. Markerless systems offer much improved affordability and portability, and can potentially be used outside of laboratories. However, these advantages come with a significant cost in accuracy. This thesis attempts to address the challenge of democratizing HMA by leveraging recent advances in smartphone technology and machine learning.\newline\newlineThis thesis evaluates two modalities of performing markerless HMA: Single smartphone using Apple Arkit, and multiple smartphone setup using OpenCap, and compares both to a state of the art multiple-camera marker-based system from Vicon. Additionally, this thesis presents and evaluates two approaches to improving the single smartphone modality: Employing a Gaussian Process Model (GPR), and a Long-short-term-memory (LSTM) neural network to refine the single smartphone data to align with the marker-based result. Specific movements were recorded simultaneously with all three modalities on 13 subjects to build a dataset. From this, GPR and LSTM models were trained and applied to refine the single camera modality data. Lower limb joint angles, and joint centers were evaluated across the different modalities, and analyzed for potential use in real-world applications. While the findings of this thesis are promising, as both the GPR and LSTM models improve the accuracy of Apple Arkit, and OpenCap providing accurate and consistent results. It is important to acknowledge limitations regarding demographic diversity and how real-world environmental factors may influence its application. This thesis contributes to the efforts in narrowing the gap between marker-based HMA methods, and more accessible solutions. / Rörelseanalys av människokroppen (HMA) kan spela en betydelsefull roll i både idrott och hälso- och sjukvården. Genom objektiv och kvantitativ data ger den unik insikt i mekaniken bakom rörelser. Traditionella, toppmoderna, markör-baserade tekniker är mycket precisa, men medför finansiella och logistikbaserade barriärer, och finns endast tillgängliga i laboratorier. Markör-fria system erbjuder mycket bättre pris, portabilitet och kan potentiellt användas utanför laboratorier. Dessa fördelar går dock hand i hand med en betydande minskning av nogrannhet. Denna avhandling försöker ta itu med utmaningen att demokratisera HMA genom att utnyttja de senaste framstegen inom smartphoneteknik och maskininlärning. Denna avhandling utvärderar två sätt att utföra markör-fri HMA: Genom att använda en smartphone som kör Apple Arkit, och en uppsättning med flera smartphones som kör OpenCap. Båda modaliteter jämförs med ett markör-baserat system som använder flera kameror, från Vicon. Dessutom presenteras och utvärderas två metoder för att förbättra modaliteten med endast en smartphone: Användning av en Gaussisk Process modell för Regression (GPR) och ett Long-short-term-memory (LSTM) neuronnät för att förbättra data från en smartphone modalititeten, så att det bättre överenstämmer med det markör-baserade resultatet. Specifika rörelser spelades in samtidigt med alla tre modaliteter på 13 försökspersoner för att bygga upp ett dataset. Utifrån detta tränades GPR- och LSTM-modeller och användas för att förbättra data från en kamera modaliteten (Apple Arkit). Ledvinklar och ledcentra för de nedre extremiteterna utvärderades i de olika modaliteterna och analyserades för potentiell använding i verkliga tillämpningar. Även om resultaten av denna avhandling är lovande, då både GPR- och LSTM-modellerna förbättrar nogrannheten hos Apple Arkit, och OpenCap ger korrekta och konsekventa resultat, så är det viktigt att erkänna begränsningarna när det gäller demografisk mångfald och hur miljöfaktorer i verkligheten kan påverka tillämpningen.