Reinforcement Learning has applications in various domains, but the typical assumption is of a stationary process. Hence, when this hypothesis does not hold, performance may be sub-optimal. Tackling non-stationarity is not a trivial task because it requires adaptation to changing environments and predictability in various conditions, as dynamics and rewards might change over time. Meta Reinforcement Learning has been used to handle the non-stationary evolution of the environment while knowing the potential source of noise in the system. However, our research presents a novel method to manage such complexity by learning a suitable latent representation that captures relevant patterns for decision-making, improving the policy optimization procedure. We present a two-step framework that combines the unsupervised training of Deep Variational Auto-encoders to extract latent variables and a state-of-the-art model-free and off-policy Batch Reinforcement Learning algorithm called Fitted Q-Iteration, without relying on any assumptions about the environment dynamics. This framework is named Latent-Variable Fitted Q-Iteration (LV-FQI). Furthermore, to validate the generalization and robustness capabilities for exploiting the structure of the temporal sequence of time-series data and extracting near-optimal policies, we evaluated the performance with empirical experiments on synthetic data generated from classical financial models. We also tested it on Foreign Exchange trading scenarios with various degrees of non-stationarity and low signal-to-noise ratios. The results showed performance improvements compared to existing algorithms, indicating great promise for addressing the long-standing challenges of Continual Reinforcement Learning. / Reinforcement Learning har tillämpningar inom olika områden, men den typiska antagningen är att det rör sig om en stationär process. När detta antagande inte stämmer kan prestationen bli suboptimal. Att hantera icke-stationaritet är ingen enkel uppgift eftersom det kräver anpassning till föränderliga miljöer och förutsägbarhet under olika förhållanden, då dynamiken och belöningarna kan förändras över tiden. Meta Reinforcement Learning har använts för att hantera den icke-stationära utvecklingen av miljön genom att känna till potentiella källor till brus i systemet. Vår forskning presenterar emellertid en ny metod för att hantera en sådan komplexitet genom att lära en lämplig latent representation som fångar relevanta mönster för beslutsfattande och förbättrar optimeringsprocessen för policyn. Vi presenterar en tvåstegsramverk som kombinerar osuperviserad träning av Deep Variational Auto-encoders för att extrahera latenta variabler och en state-of-the-art model-free och off-policy Batch Reinforcement Learning-algoritm, Fitted Q-Iteration, utan att förlita sig på några antaganden om miljöns dynamik. Detta ramverk kallas Latent-Variable Fitted Q-Iteration (LV-FQI). För att validera generaliserings- och robusthetsförmågan att utnyttja strukturen hos den tidsmässiga sekvensen av tidsseriedata och extrahera nära-optimala policys utvärderade vi prestandan med empiriska experiment på syntetiska data genererade från klassiska finansiella modeller. Vi testade också det på handelsscenario för Foreign Exchange med olika grader av icke-stationaritet och låg signal-till-brus-förhållande. Resultaten visade prestandaförbättringar jämfört med befintliga algoritmer och indikerar stor potential för att tackla de långvariga utmaningarna inom kontinuerlig Reinforcement Learning.

Performing causal reasoning in a scene is an inherent mechanism in human cognition; however, the majority of approaches in the causality literature aiming for this task still consider constrained scenarios, such as simple physical systems or stationary time-series data. In this work we aim for causal discovery in videos concerning realistic scenarios. We gather motivation for causal discovery by acknowledging this task to be core at human cognition. Moreover, we interpret the scene as a composition of time-series that interact along the sequence and aim for modeling the non-stationary behaviors in a scene. We propose State-dependent Causal Inference (SDCI) for causal discovery in conditional stationary time-series data. We formulate our problem of causal analysis by considering that the stationarity of the time-series is conditioned on a categorical variable, which we call state. Results show that the probabilistic implementation proposed achieves outstanding results in identifying causal relations on simulated data. When considering the state being independent from the dynamics, our method maintains decent accuracy levels of edge-type identification achieving 74.87% test accuracy when considering a total of 8 states. Furthermore, our method correctly handles regimes where the state variable undergoes complex transitions and is dependent on the dynamics of the scene, achieving 79.21% accuracy in identifying the causal interactions. We consider this work to be an important contribution towards causal discovery in videos. / Att utföra kausala resonemang i en scen är en medfödd mekanism i mänsklig kognition; dock betraktar fortfarande majoriteten av tillvägagångssätt i kausalitetslitteraturen, som syftar till denna uppgift, begränsade scenarier såsom enkla fysiska system eller stationära tidsseriedata. I detta arbete strävar vi efter kausal upptäckt i videor om realistiska scenarier. Vi samlar motivation för kausal upptäckt genom att erkänna att denna uppgift är kärnan i mänsklig kognition. Dessutom tolkar vi scenen som en komposition av tidsserier som interagerar längs sekvensen och syftar till att modellera det icke-stationära beteendet i en scen. Vi föreslår Tillståndsberoende kausal inferens (SDCI) för kausal upptäckt i villkorlig stationär tidsseriedata. Vi formulerar vårt problem med kausalanalys genom att anse att tidsseriens stationäritet är villkorad av en kategorisk variabel, som vi kallar tillstånd. Resultaten visar att det föreslagna probabilistiska genomförandet uppnår enastående resultat vid identifiering av orsakssambandet på simulerade data. När man överväger att tillståndet är oberoende av dynamiken, upprätthåller vår metod anständiga noggrannhetsnivåer av kanttypsidentifiering som uppnår 74, 87% testnoggrannhet när man överväger totalt 8 tillstånd. Dessutom hanterar vår metod korrekt regimer där tillståndsvariabeln genomgår komplexa övergångar och är beroende av dynamiken på scenen och uppnår 79, 21% noggrannhet för att identifiera kausala interaktioner. Vi anser att detta arbete är ett viktigt bidrag till kausal upptäckt i videor.

Collisionless shocks are widespread phenomena in the universe, and understanding the mechanisms behind their energy dissipation, with a rare number of collisions between particles, remains a significant unresolved question. The Earth’s bow shock provides an excellent opportunity to study this phenomena in situ. For high Mach number shocks, the shock cannot be sustained without partial reflection of the incoming ions. At higher Mach numbers, the shock surface starts to exhibit non-stationary behaviours, meaning that the shock surface starts evolving. One such behaviour is known as shock reformation, where a new shock forms upstream of an existing one. This study aims to investigate shock reformation using data obtained from NASA’s MMS mission, which offers precise measurements with high spatial and temporal resolutions through its constellation of four spacecraft. Using the MMS shocks database (Lalti et al., 2022), the gradient of the magnetic field magnitude is computed to infer non-stationary behaviour and identify potential instances of shock reformation and other shock behaviours. Through the analysis of the MMS measurements, some insight into the non-stationary characteristics of shocks is obtained using the gradient of the magnetic field. However, further analysis is needed in order to refine the method of identifying non-stationary behaviour of shocks, for future applications. / Kollisionsfria chocker är ett vanligt fenomen som förekommer i universum, och att förstå hur energidissipation inträffar i chocker med ett fåtal kollisioner mellan partikar är ett olöst problem. Jordens bogchock utger en bra möjlighet att studera detta på plats med mätningar från rymdfarkoster. Detta projekt försöker studera delar av jordens bogchock och undersöka dess dynamic. För chocker med högt machtal, måste en del av jonerna från solvinden reflekteras för att chocken ska skunna upprätthållas. Vid högre machtal kan chockytan visa icke-stationära beteenden, vilket innebär att den börjar förändras. Ett exempel på sådant beteende är chockreformation, där en ny chock formas framför en befintlig chock. Denna studie har som mål att undersöka chockreformation med hjälp av data som erhållits från NASA:s MMS-uppdrag, vilket erbjuder precisa mätningar med hög rumslig och tidsmässig upplösning genom sin konstellation av fyra rymdfarkoster. Genom användning av MMS-shockdatabasen (Lalti et al., 2022) beräknades gradienten av magnetfältets magnitud för att härleda icke-stationärt beteende och identifierade potentiella fall av chockreformation och andra beteenden. Genom analys av MMS-mätningarna erhölls viss insikt i de icke-stationära egenskaperna hos chocker med hjälp av gradienten av magnetfältet, men ytterligare analys krävs för att förbättra metoden för framtida tillämpningar.