Nonequilibrium Statistical Mechanics focuses on the branch of physics that studies large systems that are out of equilibrium. These systems are inherently difficult to model due to the complex paths available through state space depending on initial configurations and external force fields. Langevin dynamics is a stochastic differential equation used by physicists to model and capture these dynamics. By sampling individual particles from any given distribution, and allowing these particles to follow a Langevin path as t → ∞, we can demonstrate that the Boltzmann distribution is recovered for any stationary field. Thus Langevin dynamics can be seen as a path through state space that leads to equilibrium.In this master’s thesis, we use these properties of Langevin dynamics in a machine learning setting to perform time-series forecasting of large systems. Langevin dynamics gives us the ability to not only capture expectation values from datasets, but instead models an approximate distribution representing the data. This leads us to believe that using diffusion models inspired by Langevin dynamics will allow us to model complex multivariate datasets with temporal, spatial, local & global correlations.Modeling the electric grid is an inherently challenging problem due to the compli- cated and subtle correlations that exist with for example historical usage, weather, and economic effects. Thanks to this, we chose to forecast the American power grid using a diffusion based machine learning model. In this thesis, a diffusion based architecture has been developed to forecast this problem and includes several components such as recur- rent neural networks, graph attention networks, and diffusion processes in conjunction.Our architecture has demonstrated superior performance, outperforming current state- of-the-art methods, including gradient boosting decision tree models. Detailed perfor- mance comparisons between our diffusion model and XGBoost have shown that our diffusion model consistently outperforms it.Looking ahead, our work suggests many potential areas of improvement to further advance the performance of diffusion based models in time-series forecasting. Examples of this include incorporating physics inspired conservation laws into the model, and im- proved sampling methods. We hope that these methods will be applied in industries that could benefit from more advanced forecasting, such as the increasingly renewable-based power grids. / Icke-jämnviktsstatistisk mekanik är den delen av fysik som studerar stora partikel system som ej är i jämnvikt. Det är svårt att modellera dessa system på grund av de komplexa banorna genom systemets tillståndsrums som finns tillgängliga. Langevin-dynamik är en stokastisk differentialekvation som används av fysiker för att modellera och fånga dessa beteende. Genom att låta partiklar i sådana system följa en Langevin process, kan man demonstrera att det går att återfå en Boltzmann distribution. Således kan Langevin- dynamik ses som en väg genom ett systems tillståndsrymd som leder till jämnvikt.I denna masteruppsats används dessa egenskaper hos Langevin-dynamik i en mask- ininlärningsmiljö för att utföra tidsserieprognoser av stora system. Langevin-dynamik ger oss möjlighet att inte bara fånga väntevärden från datan, utan istället modellera en approximativ fördelning som representerar datan. Detta får oss att tro att diffu- sionsbaserade modeller inspirerade av Langevin-dynamik tillåter oss att modellera dessa komplexa dataset med tidsmässiga, rumsliga, lokala och globala korrelationer.Att modellera elnätet är ett i grunden utmanande problem på grund av de komplicer- ade och subtila korrelationer som finns i datan. Exempel inkluderar historisk användning, väder samt ekonomiska effekter. Vi valde därför att utveckla en diffusionsbaserad mask- ininlärningsmodell för att prognostisera det amerikanska elnätet.xArkitekturen som utvecklats visar på överlägsen prestanda och överträffar nuvarande använda metoder, inklusive s.k. gradient boosted decision trees. Detaljerade prestanda- jämförelser mellan vår diffusionsmodell och XGBoost har visat att vår diffusionsmodell konsekvent presterar bättre.Om vi blickar frammåt pekar vårt arbete på många potentiella förbättringsområden för att ytterligare öka prestandan hos diffusionsbaserade modeller inom tidsserieprog- noser. Exempel på detta inkluderar att integrera fysikinspirerade konservationslagar i modellen samt förbättrade samplingsmetoder. Vi hoppas att dessa metoder kommer att tillämpas i industrier som kan dra nytta av mer avancerade prognoser, såsom de alltmer förnyelsebaserade elnäten.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-347339 |
| Date | January 2024 |
| Creators | Lind, Christian |
| Publisher | KTH, Fysik |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-SCI-GRU ; 2024:077 |
Page generated in 0.0139 seconds