Deep neural networks (DNNs) based on satellite and radar data have shown promising results for precipitation nowcasting, beating physical models and optical flow for time horizons up to 8 hours. “MetNet”, developed by Google AI, is a 225 million parameter DNN combining three different types of architectures that was trained on satellite and radar data over the United States. They claim to be the first machine learning model to outperform physical models at such a scale. In this work, we implemented a similar but simplified model trained on radar-only Swedish data, with the aim to perform precipitation nowcasting for up to 2 hours into the future. Furthermore, we compare the model to another, simpler model that omits the spatial aggregator of the DNN architecture which is a state-of-the-art vision transformer. Our results show that, although the adopted training dataset was too small to prevent overfitting, the model is still able to outperform the persistence benchmark for lead times longer than 30 minutes with a threshold of 0.2mm/h precipitation. Our simplified model, perhaps unsurprisingly, is outperformed by MetNet because of having too few training data samples or variances in the models’ implementation. We show, nonetheless, that the adopted spatial aggregator fulfills a vital role as expected, aggregating global information into spatial and temporal contexts. Due to the limitations imposed by the reduced size of the model, we cannot, unfortunately, draw definitive conclusions on whether a radar-only model could yield similar forecast skills as MetNet. To improve on these results, more training data is certainly needed. This would require that more robust computation resources are available, but pre-training the model on a larger dataset — or even implementing a model that takes in different geographical locations for training — can naturally lead to significant improvements in the predictions. / Djupa neurala nätverk (DNN) baserade på satellit och radar data har gett bra resultat för korta nederbördsprognoser och kan slå fysikaliska modeller och optical flow f ̈or prognoser upp till 8 timmar i framtiden. “MetNet” ̈ar ett 225 million DNN publicerat av Google som kombinerar tre olika typer av djupa arkitekturer, det är tränat på satellit och radar data över USA och är enligt dom den första maskininlärningsmodellen som presterar bättre än fysikaliska modeller. I denna uppsats har vi konstruerat en modell som liknar deras på ett nedskalat problem. Vi har färre parametrar, lägre upplöst data, endast 2 timmar prognostisering och använder bara radar data över Sverige för att träna modellen. Vi använder F1-score för att evaluera modellens prestanda och jämför prognosen mot persistens som referens. Vidare undersöker vi en mindre komplicerad modell där den tredje arkitekturen inte används för att se vilken roll vision transformern har. Våra resultat visar att datasetet vi tränat på är för litet och modellen överanpassas men modellen lyckas ändå slå persistens referensen för prognoser 30–120 minuter när en 0.2mm/h regntröskel tillämpas. Resultaten är sämre än MetNet av Google och vi kan inte dra några slutsatser huruvida en modell med endast radar-data skulle kunna ge liknande resultat eller inte, eftersom modellen inte tränats till dess fulla potential. Vi visar att den tredje arkitekturen, vision transformern, är en viktig del av nätverket och aggregerar global information till lokala kontexter över tid och rum. För att förbättra våra resultat skulle vi pröva att låta modellen träna på det amerikanska datasetet använt av Google och implementera en modell vars input varierar geografisk position.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-316226 |
| Date | January 2022 |
| Creators | Fallenius, Valter |
| Publisher | KTH, Fysik |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-SCI-GRU ; 2022:034 |
Page generated in 0.0023 seconds