Spelling suggestions: "subject:"bildtillbild"" "subject:"bildstillheten""
1 |
Generating lightning bolt videos perceived as real in images using machine learningJohansson, Henrik January 2022 (has links)
Background. Weather and weather effects are important features when trying to immerse the viewer into a virtual world. Lightning and thunder is one of those effects when attempting to create rough weather, realistic lightning however requires heavy computations, using physics, weather systems, and knowledge of the 3d world. Objectives. This thesis investigates the possibility of leveraging the predictive power of machine learning to generate animated lightning bolts inside of images, and then investigates the possibility to generate the animated lightning bolts in real time. Methods. A new data-set for training will be created consisting of videos of lightning bolts. Four image to video machine learning architectures will be investigated and two will be tested in an attempt to find a suitable model for generating the animated lightning bolts. The selected model will be used to generate videos for a questionnaire to collect qualititive data regarding the perceived realism of the animated lightning bolts. To figure out if it is possible to generate the animated lightning bolts in real time the final model will be performance measured and compared to real time requirements of video games and video editing software. Results. For the training data-set 106 curated and pre-processed videos were collected. By gathering four and testing two different machine learning architectures it was found that the architecture based on stochastic Image-to-Video Synthesis using conditional invertible neural networks were the most suited for generating animated lightning bolts. The questionnaire received a 77% positive rating for the generated lightning bolts, with a 1% statistical significance a p-value of 0.00005 was obtained. The performance of the selected machine learning model were measured to be inadequate for real time applications like video games but more than enough for video editing software. Conclusions. The goal of generating animated lightning bolts percieved as real were achieved by creating a new data-set and investigating multiple machine learning architectures. Real time generation is achievable for video editing applications, but real time generation for video games is not yet possible unless the background is static. / Bakgrund. Väder och vädereffekter är viktiga verktyg för att skapa en virtuell värld som fördjupar användaren. Åska och blixtar kan användas för att skapa en upplevelse av dåligt väder men verklighetstrogna representationer kräver tunga matematiska beräkningar och kunskap om den virtuella världen. \newline\textbf{ Syfte. Den här uppsatsen undersöker möjligheten att utnyttja kraften bakom maskininlärning för att generera blixtar som ser verklighetstrogna ut. Uppsatsen undersöker också om det är möjligt att generera blixtar i realtid. Metod. Ett nytt data-set som består av videos av blixtar skapas med syftet att träna modellerna. Fyra bild till video maskininlärnings arkitekturer kommer undersökas och två kommer testas i ett försök att finna en lämplig modell för att generera de animerade blixtarna. Videos från den utvalda modellen kommer användas i ett frågeformulär. Detta formulär kommer användas för att samla in kvalitativ data gällande den upplevda realismen av de genererade blixtarna. För att ta reda på om det är möjligt att generera blixtarna i realtid prestandamäts den slutgiltiga modellen och jämförs med kraven för spel och videoredigeringsverktyg i realtid. Resultat. Modellens träningsdata består av 106 insamlade videoklipp som blivit förbearbetade. Genom att testa två olika maskininlärnings arkitekturer visade det sig att stokastiska bild-till-video arkitekturen baserad på cINN konceptet var den mest lämpade för att generera videos av blixtar. Frågeformuläret mottog ett positivt betyg på 77\% gällande de genererade blixtarna, med en 1\% statistisk signifikans framkom ett p-värde på 0.00005. Prestandan av den utvalda maskin inlärningsmodellen uppmättes vara undermålig för en realtidsapplikation som digitala spel men tillräcklig för videoredigering. Slutsatser. Målet att generera animerade blixtar som uppfattas som realistiska uppnåddes genom att skapa ny träningsdata och undersöka flera olika bild till video maskininlärnings arkitekturer. Realtidsgenerering går att uppnås av applikationer för video redigering, men för applikationer som spel nås inte realtidskraven i dagsläget om kameran i spelet inte står stilla.
|
Page generated in 0.0458 seconds