To predict and anticipate future outcomes or reason about missing information in a sequence is a key ability for agents to be able to make intelligent decisions. This requires strong temporally coherent generative capabilities. Diffusion models have shown huge success in several generative tasks lately, but have not been extensively explored in the video domain. We present Random-Mask Video Diffusion (RaMViD), which extends image diffusion models to videos using 3D convolutions, and introduces a new conditioning technique during training. By varying the mask we condition on, the model is able to perform video prediction, infilling and upsampling. Since we do not use concatenation to condition on a mask, as done in most conditionally trained diffusion models, we are able to utilize the same architecture as used for unconditional training which allows us to train the model in a conditional and unconditional fashion at the same time. We evaluated the model on two benchmark datasets for video prediction, on which we achieve state-of-the-art results, and one for video generation. / Att förutse framtida resultat eller resonera kring bristande information i en sekvens är en viktig förutsättning för agenter att göra intelligenta beslut. Detta kräver robusta temporärt koherenta generativa kapaciteter. Diffusionsmodeller har visat pa stor framgang i flera generativa uppgifter i närtid, men denna potential har inte utforskats grundligt i samband med video. Vi presenterar Random-Mask Video Diffusion (RaMViD), vilket bredar bilddiffusionsmodeller till video med hjälp av 3D konvolutioner, och introducerar en ny konditioneringsteknik under träning. Genom att variera masken vi tränar med kan modellen utföra videoförutsägelse och videoifyllnad. Eftersom vi inte använder konkatenering för att träna pa en mask, som görs i de flesta villkorstränade diffusionsmodeller, har vi möjlighet att använda samma arkiktektur som används för ovillkorad träning, vilket i sin tur tillater oss att träna modellen pa ett villkorat och ovillkorat sätt samtidigt. Vi utvärderade modellen pa tva benchmnark datasets för videoförutsägelse och en för videogenerering, varav pa den första vi uppnade de bästa kvantitativa resultaten bland samtida metoder.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-323070 |
| Date | January 2022 |
| Creators | Höppe, Tobias |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS), Stockholm : KTH Royal Institute of Technology |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2022:864 |
Page generated in 0.0028 seconds