Neural Rendering has recently shown potential for real-time applications such as video games. However, current state of the art Neural Rendering approaches still suffer from a high memory footprint and often require multiple inferences of large neural networks to produce a properly filtered output. This cost associated to filtering the output of Neural Rendering models makes real-time multiscale rendering difficult. In this work, we propose a neural architecture based on multiscale embeddings that take advantage of current rasterization pipelines to produce a filtered output in a single evaluation, allowing for a continuous appearance through scale using a very small neural network. The model is trained directly on a filtered signal in order to learn a continuous representation of the material instead of relying on a post-processing step. The proposed architecture enables efficient sampling on GPU both in texel position and in level of detail, and closely reproduces material textures while drastically reducing their memory footprint. The results show that this approach is a viable candidate for integration in rendering pipelines, as it can be inferred efficiently in regular fragment shaders and on consumer-level hardware inducing less than 1 millisecond of overhead compared to traditional pipelines while producing an output of similar quality with a 33% reduction in memory footprint. The model also produces a smooth reconstruction through scale, free of artifacts and visual discontinuities that would typically be observed for an unfiltered output. / Neural rendering har på senare år visat potential i realtidsapplikationer som t ex inom dataspel. Dessvärre begränsas dagens state-of-the-art metoder inom neural rendering av hög minnesanvändning och kräver ofta att multipla inferenser görs av relativt stora neuronnät för att skapa adekvat filtrerade resultat. Det är därför svårt att direkt tillämpa neural rendering i spelutveckling. I detta arbete föreslås en neural arkitektur som baserar sig på multiscale embeddings som tar tillvara på egenskaperna hos dagens renderingspipelines för att producera adekvat filtrerade resultat med endast en inferens, vilket möjliggör kontinuerliga utseendeegenskaper genom skalning med ett mycket litet neuronnät. Modellen tränas direkt på en filtrerad signal för att lära en kontinuerlig representation av materialet istället för att behöva ett separat post-processingsteg. Den föreslagna arkitekturen möjliggör effektiv sampling på GPU både i texelposition och level of detail, och reproducerar materialtexturerna väl, samtidigt som den reducerar minnesanvändningen drastiskt. Resultaten visar att denna metod är en gångbar kandidat för integration i en renderingspipeline, eftersom den kan inferreras effektivt i en vanlig fragmentsshader på konsumenthårdvara med under en millisekunds tidstillägg jämfört med en traditionell pipeline utan avkall på kvalitet med 33% lägre minnesanvändning. Modellen producerar också en slät rekonstruktion genom skalning, fri från artefakter och visuella diskontinuiteter som annars ofta syns i ett ofiltrerat resultat.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-345843 |
| Date | January 2024 |
| Creators | de Oliveira, Louis |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2024:30 |
Page generated in 0.0029 seconds