In recent years, texture synthesis has been a heated topic in computer graphics, and the development of advanced algorithms for generating high-quality 3D textures is an area of active research. A recently proposed model, Neural Cellular Automata, can synthesize realistic 2D texture images or videos. However, due to the complexity and non-differentiable nature of 3D rendering and the lack of definition of the neighborhood on 3D mesh objects, no one has extended the 2D Neural Cellular Automata to the 3D scenario. In this master’s thesis, we propose a novel method for modeling the neighborhood relationship on 3D mesh objects, drawing inspiration from a graph variant of the Neural Cellular Automata. We also design an end-to-end 3D texture synthesis pipeline, leveraging a differentiable renderer to enable the Graph Neural Cellular Automata to learn to synthesize desired 3D textures. Our method allows users to either give the text description of the target textures or present the target texture images as the objectives. We evaluate the effectiveness of our proposed method both qualitatively and quantitatively, comparing it with the state-of-the-art method to demonstrate that it achieves comparable or better results. Furthermore, we explore the homology between the graph variant of Neural Cellular Automata and the 2D model, examining whether our proposed model preserves critical properties of the 2D model such as zero-shot generalization and self-regeneration. Finally, we analyze the limitations and potential drawbacks of our proposed method and suggest directions for future research. In summary, this thesis proposes a novel approach to synthesizing high-quality 3D textures using the Graph Neural Cellular Automata model and a differentiable renderer. Our work provides a foundation for future research in this area, and we believe that our findings will contribute to the development of advanced algorithms for 3D texture synthesis. / Under de senaste åren har textursyntes varit ett hett ämne inom datorgrafik, och utvecklingen av avancerade algoritmer för att generera högkvalitativa 3D-texturer är ett aktivt forskningsområde. En nyligen föreslagen modell, Neural Cellular Automata, kan syntetisera realistiska 2D-texturbilder eller videor. Dock, på grund av komplexiteten och den icke-differentierbara naturen av 3D-rendering och bristen på definition av grannskapet på 3D-meshobjekt, har ingen utvidgat 2D Neural Cellular Automata till 3D-scenariot. I den här masteruppsatsen föreslår vi en ny metod för att modellera grannskapsrelationen på 3D-meshobjekt, inspirerade av en grafvariant av Neural Cellular Automata. Vi utformar också en ände-till-ände 3D-textursyntes pipeline, genom att utnyttja en differentierbar renderer för att möjliggöra för Graph Neural Cellular Automata att lära sig syntetisera önskade 3D-texturer. Vår metod tillåter användare att antingen ge textbeskrivningen av måltexturerna eller presentera måltexturbilderna som målen. Vi utvärderar effektiviteten av vår föreslagna metod både kvalitativt och kvantitativt, jämför den med den mest avancerade metoden för att visa att den uppnår jämförbara eller bättre resultat. Dessutom utforskar vi homologin mellan grafvarianten av Neural Cellular Automata och 2D-modellen, undersöker om vår föreslagna modell bevarar kritiska egenskaper hos 2D-modellen som zero-shot generalisering och självregenerering. Slutligen analyserar vi begränsningarna och eventuella nackdelar med vår föreslagna metod och föreslår riktningar för framtida forskning. Sammanfattningsvis föreslår denna avhandling en ny metod för att syntetisera högkvalitativa 3D-texturer med hjälp av Graph Neural Cellular Automata-modellen och en differentierbar renderer. Vårt arbete ger en grund för framtida forskning inom detta område, och vi tror att våra fynd kommer att bidra till utvecklingen av avancerade algoritmer för 3D-textursyntes.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-333926 |
| Date | January 2023 |
| Creators | Xu, Yitao |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:396 |
Page generated in 0.005 seconds