1 |
High Resolution Quality Enhancement of Digitized Artwork using Generative Adversarial Networks / Högupplöst bildkvalitetsförbättring av digitaliserade konstverk med generativa motståndarnätverkMagnusson, Dennis January 2022 (has links)
Digitization of physical artwork is usually done using image scanning devices in order to ensure that the output is accurate in terms of color and is of sufficiently high resolution, usually over 300 pixels per inch, however the usage of such a device is in some cases unfeasible due to medium or size constraints. Photography of the artwork is another method of artwork digitization, however such methods often produce results containing camera artifacts such as shadows, reflections or low resolution. This thesis project explores the possibility of creating an alternative to image scanners using smartphone photography and machine learning-based methods. Due to the very high memory requirement for enhancing images at very high resolutions, this is done in a two-stage process. The first stage uses an unpaired image style transfer model to remove shadows and highlights. The second stage uses a superresolution model to increase the resolution of the image. The results are evaluated on a small set of paired images using objective metrics and subjective metrics in the form of a user study. In some cases the method removed camera artifacts in the form of reflection and color accuracy, however the best results were achieved when the input data did not contain any major camera artifacts. Based on this it seems likely that style transfer models are not applicable for problems with a wide range of expected input and output. The use of super-resolution seems to be a crucial component of high-resolution image enhancement and the current state-of-the-art methods are able to convincingly increase the resolution of images provided that the input is of a sufficiently high resolution. The subjective evaluation shows that commonly used metrics such as structural similarity and Fréchet Inception Distance are applicable for this type of problem when analyzing the full image, however for smaller details other evaluation methods are required. / Digitalisering av fysiska konstverk görs vanligtvis med bildskannrar för att försäkra att den digitaliserade bilden är färgnoggrann och att upplösningen är tillräckligt hög, vanligtvis över 300 pixlar per tum. Dock är användandet av bildskannrar ibland svårt på grund av konstverkets material eller storlek. Fotografi av konstverk är en annan metod för digitalisering, men denna metod producerar ofta kameraartefakter i form av skuggor, reflektioner och låg upplösning. Detta examensarbete utforskar möjligheten att skapa ett alternativ till bildskannrar genom att använda smartphonefotografi och maskininlärningsbaserade metoder. På grund av de höga minneskraven för bildförbättring med mycket höga upplösningar görs detta i en tvåstegsprocess. Det första steget använder oparad bildstilöversättning för att eliminera skuggor och ljuspunkter. Det andra steget använder en superupplösningsmodell för att öka bildens upplösning. Resultaten utvärderas på en liten mängd parade bilder med objektiva jämförelser och subjektiva jämförelser i form av en användarstudie. I vissa fall reducerade metoden kameraartefakter i form av reflektioner och förbättrade färgexakthet, dock skedde dessa resultat i fall där indatan inte innehöll några större kameraartefakter. Baserat på detta är det sannolikt att stilöversättningsmodeller inte är applicerbara för problem med ett brett omfång av möjliga indata och utdata. Användandet av superupplösning verkar vara en viktig komponent av högupplöst bildförbättring och de bäst presenterande metoderna kan övertygande öka upplösningen av bilder i fall där indatan är av tillräckligt hög upplösning. Den subjektiva utvärderingen visar att vanligt använda utvärderingsmetoder som Fréchet-Inception-avstånd och strukturell likhet är applicerbara för denna typ av problem när de används för att analysera en hel bild, men för mindre detaljer behövs alternativa utvärderingsmetoder.
|
Page generated in 0.0894 seconds