Bildgruppen på enheten för dokument och informationsteknik hos SKL har ett behov av att kunna förbättra bilder med extremt låg upplösning. Detta bildmaterial kan komma från diverse övervakningskameror där det intressanta objektet endast utgör en väldigt liten del, i detta fall registreringsskyltar på förbipasserande bilar. Att skapa en högupplöst bild av en registreringsskylt utav ett fåtal lågupplösta bilder är ett välkänt problem med ett flertal förslag på metoder och lösningar. I denna rapport kommer vi att undersöka vilka metoder som passar bäst vid bildförbättring av registreringsskyltar. Vi kommer även att skapa ett användargränssnitt där man kan läsa in en bild och välja mellan att automatiskt hitta registreringsskylten i bilden eller att manuellt klippa ut den. Efter att man erhållit en bild innehållandes endast registreringsskylten ska de olika implementerade bildförbättringsmetoderna kunna användas. Slutligen diskuteras vilka för- och nackdelar de respektive metoderna har. Förslag på eventuella förbättringar och hur man kan utveckla dessa metoder vidare presenteras därtill.

As the world has become more connected meetings have moved online. However, since few have access to studio lighting and uses the embedded webcam the video quality can be far from good. Hence, there is an interest in using a software solution to enhance the video quality in real time. This thesis investigates the feasibility to train a machine learning model to automatically enhance the quality of images. The model must learn without using paired images, since it is difficult to capture images with the exact same content but different quality. Furthermore, the model has to process at least 30 images per second which is a common frequency for videos. Therefore, this thesis investigates the possibility to train a model without paired images and whether such a model can be used in real-time. To answer these questions several sizes of the same model was trained. These were evaluated using six different measures during in order to determine if training without paired data is possible. The models image enhancement capabilities and inference speed were investigated followed by attempts at improving the speed. Finally, different combinations of datasets were investigated to test how well the model generalised to new data. The results show that it is possible to train models for image enhancement without paired data. However, to use such a model in real time a graphics card is needed to reach above 30 images per second.

Digitization of physical artwork is usually done using image scanning devices in order to ensure that the output is accurate in terms of color and is of sufficiently high resolution, usually over 300 pixels per inch, however the usage of such a device is in some cases unfeasible due to medium or size constraints. Photography of the artwork is another method of artwork digitization, however such methods often produce results containing camera artifacts such as shadows, reflections or low resolution. This thesis project explores the possibility of creating an alternative to image scanners using smartphone photography and machine learning-based methods. Due to the very high memory requirement for enhancing images at very high resolutions, this is done in a two-stage process. The first stage uses an unpaired image style transfer model to remove shadows and highlights. The second stage uses a superresolution model to increase the resolution of the image. The results are evaluated on a small set of paired images using objective metrics and subjective metrics in the form of a user study. In some cases the method removed camera artifacts in the form of reflection and color accuracy, however the best results were achieved when the input data did not contain any major camera artifacts. Based on this it seems likely that style transfer models are not applicable for problems with a wide range of expected input and output. The use of super-resolution seems to be a crucial component of high-resolution image enhancement and the current state-of-the-art methods are able to convincingly increase the resolution of images provided that the input is of a sufficiently high resolution. The subjective evaluation shows that commonly used metrics such as structural similarity and Fréchet Inception Distance are applicable for this type of problem when analyzing the full image, however for smaller details other evaluation methods are required. / Digitalisering av fysiska konstverk görs vanligtvis med bildskannrar för att försäkra att den digitaliserade bilden är färgnoggrann och att upplösningen är tillräckligt hög, vanligtvis över 300 pixlar per tum. Dock är användandet av bildskannrar ibland svårt på grund av konstverkets material eller storlek. Fotografi av konstverk är en annan metod för digitalisering, men denna metod producerar ofta kameraartefakter i form av skuggor, reflektioner och låg upplösning. Detta examensarbete utforskar möjligheten att skapa ett alternativ till bildskannrar genom att använda smartphonefotografi och maskininlärningsbaserade metoder. På grund av de höga minneskraven för bildförbättring med mycket höga upplösningar görs detta i en tvåstegsprocess. Det första steget använder oparad bildstilöversättning för att eliminera skuggor och ljuspunkter. Det andra steget använder en superupplösningsmodell för att öka bildens upplösning. Resultaten utvärderas på en liten mängd parade bilder med objektiva jämförelser och subjektiva jämförelser i form av en användarstudie. I vissa fall reducerade metoden kameraartefakter i form av reflektioner och förbättrade färgexakthet, dock skedde dessa resultat i fall där indatan inte innehöll några större kameraartefakter. Baserat på detta är det sannolikt att stilöversättningsmodeller inte är applicerbara för problem med ett brett omfång av möjliga indata och utdata. Användandet av superupplösning verkar vara en viktig komponent av högupplöst bildförbättring och de bäst presenterande metoderna kan övertygande öka upplösningen av bilder i fall där indatan är av tillräckligt hög upplösning. Den subjektiva utvärderingen visar att vanligt använda utvärderingsmetoder som Fréchet-Inception-avstånd och strukturell likhet är applicerbara för denna typ av problem när de används för att analysera en hel bild, men för mindre detaljer behövs alternativa utvärderingsmetoder.

<p>Fluoroskopi är benämningen på kontinuerlig röntgengenomlysning av en patient. Eftersom patienten och även läkaren då utsätts för kontinuerlig röntgenstrålning måste strålningsdosen hållas låg, vilket leder till brusiga bilder. Det är därför önskvärt att genom bildbehandling förbättra bilderna. Bildförbättringen måste dock ske i realtid och därför kan inte konventionella metoder användas.</p><p>Detta examensarbete avser att undersöka hur ortogonala s k. derivataoperatorer kan användas för att förbättra läsbarheten av fluoroskopibilder med hjälp av brusundertryckning och kantförstärkning. Derivataoperatorer är separerbara vilket gör dem extremt beräkningsvänliga och lätta att infoga i en skalpyramid. Skalpyramiden ger möjlighet att processa strukturer och detaljer av olika storlek var för sig samtidigt som nedsamplingsmekanismen gör att denna uppdelning inte nämnvärt ökar beräkningsbördan. I den fullständiga lösningen införes också struktur-/brusseparering för att förhindra förstärkning av och undertrycka bidrag från de frekvensband där en pixel domineras av brus.</p><p>Resultaten visar att brus verkligen kan undertryckas medan kanter och linjer bevaras bra eller förstärkes om så önskas. Den riktade filtreringen gör dock att det lätt uppstår maskliknande strukturer i bruset, men detta kan undvikas med rätt parameterinställning av struktur-/brussepareringen. Förhållandet mellan riktad och icke-riktad filtrering är likaledes styrbart via en parameter som kan optimeras med hänsyn till behov och önskemål vid varje tillämpning.</p> / <p>In X-ray technology, fluoroscopy stands for continuous irradiation. For the sake of both patients and doctors the dose has to be kept low, which leads to noisy images and the question of possible enhancement by digital image processing. Since such enhancement has to be done in real-time, most conventional and available methods are unsuitable.</p><p>The purpose of this thesis is to examine how derivative operators can be used to improve fluoroscopy images in terms of noise reduction and edge enhancement. Since the derivative operators are designed as highly separable convolution kernels the image derivatives can be computed very efficiently with a scheme that is readily embedded in a scale-space pyramid. In this pyramid, structures and details of different sizes can be processed separately with optimal parameter settings. In the final solution we also discriminate between structure and noise in order to avoid amplification, even suppress contributions from frequency bands where a certain pixel position is dominated by noise.</p><p>Experimental results show that noise can indeed be suppressed while edges and lines are enhanced. Oriented filtering may induce false structures in areas where only noise is present, something that can be avoided by correcting the parameters in the noise/structure discriminator. The relation between oriented and non-oriented filtering is likewise controllable with a parameter that can be optimized for application dependent needs and desires.</p>

Fluoroskopi är benämningen på kontinuerlig röntgengenomlysning av en patient. Eftersom patienten och även läkaren då utsätts för kontinuerlig röntgenstrålning måste strålningsdosen hållas låg, vilket leder till brusiga bilder. Det är därför önskvärt att genom bildbehandling förbättra bilderna. Bildförbättringen måste dock ske i realtid och därför kan inte konventionella metoder användas. Detta examensarbete avser att undersöka hur ortogonala s k. derivataoperatorer kan användas för att förbättra läsbarheten av fluoroskopibilder med hjälp av brusundertryckning och kantförstärkning. Derivataoperatorer är separerbara vilket gör dem extremt beräkningsvänliga och lätta att infoga i en skalpyramid. Skalpyramiden ger möjlighet att processa strukturer och detaljer av olika storlek var för sig samtidigt som nedsamplingsmekanismen gör att denna uppdelning inte nämnvärt ökar beräkningsbördan. I den fullständiga lösningen införes också struktur-/brusseparering för att förhindra förstärkning av och undertrycka bidrag från de frekvensband där en pixel domineras av brus. Resultaten visar att brus verkligen kan undertryckas medan kanter och linjer bevaras bra eller förstärkes om så önskas. Den riktade filtreringen gör dock att det lätt uppstår maskliknande strukturer i bruset, men detta kan undvikas med rätt parameterinställning av struktur-/brussepareringen. Förhållandet mellan riktad och icke-riktad filtrering är likaledes styrbart via en parameter som kan optimeras med hänsyn till behov och önskemål vid varje tillämpning. / In X-ray technology, fluoroscopy stands for continuous irradiation. For the sake of both patients and doctors the dose has to be kept low, which leads to noisy images and the question of possible enhancement by digital image processing. Since such enhancement has to be done in real-time, most conventional and available methods are unsuitable. The purpose of this thesis is to examine how derivative operators can be used to improve fluoroscopy images in terms of noise reduction and edge enhancement. Since the derivative operators are designed as highly separable convolution kernels the image derivatives can be computed very efficiently with a scheme that is readily embedded in a scale-space pyramid. In this pyramid, structures and details of different sizes can be processed separately with optimal parameter settings. In the final solution we also discriminate between structure and noise in order to avoid amplification, even suppress contributions from frequency bands where a certain pixel position is dominated by noise. Experimental results show that noise can indeed be suppressed while edges and lines are enhanced. Oriented filtering may induce false structures in areas where only noise is present, something that can be avoided by correcting the parameters in the noise/structure discriminator. The relation between oriented and non-oriented filtering is likewise controllable with a parameter that can be optimized for application dependent needs and desires.

This study investigates how post-processing effects affect the realism and aesthetics of digital game graphics. Four focus groups explored a digital game environment and were exposed to various post-processing effects. During qualitative interviews these focus groups were asked questions about their experience and preferences and the results were analysed. The results can illustrate some of the different pros and cons with these popular post-processing effects and this could help graphical artists and game developers in the future to use this tool (post-processing effects) as effectively as possible. / Denna studie undersöker hur post-processing effekter påverkar realismen och estetiken hos digital spelgrafik. Fyra fokusgrupper utforskade en digital spelmiljö medan olika post-processing effekter exponerades för dem. Under kvalitativa fokusgruppsintervjuer fick de frågor angående deras upplevelser och preferenser och detta resultat blev sedan analyserat. Resultatet kan ge en bild av de olika för- och nackdelarna som finns med dessa populära post-processing effekter och skulle möjligen kunna hjälpa grafiker och spelutvecklare i framtiden att använda detta verktyg (post-processing effekter) så effektivt som möjligt.