This project studies the removal of non-anatomical objects from medical images. During tumor ablation procedures, the ablation probes appear in the image, hindering the performance of segmentation, registration, and dose computation algorithms. These algorithms can also be affected by artifacts and noise generated by body implants. Image inpainting methods allow the completion of the missing or distorted regions, generating realistic structures coherent with the rest of the image. During the last decade, the study of image inpainting methods has accelerated due to advances in deep learning and the increase in the consumption of multimedia content. Models applying generative adversarial networks have excelled at the task of image synthesis. However, there has not been much study done on medical image inpainting. In this project, a new inpainting method is proposed for recovering missing information from medical images. This method consists of a two-stage model, where a coarse network is followed by a refinement network, both of which are U-Nets. The refinement network is trained together with a discriminator, providing adversarial learning. The model is trained on a dataset of CT images of the liver and, in order the mimic the areas where information is missing, regular and irregular shaped masks are applied. The trained models are compared both quantitatively and qualitatively. Due to the lack of standards and accurate metrics in image inpainting tasks, results cannot be easily compared to current approaches. However, qualitative analysis of the inpainted images shows promising results. In addition, this project identifies the Frechet Inception Distance as a more valid metric than older metrics commonly used for evaluation of image inpainting models. In conclusion, this project provides an inpainting model for medical images, which could be used during tumor ablation procedures and for noise and artifact elimination. Future research could include implementing a 3D model to provide more coherent results for inpainting patients - a stack of images - instead of single images. / I detta projekt undersöks metoder för avlägsnande av icke-anatomiska föremål från medicinska bilder. Bilder tagna under ablationsbehandling av tumörer innehåller själva ablationsnålen, denna kan hindra segmenterings-, registrerings-och dosberäknings-algoritmer för att uppnå önska resultat. Dessa algoritmer kan också påverkas av artefakter och brus som genereras av olika metallimplantat. Bildifyllningsmetoder gör det möjligt att ersätta regioner som saknar eller innehåller inkorrekt bilddata, med realistiska strukturer som är sammanhängande med resten av bilden. Under det senaste decenniet har intresset för metoder för bildifyllning accelererat på grund av framsteg inom djupinlärning och ökad konsumtion av multimediainnehåll. Modeller som använder generative adversarial networks har utmärkt sig i bildsynteseringsuppgifter. Det har dock inte gjorts så många studier gällande bildifyllning av medicinska bilder. I detta projekt föreslås en ny bildifyllningsmetod för att återställa regioner med inkorrekt information i medicinska bilder. Denna metod består av ett tvåstegsnätverk, där ett första nätverk följs av ett förfiningsnätverk, båda av typen U-net. Förfiningsnätverk tränas tillsammans med ett diskriminatornätverk. Modellen tränas på ett dataset av CT-bilder av levern. För att efterlikna de områden där information saknas, applicerades masker av olika former. De färdigtränade modellerna jämfördes både kvantitativt och kvalitativt. På grund av bristen på standarder och noggranna mätvärden för bildifyllningsmetoder, kan resultaten inte enkelt jämföras med existerande metoder. Men kvalitativ analys av de målade bilderna visar ganska lovande resultat. Modellen presterar som bäst i områden inte innehåller komplexa strukturer. Sammanfattningsvis har en fungerande bildifyllningsmetod för medicinska bilder skapats och som kan användas vid tumörablation och för eliminering av bildartefakter. Framtida forskning kan inkludera implementering av en 3D-modell för att ge mer sammanhängande resultat.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-308849 |
| Date | January 2021 |
| Creators | Lorenzo Polo, Andrea |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2021:907 |
Page generated in 0.0021 seconds