Segmentation of the knee cartilage is an important step for surgery planning and manufacturing patient-specific prostheses. What has been a promising technology in recent years is deep learning-based super-resolution methods that are composed of feed-forward models which have been successfully applied on natural and medical images. This thesis aims to test the feasibility to super-resolve thick slice 2D sequence acquisitions and acquire sufficient segmentation accuracy of the articular cartilage in the knee. The investigated approaches are single- and multi-contrast super-resolution, where the contrasts are either based on the 2D sequence, 3D sequence, or both. The deep learning models investigated are based on predicting the residual image between the high- and low-resolution image pairs, finding the hidden latent features connecting the image pairs, and approximating the end-to-end non-linear mapping between the low- and high-resolution image pairs. The results showed a slight improvement in segmentation accuracy with regards to the baseline bilinear interpolation for the single-contrast super-resolution, however, no notable improvements in segmentation accuracy were observed for the multi-contrast case. Although the multi-contrast approach did not result in any notable improvements, there are still unexplored areas not covered in this work that are promising and could potentially be covered as future work. / Segmentering av knäbrosket är ett viktigt steg för planering inför operationer och tillverkning av patientspecifika proteser. Idag segmenterar man knäbrosk med hjälp av MR-bilder tagna med en 3D-sekvens som både tidskrävande och rörelsekänsligt, vilket kan vara obehagligt för patienten. I samband med 3D-bildtagningar brukar även thick slice 2D-sekvenser tas för diagnostiska skäl, däremot är de inte anpassade för segmentering på grund av för tjocka skivor. På senare tid har djupinlärningsbaserade superupplösningsmetoder uppbyggda av så kallade feed-forwardmodeller visat sig vara väldigt framgångsrikt när det applicerats på verkliga- och medicinska bilder. Syftet med den här rapporten är att testa hur väl superupplösta thick slice 2D-sekvensbildtagningar fungerar för segmentering av ledbrosket i knät. De undersökta tillvägagångssätten är superupplösning av enkel- och flerkontrastbilder, där kontrasten är antingen baserade på 2D-sekvensen, 3D-sekvensen eller både och. Resultaten påvisar en liten förbättring av segmenteringnoggrannhet vid segmentering av enkelkontrastbilderna över baslinjen linjär interpolering. Däremot var det inte någon märkvärdig förbättring i superupplösning av flerkontrastbilderna. Även om superupplösning av flerkontrastmetoden inte gav någon märkbar förbättring segmenteringsresultaten så finns det fortfarande outforskade områden som inte tagits upp i det här arbetet som potentiellt skulle kunna utforskas i framtida arbeten.

The accurate assessment of hemodynamics and its parameters play an important role when diagnosing cardiovascular diseases. In this context, 4D Flow Magnetic Resonance Imaging (4D Flow MRI) is a non-invasive measurement technique that facilitates hemodynamic parameter assessment as well as quantitative and qualitative analysis of three-directional flow over time. However, the assessment is limited by noise, low spatio-temporal resolution and long acquisition times. Consequently, in regions characterized by transient, rapid flow dynamics, such as the aorta and heart, capturing these rapid transient flows remains particularly challenging. Recent research has shown the feasibility of machine learning models to effectively denoise and increase the spatio-temporal resolution of 4D Flow MRI. However, temporal super-resolution networks, which can generalize on unseen domains and are independent on boundary segmentations, remain unexplored.  This study aims to investigate the feasibility of a neural network for temporal super-resolution and denoising of 4D Flow MRI data. To achieve this, we propose a residual convolutional neural network (based on the 4DFlowNet from Ferdian et al.) providing an end-to-end mapping from temporal low resolution space to high resolution space. The network is trained on patient-specific cardiac models created with computational-fluid dynamic (CFD) simulations covering a full cardiac cycle. For clinical contextualization, performance is assessed on clinical patient data. The study shows the potential of the 4DFlowNet for temporal-super resolution with an average relative error of 16.6 % on an unseen cardiac domain, outperforming deterministic methods such as linear and cubic interpolation. We find that the network effectively reduces noise and recovers high-transient flow by a factor of 2 on both in-silico and in-vivo cardiac datasets. The prediction results in a temporal resolution of 20 ms, going beyond the general clinical routine of 30-40 ms. This study exemplifies the performance of a residual CNN for temporal super-resolution of 4D flow MRI data, providing an option to extend evaluations to aortic geometries and to further develop different upsampling factors and temporal resolutions. / En noggrann bedömning av hemodynamiken och dess parametrar spelar en viktig roll vid diagnos av kardiovaskulära sjukdomar. I detta sammanhang är 4D Flow Magnetic Resonance Imaging (4D Flow MRI) en icke-invasiv mätteknik som underlättar bedömning av hemodynamiska parametrar samt kvantitativ och kvalitativ analys av flöde. Bedömningen begränsas av brus, låg spatio-temporal upplösning och långa insamlingstider. I områden som karakteriseras av snabb flödesdynamik, såsom aorta och hjärta, är det därför fortfarande särskilt svårt att fånga dessa snabba transienta flöden. Ny forskning har visat att det är möjligt att använda maskininlärningsmodeller för att effektivt reducera brus och öka den spatio-temporala upplösningen i 4D Flow MRI. Nätverk för temporal superupplösning, som kan generaliseras till osedda domäner och är oberoende av segmentering, är fortfarande outforskade.  Denna studie syftar till att undersöka genomförbarheten av ett neuralt nätverk för temporal superupplösning och brusreducering av 4D Flow MRI-data. För att uppnå detta föreslår vi ett residual faltningsneuralt nätverk (baserat på 4DFlowNet från Ferdian et al.) som tillhandahåller en end-to-end-mappning från temporalt lågupplöst utrymme till högupplöst utrymme. Nätverket tränas på patientspecifika hjärtmodeller som skapats med CFD-simuleringar som spänner över en hel hjärtcykel. För klinisk kontextualisering utvärderas nätverkets prestanda på kliniska patientdata. Studien visar potentialen av 4DFlowNet för temporal superupplösning med ett genomsnittligt relativt fel på 16,6 % på en osedd hjärtdomän, vilket överträffar deterministiska metoder som linjär och kubisk interpolation. Vi konstaterar att nätverket effektivt minskar brus och återställer högtransient flöde med en faktor på 2 på både in-silico ochin-vivo hjärtdataset. Förutsägelsen resulterar i en temporal upplösning på 20 ms, vilket är mer än den allmänna kliniska rutinen på 30-40 ms. Denna studie exemplifierar prestandan hos en residual CNN för temporal superupplösning av 4D-flödes-MRI-data, vilket ger möjlighet att utvidga utvärderingarna till aortageometrier och att vidareutveckla olika uppsamplingsfaktorer och temporala upplösningar.

Super-resolution is a subfield of computer vision centered around upsampling low-resolution images to a corresponding high-resolution counterpart. This degree project investigates the suitability of a deep learning method for real-time video super-resolution. Following earlier work in the field, we use bicubic interpolation as a baseline for comparison. The deep learning method selected is specifically suited towards real-time super-resolution and consists of a motion compensation network and an upsampling network. The deep learning method and bicubic interpolation are compared by quantitatively evaluating the methods against each other in quality metrics and performance metrics. Suitable quality metrics are selected from earlier works to provide increased comparability of results, namely peak signal-to-noise ratio and structure similarity index. The performance metrics are: number of operations for a single upsampled frame, latency, throughput, and memory requirements. We apply the methods to a highly challenging publicly available dataset specifically engineered towards video super-resolution research. To further investigate the deep learning method, we propose a few modifications and study the effect on the metrics. Our findings show that the deep learning models outperform bicubic interpolation in the quality metrics, while bicubic interpolation outperformed the deep learning models in the performance metrics. We also find no significant quality metric improvement associated with having a motion compensation network for this dataset, suggesting that the dataset might be too complex for the motion compensation network. We conclude that the deep learning method exhibits real-time capabilities as the method has a throughput of around 500 frames per second for full HD super-resolution. Additionally, we show that by modifying the deep learning method, we achieve similar latency as bicubic interpolation without sacrificing throughput or quality. / Superupplösning är ett område inom datorseende centrerat kring att uppsampla lågupplösta bilder till högupplösta motsvarigheter. Detta examensarbete undersöker hur lämplig en specifik djupinlärningsmetod är för superupplösning i realtid. Enligt tidigare forskning använder vi oss av bikubisk interpolering som grund för jämförelse. Den valda djupinlärningsmetoden är speciellt anpassad till superupplösning i realtid och består av ett rörelsekompensationsnätverk och ett uppsamplingsnätverk. Djupainlärningsmetoden och interpoleringsmetoden jämförs genom att kvantitativt utvärdera metoderna mot varandra i kvalitetsmått och prestandamått. Lämpliga kvalitetsmått väljs från tidigare forskning för att ge ökad jämförbarhet mellan resultaten, nämligen maximalt signaltill- brusförhållande och strukturlikhetsindex. Prestandamätvärdena är: antal operationer för en uppsamplad bild, latens, genomströmning och minnesbehov. Vi utvärderar metoderna på ett utmanande allmänt tillgängligt dataset speciellt konstruerat för superupplösningsforskning inom video. För att ytterligare undersöka den djupa inlärningsmetoden föreslår vi några modifieringar och studerar effekten på mätvärdena. Våra resultat visar att djupinlärningsmodellerna överträffar bikubisk interpolering i kvalitetsmåtten, medan bikubisk interpolering överträffar djupinlärningsmodellerna i prestandamåtten. Vi finner inte heller någon signifikant kvalitetsmässig förbättring förknippad med att ha ett rörelsekompensationsnätverk för detta dataset, vilket kan betyda att datasetet är för komplext för rörelsekompensationnätverket. Vi drar slutsatsen att djupainlärningsmetoden uppvisar realtidsfunktioner eftersom metoden har en genomströmning på cirka 500 bilder per sekund för full HD superupplösning. Dessutom visar vi att genom att modifiera djupainlärningsmetoden uppnår vi liknande latens som bikubisk interpolering utan att offra genomströmning eller kvalitet.

Computer vision is a key component of any autonomous system. Real world computer vision applications rely on a proper and accurate detection and classification of objects. A detection algorithm that doesn’t guarantee reasonable detection accuracy is not applicable in real time scenarios where safety is the main objective. Factors that impact detection accuracy are illumination conditions and image resolution. Both contribute to degradation of objects and lead to low classifications and detection accuracy. Recent development of Convolutional Neural Networks (CNNs) based algorithms offers possibilities for low-light (LL) image enhancement and super resolution (SR) image generation which makes it possible to combine such models in order to improve image quality and increase detection accuracy. This thesis evaluates different CNNs models for SR generation and LL enhancement by comparing generated images against ground truth images. To quantify the impact of the respective model on detection accuracy, a detection procedure was evaluated on generated images. Experimental results evaluated on images selected from NoghtOwls and Caltech Pedestrian datasets proved that super resolution image generation and low-light image enhancement improve detection accuracy by a substantial margin. Additionally, it has been proven that a cascade of SR generation and LL enhancement further boosts detection accuracy. However, the main drawback of such cascades is related to an increased computational time which limits possibilities for a range of real time applications. / Datorseende är en nyckelkomponent i alla autonoma system. Applikationer för datorseende i realtid är beroende av en korrekt detektering och klassificering av objekt. En detekteringsalgoritm som inte kan garantera rimlig noggrannhet är inte tillämpningsbar i realtidsscenarier, där huvudmålet är säkerhet. Faktorer som påverkar detekteringsnoggrannheten är belysningförhållanden och bildupplösning. Dessa bidrar till degradering av objekt och leder till låg klassificerings- och detekteringsnoggrannhet. Senaste utvecklingar av Convolutional Neural Networks (CNNs) -baserade algoritmer erbjuder möjligheter för förbättring av bilder med dålig belysning och bildgenerering med superupplösning vilket gör det möjligt att kombinera sådana modeller för att förbättra bildkvaliteten och öka detekteringsnoggrannheten. I denna uppsats utvärderas olika CNN-modeller för superupplösning och förbättring av bilder med dålig belysning genom att jämföra genererade bilder med det faktiska data. För att kvantifiera inverkan av respektive modell på detektionsnoggrannhet utvärderades en detekteringsprocedur på genererade bilder. Experimentella resultat utvärderades på bilder utvalda från NoghtOwls och Caltech datauppsättningar för fotgängare och visade att bildgenerering med superupplösning och bildförbättring i svagt ljus förbättrar noggrannheten med en betydande marginal. Dessutom har det bevisats att en kaskad av superupplösning-generering och förbättring av bilder med dålig belysning ytterligare ökar noggrannheten. Den största nackdelen med sådana kaskader är relaterad till en ökad beräkningstid som begränsar möjligheterna för en rad realtidsapplikationer.

Generative Adversarial Networks have been used to obtain state-of-the-art results for low-level computer vision tasks like single image super-resolution, however, they are notoriously difficult to train due to the instability related to the competing minimax framework. Additionally, traditional ensembling mechanisms cannot be effectively applied with these types of networks due to the resources they require at inference time and the complexity of their architectures. In this thesis an alternative method to create ensembles of individual, more stable and easier to train, models by using interpolations in the parameter space of the models is found to produce better results than those of the initial individual models when evaluated using perceptual metrics as a proxy of human judges. This method can be used as a framework to train GANs with competitive perceptual results in comparison to state-of-the-art alternatives. / Generative Adversarial Networks (GANs) har använts för att uppnå state-of-the- art resultat för grundläggande bildanalys uppgifter, som generering av högupplösta bilder från bilder med låg upplösning, men de är notoriskt svåra att träna på grund av instabiliteten relaterad till det konkurrerande minimax-ramverket. Dessutom kan traditionella mekanismer för att generera ensembler inte tillämpas effektivt med dessa typer av nätverk på grund av de resurser de behöver vid inferenstid och deras arkitekturs komplexitet. I det här projektet har en alternativ metod för att samla enskilda, mer stabila och modeller som är lättare att träna genom interpolation i parameterrymden visat sig ge bättre perceptuella resultat än de ursprungliga enskilda modellerna och denna metod kan användas som ett ramverk för att träna GAN med konkurrenskraftig perceptuell prestanda jämfört med toppmodern teknik.