Spelling suggestions: "subject:"uppsampling"" "subject:"uppsamplings""
1 |
Real-Time Video Super-Resolution : A Comparative Study of Interpolation and Deep Learning Approaches to Upsampling Real-Time Video / Realtids Superupplösning av Video : En Jämförelsestudie av Interpolerings- och Djupinlärningsmetoder för Uppsampling av RealtidsvideoBåvenstrand, Erik January 2021 (has links)
Super-resolution is a subfield of computer vision centered around upsampling low-resolution images to a corresponding high-resolution counterpart. This degree project investigates the suitability of a deep learning method for real-time video super-resolution. Following earlier work in the field, we use bicubic interpolation as a baseline for comparison. The deep learning method selected is specifically suited towards real-time super-resolution and consists of a motion compensation network and an upsampling network. The deep learning method and bicubic interpolation are compared by quantitatively evaluating the methods against each other in quality metrics and performance metrics. Suitable quality metrics are selected from earlier works to provide increased comparability of results, namely peak signal-to-noise ratio and structure similarity index. The performance metrics are: number of operations for a single upsampled frame, latency, throughput, and memory requirements. We apply the methods to a highly challenging publicly available dataset specifically engineered towards video super-resolution research. To further investigate the deep learning method, we propose a few modifications and study the effect on the metrics. Our findings show that the deep learning models outperform bicubic interpolation in the quality metrics, while bicubic interpolation outperformed the deep learning models in the performance metrics. We also find no significant quality metric improvement associated with having a motion compensation network for this dataset, suggesting that the dataset might be too complex for the motion compensation network. We conclude that the deep learning method exhibits real-time capabilities as the method has a throughput of around 500 frames per second for full HD super-resolution. Additionally, we show that by modifying the deep learning method, we achieve similar latency as bicubic interpolation without sacrificing throughput or quality. / Superupplösning är ett område inom datorseende centrerat kring att uppsampla lågupplösta bilder till högupplösta motsvarigheter. Detta examensarbete undersöker hur lämplig en specifik djupinlärningsmetod är för superupplösning i realtid. Enligt tidigare forskning använder vi oss av bikubisk interpolering som grund för jämförelse. Den valda djupinlärningsmetoden är speciellt anpassad till superupplösning i realtid och består av ett rörelsekompensationsnätverk och ett uppsamplingsnätverk. Djupainlärningsmetoden och interpoleringsmetoden jämförs genom att kvantitativt utvärdera metoderna mot varandra i kvalitetsmått och prestandamått. Lämpliga kvalitetsmått väljs från tidigare forskning för att ge ökad jämförbarhet mellan resultaten, nämligen maximalt signaltill- brusförhållande och strukturlikhetsindex. Prestandamätvärdena är: antal operationer för en uppsamplad bild, latens, genomströmning och minnesbehov. Vi utvärderar metoderna på ett utmanande allmänt tillgängligt dataset speciellt konstruerat för superupplösningsforskning inom video. För att ytterligare undersöka den djupa inlärningsmetoden föreslår vi några modifieringar och studerar effekten på mätvärdena. Våra resultat visar att djupinlärningsmodellerna överträffar bikubisk interpolering i kvalitetsmåtten, medan bikubisk interpolering överträffar djupinlärningsmodellerna i prestandamåtten. Vi finner inte heller någon signifikant kvalitetsmässig förbättring förknippad med att ha ett rörelsekompensationsnätverk för detta dataset, vilket kan betyda att datasetet är för komplext för rörelsekompensationnätverket. Vi drar slutsatsen att djupainlärningsmetoden uppvisar realtidsfunktioner eftersom metoden har en genomströmning på cirka 500 bilder per sekund för full HD superupplösning. Dessutom visar vi att genom att modifiera djupainlärningsmetoden uppnår vi liknande latens som bikubisk interpolering utan att offra genomströmning eller kvalitet.
|
Page generated in 0.049 seconds