Multi-frame image super-resolution focuses on reconstructing a high-resolution image from a set of low-resolution images with high similarity. Since super-resolution is an ill-posted problem, regularization techniques are widely used to constrain the minimization function. Combining image prior knowledge with fidelity model, Bayesian-based methods can effectively solve this ill-posed problem, which makes this kind of methods more popular than other methods. Our proposed model is based on maximum a posteriori probability (MAP) estimation. In this thesis, we propose a novel initialization method based on median operator to initialize our estimated high-resolution image. For the fidelity term in our proposed algorithm, the half-quadratic estimation is used to choose error norm adaptively instead of using fixed L1 or L2 norm. Furthermore, for our regularization term, we propose a novel regularization method based on Difference Curvature (DC) and Bilateral Total Variation (BTV) to suppress mixed noises and preserve image edges simultaneously. In our experimental results, synthetic data and real data are both tested to demonstrate the superiority of our proposed method in terms of clearer texture and less noise over other state-of-the-art methods.

<p>In this thesis we present new methods for image and video super resolution and video deinterlacing. For image super resolution a new approach for finding a High Resolution (HR) image from a single Low Resolution (LR) image has been introduced. We have done this by employing Compressive Sensing (CS) theory. In CS framework images are assumed to be sparse in a transform domain such as wavelets or contourlets. Using this fact we have developed an approach in which the contourlet domain is considered as the transform domain and a CS algorithm is used to find the high resolution image. Following that, we extend our image super resolution scheme to video super resolution. Our video super resolution method has two steps, the first step consists of our image super resolution method which is applied on each frame separately. Then a post processing step is performed on estimated outputs to increase the video quality. The post processing step consists of a deblurring and a Bilateral Total Variation (BTV) filtering for increasing the video consistency. Experimental results show significant improvement over existing image and video super resolution methods both objectively and subjectively.</p> <p>For video deinterlacing problem a method has been proposed which is also a two step approach. At first 6 interpolators are applied to each missing line and the interpolator which gives the minimum error is selected. An initial deinterlaced frame is constructed using selected interpolator. In the next step this initial deinterlaced frame is fed into a post processing step. The post processing step is a modified version of 2-D Bilateral Total Variation filter. The proposed deinterlacing technique outperforms many existing deinterlacing algorithms.</p> / Master of Science (MSc)

Η αντιμετώπιση της περιορισμένης χωρικής ανάλυσης των εικόνων, η οποία οφείλεται στους φυσικούς περιορισμούς που εμφανίζουν οι αισθητήρες σύλληψης εικόνας, αποτελεί το αντικείμενο μελέτης της παρούσας διδακτορικής διατριβής. Στη διατριβή αυτή αρχικά γίνεται προσπάθεια μοντελοποίησης της λειτουργίας του ψηφιοποιητή εικόνας κατά τη δημιουργία αντίγραφου ενός εγγράφου μέσω απλών μοντέλων. Στην εξομοίωση της λειτουργίας του ψηφιοποιητή, το προτεινόμενο μοντέλο θα πρέπει να προτιμηθεί έναντι των μοντέλων Gaussian και Cauchy, που συναντώνται στη βιβλιογραφία, καθώς είναι ισοδύναμο στην απόδοση, απλούστερο στην υλοποίηση και δεν παρουσιάζει εξάρτηση από συγκεκριμένα χαρακτηριστικά λειτουργίας του ψηφιοποιητή. Έπειτα, μορφοποιούνται νέες μέθοδοι για τη βελτίωση της χωρικής ανάλυσης σε εικόνες. Προτείνεται μέθοδος μη ομοιόμορφης παρεμβολής για ανακατασκευή εικόνας Super-Resolution (SR). Αποδεικνύεται πειραματικά πως η προτεινόμενη μέθοδος η οποία χρησιμοποιεί την παρεμβολή Kriging υπερτερεί της μεθόδου η οποία δημιουργεί το πλέγμα υψηλής ανάλυσης μέσω της σταθμισμένης παρεμβολής κοντινότερου γείτονα που αποτελεί συμβατική τεχνική. Επίσης, παρουσιάζονται τρεις νέες μέθοδοι για στοχαστική ανακατασκευή εικόνας SR regularized. Ο εκτιμητής Tukey σε συνδυασμό με το Bilateral Total Variation (BTV) regularization, ο εκτιμητής Lorentzian σε συνδυασμό με το BTV regularization και ο εκτιμητής Huber συνδυασμένος με το BTV regularization είναι οι τρεις μέθοδοι που προτείνονται. Μία πρόσθετη καινοτομία αποτελεί η απευθείας σύγκριση των τριών εκτιμητών Tukey, Lorentzian και Huber στην ανακατασκευή εικόνας super-resolution, άρα στην απόρριψη outliers. Η απόδοση των προτεινόμενων μεθόδων συγκρίνεται απευθείας με εκείνη μίας τεχνικής SR regularized που υπάρχει στη βιβλιογραφία, η οποία αποδεικνύεται κατώτερη. Σημειώνεται πως τα πειραματικά αποτελέσματα οδηγούν σε επαλήθευση της θεωρίας εύρωστης στατιστικής συμπεριφοράς. Επίσης, εκπονείται μία πρωτότυπη μελέτη σχετικά με την επίδραση που έχει κάθε ένας από τους όρους έκφρασης πιστότητας στα δεδομένα και regularization στη διαμόρφωση του αποτελέσματος της ανακατασκευής εικόνας SR. Τα συμπεράσματα που προκύπτουν βοηθούν στην επιλογή μίας αποτελεσματικής μεθόδου για ανακατασκευή εικόνας SR ανάμεσα σε διάφορες υποψήφιες μεθόδους για κάποια δεδομένη ακολουθία εικόνων χαμηλής ανάλυσης. Τέλος, προτείνεται μία μέθοδος παρεμβολής σε εικόνα μέσω νευρωνικού δικτύου. Χάρη στην προτεινόμενη τεχνική εκπαίδευσης το νευρωνικό δίκτυο μαθαίνει το point spread function του ψηφιοποιητή εικόνας. Τα πειραματικά αποτελέσματα αποδεικνύουν πως η προτεινόμενη μέθοδος υπερτερεί σε σχέση με τους κλασικούς αλγόριθμους δικυβικής παρεμβολής και παρεμβολής spline. Η τεχνική που προτείνεται εξετάζει για πρώτη φορά το ζήτημα της σειράς της παρουσίασης των δεδομένων εκπαίδευσης στην είσοδο του νευρωνικού δικτύου. / Coping with the limited spatial resolution of images, which is caused by the physical limitations of image sensors, is the objective of this thesis. Initially, an effort to model the scanner function when generating a document copy by means of simple models is made. In a task of scanner function simulation the proposed model should be preferred over the Gaussian and Cauchy models met in bibliography as it is equivalent in performance, simpler in implementation and does not present any dependence on certain scanner characteristics. Afterwards, new methods for improving images spatial resolution are formulated. A nonuniform interpolation method for Super-Resolution (SR) image reconstruction is proposed. Experimentation proves that the proposed method employing Kriging interpolation predominates over the method which creates the high-resolution grid by means of the weighted nearest neighbor interpolation that is a conventional interpolation technique. Also, three new methods for stochastic regularized SR image reconstruction are presented. The Tukey error norm in combination with the Bilateral Total Variation (BTV) regularization, the Lorentzian error norm in combination with the BTV regularization and the Huber error norm combined with the BTV regularization are the three proposed methods. An additional novelty is the direct comparison of the three estimators Tukey, Lorentzian and Huber in the task of super-resolution image reconstruction, thus in rejecting outliers. The performance of the proposed methods proves superior to that of a regularized SR technique met in bibliography. Experimental results verify the robust statistics theory. Moreover, a novel study which considers the effect of each one of the data-fidelity and regularization terms on the SR image reconstruction result is carried out. The conclusions reached help to select an effective SR image reconstruction method, among several potential ones, for a given low-resolution sequence of frames. Finally, an image interpolation method employing a neural network is proposed. The presented training procedure results in the network learning the scanner point spread function. Experimental results prove that the proposed technique predominates over the classical algorithms of bicubic and spline interpolation. The proposed method is novel as it treats, for the first time, the issue of the training data presentation order to the neural network input.