Η εργασία αυτή πραγματοποιήθηκε σε αποκλειστική συνεργασία του φοιτητή Αθανάσιου Μιχαήλ και του επίκουρου καθηγητή Ευάγγελου Δερματά του πανεπιστημίου Πατρών. Το θέμα αποφασίστηκε από κοινού των προαναφερόμενων προσώπων, στα πλαίσια των προπτυχιακών σπουδών του φοιτητή. Οι λόγοι που οδήγησαν σε αυτό είναι πολλοί. Όχι μόνο η ραγδαία αύξηση των ψυχαγωγικών εφαρμογών που χρησιμοποιούν τρισδιάστατες τεχνικές αλλά και η απόκτηση όλο και μεγαλύτερης σημασίας σε επιστημονικούς τομείς όπως της ιατρικής κίνησαν το ενδιαφέρον του φοιτητή. Επίσης, πρόσφατες χρήσεις σε υποβοηθητικά συστήματα οδηγών όπως στερεοσκοπικές ή κάμερες κοντινού εύρους αλλά και σε βιομηχανικές εφαρμογές με ρομπότ, καθιστούν γενικότερα τον τομέα υπολογιστικής όρασης ιδιαίτερα σπουδαίο. Πολλά προβλήματα απεικόνισης και προσανατολισμού στο χώρο μπορούν να λυθούν με μια χωρική αντίληψη από τον άνθρωπο. Για την αναπαράσταση στις τρεις διαστάσεις θα βασιστούμε στην παθητική στερεοσκόπιση και τη βαθμωτή δομή από κίνηση με Multi-View-Stereo. Στην υπολογιστική όραση η 3D ανακατασκευή είναι η διαδικασία της σύλληψης του σχήματος και της εμφάνισης πραγματικών αντικειμένων. Θα παρουσιαστούν οι διάφορες μέθοδοι εκτίμησης βάθους (ανάκτησης τρίτης διάστασης από δισδιάστατη ψηφιακή εικόνα). Θα δοθεί έμφαση στο γεωμετρικό υπόβαθρο και η παραπομπή σε αρκετές σημαντικές εργασίες όπου αυτό κρίνεται αναγκαίο. Θα αναφερθούμε τόσο στην μοντελοποίηση της κάμερας όσο και στην βαθμονόμησή της, βήμα απαραίτητο για μια ρεαλιστική αναπαράσταση. Στη συνέχεια περνάμε στην ψηφιακή επεξεργασία των εικόνων και την ανάδειξη σημείων ενδιαφέροντος επί αυτών. Ύστερα εξηγούνται οι βασικές αρχές τις επιπολικής γεωμετρίας κι έπειτα δίνεται βαρύτητα στη σθεναρότητα μεθόδων εκτίμησης. Παρουσιάζεται η διόρθωση των εικόνων με αντιπροσωπευτικά πειραματικά αποτελέσματα και τελικά φτάνουμε στην αραιή και πυκνή ανακατασκευή στις τρεις διαστάσεις. Κατά τη διάρκεια διεκπεραίωσης της εργασίας αφιερώθηκε αρκετός χρόνος για το θεωρητικό της μέρος, ώστε ο αναγνώστης να μπορέσει να κατανοήσει εύκολα τις βασικές αρχές και τα βασικά στάδια αναπαράστασης ενός τρισδιάστατου χώρου. Ταυτόχρονα απεικονίζονται γραφικά αποτελέσματα που τεκμηριώνουν τη θεωρία ή οδηγούν σε χρήσιμα συμπεράσματα. / The current thesis has been written in an exclusive collaboration of the student Athanasios Michail and Assistant Professor Evangelos Dermatas of the University of Patras. The subject was decided jointly by the above persons in the context of the undergraduate study. There are many reasons for this decision. Not only the rapidly growth of entertainment applications using three-dimensional techniques but also the acquisition of more and more importance in the science sector, such as medicine, caught the student´s attention. Also, recent usages in Driver Assistance Systems like Stereoscopic or Near Range Cameras and industrial applications with robots, make the general sector of Computer Vision particularly important. Many specific depiction and spatial orientation problems can be solved by the spatial perception by humans. For the representation in three dimensions we will rely on stereoscopic vision and structure from motion in combination with Multi-View-Stereo. In Computer Vision the 3D reconstruction means a process of capturing the shape and appearance of real objects. We will present the various depth estimation methods (third dimension recovery from two-dimensional digital image). Emphasis will be placed at the geometric background and it will be referred to several important works where necessary. Both modeling of a camera and its calibration are mentioned. This is a necessary step for a realistic representation. Then we introduct digital image processing, highlighting the points of interest at captured frames. As a next step, we explain the basic principles of epipolar geometry and emphasize on the robust estimation methods. After we present the chapter of image rectification, we finally reach the dense reconstruction in three dimensions. A lot of time was spent to the theoretical part during this work, so that the reader can easily understand the basic principles and key stages of the representation of three-dimensional space. Simultaneously to this, graphed results are illustrated. They can substantiate the theory or lead to useful conclusions.

Η παρούσα διπλωματική εργασία αφορά την ανίχνευση και παρακολούθηση ανθρώπινων μορφών σε ακολουθίες βίντεο με μεθόδους μηχανικής όρασης. Οι ακολουθίες αυτές θεωρούμε πως έχουν ληφθεί από στατική κάμερα σε εσωτερικό ή εξωτερικό χώρο. Πιο συγκεκριμένα, το εν λόγω πρόβλημα υποδιαιρείται σε τρία κυρίως μέρη τα οποία μελετώνται, αναλύονται και υλοποιούνται σε ξεχωριστά κεφάλαια. Ξεκινάμε με το κομμάτι κατάτμησης κίνησης, συνεχίζουμε με την ταξινόμηση αντικειμένων ώστε να αναγνωριστούν οι άνθρωποι ανάμεσα στις κινούμενες οντότητες και τελειώνουμε με την παρακολούθηση των ανθρώπινων σιλουετών για καταγραφή της πορείας τους όση ώρα βρίσκονται στο πλάνο. Οι αλγόριθμοι που αναπτύχθηκαν λειτούργησαν ικανοποιητικά κάτω από διάφορες συνθήκες και τα αποτελέσματά τους μπορούν να περάσουν ως είσοδοι σε μια πληθώρα εφαρμογών υψηλότερου επιπέδου με σκοπό την αναγνώριση ανθρώπινης δραστηριότητας και την κατανόηση συμπεριφοράς. / The purpose of this thesis is to deal with the problem of human tracking in video sequences. We have divided the problem in three parts: motion segmentation, human tracking and object classification. Finally we have dedicate a whole chapter to optical flow techniques and the relevant methods that can be employed to solve the same problem.