Κατά τη διάρκεια της διπλωματικής εργασίας μελετήθηκαν συστήματα οπτικού προσανατολισμού. Έγινε μελέτη των μεθόδων οπτικού προσανατολισμού που στηρίζονται στην επίλυση του προβλήματος της επιπολικής γεωμετρίας. Πιο συγκεκριμένα έγινε μελέτη των σύγχρονων μεθόδων επίλυσης του προβλήματος της επιπολικής γεωμετρίας (μέθοδοι 5,7 και 8 σημείων). Παράλληλα έγινε μελέτη αλγορίθμων RANSAC για να εξασφαλιστεί η σθεναρότητα του συστήματος. Τα παραπάνω συστήματα υλοποιήθηκαν σε βιβλιοθήκες λογισμικού σε γλώσσα C++ με δυνατότητα απευθείας χρήσης τους από το περιβάλλον Labview. Αντίστοιχη μελέτη, ανάπτυξη και υλοποίηση έγινε και για το σύστημα απόλυτου προσανατολισμού που χρησιμοποιεί σημεία με γνωστές συντεταγμένες. Στη συνέχεια τα συστήματα που αναπτύχθηκαν αξιολογήθηκαν με χρήση συνθετικών δεδομένων. Τέλος διεξήχθη πειραματική αξιολόγηση του συστήματος που αναπτύχθηκε με πραγματικά δεδομένα μέσω της χρήσης μιας πειραματικής διάταξης όπου η κάμερα είναι προσαρτημένη σε μία διάταξη Pan-Tilt, ενώ προτάθηκαν και τρόποι βελτίωσης της ακρίβειας του συστήματος οπτικού προσανατολισμού. / During the diploma thesis, vision-only navigational systems have been studied. Firstly, the epipolar geometry methods (5,7 and 8 points) have been studied in depth. Secondly, a RANSAC framework have been developed to ensure the robustness of the system’s measures. The above systems have been implemented, using the C++ programming language, into software libraries that can be used by the Labview enviroment. Moreover vision-only absolute orientation systems that use landmarks have been developed and implemented. Then the systems developed were evaluated using synthetic data. Finally the system that have been developed was evaluated with real data using an experimental setup where the camera is attached to a Pan-Tilt unit,and ways of improving the vision-only navigational system have been proposed.

Το αντικείμενο της εργασίας είναι η τρισδιάστατη ανακατασκευή ενός αντικειμένου ή ενός χώρου, μέσα από τουλάχιστο δύο φωτογραφίες του. Το θέμα της εργασίας είναι μέρος του τομέα της Υπολογιστικής Όρασης, που έχει μεγάλη άνθιση τα τελευταία χρόνια λόγω των πολλών εφαρμογών, όπου η γνώση της τρισδιάστατης δομής ενός αντικειμένου ή ενός χώρου κρίνεται απαραίτητη. Βέβαια, συνέβαλε σε αυτό και η ραγδαία εξέλιξη των ηλεκτρονικών υπολογιστών, με αποτέλεσμα να είναι δυνατή η ακριβής και ποιοτική απεικόνιση σύνθετων τρισδιάστατων σκηνών σε πραγματικό χρόνο, μέσω κατάλληλων αλγορίθμων. Η τρισδιάστατη ανακατασκευή ενός αντικειμένου ή ενός χώρου, από φωτογραφίες ή βίντεο αποτελεί ένα ενδιαφέρον και εντυπωσιακό θέμα με πολλές εφαρμογές και πολύ ενθαρρυντικά αποτελέσματα. Αυτά αποτέλεσαν ουσιαστικά και το έναυσμα για την ενασχόλησή μου με τον τομέα της Υπολογιστικής Όρασης και την επιλογή του θέματος της εργασίας. Οι εφαρμογές που αναπτύσσονται στα πλαίσια της εργασίας παρέχουν οπτικά ευχάριστα αποτελέσματα και έχουν μεγάλη προσαρμοστικότητα και ευελιξία στης διάφορες συνθήκες φωτογράφησης ή λήψης βίντεο. Το σημαντικό, λοιπόν, είναι ότι δεν χρειάζεται απαραίτητα περιβάλλον εργαστηρίου για την λήψη των δεδομένων, δηλαδή των εικόνων. Προκύπτουν καλά αποτελέσματα ακόμα και με εικόνες που λήφθηκαν μέσω μίας απλής φορητής φωτογραφικής κάμερας, χωρίς τρίποδα για στήριξη. Αρκεί απλά να δημιουργήσουμε τις προϋποθέσεις για μικρή κίνηση της κάμερας μεταξύ των λήψεων των εικόνων. Στην παρούσα εργασία παρουσιάζονται και εξετάζονται διεξοδικά όλα τα θέματα που αφορούν την τρισδιάστατη οπτικοποίηση των αντικειμένων. Αρχικά, στις παραγράφους 2.1 έως 3.2, αναλύεται η θεωρία των δύο κυριότερων μεθόδων της "Δομής και Κίνησης" και της "Στερεοσκοπικής Όρασης" . Στην συνέχεια στις παραγράφους 3.3 και 3.4 αναπτύσσεται η μεθοδολογία που ακολουθείται από τις εφαρμογές της Δομής και Κίνησης , ενώ της Στερεοσκοπική Όρασης αναπτύσσεται στην 3.5 . Στην μέθοδο της Δομής και Κίνησης περικλείονται δύο περιπτώσεις. Η πρώτη είναι η μη βαθμονομημένη περίπτωση και η δεύτερη είναι η βαθμονομημένη. Στην δεύτερη, λοιπόν, προηγείται η βαθμονόμηση της κάμερας, οπότε είναι γνωστές εκ των προτέρων οι παράμετροι της κάμερας . Η υλοποίηση των αλγορίθμων γίνεται στο παράρτημα, με την βοήθεια του περιβάλλοντος αριθμητικής υπολογιστικής της προγραμματιστικής γλώσσας Matlab. Τέλος, στο τέταρτο κεφάλαιο, δίνονται κάποια παραδείγματα ανακατασκευών που αποδεικνύουν την αποτελεσματικότητα των αλγορίθμων της υλοποίησης. Τόσο η θεωρία, όσο και οι αλγόριθμοι που παρουσιάζονται στην παρούσα εργασία καλύπτουν πλήρως τις απαραίτητες γνώσεις για την υλοποίηση της τρισδιάστατης αναπαράστασης. Συσσωρεύτηκαν πληροφορίες από δύο μεθόδους, δηλαδή της Δομής και Κίνησης αλλά και της Στερεοσκοπικής Όρασης, οι οποίες συνδυασμένες δίνουν βέλτιστα και αρτιότερα αποτελέσματα. Πρωταρχικός στόχος της εργασίας είναι η ανάδειξη των δυνατοτήτων που παρέχουν οι συγκεκριμένες μέθοδοι. Από την άλλη μεριά, η υλοποίηση των δύο μεθόδων και κατά συνέπεια των αλγόριθμων, αποτελούν μία αρκετά καλή βάση για περαιτέρω ανάπτυξη και προώθηση για μελλοντική έρευνα στον εν λόγω τομέα. Ούτως ή άλλως, τα τελευταία χρόνια, η ερεύνα που αφορά την Υπολογιστική Όραση έχει αποδώσει και έχει δημιουργήσει ικανοποιητικότατα αποτελέσματα. Οπότε στο μέλλον αναμένονται ισχυρότεροι αλγόριθμοι, βελτιώσεις αλλά και πολλές εφαρμογές στους εξελισσόμενους τομείς της ηλεκτρονικής και όχι μόνο. / The purpose of this thesis is the three-dimensional reconstruction of an object or a space, through at least two photos. The theme is part of the field of Computer Vision, which has known great development in the recent years due to the many applications, where the knowledge of the three-dimensional structure of an object or a space is necessary. Of course to this development contributed also the rapid evolution of computers, making possible the accurate and high quality display of complex three-dimensional scenes in real time, through appropriate algorithms. The three-dimensional reconstruction of an object or a space, using photos or video, is an interesting and impressive subject with many applications and very encouraging results. This was basically what intrigued me to involve with the field of Computer Vision and choose the topic of this thesis. The applications in this thesis provide visually pleasant results and have great adaptability and flexibility in various conditions of shooting and making of videos. What is important, therefore, is that a laboratory environment to obtain the data, meaning images, is not necessary. The results are satisfactory even with pictures taken by a simple handheld camera, without the use of a tripod. It’s enough if we just create the proper conditions for a small camera movement between the shots. The present thesis presents and discusses thoroughly all the subjects related with the three-dimensional visualization of objects. First in paragraphs 2.1 to 3.2, is analyzed the theory of the two most important methods, of "Structure and Motion" and of "Stereo Vision". Then in paragraphs 3.3 and 3.4 is discussed the methodology followed by the applications of Structure and Motion , and this of Stereo Vision is discussed in paragraph 3.5. The method of Structure and Motion encloses two cases. The first is the non-calibrated case and the second is the calibrated case. In the calibrated case the calibration of the camera comes first, so the parameters of the camera are known in advance. The implementation of the algorithms is in the Annex, with the help of the numerical computing environment of the programming language Matlab. Finally, in chapter four, are given same examples of reconstructions that demonstrate the effectiveness of the algorithms of implementation. Both the theory and the algorithms presented in this thesis cover fully the necessary knowledge for the materialization of the three-dimensional representation. The information are is accumulated by two methods, this of Structure and Motion and this of Stereo Vision, which combined give the best and most complete results. Primary objective of this thesis is to highlight the possibilities offered by these methods. On the other hand, the implementation of these two methods and thus the algorithms is a good basis for further development and promotion for future research in this field. Anyway, in recent years, the research on Computer Vision has given great results. So in the future are expected stronger algorithms, improvements but also many applications relating with the developing sector of electronics and more.

Αντικείμενο της παρούσας εργασίας είναι η υψομετρική ανίχνευση θέσης κινούμενου ρομπότ. Για τον υπολογισμό της θέσης του ρομπότ χρησιμοποιήθηκε ένα στερεοσκοπικό σύστημα δύο ίδιων παράλληλων καμερών. Οι εσωτερικές παράμετροι των δύο καμερών και το μήκος της βασικής γραμμής είναι γνωστά. Θεωρείται για ευκολία ότι όλος ο όγκος του ρομπότ αναπαριστάται απο ένα σημείο P με συντεταγμένες (X,Y,Z) ώς προς σύστημα συντεταγμένων με αρχή το κέντρο προβολής της αριστερής κάμερας. Για τον εντοπισμό του ρομπότ αποκτήθηκαν δύο ακολουθίες βίντεο, μια για κάθε κάμερα, στις οποίες έγινε κατάτμηση κίνησης με την μέθοδο διαφοράς διαδοχικών καρέ. Στη συνέχεια ακολούθησε επεξεργασία εικόνας στα καρέ και των δύο ακολουθιών για την εξαγωγή των περιοχών που απεικονίζουν το αντικείμενο στο επίπεδο της εικόνας. Κατόπιν, υπολογίστηκαν οι θέσεις των κέντρων βάρους των περιοχών για τις δύο ακολουθίες , Pl(xl,yl) και Pr(xr,yr) αντίστοιχα. Τα σημεία αυτά αναπαριστούν το σημείο P στην αριστερή και στη δεξιά ακολουθία εικόνων. Ακολούθησε αντιστοίχιση σημείων μεταξύ των δύο ακολουθιών με βάση την επιπολική γεωμετρία. Τα σημεία στα οποία βρέθηκε αντιστοιχία χρησιμοποιήθηκαν για τον υπολογισμό της θέσης του σημείου P με την μέθοδο της τριγωνοποίησης. / The object of this thesis is the position detection of a moving robot. To calculate the position of the robot a stereoscopic system of two identical parallel cameras was used. The intrinsic parameters of the cameras and the length of the baseline are given. To simplify the problem it is assumed that the entire robot can be represented by a point P with (X,Y,Z) coordinates with respect to the coordinate system of the left camera center of projection. To detect the robot two video image sequences were acquired, one for each camera, to which motion segmentation was applied with the frame differencing method. After that, image proseccing was implemented to the frame sequences in order to find the region that represents the robot in the image plane. The centroids of the regions were calculated in the two sequences,Pl(xl,yl) and Pr(xr,yr) respectively. Those points represent the point P in the image planes of the left and right camera. Finally the restriction of epipole geometry was used to find matches between those points. Using those matches the coordinates of P were calculated with the triangulation method.

Μια από τις συνεχώς εξελισσόμενες περιοχές της επιστήμης των υπολογιστών είναι η Υπολογιστική Όραση, σκοπός της οποίας είναι η δημιουργία έξυπνων συστημάτων για την ανάκτηση πληροφοριών από πραγματικές εικόνες. Πολλές σύγχρονες εφαρμογές της υπολογιστικής όρασης βασίζονται στην αντιστοίχιση εικόνων. Την πλειοψηφία των αλγορίθμων αντιστοίχισης συνθέτουν παραμετρικές τεχνικές, σύμφωνα με τις οποίες υιοθετείται ένα παραμετρικό μοντέλο, το οποίο εφαρμοζόμενο στη μια εικόνα δύναται να παρέχει μια προσέγγιση της άλλης. Στο πλαίσιο της διατριβής μελετάται εκτενώς το πρόβλημα της Στερεοσκοπικής Αντιστοίχισης και το γενικό πρόβλημα της Ευθυγράμμισης Εικόνων. Για την αντιμετώπιση του πρώτου προβλήματος προτείνεται ένας τοπικός αλγόριθμος διαφορικής αντιστοίχισης που κάνει χρήση μιας νέας συνάρτησης κόστους, του Τροποποιημένου Συντελεστή Συσχέτισης (ECC), η οποία ενσωματώνει το παραμετρικό μοντέλο μετατόπισης στον κλασικό συντελεστή συσχέτισης. Η ενσωμάτωση αυτή καθιστά τη νέα συνάρτηση κατάλληλη για εκτιμήσεις ανομοιότητας με ακρίβεια μικρότερη από αυτήν του εικονοστοιχείου. Αν και η συνάρτηση αυτή είναι μη γραμμική ως προς την παράμετρο μετατόπισης, το πρόβλημα μεγιστοποίησης έχει κλειστού τύπου λύση με αποτέλεσμα τη μειωμένη πολυπλοκότητα της διαδικασίας της αντιστοίχισης με ακρίβεια υπο-εικονοστοιχείου. Ο προτεινόμενος αλγόριθμος παρέχει ακριβή αποτελέσματα ακόμα και κάτω από μη γραμμικές φωτομετρικές παραμορφώσεις, ενώ η απόδοσή του υπερτερεί έναντι γνωστών στη διεθνή βιβλιογραφία τεχνικών αντιστοίχισης ενώ φαίνεται να είναι απαλλαγμένος από το φαινόμενο pixel locking. Στην περίπτωση του προβλήματος της ευθυγράμμισης εικόνων, η προτεινόμενη συνάρτηση γενικεύεται με αποτέλεσμα τη δυνατότητα χρήσης οποιουδήποτε δισδιάστατου μετασχηματισμού. Η μεγιστοποίησή της, η οποία αποτελεί ένα μη γραμμικό πρόβλημα, επιτυγχάνεται μέσω της επίλυσης μιας ακολουθίας υπο-προβλημάτων βελτιστοποίησης. Σε κάθε επανάληψη επιβάλλεται η μεγιστοποίηση μιας μη γραμμικής συνάρτησης του διανύσματος διορθώσεων των παραμέτρων, η οποία αποδεικνύεται ότι καταλήγει στη λύση ενός γραμμικού συστήματος. Δύο εκδόσεις του σχήματος αυτού προτείνονται: ο αλγόριθμος Forwards Additive ECC (FA-ECC) και o αποδοτικός υπολογιστικά αλγόριθμος Inverse Compositional ECC (IC-ECC). Τα προτεινόμενα σχήματα συγκρίνονται με τα αντίστοιχα (FA-LK και SIC) του αλγόριθμου Lucas-Kanade, ο οποίος αποτελεί σημείο αναφοράς στη σχετική βιβλιογραφία, μέσα από μια σειρά πειραμάτων. Ο αλγόριθμος FA-ECC παρουσιάζει όμοια πολυπλοκότητα με τον ευρέως χρησιμοποιούμενο αλγόριθμο FA-LΚ και παρέχει πιο ακριβή αποτελέσματα ενώ συγκλίνει με αισθητά μεγαλύτερη πιθανότητα και ταχύτητα. Παράλληλα, παρουσιάζεται πιο εύρωστος σε περιπτώσεις παρουσίας προσθετικού θορύβου, φωτομετρικών παραμορφώσεων και υπερ-μοντελοποίησης της γεωμετρικής παραμόρφωσης των εικόνων. Ο αλγόριθμος IC-ECC κάνει χρήση της αντίστροφης λογικής, η οποία στηρίζεται στην αλλαγή των ρόλων των εικόνων αντιστοίχισης και συνδυάζει τον κανόνα ενημέρωσης των παραμέτρων μέσω της σύνθεσης των μετασχηματισμών. Τα δύο αυτά χαρακτηριστικά έχουν ως αποτέλεσμα τη δραστική μείωση του υπολογιστικού κόστους, ακόμα και σε σχέση με τον SIC αλγόριθμο, με τον οποίο βέβαια παρουσιάζει παρόμοια συμπεριφορά. Αν και ο αλγόριθμος FA-ECC γενικά υπερτερεί έναντι των τριών άλλων αλγορίθμων, η επιλογή μεταξύ των δύο προτεινόμενων σχημάτων εξαρτάται από το λόγο μεταξύ ακρίβειας αντιστοίχισης και υπολογιστικού κόστους. / Computer Vision has been recently one of the most active research areas in computer society. Many modern computer vision applications require the solution of the well known image registration problem which consist in finding correspondences between projections of the same scene. The majority of registration algorithms adopt a specific parametric transformation model, which is applied to one image, thus providing an approach of the other one. Towards the solution of the Stereo Correspondence problem, where the goal is the construction of the disparity map, a local differential algorithm is proposed which involves a new similarity criterion, the Enhanced Correlation Coefficient (ECC). This criterion is invariant to linear photometric distortions and results from the incorporation of a single parameter model into the classical correlation coefficient, defining thus a continuous objective function. Although the objective function is non-linear in translation parameter, its maximization results in a closed form solution, saving thus much computational burden. The proposed algorithm provides accurate results even under non-linear photometric distortions and its performance is superior to well known conventional stereo correspondence techniques. In addition, the proposed technique seems not to suffer from pixel locking effect and outperforms even stereo techniques, dedicated to the cancellation of this effect. For the image alignment problem, the maximization of a generalized version of ECC function that incorporates any 2D warp transformation is proposed. Although this function is a highly non-linear function of the warp parameters, an efficient iterative scheme for its maximization is developed. In each iteration of the new scheme, an efficient approximation of the nonlinear objective function is used leading to a closed form solution of low computational complexity. Two different iterative schemes are proposed; the Forwards Additive ECC (FA-ECC) and the Inverse Compositional ECC (IC-ECC) algorithm. Τhe proposed iterative schemes are compared with the corresponding schemes (FA-LK and SIC) of the leading Lucas-Kanade algorithm, through a series of experiments. FA-ECC algorithm makes use of the known additive parameter update rule and its computational cost is similar to the one required by the most widely used FA-LK algorithm. The proposed iterative scheme exhibits increased learning ability, since it converges faster with higher probability. This superiority is retained even in presence of additive noise and photometric distortion, as well as in cases of over-modelling the geometric distortion of the images. On the other hand, IC-ECC algorithm makes use of inverse logic by swapping the role of images and adopts the transformation composition update rule. As a consequence of these two options, the complexity per iteration is drastically reduced and the resulting algorithm constitutes the most computationally efficient scheme than three other above mentioned algorithms. However, empirical learning curves and probability of convergence scores indicate that the proposed algorithm has a similar performance to the one exhibited by SIC. Though FA-ECC seems to be clearly more robust in real situation conditions among all the above mentioned alignment algorithms, the choice between two proposed schemes necessitates a trade-off between accuracy and speed.

Τα τελευταία χρόνια η αναμφισβήτητα εντυπωσιακή τεχνολογική πρόοδος έχει δώσει τεράστια ώθηση σε ένα ευρύ φάσμα επιστημονικών πεδίων τα οποία βασίζονται σε αυτή, με χαρακτηριστικό παράδειγμα τον τομέα των Τηλεπικοινωνιών. Απόλυτα λογικό αποτέλεσμα είναι η παγκόσμια αγορά να έχει κατακλυστεί από δισεκατομμύρια κινητές συσκευές, η χρήση των οποίων διευκολύνει απίστευτα και την ανάπτυξη της έρευνας στους αντίστοιχους κλάδους. Μία από τις χαρακτηριστικές τεχνολογίες που εκμεταλλευόμενη πλήρως αυτή τη αλματώδη πρόοδο έχει επιφέρει εντυπωσιακά αποτελέσματα είναι η Επαυξημένη Πραγματικότητα. Βασίζεται στην γεφύρωση του χάσματος μεταξύ της εικονικότητας και της πραγματικότητας με ένα μοναδικό τρόπο ενίσχυσης της αντίληψής μας ως προς την τελευταία και με εφαρμογές από το Στρατό και τη Διαφήμιση ως τα ερευνητικά πεδία της Αναγνώρισης Εικόνας και της Εκπαίδευσης. Αυτή της όμως η σημαντικότατη ανάπτυξη γεννά αναπόφευκτα πέρα από την παραγωγή γνώσης και βασικά ερωτήματα που απασχολούν την ερευνητική κοινότητα, ορισμένα εκ των οποίων είναι αν μπορεί η χρήση τεχνικών Επαυξημένης Πραγματικότητας μέσω της αναγνώρισης εικόνας, πέρα από την εξέλιξη του ευρύτερου κλάδου της Υπολογιστικής Όρασης, να συμβάλλει στη βελτίωση μαθησιακών εμπειριών και αν ναι κατά πόσο είναι εφικτή η αντιμετώπιση θεμελιωδών εκπαιδευτικών προβλημάτων, όπως η διάσπαση προσοχής και η έλλειψη διαδραστικότητας. Στα πλαίσια της παρούσας εργασίας προσπαθώντας να δώσουμε ουσιαστικές απαντήσεις στα παραπάνω ερωτήματα δημιουργήσαμε τη διαδραστική εφαρμογή «AugMentor», ειδικά σχεδιασμένη για τις ανάγκες της ξενάγησης των επισκεπτών του Μουσείου Επιστημών του Πανεπιστημίου Πατρών. Έχοντας ενσωματώσει ένα ολοκληρωμένο περιβάλλον Επαυξημένης Πραγματικότητας εντός της εφαρμογής αναπτύξαμε ένα παιχνίδι κρυμμένου θησαυρού κατά το οποίο οι επισκέπτες του μουσείου δέχονται ένα συγκεκριμένο αριθμό ερωτήσεων οι οποίες βασίζονται στα μουσειακά εκθέματα και αμέσως μετά καλούνται να περιηγηθούν οι ίδιοι στους εσωτερικούς χώρους του. Με βάση την επιτυχή αναγνώριση του κάθε εκθέματος και την προσωποποιημένη απεικόνιση των εκάστοτε απεικονιζόμενων πληροφοριών προσπαθούν να δώσουν απαντήσεις στα ερωτήματα αυτά. Η εφαρμογή AugMentor υλοποιήθηκε για κινητές συσκευές που υποστηρίζουν το λειτουργικό σύστημα Android και πλέον αποτελεί μέρος της μόνιμης ξενάγησης του Μουσείου Επιστημών και Τεχνολογίας. Παρουσιάζουμε μια περιγραφική και αναλυτική μελέτη περίπτωσης χρήσης της εφαρμογής, υλοποιώντας πειραματικά στο Μουσείο Επιστημών μια κανονική ξενάγηση. Χρησιμοποιώντας την εφαρμογή AugMentor οδηγούμαστε σε ασφαλή συμπεράσματα ως προς την επίτευξη του κύριου στόχου υλοποίησής της, ο οποίος είναι το κατά πόσο οι επισκέπτες του μουσείου στην προσπάθειά τους να απαντήσουν τις ερωτήσεις που τους ανατέθηκαν θα μπορούσαν να μάθουν και επιπρόσθετες πληροφορίες για τα εκθέματα, βελτιώνοντας τη μάθηση μέσω της χρήσης κινητών συσκευών. Το πείραμα που πραγματοποιήσαμε χωρίστηκε σε δύο μέρη, το πρώτο βασίζεται στα πρότυπα μιας κανονικής ξενάγησης των επισκεπτών, χωρίς τη χρήση κάποιας εφαρμογής και το δεύτερο στην ξενάγηση μέσω της εφαρμογής AugMentor. Στους επισκέπτες δόθηκαν αντίστοιχα ερωτηματολόγια και στις δύο περιπτώσεις και στη συνέχεια αξιολογήθηκε συγκριτικά η συμβολή της εφαρμογής AugMentor στη συνολική εμπλούτιση της μουσειακής εμπειρίας ενός επισκέπτη. / Over the last few years the indisputably outstanding technological advances have given a huge boost to a wide range of scientific areas of study that are based on it. A typical example can definitely be considered the one associated with Telecommunications. An utterly rational outcome constitutes the fact that global market is overwhelmed by billions of mobile devices, the use of which facilitates to a large extent the whole research development towards those fields. An iconic technology that fully exploiting this rapid progress has brought about impressive results is Augmented Reality. Augmented Reality is based on bridging the gap between virtuality and reality in a unique way to enhance our perception as to the latter and its applications vary from Army and Advertisement to the research fields of Image Recognition and Education. It is exactly the impressive growth of Augmented Reality which inevitably generates essential questions that research community has to deal with. Some of these questions are whether the use of Augmented Reality techniques, through Image Recognition, apart from the wider development of Computer Vision, can help improving learning experiences and if so to which extent it is possible to address fundamental educational problems, such as distractibility and lack of interactivity. In this master thesis, trying to give substantial answers to these questions we have created the interactive application «AugMentor», specially designed for the tour needs of Museum of Science and Technology, located in University of Patras. Having incorporated an integrated Augmented Reality environment inside this application, we developed a treasure hunt game in which visitors receive a certain number of questions closely related to museum’s exhibits and afterwards they have to wander within its interiors. Based on the successful recognition of each exhibit and personalized display of each respective information, visitors attempt to answer these questions. AugMentor is implemented for mobile devices that support the Android operating system and is now part of permanent museum guidance. Our main objective is improving Mobile Learning, which is learning through the use of mobile devices. We present a sufficient case study, selecting Museum of Science and Technology as an experimental space so as to determine the degree to which AugMentor application can practically contribute to this purpose. One of our key points towards this perspective was estimating the amount of totally imparted knowledge, since involving students with a significant pool of knowledge provides them with a motivation to have an active role during their guidance. The experiment we conducted was divided into two parts, the first one was based on the standards of a normal tour of visitors without using any application and the second one was based on a tour using AugMentor application. Guests are respectively given questionnaires in both cases and then we assessed AugMentor’s relative contribution to the overall implementation regarding enriching the museum experience of a visitor.

Η ανάπτυξη ενός ενσωματωμένου στο όχημα συστήματος υποβοήθησης του οδηγού για αποφυγή συγκρούσεων με άλλα οχήματα, βρίσκεται τελευταία στο επίκεντρο του ενδιαφέροντος. Στα συστήματα αυτά η αξιοπιστία αποτελεί ένα πολύ σημαντικό παράγοντα. Στην παρούσα εργασία αναπτύσσεται ένα σύστημα αναγνώρισης προπορευόμενου οχήματος βασισμένο σε εικόνες οι οποίες λαμβάνονται από βιντεοκάμερα που έχει ενσωματωθεί στο όχημα. Η μεθοδολογία την οποία επιλέξαμε να εργαστούμε περιλαμβάνει τον εντοπισμό των κόκκινων εικονοστοιχείων στην εικόνα και τη δημιουργία της αντίστοιχης δυαδικής εικόνας. Στη συνέχεια, με μορφολογική επεξεργασία της δυαδικής εικόνας εντοπίζουμε τις περιοχές που αντιστοιχούν στα πιθανά φανάρια του οχήματος. Με βάση τα σημεία των πιθανών φαναριών καθορίζουμε την περιοχή στην οποία περικλείεται το όχημα. Για την επιβεβαίωση της ύπαρξης οχήματος στην περιοχή αυτή, εκτελούμε έναν έλεγχο συμμετρίας βασιζόμενοι στην ομοιότητα των υποεικόνων και συνεχίζουμε με τον προσεγγιστικό υπολογισμό της απόστασής του. Τέλος, παρουσιάζουμε τα αποτελέσματα της μεθόδου, τα συμπεράσματα που προέκυψαν και προτείνουμε κατευθύνσεις για μελλοντικές βελτιώσεις. / Developing on-board automotive driver assistance systems aiming to alert drivers about possible collision with other vehicles has attracted a lot of attention lately. In these systems, robust and reliable vehicle detection is a critical step. In this work a vehicle detection system is developed based on video frames grabbed by a camera mounted on the vehicle. Vehicle detection is mainly based on the detection of its red rear-lights. First we detect all red pixels of the frame and create the corresponding binary image (mask). Then we detect the areas that possibly constitute vehicle’s rear-lights by performing morphological binary image processing. Based on that, we determine the boundary of the vehicle. To verify the presence of the vehicle in this area, we perform a symmetry test based on sub-image similarity. Finally, we present some experimental results and give directions for future improvements.

Στα πλαίσια της διατριβής μελετήθηκε αρχικά το πρόβλημα της εύρεσης της θέσης του υφάσματος επάνω στην τράπεζα εργασίας με μεθόδους ψηφιακής ανάλυσης σημάτων βίντεο, παρουσία φαινομένων παραμόρφωσης και μερικής επικάλυψης του υφάσματος. Οι νέες μέθοδοι εντοπισμού που αναπτύχθηκαν αξιολογήθηκαν πειραματικά παρουσιάζοντας ικανοποιητική ακρίβεια εντοπισμού και ανοχή του συστήματος σε μερικές επικαλύψεις και παραμορφώσεις. Μετά την ολοκλήρωση της ραφής του υφάσματος πραγματοποιείται αυτόματος εντοπισμός της θέσης της ραφής από ψηφιακές φωτογραφίες. Αναπτύχθηκαν τρείς πρωτότυπες μέθοδοι εντοπισμού της θέσης της ραφής οι οποίες διαφοροποιούνται στο στάδιο της προεπεξεργασίας. Η πειραματική αξιολόγηση γίνεται σε βάση δεδομένων που περιέχει 118 εικόνες έτοιμων ενδυμάτων. Προτού πραγματοποιηθεί ποιοτικός έλεγχος ραφής, οι εικόνες κανονικοποιούνται ως προς τη θέση και τον προσανατολισμό της ραφής χρησιμοποιώντας τις παραπάνω μεθόδους αυτόματου εντοπισμού της θέσης της ραφής. Αναπτύχθηκαν και αξιολογήθηκαν τρείς διαφορετικές μέθοδοι αυτόματης αναγνώρισης της ποιότητας σε δείγματα ραφής οι οποίες εξάγουν τρία διαφορετικά σύνολα χαρακτηριστικών. Η πρώτη μέθοδος βασίζεται σε φασματικά χαρακτηριστικά, η δεύτερη στην επιβολή αυτό-σκίασης, ενώ η τρίτη βασίζεται στην εκτίμηση της ανομοιομορφίας της επιφάνειας των δειγμάτων ραφής. Η πειραματική αξιολόγηση γίνεται σε βάση δεδομένων δειγμάτων ραφής που περιλαμβάνει 325 ραφές. Η εκτίμηση της ποιότητας ραφής πραγματοποιείται με ταξινόμηση σε πέντε διατεταγμένους βαθμούς ποιότητας. Σε αυτήν την κατεύθυνση, προτείνονται και συγκρίνονται τέσσερις μέθοδοι αναγνώρισης προτύπων διατεταγμένων κατηγοριών. Η πρώτη μέθοδος χρησιμοποιεί για την ταξινόμηση μοντέλο σύμμετρων αναλογιών πιθανότητας. Η δεύτερη μέθοδος κάνει αναγνώριση με χρήση γραμμικού μοντέλου. Οι άλλες δύο μέθοδοι είναι πρωτότυπες και επίσης χρησιμοποιούν γραμμικό μοντέλο για την ταξινόμηση. Η διαφοροποίησή τους από τη δεύτερη μέθοδο είναι ότι η επιλογή των αριθμητικών τιμών των διατεταγμένων κατηγορίων δεν γίνεται αυθαίρετα., αλλά προκύπτει ως λύση προβλημάτων ελαχιστοποίησης.. Η πειραματική αξιολόγηση και σύγκριση των μεθόδων στο πρόβλημα του ποιοτικού ελέγχου ραφών οδηγεί στην επιλογή του μοντέλου σύμμετρων αναλογιών πιθανότητας σε περίπτωση που υπάρχει ικανός αριθμός παραδειγμάτων εκπαίδευσης, ενώ σε αντίθετη περίπτωση μπορεί να προτιμηθεί το γραμμικό μοντέλο αφού προηγηθεί βελτιστοποίηση με χρήση κάποιας εκ των δύο προτεινόμενων μεθόδων επιλογής αριθμητικών τιμών. / One of the problems studied in the present dissertation is that of the detection of the fabrics’ position on the working area. The proposed detection methods are based on image processing and analysis techniques and take into consideration both partial occlusion and fabric deformation. The methods have been experimentally evaluated and the results indicate sufficient detection accuracy and robustness regarding partial occlusion and fabric deformation. After sewing the fabric, the position and orientation of the seam is automatically detected. Three novel seam detection methods have been developed using different pre-processing techniques. The experimental evaluation of the three detection methods is made on a database containing 118 images of ready sewn garments. Before performing seam quality control the seam images are normalized with respect to the seam position and orientation, using the aforementioned seam detection methods. Feature selection has been studied next, extracting three different sets of features and assessing seam quality using three different methods. The first method uses spectral features; the second method is based on the detection of self-shadows onto the seam specimens, while the third method is based on the estimation of the surface roughness of the specimens. The experimental evaluation of the proposed methods is made on a database containing 325 images of seam specimens. Seam quality control is performed by classifying the seam specimens into five ordinal grades of quality. In this direction, four classification methods are proposed and evaluated, taking into account the ordered arrangement of the classes. The first method uses the proportional odds model; while the second method uses a linear model. The other two methods are novel and also employ a linear model. The difference between these two methods and the second method is that the numerical values they are assigning to the ordered categories are not arbitrary like in the case of the second method. The experimental evaluation of these four methods indicates that in case of a large number of training data, the first method which is based on the proportional odds model is more efficient, while in case of an insufficient number of training data the linear model optimized by one of the two novel methods should be selected.

Η παρούσα διπλωματική εργασία αναπτύχθηκε στα πλαίσια των προπτυχιακών σπουδών του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών. Θέμα της είναι η τρισδιάστατη ανακατασκευή του χώρου από τουλάχιστον δύο φωτογραφίες του και αποτελεί μέρος του τομέα της Υπολογιστικής Όρασης. Συγκεκριμένα αναλύεται διεξοδικά η περίπτωση της στερεοσκοπικής όρασης, στην οποία η κάμερα μεταξύ δύο διαδοχικών λήψεων της ίδιας σκηνής, έχει μηδενική σχετική περιστροφή ως προς την αρχική της θέση και μικρή μετατόπιση, περίπου 5 εκατοστά. Με τον τρόπο αυτό, προσπαθούμε να προσομοιώσουμε τη λειτουργία της ανθρώπινης όρασης καθώς πολλές εφαρμογές της Τεχνητής Νοημοσύνης το κρίνουν απαραίτητο. Είναι λογικό ότι ο κάθε άνθρωπος θεωρεί τη στερεοσκοπική όραση αυτονόητη γιατί κινείται στον τρισδιάστατο κόσμο. Όταν αυτός όμως καταγράφεται από μία κάμερα, αυτόματα περνάει στο δισδιάστατο επίπεδο. Και πάλι είναι δυνατόν να εξάγουμε πληροφορίες βάθους από μία μόνο εικόνα, όμως γίνεται καθαρά εμπειρικά και βασίζεται στη σύγκριση διάφορων υφών, σχημάτων και μεγεθών. Ο ηλεκτρονικός υπολογιστής αναγνωρίζει την εικόνα σαν ένα οποιοδήποτε αρχείο. Δεν μπορεί να εξάγει κανένα συμπέρασμα για το τι απεικονίζει στον πραγματικό κόσμο. Χρειάζεται το συνδυασμό τουλάχιστον δύο εικόνων της ίδιας σκηνής από διαφορετικές θέσεις για να μπορέσει να αναγνωρίσει για παράδειγμα το βάθος της σκηνής που απεικονίζεται. Αυτή τη διαδικασία περιγράφει αναλυτικά η εργασία. Στο πρώτο κεφάλαιο εισάγουμε την έννοια και τη χρησιμότητα της στερεοσκοπικής όρασης. Στο δεύτερο κεφάλαιο παρουσιάζονται οι βασικές αρχές της προβολικής γεωμετρίας. Στο τρίτο κεφάλαιο αναφερόμαστε στη μοντελοποίηση της κάμερας και τις παραμέτρους που τη χαρακτηρίζουν. Στο τέταρτο κεφάλαιο αναλύεται η διαδικασία της βαθμονόμησης της κάμερας. Στο πέμπτο κεφάλαιο εξηγείται η διαδικασία αντιστοίχησης των σημείων ενδιαφέροντος στις δύο εικόνες. Στο έκτο κεφάλαιο αναλύονται οι βασικές αρχές της επιπολικής γεωμετρίας. Στο έβδομο κεφάλαιο παρουσιάζεται η πειραματική διαδικασία για την εύρεση του βάθους της σκηνής. Στο όγδοο κεφάλαιο παρουσιάζεται συνοπτικά η τρισδιάστατη ανακατασκευή του χώρου και παρουσιάζονται τα αντίστοιχα πειραματικά αποτελέσματα. Στο ένατο κεφάλαιο διατυπώνουμε τα συμπεράσματα της όλης διαδικασίας. Τόσο το θεωρητικό όσο και το πειραματικό μέρος αυτής της εργασίας καλύπτουν σε ένα μεγάλο ποσοστό τα βασικά στάδια ανακατασκευής του τρισδιάστατου χώρου. Τα αποτελέσματα της πειραματικής διαδικασίας αποδεικνύουν ότι οι υπάρχουσες μέθοδοι λειτουργούν ικανοποιητικά αλλά υπάρχουν πολλά περιθώρια βελτίωσης στο θέμα της Υπολογιστικής Όρασης. Στο σημείο αυτό να ευχαριστήσουμε τον επιβλέποντα καθηγητή μας κ. Δερματά για τη συνεργασία του και την κατανόησή του. / The current thesis has been written as part of the undergraduate studies for the department of Electrical and Computer Engineering of Patras University. Its objective is the three-dimensional (3D) reconstruction from two, at least, photographs, which is part of computer vision. More specifically, this thesis analyzes in detail the case of stereo vision when the camera, among two successive shots of the same image, has zero relative rotation compared to its initial position and an average translation of about 5 cm. In this way, it attempts to simulate human vision since this is essential for many Artificial Intelligence applications. Humans take stereo vision for granted since they live in a three-dimensional world. However, this world becomes two-dimensional when recorded by a camera. We can still get information about the image depth but this is empirically done based on comparing various heights, shapes and sizes. Images are identified by the computer as any other file. Computers cannot draw conclusions about what is depicted in the real world. They need to combine at least two images of the same scene and of different positions to identify the image’s depth. This process is described in the current thesis. The first chapter describes stereo vision and why it is so useful. The second chapter provides the basic principles of projective geometry, the mathematical background for passing from the two-dimensional level to the three-dimensional. The third chapter refers to camera modeling and its parameters (instrisic and extrinsic). Chapter four analyzes the camera calibration process. Chapter five explains the matching process of points of interest in both pictures. The sixth chapter provides the basic principles of epipolar geometry. The seventh chapter shows the experimental procedure that we followed in order to estimate the depth of the scene. Chapter eight shows how the 3D reconstruction is finally done. Chapter nine talks about our conclusions and how the results could improve. Both theoretical and experimental parts of this project cover the key points of 3d reconstruction. The results of the experiments show that the existing methods are satisfying but could improve more. We want to thank our supervisor professor Mr. Dermatas for his collaboration and his understanding.

Στο πλαίσιο της εργασίας αυτής προτείνεται μια τεχνική η οποία προσπαθεί να κάνει ταυτόχρονα εκτίμηση της οπτικής ροής καθώς επίσης και διαμέριση της σκηνής σε διαφορετικά κινούμενα σώματα. Συγκεκριμένα προτείνεται η λύση μιας ακολουθίας προβλημάτων ελαχιστοποίησης. Κάθε πρόβλημα ελαχιστοποίησης προσπαθεί να απομονώσει κάποιο κινούμενο σώμα από την σκηνή και εκτιμά για αυτό μία ταχύτητα. Τα αποτελέσματα που προέκυψαν από την εφαρμογή της τεχνικής σε προβλήματα εκτίμησης της οπτικής ροής διαφορετικής πολυπλοκότητας δείχνουν ότι η επίδοση της προτεινόμενης τεχνικής είναι ικανοποιητική. / In this thesis, a method, which tries to estimate the optical flow field, and segment the scene at the same time, is suggested. Specifically, a series of minimization problems are solved. Each of these minimization problems, tries to isolate a moving object from the scene, and estimate for it a velocity. The results from applying the suggested method in several optical flow estimation problems, with varying complexities, show that the performance of the method is very promising.

Η βιομηχανία της ένδυσης εξακολουθεί να στηρίζεται σε πολύ μεγάλο βαθμό στην χειρωνακτική εργασία. Αυτό οφείλεται στο γεγονός ότι τα υφάσματα είναι σώματα που παρουσιάζουν πολύ μικρή δυσκαμψία με αποτέλεσμα να παραμορφώνονται εύκολα, ενώ παράλληλα έχουν ένα μεγάλο εύρος δομών και ιδιοτήτων που καθιστά δύσκολη την ανάπτυξη αξιόπιστων και ευέλικτων συστημάτων χειρισμού. Στη διατριβή αυτή παρουσιάζεται μία μέθοδος για τον διαχωρισμό και σύλληψη ενός τεμαχίου υφάσματος από στοίβα, βασισμένη στη ροή αέρα υπό πίεση πάνω από τη στοίβα. Η ροή ανασηκώνει το άνω τεμάχιο, ενώ η τυρβώδης φύση της ροής διαχωρίζει το τεμάχιο από τα υποκείμενά του. Αναπτύσσονται δύο συστήματα για τον αυτόνομο προσδιορισμό της τροχιάς άκρου εργασίας ρομπότ, για την πραγματοποίηση του χειρισμού της απλής απόθεσης τεμαχίου υφάσματος σε τράπεζα εργασίας. Αυτά τα συστήματα βασίζονται σε μεθόδους υπολογιστικής νοημοσύνης, και πιο συγκεκριμένα στην ασαφή λογική, χωρίς να απαιτούν τη χρήση επιπρόσθετων συσκευών ή τη γνώση πολλών μηχανικών ιδιοτήτων των υφασμάτων. Μελετάται ο χειρισμός του διπλώματος υφάσματος σε τράπεζα εργασίας και εισάγονται τρία στάδια στα οποία μπορεί να χωριστεί αυτός ο χειρισμός ώστε να μειωθεί η πολυπλοκότητα του συνολικού χειρισμού. Αναλύεται το κάθε στάδιο και παρουσιάζονται τα χαρακτηριστικά μορφής του υφάσματος που επιλέγονται για να περιγράψουν την κατάστασή του για κάθε στάδιο του χειρισμού. Εισάγεται μια μέθοδος για την εξαγωγή αυτών των χαρακτηριστικών με τη χρήση δύο αισθητήρων όρασης, η οποία βασίζεται στην αναζήτηση των χαρακτηριστικών αυτών σε συγκεκριμένες περιοχές του χώρου της εικόνας. Αυτό καθίσταται δυνατό χάρη στην βαθμονόμηση των αισθητήρων. Αναπτύσσεται μία στρατηγική για το δίπλωμα υφασμάτων βασισμένη σε ασαφή λογική με ανάδραση όρασης. Ο ασαφής ελεγκτής, πολλών εισόδων-εξόδων, εκπαιδεύεται με τη μέθοδο δοκιμής-και-σφάλματος και παρέχει τα κέρδη ενός Ρ-ελεγκτή. Το σύστημα παρουσιάζει ευελιξία και αξιοπιστία για υφάσματα που ικανοποιούν τους περιορισμούς που έχουν τεθεί. Παρουσιάζεται μία στρατηγική για τον έλεγχο του ενεργού διπλώματος όπου δύο ανεξάρτητα υποσυστήματα αναλαμβάνουν τον προσδιορισμό της κατάστασης στόχου του υφάσματος και την επίτευξη αυτού του στόχου αυξάνοντας με αυτόν τον τρόπο την ευελιξία του συστήματος. Οι μέθοδοι που αναπτύχθηκαν μπορούν να χρησιμοποιηθούν ως αφετηρία για την εισαγωγή αξιόπιστων και ευέλικτων αυτοματισμών με σκοπό την εκτέλεση των χειρισμών της βιομηχανίας ένδυσης από ρομπότ. / The apparel industry is still mainly based on manual labor. The main reason for the automation delay is the fact that fabrics are bodies that present very low bending rigidity, and as a result they are easily deformed. Fabrics also present a great variety of structures and properties. These facts deter the development of reliable and flexible robotic handling systems. In this thesis a method for the separation and capture of a piece of fabric from a stack is presented, based on air flow over the stack. The difference in static pressure, caused by the flow, lifts the upper piece of the fabric, while the turbulent nature of the flow separates it from its underlying pieces. Two systems are developed for the determination of the trajectory of the end-effector of a robot, for the realization of the simple laying task of a piece of fabric on a work table. These systems are based on soft computing, and particularly on fuzzy logic, and any additional apparatuses or the knowledge of many mechanical properties of the fabrics are not required. The task of folding a piece of fabric on a work table is investigated and three stages are introduced, in which the folding task can be decomposed in order to reduce the complexity of the robot controller development. Each stage is explained and the shape characteristics that are selected in order to describe the shape of the fabric for each stage are presented. A method for the extraction of the selected characteristics from two vision sensors is introduced, which is based on variable image segmentation. The calibration of the vision sensors is also presented. A strategy is developed for the folding of rectangular pieces of fabric based on fuzzy logic with vision feedback. The indirect fuzzy controller is trained via trial-and-error and provides the variable gains of a P-controller. The system presents flexibility and reliability for the fabrics that satisfy the restrictions that have been set. Finally, a strategy for the control of the true folding stage is presented, according to which two separate subsystems determine the target state of the fabric and lead the fabric towards that state, increasing thus the flexibility of the system. The methods that are developed in this thesis can be the stepping stone for the introduction of reliable and flexible automation schemes for the realization of some of the apparel industry tasks that are still labor intensive.