Ο πρωταρχικός στόχος αυτής της εργασίας είναι η υλοποίηση μιας βιομηχανικής διάταξης σε εργαστηριακή κλίμακα στην οποία να συνεργάζονται ένα στερεοσκοπικό σύστημα και ένας ρομποτικός βραχίονας. Πιο συγκεκριμένα, η διαδικασία χωρίζεται σε δύο μέρη, την αναγνώριση στο χώρο των επιθυμητών αντικειμένων και την οδήγηση βάση αυτής του ρομποτικού βραχίονα. Για το πρώτο μέρος έγινε χρήση της βιβλιοθήκης OpenCV σε γλώσσα C++ και ως στερεοσκοπικό υλικό χρησιμοποιήθηκαν δύο παράλληλα διατεταγμένες κάμερες τύπου webcam. Η διαδικασία που ακολουθήθηκε για την αναγνώριση θέσης χωρίστηκε σε αρκετά βήματα. Αρχικά δημιουργήθηκε ένα πρόγραμμα το οποίο αποθηκεύει καρέ από τις δύο κάμερες στα οποία απεικονίζεται ένα μοτίβο βαθμονόμησης. Στη συνέχεια, αυτές οι εικόνες εισάγονται στον κώδικα βαθμονόμησης με στόχο να υπολογιστούν οι εγγενείς και εξωγενείς παράμετροι των καμερών. Έπειτα, με τη χρήση των παραμέτρων αυτών και τη θεωρία της επιπολικής γεωμετρίας μπορεί να γίνει η αναγνώριση θέσης ενός αντικειμένου στο χώρο. Τέλος, χρησιμοποιείται ένας αλγόριθμος εντοπισμού του κέντρου ενός αντικειμένου στην οθόνη με βάση το χρώμα έτσι ώστε να καθοριστεί για ποιο αντικείμενο ο αλγόριθμος θα υπολογίσει τη θέση. Στο δεύτερο μέρος χρησιμοποιήθηκε ο ρομποτικός βραχίονας Katana s400 6M90G της εταιρείας Neuronics, ο οποίος προγραμματίστηκε σε γλώσσα C++, σε περιβάλλον Visual Studio 2008. Αρχικά, βρέθηκαν οι γωνίες Euler της αρπάγης, για διαφορετικές προσεγγίσεις του προσανατολισμού της. Με τον συνδυασμό των συντεταγμένων του αντικειμένου, που βρίσκονται από το στερεοσκοπικό σύστημα καθοδηγείται το Katana ώστε να το πιάσει. Τα πειράματα που διεξαχθήκαν περιλάμβαναν την αρπαγή στάσιμων αντικειμένων με γενικό και οριζόντιο προσανατολισμό εργαλείου. Τέλος, πραγματοποιήθηκαν πειράματα με αντικείμενα εν κινήσει, τυχαίας θέσης με γενικό, κάθετο και οριζόντιο προσανατολισμό αρπάγης. / The primary objective of this thesis is the implementation of an industrial system at laboratory scale in which a stereo system collaborates with a robotic arm. More specifically, the process is divided into two parts, the recognition of the desired objects and the manipulation of the robotic arm. In the first part were used the OpenCV library, in C ++ language and two parallel web-cameras. The procedure for the recognition of the objects, was divided into several steps. Initially a number of images were inserted in the calibration algorithm in order to estimate the intrinsic and extrinsic camera parameters. Then, using these parameters and the epipolar geometry it was possible to recognize the position of an object in 3D space. Finally, an algorithm is used to locate the center of an object on the screen by color in order to determine for what object the algorithm will calculate the position. In the second part was used the robotic arm Katana s400 6M90G by Neuronics, programmed in C ++, in Visual Studio 2008. Initially, the Euler angles of the gripper for different orientations were found. Given the coordinates of the objects, provided by the stereo system, the Katana arm was guided to grasp them. The experiments that were conducted included the grasping of stationary objects in a general and horizontal orientation of the Katana tool. Finally, experiments were performed with objects in motion and random position in general, vertical and horizontal orientation of the gripper.

Στόχος της παρούσας διπλωματικής εργασίας είναι η μελέτη και η ανάπτυξη ενός ρομποτικού οχήματος το οποίο θα είναι ικανό να πλοηγηθεί αυτόνομα στο χώρο αναγνωρίζοντας και αποφεύγοντας τα πιθανά εμπόδια στο περιβάλλον που θα κινηθεί. / The aim of this thesis is to study and develop a robotic vehicle that will be able to navigate autonomously in space by identifying and avoiding potential barriers in the environment that it will move.

Το πρόβλημα της αντιστοίχισης εικόνων είναι ένα από τα σημαντικότερα στο πεδίο της υπολογιστικής όρασης, αφού η ευθυγράμμιση δύο ή περισσότερων εικόνων χρησιμοποιείται τουλάχιστον σαν στάδιο προεπεξεργασίας σε ένα μεγάλο αριθμό εφαρμογών. Στην εργασία αυτή μας απασχόλησε το πρόβλημα της στοίχισης εικόνων στις οποίες οι φωτομετρικές παραμορφώσεις είναι τοπικές και δεν μπορούν να μοντελοποιηθούν με το γενικό σφαιρικό μοντέλο της αντίθεσης και της φωτεινότητας, ή/και τμήματα των προς στοίχιση εικόνων είναι αποκλεισμένα από τη μια από αυτές. Για την αντιμετώπιση των παραπάνω προβλημάτων, η αντιστοίχηση των εικόνων προσεγγίστηκε μέσω της σταθμισμένης ελαχιστοποίησης μετρικών σφάλματος που βασίζονται στο τετραγωνικό σφάλμα. Συγκεκριμένα, εκμεταλλευόμαστε την αμεταβλητότητα της κανονικοποιημένης κλίσης μιας εικόνας σε τοπικές φωτομετρικές παραμορφώσεις και τη δυνατότητα στοίχισης κάθε ζεύγους αντίστοιχων εικονοστοιχείων των υπό στοίχιση εικόνων με την μεγιστοποίηση της μεταξύ τους συσχέτισης. Έτσι πετυχαίνουμε την αποσύνδεση του αρχικού προβλήματος σε δύο υποπροβλήματα η λύση των οποίων καταλήγει σε δύο υπερκαθορισμένα συστήματα γραμμικών εξισώσεων, καθένα εκ των οποίων έχει ως αγνώστους τις ανά κατεύθυνση παράμετρες του μετασχηματισμού που αναζητούμε για την εξάλειψη της γεωμετρικής παραμόρφωσης και ως δεξιό μέλος τις τιμές των φωτομετρικών παραμορφώσεων. Τελικά, με την επιλογή δύο κατάλληλων υποσυνόλων των προαναφερθέντων γραμμικών εξισώσεων, που εξασφαλίζουν την εφικτότητα των επιμέρους λύσεων οδηγούμαστε στον προσδιορισμό των βέλτιστων παραμέτρων. Η προτεινόμενη τεχνική δοκιμάστηκε στη βάση προσώπων Yale Β που έχει χρησιμοποιηθεί από άλλες τεχνικές αντιστοίχισης που είναι ειδικά προσαρμοσμένες για την αντιστοίχιση προσώπων. Η απόδοση της προτεινόμενης τεχνικής είναι πολύ καλή και υπερτερεί και στα ποσοστά σύγκλισης αλλά και στην ακρίβεια των λύσεων από την απόδοση των άλλων τεχνικών τόσο στη στοίχιση εικόνων που έχουν υποστεί γεωμετρικές παραμορφώσεις (από πολύ μικρές μέχρι και πολύ έντονες) όσο και σε εικόνες με διαφορετικές έντονες φωτομετρικές παραμορφώσεις. Επίσης, η προτεινόμενη τεχνική δοκιμάστηκε στις βάσεις του Affine Covariance Regions του University of Oxford στις οποίες το περιεχόμενο των εικόνων είναι γενικό και οι ειδικού σκοπού τεχνικές αποτυγχάνουν, με εξίσου πολύ καλή απόδοση. / The image registration problem is one of the most important problems in the field of computer vision, since the process of aligning two or more images is used, at least as a preprocessing step, in many applications. In this work, we employed the problem of image alignment in which the photometric deformations are local and can not be modeled with the general spherical model of contrast and brightness, and / or portions of images to align are occluded. To address these problems, the image registration was approached by minimizing the weighted error metric based on squared error. In particular, we exploit the invariance of the normalized image gradient in local photometric deformations so we can align each pair of corresponding pixels in the images by maximizing the correlation between them. Thus, we achieve to dissolve the original problem into two subproblems the solution of which leads to two over-determined systems of linear equations, each of which has the direction parameters of the transformation we seek to estimate as unknowns and as right member the values of photometric deformations. Ultimately, the choice of two suitable subsets of the above linear equations, ensuring the feasibility of individual solutions we are lead to the identification of best parameters. The proposed technique was tested in Yale B face database which has been used by other mapping techniques adapted to matching persons. The performance of the proposed technique is very good and superior at the convergence rates and the accuracy of the solutions to the performance of other techniques concerning both images that have undergone geometrical deformation (from very small to very intense) and images in different intense photometric deformations. Also, the proposed technique was tested on database of Affine Covariance Regions of the University of Oxford in which the content of the images is general and special-purpose techniques fail, with equally good performance.

Σκοπός της παρούσας εργασίας ήταν η μελέτη της μεθόδου κατασκευής του χάρτη βάθους μιας σκηνής από δύο εικόνες της, οι οποίες προσομοιάζουν την ανθρώπινη διοφθαλμική όραση. Η μέθοδος αναλύθηκε στους βασικούς της αλγορίθμους, και εξετάστηκε κατά πόσο και με ποιόν τρόπο θα μπορούσαν αυτοί να παραλληλοποιηθούν. Το OpenCL framework και η OpenCV βιβλιοθήκη μελετήθηκαν, και βρέθηκαν κατάλληλες και ικανές για την παραλληλοποίηση ενός αλγορίθμου υπολογιστικής όρασης. Με χρήση των παραπάνω υλοποιήθηκαν ενδεικτικά κάποιοι αλγόριθμοι και υπολογίστηκε το σχετικό βάθος των χαρακτηριστικών σημείων των εικόνων. Τέλος έγινε αξιολόγηση των αλγορίθμων ως προς την ταχύτητα και την ποιότητα των αποτελεσμάτων. / The goal of the present thesis was to study a scene's depthmap creation, using a pair of images simulating human binocular vision. At first the whole method was cut down to its elementary algorithms. Then it was examined wether and how could these algorithms be parallelized. OpenCL framework and OpenCV library were found adequate and capable of parallelizing computer vision algorithms, so they were used to implement some indicative algorithms. Finally, the relative depth of image features was calculated via various algorithm combinations, that were then evaluated according to speed and accuracy.

Στα πλαίσια της διπλωματικής αυτής θα μελετηθεί το πρόβλημα της σύνθεσης εικόνας υψηλής ανάλυσης, χρησιμοποιώντας πολλαπλές εικόνες χαμηλότερης ανάλυσης. Η τεχνική αυτή προσφέρει την δυνατότητα μείωσης των αλλοιώσεων που υπεισέρχονται από τους αισθητήρες καταγραφής των εικόνων (θόρυβος,θόλωμα), την αύξηση της χωρικής ανάλυσης καθώς και την αύξηση του δυναμικού εύρους της εικόνας, ώστε να είναι εφικτή η μεγέθυνση της με ικανοποιητική ποιότητα. Υπάρχουν δύο κύριες κατηγορίες μεθόδων που θα μελετηθούν. Στην πρώτη κατηγορία εντάσσονται μεθόδοι που συνθέτουν μία εικόνα τρισδιάστατης φυσικής σκηνής από χαμηλότερες ανάλυσης εικόνες στις οποίες έχει αποτυπωθεί τμήμα της. Ο κύριος στόχος των μεθόδων αυτών είναι να υπολογιστούν οι μετασχηματισμοί ευθυγράμμισης των εικόνων εισόδου. Στην δεύτερη κατηγορία εντάσσονται στατιστικές μέθοδοι, που προσπαθούν να αυξήσουν την χωρική ανάλυση ή να βελτιώσουν το δυναμικό εύρος της εικόνας, με σκοπό την βέλτιστη δυνατή ανάκτηση της φυσικής σκηνής. Ο κύριος στόχος των μεθόδων που ανήκουν στην κατηγορία αυτή, είναι η βέλτιστη εκτίμηση των τιμών των εικονοστοιχείων. / This thesis investigates the inverse problem of Super Resolution. Super Resolution algorithms reduce the effects of noise and blurring and produce an image of superior quality. This quality ensures that when we zoom in the image, the image details are not lost. Super Resolution algorithms are separated into two categories. The first category studies algorithms which combine overlapping images of low resolution to produce a panoramic image of the scene. The second category contains algorithms which produce a high detailed image.

Το πρόβλημα της εκτίμησης θέσης και του προσανατολισμού της κάμερας από τις γνωστές 3D συντεταγμένες n σημείων της σκηνής και των 2D προβολών τους στο επίπεδο της εικόνας, είναι γνωστό στην βιβλιογραφία ως "Perspective n Point(PnP)" πρόβλημα. Το πρόβλημα αυτό συναντάται σε πολλά σημαντικά επιστημονικά πεδία όπως αυτά της υπολογιστικής όρασης, της ρομποτικής, της αυτοματοποιημένης χαρτογραφίας, της επαυξημένης πραγματικότητας κ.α, και μπορεί να θεωρηθεί ως μια ειδική περίπτωση του προβλήματος βαθμονόμησης της κάμερας. Η ανάγκη για την ανάπτυξη ρωμαλέων και χαμηλής πολυπλοκότητας μεθόδων για την επίλυση του "PnP" προβλήματος σε πραγματικό χρόνο έχει αναδειχθεί από πολλούς ερευνητές τα τελευταία χρόνια. Στο πλαίσιο της προτεινόμενης διπλωματικής μελετήθηκαν σε βάθος οι πιο σημαντικές μέθοδοι που έχουν προταθεί στην διεθνή βιβλιογραφία μέχρι σήμερα. / The perspective camera pose estimation problem, given known 3D coordinates in the world coordinate system and their correspondent 2D image projections, is known as "Perspective n Point(PnP)" problem. It has many applications in Photogrammetry, Computer Vision, Robotics, Augmented Reality and can be considered as a special case of camera calibration problem. The need for development of robust and simultaneously low computational complexity real time solutions for the PnP problem is very strong as it has attracted much attention in the literature during the last few years. In this master thesis, most significant as well as state of the art techniques which provide solutions to camera pose estimation problem have been thoroughly studied.

Κατά τη διάρκεια της διπλωματικής εργασίας μελετήθηκαν συστήματα οπτικού προσανατολισμού. Έγινε μελέτη των μεθόδων οπτικού προσανατολισμού που στηρίζονται στην επίλυση του προβλήματος της επιπολικής γεωμετρίας. Πιο συγκεκριμένα έγινε μελέτη των σύγχρονων μεθόδων επίλυσης του προβλήματος της επιπολικής γεωμετρίας (μέθοδοι 5,7 και 8 σημείων). Παράλληλα έγινε μελέτη αλγορίθμων RANSAC για να εξασφαλιστεί η σθεναρότητα του συστήματος. Τα παραπάνω συστήματα υλοποιήθηκαν σε βιβλιοθήκες λογισμικού σε γλώσσα C++ με δυνατότητα απευθείας χρήσης τους από το περιβάλλον Labview. Αντίστοιχη μελέτη, ανάπτυξη και υλοποίηση έγινε και για το σύστημα απόλυτου προσανατολισμού που χρησιμοποιεί σημεία με γνωστές συντεταγμένες. Στη συνέχεια τα συστήματα που αναπτύχθηκαν αξιολογήθηκαν με χρήση συνθετικών δεδομένων. Τέλος διεξήχθη πειραματική αξιολόγηση του συστήματος που αναπτύχθηκε με πραγματικά δεδομένα μέσω της χρήσης μιας πειραματικής διάταξης όπου η κάμερα είναι προσαρτημένη σε μία διάταξη Pan-Tilt, ενώ προτάθηκαν και τρόποι βελτίωσης της ακρίβειας του συστήματος οπτικού προσανατολισμού. / During the diploma thesis, vision-only navigational systems have been studied. Firstly, the epipolar geometry methods (5,7 and 8 points) have been studied in depth. Secondly, a RANSAC framework have been developed to ensure the robustness of the system’s measures. The above systems have been implemented, using the C++ programming language, into software libraries that can be used by the Labview enviroment. Moreover vision-only absolute orientation systems that use landmarks have been developed and implemented. Then the systems developed were evaluated using synthetic data. Finally the system that have been developed was evaluated with real data using an experimental setup where the camera is attached to a Pan-Tilt unit,and ways of improving the vision-only navigational system have been proposed.

Το αντικείμενο της εργασίας είναι η τρισδιάστατη ανακατασκευή ενός αντικειμένου ή ενός χώρου, μέσα από τουλάχιστο δύο φωτογραφίες του. Το θέμα της εργασίας είναι μέρος του τομέα της Υπολογιστικής Όρασης, που έχει μεγάλη άνθιση τα τελευταία χρόνια λόγω των πολλών εφαρμογών, όπου η γνώση της τρισδιάστατης δομής ενός αντικειμένου ή ενός χώρου κρίνεται απαραίτητη. Βέβαια, συνέβαλε σε αυτό και η ραγδαία εξέλιξη των ηλεκτρονικών υπολογιστών, με αποτέλεσμα να είναι δυνατή η ακριβής και ποιοτική απεικόνιση σύνθετων τρισδιάστατων σκηνών σε πραγματικό χρόνο, μέσω κατάλληλων αλγορίθμων. Η τρισδιάστατη ανακατασκευή ενός αντικειμένου ή ενός χώρου, από φωτογραφίες ή βίντεο αποτελεί ένα ενδιαφέρον και εντυπωσιακό θέμα με πολλές εφαρμογές και πολύ ενθαρρυντικά αποτελέσματα. Αυτά αποτέλεσαν ουσιαστικά και το έναυσμα για την ενασχόλησή μου με τον τομέα της Υπολογιστικής Όρασης και την επιλογή του θέματος της εργασίας. Οι εφαρμογές που αναπτύσσονται στα πλαίσια της εργασίας παρέχουν οπτικά ευχάριστα αποτελέσματα και έχουν μεγάλη προσαρμοστικότητα και ευελιξία στης διάφορες συνθήκες φωτογράφησης ή λήψης βίντεο. Το σημαντικό, λοιπόν, είναι ότι δεν χρειάζεται απαραίτητα περιβάλλον εργαστηρίου για την λήψη των δεδομένων, δηλαδή των εικόνων. Προκύπτουν καλά αποτελέσματα ακόμα και με εικόνες που λήφθηκαν μέσω μίας απλής φορητής φωτογραφικής κάμερας, χωρίς τρίποδα για στήριξη. Αρκεί απλά να δημιουργήσουμε τις προϋποθέσεις για μικρή κίνηση της κάμερας μεταξύ των λήψεων των εικόνων. Στην παρούσα εργασία παρουσιάζονται και εξετάζονται διεξοδικά όλα τα θέματα που αφορούν την τρισδιάστατη οπτικοποίηση των αντικειμένων. Αρχικά, στις παραγράφους 2.1 έως 3.2, αναλύεται η θεωρία των δύο κυριότερων μεθόδων της "Δομής και Κίνησης" και της "Στερεοσκοπικής Όρασης" . Στην συνέχεια στις παραγράφους 3.3 και 3.4 αναπτύσσεται η μεθοδολογία που ακολουθείται από τις εφαρμογές της Δομής και Κίνησης , ενώ της Στερεοσκοπική Όρασης αναπτύσσεται στην 3.5 . Στην μέθοδο της Δομής και Κίνησης περικλείονται δύο περιπτώσεις. Η πρώτη είναι η μη βαθμονομημένη περίπτωση και η δεύτερη είναι η βαθμονομημένη. Στην δεύτερη, λοιπόν, προηγείται η βαθμονόμηση της κάμερας, οπότε είναι γνωστές εκ των προτέρων οι παράμετροι της κάμερας . Η υλοποίηση των αλγορίθμων γίνεται στο παράρτημα, με την βοήθεια του περιβάλλοντος αριθμητικής υπολογιστικής της προγραμματιστικής γλώσσας Matlab. Τέλος, στο τέταρτο κεφάλαιο, δίνονται κάποια παραδείγματα ανακατασκευών που αποδεικνύουν την αποτελεσματικότητα των αλγορίθμων της υλοποίησης. Τόσο η θεωρία, όσο και οι αλγόριθμοι που παρουσιάζονται στην παρούσα εργασία καλύπτουν πλήρως τις απαραίτητες γνώσεις για την υλοποίηση της τρισδιάστατης αναπαράστασης. Συσσωρεύτηκαν πληροφορίες από δύο μεθόδους, δηλαδή της Δομής και Κίνησης αλλά και της Στερεοσκοπικής Όρασης, οι οποίες συνδυασμένες δίνουν βέλτιστα και αρτιότερα αποτελέσματα. Πρωταρχικός στόχος της εργασίας είναι η ανάδειξη των δυνατοτήτων που παρέχουν οι συγκεκριμένες μέθοδοι. Από την άλλη μεριά, η υλοποίηση των δύο μεθόδων και κατά συνέπεια των αλγόριθμων, αποτελούν μία αρκετά καλή βάση για περαιτέρω ανάπτυξη και προώθηση για μελλοντική έρευνα στον εν λόγω τομέα. Ούτως ή άλλως, τα τελευταία χρόνια, η ερεύνα που αφορά την Υπολογιστική Όραση έχει αποδώσει και έχει δημιουργήσει ικανοποιητικότατα αποτελέσματα. Οπότε στο μέλλον αναμένονται ισχυρότεροι αλγόριθμοι, βελτιώσεις αλλά και πολλές εφαρμογές στους εξελισσόμενους τομείς της ηλεκτρονικής και όχι μόνο. / The purpose of this thesis is the three-dimensional reconstruction of an object or a space, through at least two photos. The theme is part of the field of Computer Vision, which has known great development in the recent years due to the many applications, where the knowledge of the three-dimensional structure of an object or a space is necessary. Of course to this development contributed also the rapid evolution of computers, making possible the accurate and high quality display of complex three-dimensional scenes in real time, through appropriate algorithms. The three-dimensional reconstruction of an object or a space, using photos or video, is an interesting and impressive subject with many applications and very encouraging results. This was basically what intrigued me to involve with the field of Computer Vision and choose the topic of this thesis. The applications in this thesis provide visually pleasant results and have great adaptability and flexibility in various conditions of shooting and making of videos. What is important, therefore, is that a laboratory environment to obtain the data, meaning images, is not necessary. The results are satisfactory even with pictures taken by a simple handheld camera, without the use of a tripod. It’s enough if we just create the proper conditions for a small camera movement between the shots. The present thesis presents and discusses thoroughly all the subjects related with the three-dimensional visualization of objects. First in paragraphs 2.1 to 3.2, is analyzed the theory of the two most important methods, of "Structure and Motion" and of "Stereo Vision". Then in paragraphs 3.3 and 3.4 is discussed the methodology followed by the applications of Structure and Motion , and this of Stereo Vision is discussed in paragraph 3.5. The method of Structure and Motion encloses two cases. The first is the non-calibrated case and the second is the calibrated case. In the calibrated case the calibration of the camera comes first, so the parameters of the camera are known in advance. The implementation of the algorithms is in the Annex, with the help of the numerical computing environment of the programming language Matlab. Finally, in chapter four, are given same examples of reconstructions that demonstrate the effectiveness of the algorithms of implementation. Both the theory and the algorithms presented in this thesis cover fully the necessary knowledge for the materialization of the three-dimensional representation. The information are is accumulated by two methods, this of Structure and Motion and this of Stereo Vision, which combined give the best and most complete results. Primary objective of this thesis is to highlight the possibilities offered by these methods. On the other hand, the implementation of these two methods and thus the algorithms is a good basis for further development and promotion for future research in this field. Anyway, in recent years, the research on Computer Vision has given great results. So in the future are expected stronger algorithms, improvements but also many applications relating with the developing sector of electronics and more.

Αντικείμενο της παρούσας εργασίας είναι η υψομετρική ανίχνευση θέσης κινούμενου ρομπότ. Για τον υπολογισμό της θέσης του ρομπότ χρησιμοποιήθηκε ένα στερεοσκοπικό σύστημα δύο ίδιων παράλληλων καμερών. Οι εσωτερικές παράμετροι των δύο καμερών και το μήκος της βασικής γραμμής είναι γνωστά. Θεωρείται για ευκολία ότι όλος ο όγκος του ρομπότ αναπαριστάται απο ένα σημείο P με συντεταγμένες (X,Y,Z) ώς προς σύστημα συντεταγμένων με αρχή το κέντρο προβολής της αριστερής κάμερας. Για τον εντοπισμό του ρομπότ αποκτήθηκαν δύο ακολουθίες βίντεο, μια για κάθε κάμερα, στις οποίες έγινε κατάτμηση κίνησης με την μέθοδο διαφοράς διαδοχικών καρέ. Στη συνέχεια ακολούθησε επεξεργασία εικόνας στα καρέ και των δύο ακολουθιών για την εξαγωγή των περιοχών που απεικονίζουν το αντικείμενο στο επίπεδο της εικόνας. Κατόπιν, υπολογίστηκαν οι θέσεις των κέντρων βάρους των περιοχών για τις δύο ακολουθίες , Pl(xl,yl) και Pr(xr,yr) αντίστοιχα. Τα σημεία αυτά αναπαριστούν το σημείο P στην αριστερή και στη δεξιά ακολουθία εικόνων. Ακολούθησε αντιστοίχιση σημείων μεταξύ των δύο ακολουθιών με βάση την επιπολική γεωμετρία. Τα σημεία στα οποία βρέθηκε αντιστοιχία χρησιμοποιήθηκαν για τον υπολογισμό της θέσης του σημείου P με την μέθοδο της τριγωνοποίησης. / The object of this thesis is the position detection of a moving robot. To calculate the position of the robot a stereoscopic system of two identical parallel cameras was used. The intrinsic parameters of the cameras and the length of the baseline are given. To simplify the problem it is assumed that the entire robot can be represented by a point P with (X,Y,Z) coordinates with respect to the coordinate system of the left camera center of projection. To detect the robot two video image sequences were acquired, one for each camera, to which motion segmentation was applied with the frame differencing method. After that, image proseccing was implemented to the frame sequences in order to find the region that represents the robot in the image plane. The centroids of the regions were calculated in the two sequences,Pl(xl,yl) and Pr(xr,yr) respectively. Those points represent the point P in the image planes of the left and right camera. Finally the restriction of epipole geometry was used to find matches between those points. Using those matches the coordinates of P were calculated with the triangulation method.

Τα τελευταία χρόνια η αναμφισβήτητα εντυπωσιακή τεχνολογική πρόοδος έχει δώσει τεράστια ώθηση σε ένα ευρύ φάσμα επιστημονικών πεδίων τα οποία βασίζονται σε αυτή, με χαρακτηριστικό παράδειγμα τον τομέα των Τηλεπικοινωνιών. Απόλυτα λογικό αποτέλεσμα είναι η παγκόσμια αγορά να έχει κατακλυστεί από δισεκατομμύρια κινητές συσκευές, η χρήση των οποίων διευκολύνει απίστευτα και την ανάπτυξη της έρευνας στους αντίστοιχους κλάδους. Μία από τις χαρακτηριστικές τεχνολογίες που εκμεταλλευόμενη πλήρως αυτή τη αλματώδη πρόοδο έχει επιφέρει εντυπωσιακά αποτελέσματα είναι η Επαυξημένη Πραγματικότητα. Βασίζεται στην γεφύρωση του χάσματος μεταξύ της εικονικότητας και της πραγματικότητας με ένα μοναδικό τρόπο ενίσχυσης της αντίληψής μας ως προς την τελευταία και με εφαρμογές από το Στρατό και τη Διαφήμιση ως τα ερευνητικά πεδία της Αναγνώρισης Εικόνας και της Εκπαίδευσης. Αυτή της όμως η σημαντικότατη ανάπτυξη γεννά αναπόφευκτα πέρα από την παραγωγή γνώσης και βασικά ερωτήματα που απασχολούν την ερευνητική κοινότητα, ορισμένα εκ των οποίων είναι αν μπορεί η χρήση τεχνικών Επαυξημένης Πραγματικότητας μέσω της αναγνώρισης εικόνας, πέρα από την εξέλιξη του ευρύτερου κλάδου της Υπολογιστικής Όρασης, να συμβάλλει στη βελτίωση μαθησιακών εμπειριών και αν ναι κατά πόσο είναι εφικτή η αντιμετώπιση θεμελιωδών εκπαιδευτικών προβλημάτων, όπως η διάσπαση προσοχής και η έλλειψη διαδραστικότητας. Στα πλαίσια της παρούσας εργασίας προσπαθώντας να δώσουμε ουσιαστικές απαντήσεις στα παραπάνω ερωτήματα δημιουργήσαμε τη διαδραστική εφαρμογή «AugMentor», ειδικά σχεδιασμένη για τις ανάγκες της ξενάγησης των επισκεπτών του Μουσείου Επιστημών του Πανεπιστημίου Πατρών. Έχοντας ενσωματώσει ένα ολοκληρωμένο περιβάλλον Επαυξημένης Πραγματικότητας εντός της εφαρμογής αναπτύξαμε ένα παιχνίδι κρυμμένου θησαυρού κατά το οποίο οι επισκέπτες του μουσείου δέχονται ένα συγκεκριμένο αριθμό ερωτήσεων οι οποίες βασίζονται στα μουσειακά εκθέματα και αμέσως μετά καλούνται να περιηγηθούν οι ίδιοι στους εσωτερικούς χώρους του. Με βάση την επιτυχή αναγνώριση του κάθε εκθέματος και την προσωποποιημένη απεικόνιση των εκάστοτε απεικονιζόμενων πληροφοριών προσπαθούν να δώσουν απαντήσεις στα ερωτήματα αυτά. Η εφαρμογή AugMentor υλοποιήθηκε για κινητές συσκευές που υποστηρίζουν το λειτουργικό σύστημα Android και πλέον αποτελεί μέρος της μόνιμης ξενάγησης του Μουσείου Επιστημών και Τεχνολογίας. Παρουσιάζουμε μια περιγραφική και αναλυτική μελέτη περίπτωσης χρήσης της εφαρμογής, υλοποιώντας πειραματικά στο Μουσείο Επιστημών μια κανονική ξενάγηση. Χρησιμοποιώντας την εφαρμογή AugMentor οδηγούμαστε σε ασφαλή συμπεράσματα ως προς την επίτευξη του κύριου στόχου υλοποίησής της, ο οποίος είναι το κατά πόσο οι επισκέπτες του μουσείου στην προσπάθειά τους να απαντήσουν τις ερωτήσεις που τους ανατέθηκαν θα μπορούσαν να μάθουν και επιπρόσθετες πληροφορίες για τα εκθέματα, βελτιώνοντας τη μάθηση μέσω της χρήσης κινητών συσκευών. Το πείραμα που πραγματοποιήσαμε χωρίστηκε σε δύο μέρη, το πρώτο βασίζεται στα πρότυπα μιας κανονικής ξενάγησης των επισκεπτών, χωρίς τη χρήση κάποιας εφαρμογής και το δεύτερο στην ξενάγηση μέσω της εφαρμογής AugMentor. Στους επισκέπτες δόθηκαν αντίστοιχα ερωτηματολόγια και στις δύο περιπτώσεις και στη συνέχεια αξιολογήθηκε συγκριτικά η συμβολή της εφαρμογής AugMentor στη συνολική εμπλούτιση της μουσειακής εμπειρίας ενός επισκέπτη. / Over the last few years the indisputably outstanding technological advances have given a huge boost to a wide range of scientific areas of study that are based on it. A typical example can definitely be considered the one associated with Telecommunications. An utterly rational outcome constitutes the fact that global market is overwhelmed by billions of mobile devices, the use of which facilitates to a large extent the whole research development towards those fields. An iconic technology that fully exploiting this rapid progress has brought about impressive results is Augmented Reality. Augmented Reality is based on bridging the gap between virtuality and reality in a unique way to enhance our perception as to the latter and its applications vary from Army and Advertisement to the research fields of Image Recognition and Education. It is exactly the impressive growth of Augmented Reality which inevitably generates essential questions that research community has to deal with. Some of these questions are whether the use of Augmented Reality techniques, through Image Recognition, apart from the wider development of Computer Vision, can help improving learning experiences and if so to which extent it is possible to address fundamental educational problems, such as distractibility and lack of interactivity. In this master thesis, trying to give substantial answers to these questions we have created the interactive application «AugMentor», specially designed for the tour needs of Museum of Science and Technology, located in University of Patras. Having incorporated an integrated Augmented Reality environment inside this application, we developed a treasure hunt game in which visitors receive a certain number of questions closely related to museum’s exhibits and afterwards they have to wander within its interiors. Based on the successful recognition of each exhibit and personalized display of each respective information, visitors attempt to answer these questions. AugMentor is implemented for mobile devices that support the Android operating system and is now part of permanent museum guidance. Our main objective is improving Mobile Learning, which is learning through the use of mobile devices. We present a sufficient case study, selecting Museum of Science and Technology as an experimental space so as to determine the degree to which AugMentor application can practically contribute to this purpose. One of our key points towards this perspective was estimating the amount of totally imparted knowledge, since involving students with a significant pool of knowledge provides them with a motivation to have an active role during their guidance. The experiment we conducted was divided into two parts, the first one was based on the standards of a normal tour of visitors without using any application and the second one was based on a tour using AugMentor application. Guests are respectively given questionnaires in both cases and then we assessed AugMentor’s relative contribution to the overall implementation regarding enriching the museum experience of a visitor.