The thesis focuses on the measurement of intima media thickness, which seems to be a significant marker of the risk of cardiovascular events. Intima media thickness is measured in ultrasound image displaying the common carotid artery in its longitudinal section. In the longitudinal section the intima and media layers are visible. Thesis is discussing both technical and medical background and summarizes state of the art in this field. The main part of the thesis describes the novel automatic system for measurement of intima media thickness. Proposed system includes also robust method for artery localization and therefore is able to process raw B-mode data from ultrasound station without any initialization or manual preprocessing.

This is a study exploring how robust one feature descriptors, scale invariant feature transform (SIFT), and one feature detector, feature accelerated segmentation test (FAST), are in terms of handling fetoscopic acquired data when mosaicing. Today’s treatment of severe Twin-to-Twin Transfusion Syndrome at Karolinska University Hospital is fetoscopic guided laser occlusion of chorioangiopagous vessels (FLOC) where intersecting blood vessels causing a transfusion (Anastomoses) in between the fetuses are occluded. These blood vessels are located somewhere on the placenta. The fetoscopy includes navigation of a relatively large area where the field of view (FOV) is limited. The limited FOV during the fetoscopy makes it cumbersome to navigate and identify intersected blood vessels. The motivation of this study is to explore ways of dealing with the complications during FLOC by mosaicing an overview of the placenta that can be used as an assisting map to make the procedure safer by improving navigation of the fetoscope and identification of blood vessels during FLOC. In this study, the steps of mosaicing are defined based on mosaicing frameworks to explore how these methods perform in terms of being able to mosaic a map of the placenta. The methods have been tested on non-fetoscopic acquired data as well as fetoscopic acquired data to create a relative measure in between the two. Three tests on non- fetoscopic data were performed to explore how well the methods handled mosaicing of data with distinctive characteristics. The same methods were then tested on unprocessed fetoscopic data before being tested on preprocessed fetoscopic data to see if the results were affected by external preprocessing. The results showed that there were differences in between the methods. SIFT and FAST showed that they have potential of mosaicing non-fetoscopic data of varying extent. SIFT gave an impression of being more robust during all of the tests. SIFT especially performed better during the tests on data with few potential keypoints which is an advantage when speaking of fetoscopic acquired data. SIFT also managed to mosaic a larger area than FAST when mosaicing preprocessed fetoscopic data. Preprocessing the data improved the mosaicing when using SIFT but further improvements are needed. / Denna studie utforskar hur robust en intressepunktsbeskrivare, scale invariant feature transform (SIFT), och enintressepunktsdetektor, feature accelerated segmentation test (FAST), hanterar digitala bilder insamlade av ett fetoskop med syfte att sy ihop dessa till en översiktskarta. Dagens behandling av tvillingtransfusionsyndrom vid Karolinska Universitetssjukhuset är fetoscopic guided laser occlusion of chorioangiopagous vessels (FLOC). Under denna fetoskopi bränner man och därmed blockerar korsande blodkärl som orsakar en transfusion (anastomoses) och obalans i blodomloppet mellan två tvillingfoster. Dessa blodkärl är lokaliserade på placentan. Fetoskopin omfattar navigering av en relativt stor area med ett begränsat synfält. Det begränsade synfältet under FLOC gör det svårt att orientera fetoskopet och identifiera korsande blodkärl som orsakar transfusionen. Syftet med studien är att utforska ett sätt att hantera komplikationerna med FLOC igenom att utforska sätt att skapa en översiktskarta av placentan under FLOC. Denna översiktskarta kan nyttjas under FLOC och därmed göra proceduren säkrare igenom att kartan underlättar orienteringen av fetoskopet och identifiering av orsakande blodkärl. I denna studie är stegen för att skapa en översiktskarta baserade på olika datorseende ramverk för att se hur dessa tillvägagångssätt presterar när det gäller att skapa en översiktskarta. Metoderna för att skapa en översiktskarta har testats på data insamlad med webkamera och data insamlad med fetoskop för att skapa en relativ uppfattning om hur de står sig beroende på indata. Tre tester på data insamlad med webkamera genomfördes för att utforska hur väl metoderna hanterade data med många potentiella intressepunkter, rörelse orsakad av handhållen enhet/kamera, repetitiva mönster, översiktskartor som resulterande i större upplösning, och liten möjlighet att hitta intressepunkter. Samma metoder testades sedan på icke behandlad data insamlad med fetoskop innan den testades på förbehandlad data insamlad med fetoskop för att se förbehandlingensnödvändighet och prestation. Resultaten visar att det är skillnader mellan de två metoderna använda i denna studie, både när det gäller data insamlad med fetoskop och webkamera. SIFT och FAST visar potential av olika grad när det gäller att skapa en översiktskarta med data insamlad av webkamera. SIFT visade sig vara mer robust under alla tester inklusive data insamlad med fetoskop. SIFT presterade speciellt bättre under testen som omfattade få antal möjliga intressepunkter vilket är en fördel när det gäller data insamlad med fetoskop. SIFT lyckades också skapa översiktskartor med större area än FAST när förbehandlad fetoskopisk data testades. När det gäller SIFT så visade resultaten en förbättring när data insamlad med fetoskop förbehandlades men att ytterligare förbättringar är nödvändiga.

As electronics become smaller and more capable, it has become possible to conduct meaningful and sophisticated satellite missions in a small form factor. However, the capability of small satellites and the range of possible applications are limited by the capabilities of several technologies, including attitude determination and control systems. This dissertation evaluates the use of image-based visual attitude propagation as a compliment or alternative to other attitude determination technologies that are suitable for miniature satellites. The concept lies in using miniature cameras to track image features across frames and extracting the underlying rotation. The problem of visual attitude propagation as a small satellite attitude determination system is addressed from several aspects: related work, algorithm design, hardware and performance evaluation, possible applications, and on-orbit experimentation. These areas of consideration reflect the organization of this dissertation. A “stellar gyroscope” is developed, which is a visual star-based attitude propagator that uses relative motion of stars in an imager’s field of view to infer the attitude changes. The device generates spacecraft relative attitude estimates in three degrees of freedom. Algorithms to perform the star detection, correspondence, and attitude propagation are presented. The Random Sample Consensus (RANSAC) approach is applied to the correspondence problem to successfully pair stars across frames while mitigating false-positive and false-negative star detections. This approach provides tolerance to the noise levels expected in using miniature optics and no baffling, and the noise caused by radiation dose on orbit. The hardware design and algorithms are validated using test images of the night sky. The application of the stellar gyroscope as part of a CubeSat attitude determination and control system is described. The stellar gyroscope is used to augment a MEMS gyroscope attitude propagation algorithm to minimize drift in the absence of an absolute attitude sensor. The stellar gyroscope is a technology demonstration experiment on KySat-2, a 1-Unit CubeSat being developed in Kentucky that is in line to launch with the NASA ELaNa CubeSat Launch Initiative. It has also been adopted by industry as a sensor for CubeSat Attitude Determination and Control Systems (ADCS).

L'algorithme RANSAC est l'approche la plus commune pour l'estimation robuste des paramètres d'un modèle en vision par ordinateur. C'est principalement sa capacité à traiter des données contenant potentiellement plus d'erreurs que d'information utile qui fait son succès dans ce domaine où les capteurs fournissent une information très riche mais très difficilement exploitable. Depuis sa création, il y a trente ans, de nombreuses modifications ont été proposées pour améliorer sa vitesse, sa précision ou sa robustesse. Dans ce travail, nous proposons d'accélérer la résolution d'un problème par RANSAC en utilisant plus d'information que les approches habituelles. Cette information, calculée à partir des données elles-même ou provenant de sources complémentaires de tous types, nous permet d'aider RANSAC à générer des hypothèses plus pertinentes. Pour ce faire, nous proposons de distinguer quatre degrés de qualité d'une hypothèse: la "non contamination", la "cohésion", la "cohérence" et enfin la "pertinence". Puis nous montrons à quel point une hypothèse non contaminée par des données erronées est loin d'être pertinente dans le cas général. Dès lors, nous nous attachons à concevoir un algorithme original qui, contrairement aux méthodes de l'état de l'art, se focalise sur la génération d'échantillons "pertinents" plutôt que simplement "non contaminés". Notre approche consiste à commencer par proposer un modèle probabiliste unifiant l'ensemble des méthodes de réordonnancement de l'échantillonnage de RANSAC. Ces méthodes assurent un guidage du tirage aléatoire des données tout en se prémunissant d'une mise en échec de RANSAC. Puis, nous proposons notre propre algorithme d'ordonnancement, BetaSAC, basé sur des tris conditionnels partiels. Nous montrons que la conditionnalité du tri permet de satisfaire des contraintes de cohérence des échantillons formés, menant à une génération d'échantillons pertinents dans les premières itérations de RANSAC, et donc à une résolution rapide du problème. L'utilisation de tris partiels plutôt qu'exhaustifs, quant à lui, assure la rapidité et la randomisation, indispensable à ce type de méthodes. Dans un second temps, nous proposons une version optimale de notre méthode, que l'on appelle OABSAC (pour Optimal and Adaptative BetaSAC), faisant intervenir une phase d'apprentissage hors ligne. Cet apprentissage a pour but de mesurer les propriétés caractéristiques du problème spécifique que l'on souhaite résoudre, de façon à établir automatiquement le paramétrage optimal de notre algorithme. Ce paramétrage est celui qui doit mener à une estimation suffisamment précise des paramètres du modèle recherché en un temps (en secondes) le plus court. Les deux méthodes proposées sont des solutions très générales qui permettent d'intégrer dans RANSAC tout type d'information complémentaire utile à la résolution du problème. Nous montrons l'avantage de ces méthodes pour le problème de l'estimation d'homographies et de géométries épipolaires entre deux photographies d'une même scène. Les gains en vitesse de résolution du problème peuvent atteindre un facteur cent par rapport à l'algorithme RANSAC classique.

This thesis investigates and implements the sensor fusion necessary to autonomously reverse a full size truck and trailer system. This is done using a LiDAR mounted on the rear of the truck along with a RTK-GPS. It is shown that the relative angles between truck-dolly and dolly-trailer can be estimated, along with global position and global heading of the trailer. This is then implemented in one of Scania's test vehicles, giving it the ability to continuously estimate these states. A controller is then implemented, showing that the full scale system can be stabilised in reverse motion. The controller is tested both on a static reference path and a reference path received from a motion planner. In these tests, the controller is able to stabilise the system well, allowing the truck to do complex manoeuvres backwards. A small lateral tracking error is present, which needs to be further investigated.

In this thesis, the Recursive-Random Sample Consensus (R-RANSAC) algorithm is applied to a vision-based, cooperative target tracking system. Unlike previous applications, which focused on a single camera platform tracking targets in the image frame, this work uses multiple camera platforms to track targets in the inertial or world frame. The process of tracking targets in the inertial frame is commonly referred to as geolocation.In practical applications sensor biases cause the geolocated target estimates to be biased from truth. The method for cooperative estimation developed in this thesis first estimates the relative rotational and translational biases that exist between tracks from different vehicles. It then accounts for the biases and performs the track-to-track association, which determines if the tracks originate from the same target. The track-to-track association is based on a sliding window approach that accounts for the correlation between tracks sharing common process noise and the correlation in time between individual estimation errors, yielding a chi-squared distribution. Typically, accounting for the correlation in time requires the inversion of a Nnx x Nnx covariance matrix, where N is the length of the window and nx is the number of states. Note that this inversion must occur every time the track-to-track association is to be performed. However, it is shown that by making a steady-state assumption, the inverse has a simple closed-form solution, requiring the inversion of only two nx x nx matrices, and can be calculated offline. Distributed data fusion is performed on tracks where the hypothesis test is satisfied. The proposed method is demonstrated on data collected from an actual vision-based tracking system.A novel method is also developed to cooperatively estimate the location and size of occlusions. This capability is important for future target tracking research involving optimized path planning/gimbal pointing, where a geographical map is unavailable. The method is demonstrated in simulation.

In this thesis, we address the problem of panoramic scene construction in which a single image covering the entire visible area of the scene is constructed from an aerial image video. In the literature, there are several algorithms developed for construction of panoramic scene of a video sequence. These algorithms can be categorized as feature based and featureless algorithms. In this thesis, we concentrate on the feature based algorithms and comparison of these algorithms is performed for aerial videos. The comparison is performed on video sequences captured by non-stationary cameras, whose optical axis does not have to be the same. In addition, the matching and tracking performances of the algorithms are separately analyzed, their advantages-disadvantages are presented and several modifications are proposed.

Η παρούσα διπλωματική εργασία αναπτύχθηκε στα πλαίσια των προπτυχιακών σπουδών του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών. Θέμα της είναι η τρισδιάστατη ανακατασκευή του χώρου από τουλάχιστον δύο φωτογραφίες του και αποτελεί μέρος του τομέα της Υπολογιστικής Όρασης. Συγκεκριμένα αναλύεται διεξοδικά η περίπτωση της στερεοσκοπικής όρασης, στην οποία η κάμερα μεταξύ δύο διαδοχικών λήψεων της ίδιας σκηνής, έχει μηδενική σχετική περιστροφή ως προς την αρχική της θέση και μικρή μετατόπιση, περίπου 5 εκατοστά. Με τον τρόπο αυτό, προσπαθούμε να προσομοιώσουμε τη λειτουργία της ανθρώπινης όρασης καθώς πολλές εφαρμογές της Τεχνητής Νοημοσύνης το κρίνουν απαραίτητο. Είναι λογικό ότι ο κάθε άνθρωπος θεωρεί τη στερεοσκοπική όραση αυτονόητη γιατί κινείται στον τρισδιάστατο κόσμο. Όταν αυτός όμως καταγράφεται από μία κάμερα, αυτόματα περνάει στο δισδιάστατο επίπεδο. Και πάλι είναι δυνατόν να εξάγουμε πληροφορίες βάθους από μία μόνο εικόνα, όμως γίνεται καθαρά εμπειρικά και βασίζεται στη σύγκριση διάφορων υφών, σχημάτων και μεγεθών. Ο ηλεκτρονικός υπολογιστής αναγνωρίζει την εικόνα σαν ένα οποιοδήποτε αρχείο. Δεν μπορεί να εξάγει κανένα συμπέρασμα για το τι απεικονίζει στον πραγματικό κόσμο. Χρειάζεται το συνδυασμό τουλάχιστον δύο εικόνων της ίδιας σκηνής από διαφορετικές θέσεις για να μπορέσει να αναγνωρίσει για παράδειγμα το βάθος της σκηνής που απεικονίζεται. Αυτή τη διαδικασία περιγράφει αναλυτικά η εργασία. Στο πρώτο κεφάλαιο εισάγουμε την έννοια και τη χρησιμότητα της στερεοσκοπικής όρασης. Στο δεύτερο κεφάλαιο παρουσιάζονται οι βασικές αρχές της προβολικής γεωμετρίας. Στο τρίτο κεφάλαιο αναφερόμαστε στη μοντελοποίηση της κάμερας και τις παραμέτρους που τη χαρακτηρίζουν. Στο τέταρτο κεφάλαιο αναλύεται η διαδικασία της βαθμονόμησης της κάμερας. Στο πέμπτο κεφάλαιο εξηγείται η διαδικασία αντιστοίχησης των σημείων ενδιαφέροντος στις δύο εικόνες. Στο έκτο κεφάλαιο αναλύονται οι βασικές αρχές της επιπολικής γεωμετρίας. Στο έβδομο κεφάλαιο παρουσιάζεται η πειραματική διαδικασία για την εύρεση του βάθους της σκηνής. Στο όγδοο κεφάλαιο παρουσιάζεται συνοπτικά η τρισδιάστατη ανακατασκευή του χώρου και παρουσιάζονται τα αντίστοιχα πειραματικά αποτελέσματα. Στο ένατο κεφάλαιο διατυπώνουμε τα συμπεράσματα της όλης διαδικασίας. Τόσο το θεωρητικό όσο και το πειραματικό μέρος αυτής της εργασίας καλύπτουν σε ένα μεγάλο ποσοστό τα βασικά στάδια ανακατασκευής του τρισδιάστατου χώρου. Τα αποτελέσματα της πειραματικής διαδικασίας αποδεικνύουν ότι οι υπάρχουσες μέθοδοι λειτουργούν ικανοποιητικά αλλά υπάρχουν πολλά περιθώρια βελτίωσης στο θέμα της Υπολογιστικής Όρασης. Στο σημείο αυτό να ευχαριστήσουμε τον επιβλέποντα καθηγητή μας κ. Δερματά για τη συνεργασία του και την κατανόησή του. / The current thesis has been written as part of the undergraduate studies for the department of Electrical and Computer Engineering of Patras University. Its objective is the three-dimensional (3D) reconstruction from two, at least, photographs, which is part of computer vision. More specifically, this thesis analyzes in detail the case of stereo vision when the camera, among two successive shots of the same image, has zero relative rotation compared to its initial position and an average translation of about 5 cm. In this way, it attempts to simulate human vision since this is essential for many Artificial Intelligence applications. Humans take stereo vision for granted since they live in a three-dimensional world. However, this world becomes two-dimensional when recorded by a camera. We can still get information about the image depth but this is empirically done based on comparing various heights, shapes and sizes. Images are identified by the computer as any other file. Computers cannot draw conclusions about what is depicted in the real world. They need to combine at least two images of the same scene and of different positions to identify the image’s depth. This process is described in the current thesis. The first chapter describes stereo vision and why it is so useful. The second chapter provides the basic principles of projective geometry, the mathematical background for passing from the two-dimensional level to the three-dimensional. The third chapter refers to camera modeling and its parameters (instrisic and extrinsic). Chapter four analyzes the camera calibration process. Chapter five explains the matching process of points of interest in both pictures. The sixth chapter provides the basic principles of epipolar geometry. The seventh chapter shows the experimental procedure that we followed in order to estimate the depth of the scene. Chapter eight shows how the 3D reconstruction is finally done. Chapter nine talks about our conclusions and how the results could improve. Both theoretical and experimental parts of this project cover the key points of 3d reconstruction. The results of the experiments show that the existing methods are satisfying but could improve more. We want to thank our supervisor professor Mr. Dermatas for his collaboration and his understanding.

Ένα σημαντικό πρόβλημα είναι η αντιστοίχιση εικόνων με σκοπό τη δημιουργία πανοράματος. Στην παρούσα εργασία έχουν χρησιμοποιηθεί αλγόριθμοι που βασίζονται στη χρήση σημείων κλειδιών. Αρχικά στην εργασία βρίσκονται σημεία κλειδιά για κάθε εικόνα που μένουν ανεπηρέαστα από τις αναμενόμενες παραμορφώσεις με την βοήθεια του αλγορίθμου SIFT (Scale Invariant Feature Transform). Έχοντας τελειώσει αυτή τη διαδικασία για όλες τις εικόνες, προσπαθούμε να βρούμε το πρώτο ζευγάρι εικόνων που θα ενωθεί. Για να δούμε αν δύο εικόνες μπορούν να ενωθούν, ακολουθεί ταίριασμα των σημείων κλειδιών τους. Όταν ένα αρχικό σετ αντίστοιχων χαρακτηριστικών έχει υπολογιστεί, πρέπει να βρεθεί ένα σετ που θα παράγει υψηλής ακρίβειας αντιστοίχιση. Αυτό το πετυχαίνουμε με τον αλγόριθμο RANSAC, μέσω του οποίου βρίσκουμε το γεωμετρικό μετασχηματισμό ανάμεσα στις δύο εικόνες, ομογραφία στην περίπτωσή μας. Αν ο αριθμός των κοινών σημείων κλειδιών είναι επαρκής, δηλαδή ταιριάζουν οι εικόνες, ακολουθεί η ένωσή τους. Αν απλώς ενώσουμε τις εικόνες, τότε θα έχουμε σίγουρα κάποια προβλήματα, όπως το ότι οι ενώσεις των δύο εικόνων θα είναι πολύ εμφανείς. Γι’ αυτό, για την εξάλειψη αυτού του προβλήματος, χρησιμοποιούμε τη μέθοδο των Λαπλασιανών πυραμίδων. Επαναλαμβάνεται η παραπάνω διαδικασία μέχρι να δημιουργηθεί το τελικό πανόραμα παίρνοντας κάθε φορά σαν αρχική την τελευταία εικόνα που φτιάξαμε στην προηγούμενη φάση. / Stitching multiple images together to create high resolution panoramas is one of the most popular consumer applications of image registration and blending. At this work, feature-based registration algorithms have been used. The first step is to extract distinctive invariant features from every image which are invariant to image scale and rotation, using SIFT (Scale Invariant Feature Transform) algorithm. After that, we try to find the first pair of images in order to stitch them. To check if two images can be stitched, we match their keypoints (the results from SIFT). Once an initial set of feature correspondences has been computed, we need to find the set that is will produce a high-accuracy alignment. The solution at this problem is RANdom Sample Consensus (RANSAC). Using this algorithm (RANSAC) we find the motion model between the two images (homography). If there is enough number of correspond points, we stitch these images. After that, seams are visible. As solution to this problem is used the method of Laplacian Pyramids. We repeat the above procedure using as initial image the ex panorama which has been created.

In this thesis a method is presented to provide a 3D visualization of the human kidney and surrounding tissue during kidney surgery. The method takes advantage of the high detail of 3D X-Ray Computed Tomography (CT) and the high time resolution of Ultrasonography (US). By extracting the geometry from a single preoperative CT scan and animating the kidney by tracking its position in real time US images, a 3D visualization of the surgical volume can be created. The first part of the project consisted of building an imaging phantom as a simplified model of the human body around the kidney. It consists of three parts: the shell part representing surrounding tissue, the kidney part representing the kidney soft tissue and a kidney stone part embedded in the kidney part. The shell and soft tissue kidney parts was cast with a mixture of the synthetic polymer Polyvinyl Alchohol (PVA) and water. The kidney stone part was cast with epoxy glue. All three parts where designed to look like human tissue in CT and US images. The method is a pipeline of stages that starts with acquiring the CT image as a 3D matrix of intensity values. This matrix is then segmented, resulting in separate polygonal 3D models for the three phantom parts. A scan of the model is then performed using US, producing a sequence of US images. A computer program extracts easily recognizable image feature points from the images in the sequence. Knowing the spatial position and orientation of a new US image in which these features can be found again allows the position of the kidney to be calculated. The presented method is realized as a proof of concept implementation of the pipeline. The implementation displays an interactive visualization where the kidney is positioned according to a user-selected US image scanned for image features. Using the proof of concept implementation as a guide, the accuracy of the proposed method is estimated to be bounded by the acquired image data. For high resolution CT and US images, the accuracy can be in the order of a few millimeters.