Thesis (MSc)--Stellenbosch University, 2014. / ENGLISH ABSTRACT: Monocular structure from motion (SfM) is a widely researched problem, however
many of the existing approaches prove to be too computationally expensive for use
on mobile devices. In this thesis we investigate how inertial sensors can be used
to increase the performance of SfM algorithms on mobile devices.
Making use of the low cost inertial sensors found on most mobile devices we
design and implement an extended Kalman filter (EKF) to exploit their complementary
nature, in order to produce an accurate estimate of the attitude of the
device. We make use of a quaternion based system model in order to linearise the
measurement stage of the EKF, thus reducing its computational complexity. We
use this attitude estimate to enhance the feature tracking and camera localisation
stages in our SfM pipeline.
In order to perform feature tracking we implement a hybrid tracking algorithm
which makes use of Harris corners and an approximate nearest neighbour search to
reduce the search space for possible correspondences. We increase the robustness
of this approach by using inertial information to compensate for inter-frame camera
rotation. We further develop an efficient bundle adjustment algorithm which
only optimises the pose of the previous three key frames and the 3D map points
common between at least two of these frames. We implement an optimisation
based localisation algorithm which makes use of our EKF attitude estimate and
the tracked features, in order to estimate the pose of the device relative to the 3D
map points. This optimisation is performed in two steps, the first of which optimises
only the translation and the second optimises the full pose. We integrate the
aforementioned three sub-systems into an inertial assisted pose estimation pipeline.
We evaluate our algorithms with the use of datasets captured on the iPhone
5 in the presence of a Vicon motion capture system for ground truth data. We
find that our EKF can estimate the device’s attitude with an average dynamic
accuracy of ±5°. Furthermore, we find that the inclusion of sensors into the visual
pose estimation pipeline can lead to improvements in terms of robustness and
computational efficiency of the algorithms and are unlikely to negatively affect the
accuracy of such a system. Even though we managed to reduce execution time
dramatically, compared to typical existing techniques, our full system is found
to still be too computationally expensive for real-time performance and currently
runs at 3 frames per second, however the ever improving computational power of
mobile devices and our described future work will lead to improved performance.
From this study we conclude that inertial sensors make a valuable addition into
a visual pose estimation pipeline implemented on a mobile device. / AFRIKAANSE OPSOMMING: Enkel-kamera struktuur-vanaf-beweging (structure from motion, SfM) is ’n bekende
navorsingsprobleem, maar baie van die bestaande benaderings is te berekeningsintensief
vir gebruik op mobiele toestelle. In hierdie tesis ondersoek ons hoe
traagheidsensors gebruik kan word om die prestasie van SfM algoritmes op mobiele
toestelle te verbeter.
Om van die lae-koste traagheidsensors wat op meeste mobiele toestelle gevind
word gebruik te maak, ontwerp en implementeer ons ’n uitgebreide Kalman filter
(extended Kalman filter, EKF) om hul komplementêre geaardhede te ontgin, en
sodoende ’n akkurate skatting van die toestel se postuur te verkry. Ons maak van ’n
kwaternioon-gebaseerde stelselmodel gebruik om die meetstadium van die EKF te
lineariseer, en so die berekeningskompleksiteit te verminder. Hierdie afskatting van
die toestel se postuur word gebruik om die fases van kenmerkvolging en kameralokalisering
in ons SfM proses te verbeter.
Vir kenmerkvolging implementeer ons ’n hibriede volgingsalgoritme wat gebruik
maak van Harris-hoekpunte en ’n benaderde naaste-buurpunt-soektog om die
soekruimte vir moontlike ooreenstemmings te verklein. Ons verhoog die robuustheid
van hierdie benadering, deur traagheidsinligting te gebruik om vir kamerarotasies
tussen raampies te kompenseer. Verder ontwikkel ons ’n doeltreffende
bondelaanpassingsalgoritme wat slegs optimeer oor die vorige drie sleutelraampies,
en die 3D punte gemeenskaplik tussen minstens twee van hierdie raampies. Ons
implementeer ’n optimeringsgebaseerde lokaliseringsalgoritme, wat gebruik maak
van ons EKF se postuurafskatting en die gevolgde kenmerke, om die posisie en
oriëntasie van die toestel relatief tot die 3D punte in die kaart af te skat. Die optimering
word in twee stappe uitgevoer: eerstens net oor die kamera se translasie,
en tweedens oor beide die translasie en rotasie. Ons integreer die bogenoemde drie
sub-stelsels in ’n pyplyn vir postuurafskatting met behulp van traagheidsensors.
Ons evalueer ons algoritmes met die gebruik van datastelle wat met ’n iPhone
5 opgeneem is, terwyl dit in die teenwoordigheid van ’n Vicon bewegingsvasleggingstelsel
was (vir die gelyktydige opneming van korrekte postuurdata). Ons vind
dat die EKF die toestel se postuur kan afskat met ’n gemiddelde dinamiese akkuraatheid
van ±5°. Verder vind ons dat die insluiting van sensors in die visuele
postuurafskattingspyplyn kan lei tot verbeterings in terme van die robuustheid
en berekeningsdoeltreffendheid van die algoritmes, en dat dit waarskynlik nie die
akkuraatheid van so ’n stelsel negatief beïnvloed nie. Al het ons die uitvoertyd
drasties verminder (in vergelyking met tipiese bestaande tegnieke) is ons volledige
stelsel steeds te berekeningsintensief vir intydse verwerking op ’n mobiele toestel
en hardloop tans teen 3 raampies per sekonde. Die voortdurende verbetering van
mobiele toestelle se berekeningskrag en die toekomstige werk wat ons beskryf sal
egter lei tot ’n verbetering in prestasie.
Uit hierdie studie kan ons aflei dat traagheidsensors ’n waardevolle toevoeging
tot ’n visuele postuurafskattingspyplyn kan maak.
| Identifer | oai:union.ndltd.org:netd.ac.za/oai:union.ndltd.org:sun/oai:scholar.sun.ac.za:10019.1/95917 |
| Date | 12 1900 |
| Creators | Hughes, Lloyd Haydn |
| Contributors | Brink, Willie, Stellenbosch University. Faculty of Science. Dept. of Mathematical Sciences. |
| Publisher | Stellenbosch : Stellenbosch University |
| Source Sets | South African National ETD Portal |
| Language | en_ZA |
| Detected Language | Unknown |
| Type | Thesis |
| Format | vi, 108 p. : ill. |
| Rights | Stellenbosch University |
Page generated in 0.0031 seconds