Thesis (MSc)--Stellenbosch University, 2014. / ENGLISH ABSTRACT: In this thesiswe approach the problem of tracking multiple people individually in a video sequence.
Automatic object detection and tracking is non-trivial as humans have complex and
mostly unpredictable movements, and there are sensor noise and measurement uncertainties
present. We consider traditional object detection methods and decide to use thermal
data for the detection step. This choice is supported by the robustness of thermal data compared
to colour data in unfavourable lighting conditions and in surveillance applications. A
drawback of using thermal data is that we lose colour information, since the sensor interprets
the heat emission of the body rather than visible light. We incorporate a colour sensor
which is used to build features for each detected object. These features are used to help
determine correspondences in detected objects over time.
A problem with traditional blob detection algorithms, which typically consist of background
subtraction followed by connected-component labelling, is that objects can appear to split
or merge, or disappear in a few frames. We decide to add ‘dummy’ blobs in an effort to
counteract these problems. We refrain from making any hard decisions with respect to the
blob correspondences over time, and rather let the system decide which correspondences
are more probable. Furthermore, we find that the traditional Markovian approach of determining
correspondences between detected blobs in the current time step and only the
previous time step can lead to unwanted behaviour. We rather consider a sequence of time
steps and optimize the tracking across them. We build a composite correspondence model
and weigh each correspondence according to similarity (correlation) in object features. All
possible tracks are determined through this model and a likelihood is calculated for each.
Using the best scoring tracks we then label all the detections and use this labelling as measurement
input for a tracking filter.
We find that the window tracking approach shows promise even though the data we us for
testing is of poor quality and noisy. The system struggles with cluttered scenes and when a
lot of dummy nodes are present. Nonetheless our findings act as a proof of concept and we
discuss a few future improvements that can be considered. / AFRIKAANSE OPSOMMING: In hierdie tesis benader ons die probleemomverskeiemense individueel in ’n video-opname
op te spoor en te volg. Outomatiese voorwerp-opsporing en -volging is nie-triviaal, want
mense het komplekse en meestal onvoorspelbare bewegings, en daar is sensor-ruis en metingonsekerhede
teenwoordig. Ons neem tradisionele voorwerp-opsporing metodes in ag
en besluit om termiese data te gebruik vir die opsporingstap. Hierdie keuse word ondersteun
deur die robuustheid van termiese data in vergelyking met kleur data in ongunstige
lig-kondisies en in sekuriteitstoepassings. Die nadeel van die gebruik van termiese data is
dat ons kleur inligting verloor, aangesien die sensor die hitte vrystelling van die liggaam interpreteer,
eerder as sigbare lig. Ons inkorporeer ’n kleur-sensor wat gebruik word om die
kenmerke van elke gevolgde voorwerp te bou. Hierdie kenmerke word gebruik om te help
om ooreenkomste tussen opgespoorde voorwerpe te bepaal met die verloop van tyd.
’n Probleem met die tradisionele voorwerp-opsporing algoritmes, wat tipies bestaan uit agtergrond-
aftrekking gevolg deur komponent-etikettering, is dat dit kan voorkom asof voorwerpe
verdeel of saamsmelt, of verdwyn in ’n paar rame. Ons besluit om ‘flous’-voorwerpe
by te voeg in ’n poging om hierdie probleme teen te werk. Ons weerhou om enige konkrete
besluite oor opgespoorde voorwerpe se ooreenkomste met die verloop van tyd te maak, en
laat die stelsel eerder toe om te besluit watter ooreenkomste meer waarskynlik is. Verder
vind ons dat die tradisionele Markoviaanse benadering vir die bepaling van ooreenkomste
tussen opgespoorde voorwerpe in die huidige tydstap en die vorige een kan lei tot ongewenste
gedrag. Ons oorweeg eerder ’n reeks van tydstappe, of ’n venster, en optimeer die
volg van voorwerpe oor hulle. Ons bou ’n saamgestelde ooreenstemmingsmodel en weeg
elke ooreenstemming volgens die ooreenkoms (korrelasie) tussen voorwerpe se kenmerke.
Alle moontlike spore word deur hierdie model bepaal en ’n waarskynlikheid word bereken
vir elkeen. Die spore met die beste tellings word gebruik om al die opsporings te nommeer,
en hierdie etikettering word gebruik as meting-inset vir ’n volgingsfilter.
Ons vind dat die venster-volg benadering belowend vaar selfs al is die invoerdata in ons
toetse van swak gehalte en ruiserig. Die stelsel sukkel met besige tonele en wanneer baie
flous-voorwerpe teenwoordig is. Tog dien ons bevindinge as ’n bewys van konsep en ons
bespreek ’n paar verbeterings wat in die toekoms oorweeg kan word.
| Identifer | oai:union.ndltd.org:netd.ac.za/oai:union.ndltd.org:sun/oai:scholar.sun.ac.za:10019.1/86453 |
| Date | 04 1900 |
| Creators | Joubert, Pierre |
| Contributors | Brink, W. H., Stellenbosch University. Faculty of Science. Dept. of Mathematical Sciences. |
| Publisher | Stellenbosch : Stellenbosch University |
| Source Sets | South African National ETD Portal |
| Language | en_ZA |
| Detected Language | Unknown |
| Type | Thesis |
| Format | 73 p. : ill. |
| Rights | Stellenbosch University |
Page generated in 0.003 seconds