Abstract Estimation of 2-D motion is one of the fundamental problems in video processing and computer vision. This thesis addresses two general tasks in estimating projected motions of background and foreground objects in a scene: global motion estimation and motion based segmentation. The work concentrates on the study of the block matching method, and especially on those cases where the matching measure is based on the sum of squared or absolute displaced frame differences. Related techniques for performing the confidence analysis of local displacement are considered and used to improve the performance of the higher-level tasks mentioned. In general, local motion estimation techniques suffer from the aperture problem. Therefore, confidence analysis methods are needed which can complement motion estimates with information about their reliability. This work studies a particular form of confidence analysis which uses the evaluation of the match criterion for local displacement candidates. In contrast to the existing approaches, the method takes into account the local image gradient. The second part of the thesis presents a four-step feature based method for global motion estimation. For basic observations, it uses motion features which are combinations of image point coordinates, displacement estimates at those points, and representations of displacement uncertainty. A parametric form of uncertainty representation is computed exploiting the technique described in the first part of the thesis. This confidence information is used as a basis for weighting the features in motion estimation. Aspects of gradient based feature point selection are also studied. In the experimental part, the design choices of the method are compared, using both synthetic and real sequences. In the third part of the thesis, a technique for feature based extraction of background and foreground motions is presented. The new sparse segmentation algorithm performs competitive segmentation using both the spatial and temporal propagation of support information. The weighting of features exploits parametric uncertainty information which is experimentally shown to improve the performance of motion estimation. In the final part of the thesis, a novel framework for motion based object detection, segmentation, and tracking is developed. It uses a block grid based representation for segmentation and a particle filter based approach to motion estimation. Analysis techniques for obtaining the segmentation are described. Finally, the approach is integrated with the sparse motion segmentation and the combination of the methods is experimentally shown to increase both the efficiency of sampling and the accuracy of segmentation. / Tiivistelmä Tässä väitöskirjassa tutkitaan yhtä videonkäsittelyn ja konenäön perusongelmaa, kaksiulotteisen liikkeen estimointia. Työ käsittelee kahta yleistä tehtävää taustan ja etualan kohteiden liikkeiden määrittämisessä: hallitsevan liikkeen estimointia ja liikepohjaista kuvan segmentointia. Tutkituissa ratkaisuissa lähtökohtana käytetään lohkosovitukseen perustuvaa paikallisen liikkeen määritystä, jossa sovituksen kriteerinä käytetään poikkeutettujen kehysten pikseliarvojen erotusta. Tähän liittyen tarkastellaan estimoinnin luotettavuuden analyysin tekniikoita ja näiden hyödyntämistä edellä mainittujen tehtävien ratkaisuissa. Yleensä ottaen paikallisen liikkeen estimointia vaikeuttaa apertuuriongelma. Tämän vuoksi tarvitaan analyysitekniikoita, jotka kykenevät antamaan täydentävää tietoa liike-estimaattien luotettavuudesta. Työn ensimmäisessä osassa kehitetty analyysimenetelmä käyttää lähtötietona lohkosovituksen kriteerin arvoja, jotka on saatu eri liikekandidaateille. Erotuksena aiempiin menetelmiin kehitetty ratkaisu ottaa huomioon kuvagradientin vaikutuksen. Työn toisessa osassa tutkitaan nelivaiheista piirrepohjaista ratkaisua hallitsevan liikkeen estimoimiseksi. Perushavaintoina mallissa käytetään liikepiirteitä, jotka koostuvat valittujen kuvapisteiden koordinaateista, näissä pisteissä lasketuista liike-estimaateista ja estimaattien epävarmuuden esityksestä. Jälkimmäinen esitetään parametrisessa muodossa käyttäen laskentaan työn ensimmäisessä osassa esitettyä menetelmää. Tätä epävarmuustietoa käytetään piirteiden painottamiseen hallitsevan liikkeen estimoinnissa. Lisäksi tutkitaan gradienttipohjaista piirteiden valintaa. Kokeellisessa osassa erilaisia suunnitteluvalintoja verrataan toisiinsa käyttäen synteettisiä ja todellisia kuvasekvenssejä. Väitöstyön kolmannessa osassa esitetään piirrepohjainen menetelmä taustan ja etualan kohteen liikkeiden erottamiseksi toisistaan. Algoritmi tekee analyysin kahta liikettä sisältävälle näkymälle käyttäen sekä spatiaalista että ajallista segmentointitiedon välittämistä. Piirteiden painotus hyödyntää epävarmuustietoa tässä yhteydessä, jonka osoitetaan kokeellisesti parantavan liike-estimoinnin suorituskykyä. Viimeisessä osassa kehitetään viitekehys liikepohjaisen kohteen ilmaisun, segmentoinnin ja seurannan toteutukselle. Se perustuu lohkopohjaiseen esitystapaan ja näytteistyksen soveltamiseen liikkeen estimoinnissa. Analyysitekniikka segmentoinnin määrittämiseksi esitellään. Lopuksi ratkaisu integroidaan työn kolmannessa osassa esitetyn menetelmän kanssa, ja menetelmien yhdistelmän osoitetaan kokeellisesti parantavan sekä näytteistyksen tehokkuutta että segmentoinnin tarkkuutta.

Abstract This thesis investigates vision based description and recognition of human movements. Automated vision based human motion analysis is a fundamental technology for creating video based human computer interaction systems. Because of its wide range of potential applications, the topic has become an active area of research in the computer vision community. This thesis proposes the use of low level description of dynamics for human movement description and recognition. Two groups of approaches are developed: first, texture based methods that extract dynamic features for human movement description, and second, a framework that considers ballistic dynamics for human movement segmentation and recognition. Two texture based descriptions for human movement analysis are introduced. The first method uses the temporal templates as a preprocessing stage and extracts a motion description using local binary pattern texture features. This approach is then extended to a spatiotemporal space and a dynamic texture based method that uses local binary patterns from three orthogonal planes is proposed. The method needs no accurate segmentation of silhouettes, rather, it is designed to work on image data. The dynamic texture based description is also applied to gait recognition. The proposed descriptions have been experimentally validated on publicly available databases. Psychological studies on human movement indicate that common movements such as reaching and striking are ballistic by nature. Based on the psychological observations this thesis considers the segmentation and recognition of ballistic movements using low level motion features. Experimental results on motion capture and video data show the effectiveness of the method. / Tiivistelmä Tässä väitöskirjassa tutkitaan ihmisen liikkeen kuvaamista ja tunnistamista konenäkömenetelmillä. Ihmisen liikkeen automaattinen analyysi on keskeinen teknologia luotaessa videopohjaisia järjestelmiä ihmisen ja koneen vuorovaikutukseen. Laajojen sovellusmahdollisuuksiensa myötä aiheesta on tullut aktiivinen tutkimusalue konenäön tutkimuksen piirissä. Väitöskirjassa tutkitaan matalan tason piirteiden käyttöä ihmisen liikkeen dynaamiikan kuvaamiseen ja tunnistamiseen. Työssä esitetään kaksi tekstuuripohjaista mentelmää ihmisen liikkeen kuvaamiseen ja viitekehys ballististen liikkeiden segmentointiin ja tunnistamiseen. Työssä esitetään kaksi tekstuuripohjaista menetelmää ihmisen liikkeen analysointiin. Ensimmäinen menetelmä käyttää esikäsittelynä ajallisia kuvamalleja ja kuvaa mallit paikallisilla binäärikuvioilla. Menetelmä laajennetaan myös tila-aika-avaruuteen. Dynaamiseen tekstuuriin perustuva menetelmä irroittaa paikalliset binäärikuviot tila-aika-avaruuden kolmelta ortogonaaliselta tasolta. Menetelmä ei vaadi ihmisen siluetin tarkkaa segmentointia kuvista, koska se on suunniteltu toimimaan suoraan kuvatiedon perusteella. Dynaamiseen tekstuuriin pohjautuvaa menetelmää sovelletaan myös henkilön tunnistamiseen kävelytyylin perusteella. Esitetyt menetelmät on kokeellisesti vahvistettu yleisesti käytetyillä ja julkisesti saatavilla olevilla tietokannoilla. Psykologiset tutkimukset ihmisen liikkumisesta osoittavat, että yleiset liikkeet, kuten kurkoittaminen ja iskeminen, ovat luonteeltaan ballistisia. Tässä työssä tarkastellaan ihmisen liikkeen ajallista segmentointia ja tunnistamista matalan tason liikepiirteistä hyödyntäen psykologisia havaintoja. Kokeelliset tulokset liikkeenkaappaus ja video aineistolla osoittavat menetelmän toimivan hyvin.

Abstract Biology and medicine rely heavily on images to understand how the body functions, for diagnosing diseases and to test the effects of treatments. In recent decades, microscopy has experienced rapid improvements, enabling imaging of fixed and living cells at higher resolutions and frame rates, and deeper inside the biological samples. This has led to rapid growth in the image data. Automated methods are needed to quantitatively analyze these huge datasets and find statistically valid patterns. Cell segmentation and tracking is critical for automated analysis, yet it is a challenging problem due to large variations in cell shapes and appearances caused by various factors, including cell type, sample preparation and imaging setup. This thesis proposes novel methods for segmentation and tracking of cells, which rely on machine learning based approaches to improve the performance, generalization and reusability of automated methods. Cell proposals are used to efficiently exploit spatial and temporal context for resolving detection ambiguities in high-cell-density regions, caused by weak boundaries and deformable shapes of cells. This thesis presents two cell proposal methods: the first method uses multiple blob-like filter banks for detecting candidates for round cells, while the second method, Cell Proposal Network (CPN), uses convolutional neural networks to learn the cell shapes and appearances, and can propose candidates for cells in a wide variety of microscopy images. CPN first regresses cell candidate bounding boxes and their scores, then, it segments the regions inside the top ranked boxes to obtain cell candidate masks. CPN can be used as a general cell detector, as is demonstrated by training a single model to segment images from histology, fluorescence and phase-contrast microscopy. This work poses segmentation and tracking as proposal selection problems, which are solved optimally using integer linear programming or approximately using iterative shortest cost path search and non-maximum suppression. Additionally, this thesis presents a method which utilizes graph-cuts and an off-the-shelf edge detector to accurately segment highly deformable cells. The main contribution of this thesis is a cell tracking method which uses CPN to propose cell candidates, represents alternative tracking hypotheses using a graphical model, and selects the globally optimal sub-graph providing cell tracks. It achieves state-of-the-art tracking performance on multiple public benchmark datasets from both phase-contrast and fluorescence microscopy containing cells of various shapes and appearances. / Tiivistelmä Biologia ja lääketiede nojaavat vahvasti kuvatietoon solujen ja kehon toimintojen ymmärtämiseksi sairauksien diagnostiikassa ja hoitojen vaikutusten seuraamisessa. Viime vuosikymmeninä mikroskopiassa on tapahtunut nopeaa teknistä kehitystä, mikä on mahdollistanut elävien solujen kuvantamisen tarkemmin, nopeammin sekä syvemmältä automatisoidusti useasta näytteestä. Tämä taas on johtanut kuvadatan nopeaan kasvuun ja suurempaan määrään biologisia kysymyksiä, joihin voidaan vastata. Kuvadatan räjähdysmäisen kasvun vuoksi kaikkia tuloksia ei voida enää tulkita pelkästään ihmistyövoimaa käyttämällä, mikä on johtanut tarpeeseen kehittää automaattisia menetelmiä analysoimaan kvantitatiivisesti suuria datajoukkoja ja löytämään tilastollisesti kelvollisia malleja. Solujen erottaminen niiden ympäristöstä ja toisista soluista (segmentointi) ja solujen seuranta ovat kriittisiä alkuvaiheen osia onnistuneessa automaattisessa analyysissä. Automaattisten menetelmien kehittämisessä solusegmentointi on kuitenkin osoittautunut hyvin haastavaksi ongelmaksi solujen muodon ja ulkonäön suurten muutosten vuoksi solutyypistä, näytteen valmistelusta ja kuvantamisjärjestelmästä johtuen. Tämä väitöskirja esittää uusia menetelmiä solujen segmentointiin ja seurantaan keskittyen koneoppimiseen perustuviin lähestymistapoihin, jotka parantavat automaattisten menetelmien suorituskykyä ja uudelleenkäytettävyyttä. Spatiaalista ja ajallista kontekstia tehokkaasti hyödyntäviä soluehdotelmia käytetään ratkaisemaan solujen heikosti erottuvista reunoista ja joustavista muodoista johtuvaa solujen muodon monitulkintaisuutta erityisesti silloin kun tutkittava solutiheys on suuri. Tämä väitöskirja esittää kaksi menetelmää soluehdotelmille; ensimmäinen menetelmä käyttää useita läikkätyyppisiä suodatinpankkeja ilmaisemaan kandidaatteja pyöreänmuotoisille soluille, kun taas toinen menetelmä nimeltään soluehdotelmaverkko (Cell Proposal Network, CPN) käyttää konvoluutionaalisia neuroverkkoja oppiakseen tunnistamaan solut niiden muodon sekä ulkonäön perusteella erityyppisissä mikroskooppikuvissa. CPN regressoi ensin solukandidaatteja ympäröivät suorakaiteet ja niiden pistemäärän, jonka jälkeen se segmentoi alueet parhaiten sijoittuneiden suorakaiteiden joukosta tuottaen solukandidaattimaskit. CPN:ää voidaan mahdollisesti käyttää yleisenä soluilmaisimena erityyppisilla kuvantamistekniikoilla tuotetuissa kuvissa mukaan lukien histologisen valo-, fluoresenssi- ja vaihekontrastimikroskooppian. Väitöskirja esittää solujen segmentoinnin ja seurannan soluehdotelmien valintaongelmina, mitkä ratkaistaan joko optimaalisesti käyttämällä kokonaislukuoptimointia tai likimääräisesti käyttämällä iteratiivista lyhimmän kustannuspolun hakua sekä ei-maksimien vaimennusta. Tämä väitöskirja esittää myös verkon leikkaukseen (graph cut) perustuvan menetelmän, mikä hyödyntää valmiiksi saatavilla olevaa reunanilmaisinta segmentoimaan tarkasti muotoaan voimakkaasti muuttavia soluja. Väitöskirjatutkimuksen keskeinen tulos on uusi solujen seurantamenetelmä, mikä käyttää CPN:ää solukandidaattien ehdottamiseen, esittää vaihtoehtoiset seurantahypoteesit verkkomallia hyödyntämällä, ja valitsee globaalisti optimaalisen aliverkon solujen kulkemille reitille. Verrattuna useisiin muihin julkisesti saatavilla oleviin kuva-analyysiohjelmistoihin tässä väitöskirjassa kehitetyt menetelmät olivat suorituskyvyltään parhaita vaihekontrasti- ja fluoresenssimikroskopialla tuotettujen kuva-aineistojen analyyseissa, joissa solujen ulkomuoto oli hyvin vaihteleva.