Abstract Estimation of 2-D motion is one of the fundamental problems in video processing and computer vision. This thesis addresses two general tasks in estimating projected motions of background and foreground objects in a scene: global motion estimation and motion based segmentation. The work concentrates on the study of the block matching method, and especially on those cases where the matching measure is based on the sum of squared or absolute displaced frame differences. Related techniques for performing the confidence analysis of local displacement are considered and used to improve the performance of the higher-level tasks mentioned. In general, local motion estimation techniques suffer from the aperture problem. Therefore, confidence analysis methods are needed which can complement motion estimates with information about their reliability. This work studies a particular form of confidence analysis which uses the evaluation of the match criterion for local displacement candidates. In contrast to the existing approaches, the method takes into account the local image gradient. The second part of the thesis presents a four-step feature based method for global motion estimation. For basic observations, it uses motion features which are combinations of image point coordinates, displacement estimates at those points, and representations of displacement uncertainty. A parametric form of uncertainty representation is computed exploiting the technique described in the first part of the thesis. This confidence information is used as a basis for weighting the features in motion estimation. Aspects of gradient based feature point selection are also studied. In the experimental part, the design choices of the method are compared, using both synthetic and real sequences. In the third part of the thesis, a technique for feature based extraction of background and foreground motions is presented. The new sparse segmentation algorithm performs competitive segmentation using both the spatial and temporal propagation of support information. The weighting of features exploits parametric uncertainty information which is experimentally shown to improve the performance of motion estimation. In the final part of the thesis, a novel framework for motion based object detection, segmentation, and tracking is developed. It uses a block grid based representation for segmentation and a particle filter based approach to motion estimation. Analysis techniques for obtaining the segmentation are described. Finally, the approach is integrated with the sparse motion segmentation and the combination of the methods is experimentally shown to increase both the efficiency of sampling and the accuracy of segmentation. / Tiivistelmä Tässä väitöskirjassa tutkitaan yhtä videonkäsittelyn ja konenäön perusongelmaa, kaksiulotteisen liikkeen estimointia. Työ käsittelee kahta yleistä tehtävää taustan ja etualan kohteiden liikkeiden määrittämisessä: hallitsevan liikkeen estimointia ja liikepohjaista kuvan segmentointia. Tutkituissa ratkaisuissa lähtökohtana käytetään lohkosovitukseen perustuvaa paikallisen liikkeen määritystä, jossa sovituksen kriteerinä käytetään poikkeutettujen kehysten pikseliarvojen erotusta. Tähän liittyen tarkastellaan estimoinnin luotettavuuden analyysin tekniikoita ja näiden hyödyntämistä edellä mainittujen tehtävien ratkaisuissa. Yleensä ottaen paikallisen liikkeen estimointia vaikeuttaa apertuuriongelma. Tämän vuoksi tarvitaan analyysitekniikoita, jotka kykenevät antamaan täydentävää tietoa liike-estimaattien luotettavuudesta. Työn ensimmäisessä osassa kehitetty analyysimenetelmä käyttää lähtötietona lohkosovituksen kriteerin arvoja, jotka on saatu eri liikekandidaateille. Erotuksena aiempiin menetelmiin kehitetty ratkaisu ottaa huomioon kuvagradientin vaikutuksen. Työn toisessa osassa tutkitaan nelivaiheista piirrepohjaista ratkaisua hallitsevan liikkeen estimoimiseksi. Perushavaintoina mallissa käytetään liikepiirteitä, jotka koostuvat valittujen kuvapisteiden koordinaateista, näissä pisteissä lasketuista liike-estimaateista ja estimaattien epävarmuuden esityksestä. Jälkimmäinen esitetään parametrisessa muodossa käyttäen laskentaan työn ensimmäisessä osassa esitettyä menetelmää. Tätä epävarmuustietoa käytetään piirteiden painottamiseen hallitsevan liikkeen estimoinnissa. Lisäksi tutkitaan gradienttipohjaista piirteiden valintaa. Kokeellisessa osassa erilaisia suunnitteluvalintoja verrataan toisiinsa käyttäen synteettisiä ja todellisia kuvasekvenssejä. Väitöstyön kolmannessa osassa esitetään piirrepohjainen menetelmä taustan ja etualan kohteen liikkeiden erottamiseksi toisistaan. Algoritmi tekee analyysin kahta liikettä sisältävälle näkymälle käyttäen sekä spatiaalista että ajallista segmentointitiedon välittämistä. Piirteiden painotus hyödyntää epävarmuustietoa tässä yhteydessä, jonka osoitetaan kokeellisesti parantavan liike-estimoinnin suorituskykyä. Viimeisessä osassa kehitetään viitekehys liikepohjaisen kohteen ilmaisun, segmentoinnin ja seurannan toteutukselle. Se perustuu lohkopohjaiseen esitystapaan ja näytteistyksen soveltamiseen liikkeen estimoinnissa. Analyysitekniikka segmentoinnin määrittämiseksi esitellään. Lopuksi ratkaisu integroidaan työn kolmannessa osassa esitetyn menetelmän kanssa, ja menetelmien yhdistelmän osoitetaan kokeellisesti parantavan sekä näytteistyksen tehokkuutta että segmentoinnin tarkkuutta.

Abstract Humans are capable of narrowing their focus on the highlights of visual information in a fraction of time in order to handle enormous mass of data. Akin to human, computers should deal with a tremendous amount of visual information. To replicate such a focusing mechanism, computer vision relies on techniques that filter out redundant information. Consequently, saliency has recently been a popular subject of discussion in the computer vision community, though it is an old subject matter in the disciplines of cognitive sciences rather than computer science. The reputation of saliency techniques – particularly in the computer vision domain – is greatly due to their inexpensive and fast computation which facilitates their use in many computer vision applications, e.g., image/video compression, object recognition, tracking, etc. This study investigates visual saliency modeling, which is the transformation of an image into a salience map such that the identified conspicuousness agrees with the statistics of human eye movements. It explores the extent of image and video processing to develop saliency techniques suitable for computer vision, e.g., it adopts sparse sampling scheme and kernel density estimation to introduce a saliency measure for images. Also, it studies the role of eye movement in salience modeling. To this end, it introduces a particle filter based framework of saccade generation incorporated into a salience model. Moreover, eye movements and salience are exploited in several applications. The contributions of this study lie on the proposal of a number of salience models for image and video stimuli, a framework to incorporate a model of eye movement generation in salience modeling, and the investigation of the application of salience models and eye movements in tracking, background subtraction, scene recognition, and valence recognition. / Tiivistelmä Ihmiset kykenevät kohdistamaan katseensa hetkessä näkymän keskeisiin asioihin, mikä vaatii näköjärjestelmältä valtavan suurten tietomäärien käsittelyä. Kuten ihmisen myös tietokoneen pitäisi pystyä käsittelemään vastaavasti suurta määrää visuaalista informaatiota. Tällaisen mekanismin toteuttaminen tietokonenäöllä edellyttää menetelmiä, joilla redundanttista tietoa voidaan suodattaa. Tämän vuoksi salienssista eli silmiinpistävyydestä on muodostunut viime aikoina suosittu tutkimusaihe tietotekniikassa ja erityisesti tietokonenäön tutkimusyhteisössä, vaikka sitä sinänsä on jo pitkään tutkittu kognitiivisissa tieteissä. Salienssimenetelmien tunnettavuus erityisesti tietokonenäössä johtuu pääasiassa niiden laskennallisesta tehokkuudesta, mikä taas mahdollistaa menetelmien käytön monissa tietokonenäön sovelluksissa kuten kuvan ja videon pakkaamisessa, objektin tunnistuksessa, seurannassa, etc. Tässä väitöskirjassa tutkitaan visuaalisen salienssin mallintamista, millä tarkoitetaan muunnosta kuvasta salienssikartaksi siten, että laskennallinen silmiinpistävyys vastaa ihmisen silmänliikkeistä muodostettavaa statistiikkaa. Työssä tarkastellaan keinoja, miten kuvan- ja videonkäsittelyä voidaan käyttää kehittämään salienssimenetelmiä tietokonenäön tarpeisiin. Työssä esitellään esimerkiksi harvaa näytteistystä ja ydinestimointia hyödyntävä kuvien salienssimitta. Työssä tutkitaan myös silmänliikkeiden merkitystä salienssin mallintamisen kannalta. Tätä varten esitellään partikkelisuodatusta hyödyntävä lähestymistapa sakkadien generointiin, joka voidaan liittää salienssimalliin. Lisäksi silmänliikkeitä ja salienssia hyödynnetään useissa sovelluksissa. Suoritetun tutkimuksen tieteellisiin kontribuutioihin sisältyvät useat esitetyt salienssimallit kuvasta ja videosta saatavalle herätteelle, lähestymistapa silmänliikkeiden laskennalliseen mallintamiseen ja generointiin osana salienssimallia sekä salienssimallien ja silmänliikkeiden sovellettavuuden tutkiminen visuaalisessa seurannassa, taustanvähennyksessä, näkymäanalyysissa ja valenssin tunnistuksessa.